Thông minh bình phương chấm điểm và xác định người chiến thắng

Có một podcast NPR được gọi là Intelligence Squared. Mỗi tập phim là một cuộc tranh luận trực tiếp về một số tuyên bố gây tranh cãi, chẳng hạn như "Sửa đổi lần thứ 2 không còn phù hợp" hay "Hành động khẳng định trong khuôn viên trường đại học có hại hơn là có lợi". Bốn đại diện tranh luận-- hai cho chuyển động và hai chống lại.

Để xác định bên nào thắng, khán giả được thăm dò cả trước và sau cuộc tranh luận. Bên nào đạt được nhiều hơn về tỷ lệ phần trăm tuyệt đối được coi là người chiến thắng. Ví dụ:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

Theo trực giác, tôi nghĩ rằng thước đo thành công này là thiên vị và tôi tự hỏi làm thế nào một người sẽ thăm dò ý kiến ​​khán giả để xác định người chiến thắng một cách công bằng.

Ba vấn đề tôi thấy ngay với phương pháp hiện tại:

• Ở thái cực, nếu một bên bắt đầu với thỏa thuận 100%, họ chỉ có thể buộc hoặc thua.

• Nếu không có quyết định, thì bên có thỏa thuận ban đầu ít hơn có thể được xem là có cỡ mẫu lớn hơn để rút ra.

• Các bên chưa quyết định không có khả năng thực sự chưa quyết định. Nếu chúng ta cho rằng hai bên bị phân cực như nhau, có vẻ như niềm tin trước đây của chúng ta về dân số chưa quyết định sẽ là $\text{Beta}(\text{# For}, \text{# Against})$ nếu mỗi bên buộc phải đứng về một phía.

Cho rằng chúng ta phải dựa vào việc bỏ phiếu của khán giả, có cách nào công bằng hơn để đánh giá ai là người chiến thắng?

Mối quan tâm của bạn là hoàn toàn có cơ sở. Thật không may, có nhiều cách phòng thủ, khách quan để giải quyết vấn đề này và chúng có thể xung đột với nhau. Phân tích sau đây cung cấp một khung để quyết định cách bạn có thể muốn đánh giá kết quả và cho thấy mức độ phụ thuộc vào kết luận của bạn đối với các giả định bạn đưa ra về tính năng động của tình huống.

---

Chúng tôi có ít hoặc không kiểm soát đối tượng ban đầu. Nó có thể không đại diện cho một dân số lớn hơn (như tất cả người xem) mà chúng tôi quan tâm hơn. Do đó, số lượng ý kiến tuyệt đối ít liên quan: điều quan trọng là tỷ lệ mà mọi người có thể thay đổi suy nghĩ của họ. (Từ các tỷ lệ này, chúng tôi có thể ước tính dân số nghe có thể thay đổi như thế nào, cung cấp thông tin về ý kiến ​​ban đầu của họ, ngay cả khi tỷ lệ ý kiến ​​trong thính giả khác với khán giả phòng thu được thăm dò.)

Do đó, kết quả bao gồm sáu thay đổi có thể có về ý kiến ​​và sáu tỷ lệ thay đổi liên quan:

• Những "cho", mà tôi sẽ lập chỉ mục với có thể thay đổi suy nghĩ của họ và kết thúc một trong hai đối (với chỉ số 2 ) với tốc độ một 12 hoặc chưa quyết định (với chỉ số 3 ) với tốc độ một 13 .$1,$$2$$a_{12}$$3$$a_{13}$

• Những "chống lại" có thể thay đổi tâm trí của họ để "cho" với tốc độ hoặc "chưa quyết định" ở mức một 23 .$a_{21}$$a_{23}$

• Các undecideds có thể thay đổi suy nghĩ của họ để "cho" với tốc độ hoặc "chống lại" với tốc độ một 32$a_{31}$$a_{32}.$

Xác định , với i = 1 , 2 , 3 , là tỷ lệ người có chỉ số tôi không thay đổi suy nghĩ của họ.$a_{ii}$$i=1,2,3,$$i$

Các cột của ma trận chứa các số không âm, phải thêm vào sự thống nhất (giả sử mọi người trả lời cuộc thăm dò ban đầu cũng phản hồi với số cuối cùng). Điều đó để lại sáu giá trị độc lập để xác định dựa trên sự chuyển đổi từ phân phối ban đầu trong đối tượng, x = ( 0,18 , 0,42 , 0,40 ) , sang phân phối cuối cùng y = ( 0,23 , 0,49 , 0,28 ) = A$\mathbb{A}=(a_{ij})$$x=(0.18, 0.42, 0.40)$$y=(0.23, 0.49, 0.28) = \mathbb{A}x$. Đây là một hệ thống chưa xác định của các phương trình tuyến tính (bị ràng buộc), để lại sự linh hoạt to lớn trong việc đưa ra một giải pháp. Hãy xem xét ba giải pháp.

Giải pháp 1: Thay đổi ít nhất

Chúng ta có thể yêu cầu ma trận chuyển tiếp càng nhỏ càng tốt theo một nghĩa nào đó. Một cách là giảm thiểu tổng tỷ lệ những người thay đổi ý kiến ​​của họ. Điều này được thực hiện trong ví dụ với giải pháp$\mathbb{A}$

$$\mathbb{A}=\left( \begin{array}{ccc} 1 & 0 & 0.125 \\ 0 & 1 & 0.175 \\ 0 & 0 & 0.700 \\ \end{array} \right).$$

Đó là, trong số những người chưa quyết định đã kết thúc, 17,5 % trong số họ đã kết thúc và không ai trong số những người ban đầu hoặc chống lại thay đổi suy nghĩ của họ. Người chiến thắng? Các cuộc phản đối, rõ ràng, bởi vì cuộc tranh luận đã thuyết phục một tỷ lệ lớn hơn của những người chưa quyết định giải quyết cho ý kiến ​​"chống lại".$12.5\%$$17.5\%$

Mô hình này sẽ phù hợp khi bạn tin rằng các phe phái ban đầu được củng cố theo ý kiến ​​của họ và những người duy nhất có khả năng thay đổi suy nghĩ của họ nằm trong số những người ban đầu được tuyên bố là chưa quyết định.

Giải pháp 2: Hình vuông nhỏ nhất

Một giải pháp toán học đơn giản là tìm ma trận có bình L 2 tiêu chuẩn | | Một $\mathbb{A}$$L^2$là càng nhỏ càng tốt: Tối thiểu hóa này tổng bình phương của tất cả chín xác suất chuyển đổi (trong đó bao gồm các một i i đại diện cho tỷ lệ người không thay đổi suy nghĩ của họ). Giải pháp của nó (làm tròn đến hai chữ số thập phân) là$||\mathbb{A}||_2^2 = tr(\mathbb{A}^\prime \mathbb{A})$$a_{ii}$

$$\mathbb{A} = \left( \begin{array}{ccc} 0.28 & 0.22 & 0.22 \\ 0.41 & 0.51 & 0.50 \\ 0.31 & 0.27 & 0.28 \\ \end{array} \right).$$

So sánh các hàng, chúng tôi thấy rằng mặc dù bên "chống lại" đã bị thuyết phục để chuyển đổi thành "cho" (và 27 % khác đã bị nhầm lẫn đủ để trở thành chưa quyết định), nhưng 41 % bên "cho" đã được chuyển đổi (và khác 31 % bị nhầm lẫn). Các quyết định ban đầu có xu hướng chuyển đổi sang bên "chống lại" ( 50 % so với 22 % ). Bây giờ "chống lại" là người chiến thắng rõ ràng.$22\%$$27\%$$41\%$$31\%$$50\%$ $22\%$

Giải pháp bình phương tối thiểu thường tạo ra nhiều thay đổi trong mỗi nhóm. (Tuỳ thuộc vào những hạn chế của vấn đề, nó đang cố gắng để làm cho thay đổi tất cả bằng .) Cho dù đó tương ứng với một vai diễn thực tế của người dân rất khó để xác định, nhưng nó thể hiện một bức tranh về mặt toán học có thể có của những gì đã xảy ra trong cuộc tranh luận.$1/3$

Giải pháp 3: Hình vuông nhỏ nhất

Để kiểm soát và giới hạn tốc độ mọi người thay đổi ý kiến ​​của mình, chúng ta hãy xử phạt mục tiêu bình phương nhỏ nhất bằng cách bao gồm các điều khoản ủng hộ không thay đổi ý kiến. Đây là những điều kiện trên đường chéo của . Chúng tôi có thể cho rằng khó thay đổi ý kiến ​​của một người không quyết định, vì vậy sẽ tốt hơn nếu giảm cân sau này. Cuối cùng, giới thiệu các trọng số dương ω i và tìm A để | | Một | | $\mathbb{A}$$\omega_i$$\mathbb{A}$được giảm thiểu.

$$||\mathbb{A}||_2^2 - \omega_1 a_{11} - \omega_2 a_{22} - \omega_3 a_{33}$$

Ví dụ, chúng ta hãy downweight các undecideds bằng 50% trọng lượng bằng cách chọn . Giải pháp (làm tròn) là$\omega = (1,1,1/2)$

$$\mathbb{A} = \left( \begin{array}{ccc} 0.91 & 0 & 0.17 \\ 0.03 & 0.93 & 0.23 \\ 0.06 & 0.07 & 0.60 \\ \end{array} \right).$$

Giải pháp này là trung gian giữa hai bên đầu tiên: một tỷ lệ nhỏ các bên cam kết đã thay đổi quyết định hoặc trở nên không quyết định trong khi những người chưa quyết định đưa ra quyết định ( 17 % cho và 23 % chống lại). Tuy nhiên, một lần nữa, kết quả rõ ràng ủng hộ phe "chống lại".$40\%$$17\%$$23\%$

Tóm lược

Trong mô hình chuyển đổi thay đổi ý kiến ​​này, hầu hết các phương pháp giải pháp chỉ ra một chiến thắng cho phe "chống lại" trong ví dụ cụ thể này. Không có bất kỳ ý kiến ​​mạnh mẽ nào về động lực của sự thay đổi, điều đó cho thấy phe "chống lại" đã thắng.

Trong các trường hợp khác, một số phương pháp giải pháp có thể chỉ ra một người chiến thắng và các phương pháp giải pháp khác là một người chiến thắng khác. Chẳng hạn, trong quá trình chuyển đổi từ sang $(.20,.60,.20)$ có vẻ như "fors" đã có một chiến thắng ngoạn mục: con số của họ tăng từ 20 % lên 30 % trong khi phe "chống" giảm từ 40 % xuống 30 $(.30,.40,.30)$$20\%$$30\%$$40\%$$30\%$. Tuy nhiên, giải pháp bình phương tối thiểu (làm tròn) ít nhất cho thấy có một cách điều này có thể xảy ra trong đó cuộc tranh luận hơi nghiêng về phía bên kia! Nó là

$$\mathbb{A} = \left( \begin{array}{ccc} 0.32 & 0.29 & 0.32 \\ 0.36 & 0.42 & 0.36 \\ 0.32 & 0.29 & 0.32 \\ \end{array} \right).$$

Đây, $36\%$ "fors" thay đổi sang phía bên kia trong khi chỉ "chống lại" thay đổi sang ý kiến ​​ngược lại. Hơn nữa, nhiều hơn một chút trong số những người chưa quyết định ( 36 % ) so với 32 % ) xuất hiện "chống lại" thay vì cho. Mặc dù số lượng khán giả của họ giảm, nhưng chúng ta có một tình huống (gợi nhớ đến Nghịch lý của Simpson ) trong đó phe "chống lại" rõ ràng đã thắng cuộc tranh luận!$29\%$$(36\%)$ $32\%$

Ý kiến ​​khác

Nếu các cuộc thăm dò ý kiến ​​có thể theo dõi các cá nhân cả trước và sau, chúng tôi có thể ước tính toàn bộ ma trận chuyển tiếp và sẽ có ít sự không chắc chắn hơn về tác động của cuộc tranh luận đối với dư luận.$\mathbb{A}$

Ba phương pháp giải pháp được minh họa ở đây không phải là những phương pháp khả thi duy nhất: ví dụ, có thể tìm thấy các phương pháp khác bằng cách cân các hệ số của riêng lẻ. Tuy nhiên, chúng bao gồm rất nhiều khả năng, từ giải pháp "thay đổi ít nhất" thông qua giải pháp bình phương nhỏ nhất. Do đó, khám phá phạm vi của các giải pháp thu được bằng ba phương pháp này sẽ đưa ra một dấu hiệu tốt về những gì có thể đạt được một cách hợp lý. Nếu tất cả họ đồng ý về kết quả, nó sẽ có chút nghi ngờ.$\mathbb{A}$

$$\begin{equation} p(\textrm{for}_\textrm{after},\textrm{against}_{\textrm{after}},\textrm{undecided}_{\textrm{after}} \mid \textrm{for}_\textrm{before},\textrm{against}_{\textrm{before}},\textrm{undecided}_{\textrm{before}}) \end{equation}$$ $0.5$cho cả hai đội. Lưu ý rằng vẫn còn nhiều lựa chọn cho quy tắc quyết định vì không gian kết quả là 2 chiều, nhưng, nếu chúng tôi tin tưởng vào mô hình dự đoán, điều này không quan trọng về mặt công bằng của cuộc thi. Người ta có thể, ví dụ, chỉ cần quyết định rằng đội chiến thắng sẽ thắng nếu tỷ lệ Chống lại sau cuộc tranh luận vượt quá mức trung bình dự đoán của nó (có điều kiện trong cuộc thăm dò trước).

Ý tưởng xây dựng mô hình dự đoán

$$\begin{align} (P(\textrm{for} \mid \textrm{for before}),P(\textrm{ud} \mid \textrm{for before}),P(\textrm{ag} \mid \textrm{for before})) & \sim Dir(a_{ff},a_{uf},a_{af}) \\ (P(\textrm{for} \mid \textrm{ud before}),P(\textrm{ud} \mid \textrm{ud before}),P(\textrm{ag} \mid \textrm{ud before})) & \sim Dir(a_{fu},a_{uu},a_{au}) \\ (P(\textrm{for} \mid \textrm{ag before}),P(\textrm{ud} \mid \textrm{ag before}),P(\textrm{ag} \mid \textrm{ag before})) & \sim Dir(a_{fa},a_{ua},a_{aa}), \end{align}$$ $P$$a$$a$$a$$a_{ff}=a_{aa}$, $a_{fu}=a_{au}$.

Đưa ra phân phối sau hoặc ước tính điểm của $a$s, and the distribution of individuals in current before poll (that I now assumed to be independent of the transition probabilities), it is straightforward to simulate the distribution of after-debate-poll numbers, and then pick the median of, e.g., for/against-ratio as the winning threshold.