Làm thế nào để tìm khoảng tin cậy cho xếp hạng?

32

" Cách không sắp xếp theo xếp hạng trung bình " của Evan Miller đề xuất sử dụng giới hạn dưới của khoảng tin cậy để có được "điểm số" tổng hợp hợp lý cho các mục được xếp hạng. Tuy nhiên, nó hoạt động với mô hình Bernoulli: xếp hạng là ngón tay cái lên hoặc ngón tay cái xuống.

Khoảng tin cậy hợp lý để sử dụng cho mô hình xếp hạng sẽ gán điểm số riêng biệt từ đến sao, giả sử rằng số xếp hạng cho một mục có thể nhỏ? $1$ $k$

Tôi nghĩ rằng tôi có thể thấy làm thế nào để điều chỉnh trung tâm của các khoảng Wilson và Agresti-Coull như

\tilde{p} = \frac{\sum_{i = 1}^{n} x_{i} + z_{α / 2}^{2} p_{0}}{n + z_{α / 2}^{2}}

$\tilde{p} = \frac{\sum_{i=1}^n{x_i} + z_{\alpha/2}^2\; p_0}{n + z_{\alpha/2}^2}$

trong đó hoặc (có thể tốt hơn) đó là xếp hạng trung bình trên tất cả các mục. Tuy nhiên, tôi không chắc làm thế nào để điều chỉnh độ rộng của khoảng. Dự đoán tốt nhất của tôi sẽ được sửa đổi $p_0 = \frac{k+1}{2}$

\tilde{p} \pm \frac{z_{α / 2}}{\tilde{n}} \sqrt{\frac{Σ_{tôi = = 1}^{n} (x_{tôi} - \tilde{p})^{2} + z_{α / 2} (p_{0} - \tilde{p})^{2}}{\tilde{n}}}

$\tilde{p} \pm \frac{z_{\alpha/2}}{\tilde{n}} \sqrt{\frac{\sum_{i=1}^n{(x_i - \tilde{p})^2} + z_{\alpha/2}(p_0-\tilde{p})^2}{\tilde{n}}}$

với , nhưng tôi không thể biện minh cho nhiều hơn là vẫy tay như một sự tương tự của Agresti-Coull, coi đó là $\tilde{n} = n + z_{\alpha/2}^2$

Ước tính (\bar{X}) \pm \frac{z_{α / 2}}{\tilde{n}} \sqrt{Ước tính (Var (X))}

$\text{Estimate}(\bar{X}) \pm \frac{z_{\alpha/2}}{\tilde{n}} \sqrt{\text{Estimate}(\text{Var}(X))}$

Có khoảng tin cậy tiêu chuẩn áp dụng? (Lưu ý rằng tôi không có đăng ký vào bất kỳ tạp chí nào hoặc dễ dàng truy cập vào thư viện trường đại học; bằng mọi cách hãy đưa ra các tài liệu tham khảo phù hợp, nhưng vui lòng bổ sung với kết quả thực tế!)

confidence-interval estimation

— Peter Taylor
nguồn

4

Bởi vì các câu trả lời hiện tại (có lẽ không lịch sự) đã xoay quanh vấn đề này, tôi muốn chỉ ra rằng ứng dụng này là một sự lạm dụng giới hạn niềm tin khủng khiếp. Không có lý do biện minh nào cho việc sử dụng LCL để xếp hạng phương tiện (và rất nhiều lý do tại sao LCL thực sự tồi tệ hơn chính mục đích của mục đích xếp hạng). Do đó, câu hỏi này được đưa ra dựa trên cách tiếp cận thiếu sót, đó có thể là lý do tại sao nó thu hút được rất ít sự chú ý.

— whuber

2

Một tính năng hay của câu hỏi đặc biệt này là nó chứa đủ ngữ cảnh để chúng ta bỏ qua câu hỏi thực tế và tập trung vào những gì dường như là câu hỏi quan trọng hơn.

— Karl

1

Tôi rất vui vì bạn đã sửa đổi tiêu đề đã thay đổi theo ý thích của bạn, Peter. Chỉnh sửa ban đầu của tôi đã được thực hiện không phải để tự phục vụ, nhưng để làm cho tiêu đề phản ánh văn bản của câu hỏi. Bạn là trọng tài cuối cùng của những gì bạn thực sự có nghĩa.

— whuber

23

Giống như Karl Broman đã nói trong câu trả lời của mình, một cách tiếp cận Bayes có thể sẽ tốt hơn rất nhiều so với việc sử dụng khoảng tin cậy.

Vấn đề với khoảng tin cậy

Tại sao có thể sử dụng khoảng tin cậy không hoạt động quá tốt? Một lý do là nếu bạn không có nhiều xếp hạng cho một mặt hàng, thì khoảng tin cậy của bạn sẽ rất rộng, do đó giới hạn dưới của khoảng tin cậy sẽ nhỏ. Do đó, các mục không có nhiều xếp hạng sẽ kết thúc ở cuối danh sách của bạn.

Tuy nhiên, theo trực giác, bạn có thể muốn các mặt hàng không có nhiều xếp hạng gần với mặt hàng trung bình, vì vậy bạn muốn thay đổi xếp hạng ước tính của mặt hàng theo xếp hạng trung bình trên tất cả các mặt hàng (nghĩa là bạn muốn đẩy xếp hạng ước tính của mình lên trước ) . Đây chính xác là những gì một cách tiếp cận Bayes làm.

Phương pháp tiếp cận Bayes I: Phân phối bình thường theo xếp hạng

Một cách để di chuyển xếp hạng ước tính về trước là, như trong câu trả lời của Karl, sử dụng ước tính của mẫu : $w*R + (1-w)*C$

$R$ là giá trị trung bình trên các xếp hạng cho các mục.
$C$ là giá trị trung bình trên tất cả các mục (hoặc bất cứ điều gì trước khi bạn muốn thu hẹp xếp hạng của mình).
Lưu ý rằng công thức chỉ là một sự kết hợp trọng số của và . $R$ $C$
$w = \frac{v}{v+m}$ là trọng số được gán cho , trong đó là số lượng đánh giá cho bia và là một loại tham số "ngưỡng" không đổi. $R$ $v$ $m$
Lưu ý rằng khi rất lớn, tức là khi chúng ta có nhiều xếp hạng cho mục hiện tại, thì rất gần với 1, vì vậy xếp hạng ước tính của chúng tôi rất gần với và chúng tôi ít chú ý đến trước . Tuy nhiên, khi nhỏ, rất gần với 0, vì vậy xếp hạng ước tính đặt rất nhiều trọng số lên trước . $v$ $w$ $R$ $C$ $v$ $w$ $C$

Trên thực tế, ước tính này có thể được đưa ra một cách giải thích Bayes như ước tính sau của xếp hạng trung bình của mặt hàng khi xếp hạng cá nhân đến từ một phân phối bình thường xoay quanh ý nghĩa đó.

Tuy nhiên, giả sử rằng xếp hạng đến từ một phân phối bình thường có hai vấn đề:

Một phân phối bình thường là liên tục , nhưng xếp hạng là rời rạc .
Xếp hạng cho một mặt hàng không nhất thiết phải theo hình dạng Gaussian không chính thống. Ví dụ, có thể mặt hàng của bạn rất phân cực, vì vậy mọi người có xu hướng hoặc đánh giá rất cao hoặc xếp hạng rất thấp.

Phương pháp tiếp cận Bayes II: Phân phối đa quốc gia trên xếp hạng

Vì vậy, thay vì giả sử phân phối bình thường cho xếp hạng, hãy giả sử phân phối đa quốc gia . Nghĩa là, với một số mặt hàng cụ thể, có xác suất rằng một người dùng ngẫu nhiên sẽ cho nó 1 sao, xác suất mà một người dùng ngẫu nhiên sẽ cung cấp cho nó 2 sao, v.v. $p_1$ $p_2$

Tất nhiên, chúng tôi không biết những xác suất này là gì. Khi chúng tôi nhận được càng nhiều xếp hạng cho mặt hàng này, chúng tôi có thể đoán rằng gần với , trong đó là số người dùng đã cho nó 1 sao và là tổng số người dùng đã xếp hạng Mục này, nhưng khi chúng tôi mới bắt đầu, chúng tôi không có gì. Vì vậy, chúng tôi đặt Dirichlet trước trên các xác suất này. $p_1$ $\frac{n_1}{n}$ $n_1$ $n$ $Dir(\alpha_1, \ldots, \alpha_k)$

Dirichlet này là gì trước? Chúng ta có thể nghĩ mỗi tham số là một "số ảo" về số lần một số người ảo đưa ra mục sao. Ví dụ: nếu , và tất cả các khác đều bằng 0, thì chúng ta có thể nghĩ về điều này khi nói rằng hai người ảo đã cho mục 1 sao và một người ảo đã cho mục 2 sao. Vì vậy, trước khi chúng tôi thậm chí có được bất kỳ người dùng thực tế nào, chúng tôi có thể sử dụng phân phối ảo này để cung cấp ước tính về xếp hạng của mặt hàng. $\alpha_i$ $i$ $\alpha_1 = 2$ $\alpha_2 = 1$ $\alpha_i$

[Một cách chọn tham số sẽ là đặt bằng với tỷ lệ phiếu bầu chung của sao. (Lưu ý rằng các tham số không nhất thiết là số nguyên.)] $\alpha_i$ $\alpha_i$ $i$ $\alpha_i$

Sau đó, khi xếp hạng thực tế xuất hiện, chỉ cần thêm số lượng của chúng vào số lượng ảo của Dirichlet của bạn trước đó. Bất cứ khi nào bạn muốn ước tính xếp hạng của mặt hàng của mình, chỉ cần lấy giá trị trung bình trên tất cả các xếp hạng của mặt hàng (cả xếp hạng ảo và xếp hạng thực tế của mặt hàng đó).

— raegtin
nguồn

1

Cách tiếp cận 2 hoạt động giống hệt với cách tiếp cận 1, phải không, nhưng với một sự biện minh khác nhau?

— Peter Taylor

2

@Peter: ồ, đúng rồi! Không nhận ra điều đó cho đến khi bạn đề cập đến nó =). . có thể là loại hiếm.)

— raegtin

1

Trong cách tiếp cận 1, bạn thường chọn như thế nào?

m

$m$

— Jason C

15

Tình huống này khóc cho một cách tiếp cận Bayes. Có những cách tiếp cận đơn giản cho xếp hạng Bayes về xếp hạng ở đây (đặc biệt trả cho các bình luận, rất thú vị) và ở đây , và sau đó là một bình luận thêm về những thứ này ở đây . Là một trong những ý kiến trong các liên kết đầu tiên chỉ ra:

The Best of BeerAvocate (BA) ... sử dụng ước tính Bayes:

thứ hạng có trọng số (WR) = (v / (v + m)) × R + (m / (v + m)) × C

trong đó:
R = đánh giá trung bình cho bia
v = số đánh giá cho bia
m = đánh giá tối thiểu cần có để được liệt kê (hiện tại là 10)
C = giá trị trung bình trên toàn danh sách (hiện là 2,5)

— Karl
nguồn

2

Một nhược điểm của phương pháp Bia Advocate là nó không tính đến sự biến đổi. Tuy nhiên, tôi thích dòng suy nghĩ này cho ý tưởng giới hạn chia buồn thấp hơn.

— Karl