Tại sao mọi người lại sử dụng thuật ngữ Trọng lượng của các bằng chứng và một cách khác biệt so với các thông tin lẫn nhau theo chiều hướng của Google?

Ở đây, "trọng lượng của bằng chứng" (WOE) là một thuật ngữ phổ biến trong các tài liệu khoa học và hoạch định chính sách được công bố, thường thấy nhất trong bối cảnh đánh giá rủi ro, được định nghĩa bởi:

w (e : h) = \log \frac{p (e | h)}{p (e | \bar{h})}

$w(e : h) = \log\frac{p(e|h)}{p(e|\overline{h})}$

trong đó là bằng chứng, là giả thuyết. $e$ $h$

Bây giờ, tôi muốn biết sự khác biệt chính với PMI (thông tin tương hỗ theo chiều)

p m i (e, h) = \log \frac{p (e, h)}{p (e) * p (h)}

$pmi(e,h)=\log\frac{p(e,h)}{p(e)*p(h)}$

probability bayesian mutual-information

— Charlie Epps
nguồn

Tôi tin rằng thuật ngữ này được đặt ra trong bài báo này: projecteuclid.org/,

— JohnRos

Mặc dù trông giống nhau, chúng là những thứ khá khác nhau. Hãy bắt đầu với những khác biệt chính.

$h$ là một cái gì đó khác nhau trong PMI và trong WOE
Lưu ý thuật ngữ trong PMI. Điều này ngụ ý rằng là một biến ngẫu nhiên mà bạn có thể tính xác suất. Đối với một người Bayes, điều đó không có vấn đề gì, nhưng nếu bạn không tin rằng các giả thuyết có thể có xác suất tiên nghiệm, bạn thậm chí không thể viết PMI cho giả thuyết và bằng chứng. Trong WOE, là một tham số của phân phối và các biểu thức luôn được xác định. $p(h)$ $h$ $h$
PMI là đối xứng, WOE không phải là
Trivally, . Tuy nhiên, không cần phải được xác định do thuật ngữ . Ngay cả khi nó là, nó nói chung không bằng . $pmi(e,h) = pmi(h,e)$ $w(h:e) = \log p(h|e)/p(h|\bar{e})$ $\bar{e}$ $w(e:h)$

Ngoài ra, WOE và PMI có những điểm tương đồng.

Trọng lượng của bằng chứng cho biết bao nhiêu bằng chứng nói lên sự ủng hộ của một giả thuyết. Nếu nó bằng 0, điều đó có nghĩa là nó không nói hay chống lại. Nó càng cao, nó càng xác nhận giả thuyết và càng thấp, nó càng xác nhận . $h$ $\bar{h}$

Thông tin lẫn nhau định lượng mức độ xảy ra của một sự kiện ( hoặc ) nói điều gì đó về sự xuất hiện của sự kiện khác. Nếu là 0, các sự kiện là độc lập và sự xuất hiện của cái này không nói gì về cái kia. Càng cao, chúng càng thường xuyên xảy ra và càng thấp thì chúng càng loại trừ lẫn nhau. $e$ $h$

Còn những trường hợp giả thuyết cũng là một biến ngẫu nhiên và cả hai tùy chọn đều hợp lệ thì sao? Ví dụ, trong giao tiếp qua kênh nhiễu nhị phân, giả thuyết là tín hiệu phát ra để giải mã và bằng chứng là tín hiệu nhận được. Giả sử xác suất lật là , vì vậy nếu bạn nhận được , WOE cho là . PMI, mặt khác, phụ thuộc vào khả năng phát ra . Bạn có thể xác minh rằng khi xác suất phát ra có xu hướng về 0, thì PMI có xu hướng là , trong khi đó có xu hướng là khi xác suất phát ra một $h$ $h$ $1/1000$ $1$ $1$ $\log 0.999/0.001 = 6.90$ $1$ $1$ $6.90$ $0$ $1$ có xu hướng . $1$

Hành vi nghịch lý này minh họa hai điều:

Không ai trong số họ phù hợp để đoán về sự phát xạ. Nếu xác suất phát ra giảm xuống dưới , thì khả năng phát xạ cao nhất là ngay cả khi nhận được . Tuy nhiên, đối với xác suất nhỏ phát ra cả WOE và PMI đều gần bằng . $1$ $1/1000$ $0$ $1$ $1$ $6.90$
PMI là một thông tin (của Shannon) về việc hiện thực hóa giả thuyết, nếu giả thuyết gần như chắc chắn, thì không có thông tin nào có được. WOE là bản cập nhật các tỷ lệ cược trước của chúng tôi , không phụ thuộc vào giá trị của các tỷ lệ cược đó.

— gui11aume
nguồn

Đây có thể là một điều công chứng, nhưng trong WMI, làm thế nào để bạn xác định mà không xác định ? Bạn không đi với ?

p (e | h)

$p(e|h)$

p (h)

$p(h)$

p (e | h) = \frac{p (e, h)}{p (h)}

$p(e|h) = \frac{p(e,h)}{p(h)}$

— Mike Battaglia

Tôi giả sử bạn có nghĩa là WOE. Hãy nghĩ về như là một tham số phân phối, ví dụ về phân phối Poisson. Trong trường hợp này chỉ là khả năng và bạn không cần xác định . Thật ra bạn không cần phải tin rằng nó có ý nghĩa gì cả.

h

$h$

p (e | h)

$p(e|h)$

p (h)

$p(h)$

— gui11aume