Có sự khác biệt nào giữa Người thường xuyên và Bayes về định nghĩa Khả năng sống không?

21

Một số nguồn cho biết chức năng khả năng không phải là xác suất có điều kiện, một số người cho rằng nó là. Điều này rất khó hiểu với tôi.

Theo hầu hết các nguồn tôi đã thấy, khả năng phân phối với tham số , phải là sản phẩm của các hàm khối lượng xác suất được cung cấp mẫu của : $\theta$ $n$ $x_i$

L (θ) = L (x_{1}, x_{2}, . . ., x_{n}; θ) = \prod_{i = 1}^{n} p (x_{i}; θ)

$L(\theta) = L(x_1,x_2,...,x_n;\theta) = \prod_{i=1}^n p(x_i;\theta)$

Ví dụ: trong Hồi quy logistic, chúng tôi sử dụng thuật toán tối ưu hóa để tối đa hóa hàm khả năng (Ước tính khả năng tối đa) để thu được các tham số tối ưu và do đó là mô hình LR cuối cùng. Với mẫu đào tạo mà chúng tôi giả định là độc lập với nhau, chúng tôi muốn tối đa hóa sản phẩm của xác suất (hoặc các hàm khối lượng xác suất chung). Điều này có vẻ khá rõ ràng với tôi. $n$

Theo Mối quan hệ giữa: Khả năng, xác suất có điều kiện và tỷ lệ thất bại , "khả năng không phải là xác suất và nó không phải là xác suất có điều kiện". Nó cũng đề cập, "khả năng là một xác suất có điều kiện chỉ trong sự hiểu biết về khả năng của Bayes, tức là, nếu bạn cho rằng là một biến ngẫu nhiên." $\theta$

Tôi đọc về những quan điểm khác nhau trong việc đối xử với một vấn đề học tập giữa người thường xuyên và Bayes.

Theo một nguồn tin, đối với suy luận Bayes, chúng ta có một tiên nghiệm , khả năng và chúng ta muốn có được , sử dụng định lý Bayes: $P(\theta)$ $P(X|\theta)$ $P(\theta|X)$

P (θ | X) = \frac{P (X | θ) \times P (θ)}{P (X)}

$P(\theta|X)=\dfrac{P(X|\theta) \times P(\theta)}{P(X)}$

Tôi không quen thuộc với suy luận Bayes. Làm thế nào mà phân phối dữ liệu quan sát có điều kiện trên các tham số của nó, cũng được gọi là khả năng? Trong Wikipedia , nó nói đôi khi nó được viết . Điều đó có nghĩa là gì? $P(X|\theta)$ $L(\theta|X)=p(X|\theta)$

Có sự khác biệt giữa định nghĩa của Thường xuyên và Bayes về khả năng ??

Cảm ơn.

CHỈNH SỬA:

Có nhiều cách khác nhau để giải thích định lý Bayes - giải thích Bayes và giải thích thường xuyên (Xem: Định lý Bayes - Wikipedia ).

— Tyler 将士归
nguồn

2

Hai thuộc tính chính của khả năng là (a) đó là hàm của cho một cụ thể chứ không phải theo cách khác, và (b) nó chỉ có thể được biết đến với hằng số tỷ lệ dương. Đây không phải là xác suất (có điều kiện hoặc theo cách khác), vì không cần tổng hợp hoặc tích hợp thành trên tất cả

θ

$\theta$

X

$X$

1

$1$

θ

$\theta$

— Henry

2

Xem số liệu thống kê.stackexchange.com / q / 224037 /35989

— Tim

24

Không có sự khác biệt trong định nghĩa - trong cả hai trường hợp, hàm khả năng là bất kỳ hàm nào của tham số tỷ lệ với mật độ lấy mẫu. Nói đúng ra, chúng tôi không yêu cầu khả năng bằng mật độ lấy mẫu; nó chỉ cần tỷ lệ thuận, cho phép loại bỏ các phần nhân không phụ thuộc vào các tham số.

Trong khi mật độ lấy mẫu được hiểu là một hàm của dữ liệu, có điều kiện dựa trên một giá trị được chỉ định của tham số, thì hàm khả năng được hiểu là một hàm của tham số cho một vectơ dữ liệu cố định. Vì vậy, trong trường hợp chuẩn của dữ liệu IID, bạn có:

L_{x} (θ) \propto \prod_{i = 1}^{n} p (x_{i} | θ) .

$L_\mathbf{x}(\theta) \propto \prod_{i=1}^n p(x_i|\theta).$

Trong thống kê Bayes, chúng ta thường biểu thị định lý Bayes ở dạng đơn giản nhất là:

π (θ | x) \propto π (θ) \cdot L_{x} (θ) .

$\pi (\theta|\mathbf{x}) \propto \pi(\theta) \cdot L_\mathbf{x}(\theta).$

Biểu thức này cho định lý của Bayes nhấn mạnh rằng cả hai yếu tố đa biến của nó là các hàm của tham số, là đối tượng quan tâm trong mật độ sau. (Kết quả tỷ lệ này xác định đầy đủ quy tắc, vì hậu thế là mật độ, và do đó, có một hằng số nhân duy nhất làm cho nó tích hợp với một.) Khi bạn chỉ ra trong bản cập nhật của mình, triết học Bayes và chủ nghĩa thường xuyên có các cấu trúc diễn giải khác nhau. Trong mô hình thường xuyên, tham số thường được coi là "hằng số cố định" và do đó, nó không được coi là thước đo xác suất. Do đó, những người thường xuyên từ chối sự phân bổ của phân phối trước hoặc sau cho tham số (để thảo luận thêm về những khác biệt về triết học và diễn giải, xem, ví dụ, O'Neill 2009 ).

— Phục hồi
nguồn

14

Hàm khả năng được xác định độc lập với hoặc trước mô hình thống kê được sử dụng để suy luận, như một hàm, (hoặc ), của tham số , hàm điều đó phụ thuộc vào hoặc được lập chỉ mục bởi (các) quan sát có sẵn cho suy luận này. Và cũng hoàn toàn phụ thuộc vào họ mô hình xác suất được chọn để thể hiện tính biến đổi hoặc tính ngẫu nhiên trong dữ liệu. Đối với một giá trị đã cho của cặp , giá trị của hàm này hoàn toàn giống với giá trị của mật độ của mô hình tại $-$ $-$ $L(\theta;x)$ $L(\theta|x)$ $\theta$ $-$ $-$ $x$ $(\theta,x)$ $x$ khi được lập chỉ mục với tham số . $\theta$ Mà thường được dịch thô sơ là "xác suất của dữ liệu".

Để trích dẫn nhiều nguồn có thẩm quyền và lịch sử hơn là một câu trả lời trước đó trên diễn đàn này,

"Chúng tôi có thể thảo luận về xác suất xuất hiện của các đại lượng có thể quan sát được. ... liên quan đến bất kỳ giả thuyết nào có thể được đề xuất để giải thích những quan sát này. Chúng tôi không thể biết gì về xác suất của các giả thuyết. [Chúng tôi] có thể xác định khả năng. của các giả thuyết. bằng cách tính toán từ các quan sát: để nói về khả năng .. của một đại lượng quan sát được không có ý nghĩa gì. " RA Fisher, Trên `` lỗi có thể xảy ra '' của một hệ số tương quan suy ra từ một mẫu nhỏ . Metron 1, 1921, tr.25

và

"Những gì chúng ta có thể tìm thấy từ một mẫu là khả năng của bất kỳ giá trị cụ thể nào của r, nếu chúng ta xác định khả năng là một đại lượng tỷ lệ với xác suất, từ một quần thể có giá trị cụ thể là r, một mẫu có giá trị quan sát được là r , nên lấy. " RA Fisher, Trên `` lỗi có thể xảy ra '' của một hệ số tương quan suy ra từ một mẫu nhỏ . Metron 1, 1921, tr.24

trong đó đề cập đến một tỷ lệ mà Jeffreys (và tôi) thấy không cần thiết:

".. khả năng, một thuật ngữ thuận tiện được giới thiệu bởi Giáo sư RA Fisher, mặc dù trong cách sử dụng của ông, đôi khi nó được nhân với một yếu tố không đổi. Đây là xác suất của các quan sát đưa ra thông tin ban đầu và giả thuyết được thảo luận." H. Jeffreys, Lý thuyết xác suất , 1939, tr.28

Để trích dẫn nhưng một câu từ mục lịch sử xuất sắc đến chủ đề của John Aldrich (Khoa học thống kê, 1997):

"Fisher (1921, trang 24) đã phác thảo lại những gì ông đã viết vào năm 1912 về xác suất nghịch đảo, phân biệt giữa các phép toán có thể được thực hiện theo mật độ xác suất và khả năng: khả năng không phải là một yếu tố khác biệt", nó không thể được tích hợp . " J. Aldrich, RA Fisher và việc tạo ra khả năng tối đa 1912 - 1922 , 1997 , tr.9

Khi áp dụng phương pháp Bayes, hàm khả năng không thay đổi về hình dạng hoặc trong tự nhiên. Nó tiếp tục là mật độ tại được lập chỉ mục bởi . Các tính năng bổ sung là, kể từ khi cũng được ưu đãi với một mô hình xác suất, phân phối trước, mật độ tại được lập chỉ mục bởi cũng có thể được hiểu như là một điều kiện mật độ, có điều kiện trên thực hiện : trong một mô hình Bayes , một nhận thức về được tạo ra từ trước đó, với mật độ , sau đó nhận ra , $x$ $\theta$ $\theta$ $x$ $\theta$ $\theta$ $\theta$ $\pi(\cdot)$ $X$ $x$ , được sản xuất từ phân phối có mật độ , được lập chỉ mục bởi . Nói cách khác, và liên quan đến biện pháp thống trị phù hợp, cặp có mật độ khớp từ đó người ta lấy được mật độ sau của , nghĩa là, mật độ có điều kiện của , có điều kiện khi nhận ra là cũng được biểu thị dưới dạng được tìm thấy kể từ Jeffreys (1939) . $L(\theta|\cdot)$ $\theta$ $(\theta,x)$

π (θ) \times L (θ | x)

$\pi(\theta) \times L(\theta|x)$

θ

$\theta$

θ

$\theta$

x

$x$

π (θ | x) \propto π (θ) \times L (θ | x)

$\pi(\theta|x) \propto \pi(\theta) \times L(\theta|x)$

posterior \propto prior \times likelihood

$\text{posterior} \propto \text{prior} \times \text{likelihood}$

Lưu ý: Tôi thấy sự khác biệt được đưa ra trong phần giới thiệu của trang Wikipedia về các chức năng khả năng giữa khả năng thường xuyên và Bayesian gây nhầm lẫn và không cần thiết, hoặc chỉ đơn giản là sai vì phần lớn các nhà thống kê Bayes hiện tại không sử dụng khả năng thay thế cho xác suất sau. Tương tự, "sự khác biệt" được chỉ ra trong trang Wikipedia về Định lý Bayes nghe có vẻ khó hiểu hơn bất kỳ điều gì khác, vì định lý này là một tuyên bố xác suất về sự thay đổi của điều kiện, độc lập với mô hình hoặc từ ý nghĩa của một tuyên bố xác suất. ( Theo tôi , nó là một định nghĩa hơn là một định lý!)

— Tây An
nguồn

1

Như một phụ lục nhỏ:

Cái tên "Khả năng" hoàn toàn sai lệch, bởi vì có rất nhiều ý nghĩa khác nhau có thể có. Không chỉ là "ngôn ngữ bình thường", mà còn trong thống kê. Tôi có thể nghĩ về ít nhất ba biểu thức khác nhau, nhưng thậm chí có liên quan, tất cả đều được gọi là Khả năng; thậm chí trong sách giáo khoa.

Điều đó nói rằng, khi lấy định nghĩa nhân của Likabilities, không có gì trong đó sẽ biến nó thành bất kỳ loại xác suất nào theo nghĩa của định nghĩa (ví dụ tiên đề) của nó. Đó là một con số có giá trị thực sự. Bạn có thể làm rất nhiều thứ để tính toán hoặc liên hệ nó với một xác suất (lấy tỷ số, tính toán linh mục và hậu thế, v.v.) - nhưng về bản thân nó không có ý nghĩa gì về mặt xác suất.

Câu trả lời đã ít nhiều bị lỗi thời bởi câu trả lời nhiều thông tin và toàn diện hơn của Xi'an. Nhưng theo yêu cầu, một số định nghĩa sách giáo khoa về Khả năng:

hàm $L (\vec{x}; \theta)$
phương pháp tìm giá trị 'tốt nhất' của tham số trong điều kiện một số dữ liệu được quan sát (Maximum L., Minimal L., log-L., v.v.) $\theta$
tỷ lệ của các giá trị Khả năng cho các linh mục khác nhau (ví dụ: trong một nhiệm vụ phân loại) ... và hơn nữa, các ý nghĩa khác nhau mà người ta có thể cố gắng gán cho việc sử dụng (ab) các yếu tố đã nói ở trên.

— yêu
nguồn

1

Đây sẽ là một câu trả lời tốt hơn nhiều nếu bạn có thể thêm các ví dụ / tài liệu tham khảo để tôi có thể nghĩ ra ít nhất ba biểu thức khác nhau, nhưng thậm chí có liên quan, tất cả đều được gọi là Khả năng; thậm chí trong sách giáo khoa .

— kjetil b halvorsen