Mục nhập Wikipedia về khả năng có vẻ mơ hồ


26

Tôi có một câu hỏi đơn giản liên quan đến "xác suất có điều kiện" và "Khả năng". (Tôi đã khảo sát câu hỏi này ở đây nhưng vô ích.)

Nó bắt đầu từ trang Wikipedia về khả năng . Họ nói điều này:

Các khả năng của một tập hợp các giá trị tham số, θ , được đưa ra kết quả , tương đương với xác suất của những kết quả quan sát được những giá trị tham số, đó làx

L(θx)=P(xθ)

Tuyệt quá! Vì vậy, trong tiếng Anh, tôi đọc nó như sau: "Khả năng các tham số bằng theta, được cung cấp dữ liệu X = x, (phía bên trái), bằng với xác suất của dữ liệu X bằng x, cho rằng các tham số bằng với theta ". ( Bold là của tôi để nhấn mạnh ).

Tuy nhiên, không ít hơn 3 dòng sau trên cùng một trang, mục nhập Wikipedia sau đó tiếp tục nói:

Đặt là biến ngẫu nhiên có phân phối xác suất rời rạc tùy thuộc vào tham số . Sau đó là chức năngXpθ

L(θx)=pθ(x)=Pθ(X=x),

được coi là một hàm của , được gọi là hàm khả năng (của , với kết quả của biến ngẫu nhiên ). Đôi khi xác suất của giá trị của đối với giá trị tham số được viết là ; thường được viết là để nhấn mạnh rằng điều này khác với không phải là xác suất có điều kiện , bởi vì là một tham số và không phải là biến ngẫu nhiên.θθxXxXθP(X=xθ)P(X=x;θ)L(θx)θ

( Bold là của tôi để nhấn mạnh ). Vì vậy, trong trích dẫn đầu tiên, chúng tôi được nói theo nghĩa đen về xác suất có điều kiện của , nhưng ngay sau đó, chúng tôi được thông báo rằng đây thực sự KHÔNG phải là xác suất có điều kiện và thực tế nên được viết là ?P(xθ)P(X=x;θ)

Vì vậy, cái nào là? Có khả năng thực sự bao hàm một xác suất có điều kiện ala trích dẫn đầu tiên? Hay nó bao hàm một xác suất đơn giản ala trích dẫn thứ hai?

CHỈNH SỬA:

Dựa trên tất cả các câu trả lời hữu ích và sâu sắc mà tôi đã nhận được cho đến nay, tôi đã tóm tắt câu hỏi của mình - và sự hiểu biết của tôi cho đến nay:

  • Trong tiếng Anh , chúng tôi nói rằng: "Khả năng là một chức năng của các tham số, GIVEN dữ liệu được quan sát." Trong toán học , chúng tôi viết nó là: .L(Θ=θX=x)
  • Khả năng không phải là một xác suất.
  • Khả năng không phải là một phân phối xác suất.
  • Khả năng không phải là một khối xác suất.
  • Tuy nhiên, khả năng là bằng tiếng Anh : "Một sản phẩm của phân phối xác suất, (trường hợp liên tục) hoặc sản phẩm có khối lượng xác suất, (trường hợp riêng biệt), tại đó và được tham số hóa bởi . " Trong toán học , sau đó chúng ta viết nó như sau: (trường hợp liên tục, trong đó là PDF) và là (trường hợp rời rạc, trong đó là khối lượng xác suất). Điều đáng nói ở đây là không có điểm nào ở đâyX=xΘ=θL(Θ=θX=x)=f(X=x;Θ=θ)f
    L(Θ=θX=x)=P(X=x;Θ=θ)P là một xác suất có điều kiện đi vào chơi ở tất cả.
  • Trong định lý Bayes, chúng ta có: . Thông thường, chúng tôi được thông báo rằng " là một khả năng", tuy nhiên, điều này không đúng , vì có thể là một biến ngẫu nhiên thực tế. Do đó, điều chúng ta có thể nói chính xác là thuật ngữ chỉ đơn giản là "tương tự" với khả năng. (?) [Về điều này tôi không chắc chắn.]P(Θ=θX=x)=P(X=xΘ=θ) P(Θ=θ)P(X=x)P(X=xΘ=θ)ΘP(X=xΘ=θ)

EDIT II:

Dựa trên câu trả lời của @amoebas, tôi đã rút ra nhận xét cuối cùng của anh ấy. Tôi nghĩ rằng nó khá là sáng tỏ, và tôi nghĩ rằng nó làm sáng tỏ sự tranh chấp chính mà tôi đang có. (Nhận xét về hình ảnh).

nhập mô tả hình ảnh ở đây

EDIT III:

Tôi cũng đã mở rộng các bình luận @amoebas cho trường hợp Bayesian:

nhập mô tả hình ảnh ở đây


Bạn đã có hai câu trả lời hay nhưng cũng kiểm tra số liệu thống kê.stackexchange.com / q / 12451/35989
Tim

@Tim Liên kết tuyệt vời cảm ơn! Thật không may, tôi vẫn chưa rõ ràng về các câu hỏi cụ thể mà tôi có Khả năng tìm kiếm và xác suất có điều kiện (?) Mà nó dường như gợi ra. Về điều này, tôi vẫn chưa rõ ràng. : - /
Creatron

2
"Cho rằng" không phải lúc nào cũng có nghĩa là xác suất có điều kiện. Đôi khi cụm từ này chỉ đơn thuần là một nỗ lực để chỉ ra những biểu tượng nào được dự định sửa trong tính toán hoặc theo khái niệm.
whuber

2
Một số người thực sự sử dụng một quy ước đánh máy như vậy với dấu chấm phẩy. Có rất nhiều, rất nhiều quy ước: đăng ký, siêu ký tự, v.v. Bạn thường phải tìm hiểu ý nghĩa của ai đó từ ngữ cảnh hoặc mô tả văn bản của họ về những gì họ đang làm.
whuber

4
Khi là một biến thiên ngẫu nhiên (nghĩa là một giá trị được coi là phát sinh từ biến ngẫu nhiên ), không có gì trong định nghĩa về khả năng thay đổi. Nó vẫn là một khả năng. Về mặt logic, điều này không khác gì nói rằng một con bướm màu xanh vẫn là một con bướm. Về mặt kỹ thuật, nó đặt ra các vấn đề về phân phối chung của . Rõ ràng phân phối chung này phải được xác định rõ và được hưởng một số "điều kiện đều đặn" trước khi bạn có thể xác định khả năng với xác suất có điều kiện. θΘΘx
whuber

Câu trả lời:


18

Tôi nghĩ rằng điều này phần lớn là không cần thiết chia tóc.

Có điều kiện xác của x cho y được định nghĩa cho hai biến ngẫu nhiên XY có các giá trị xy . Nhưng chúng ta cũng có thể nói về khả năng P ( x | θ ) của x cho θ nơi θ không phải là một biến ngẫu nhiên nhưng một tham số.P(xy)P(X=xY=y)xyXYxyP(xθ)xθθ

Lưu ý rằng trong cả hai trường hợp, cùng một thuật ngữ "cho" và các ký hiệu tương tự có thể được sử dụng. Không cần phải phát minh ra các ký hiệu khác nhau. Hơn nữa, cái được gọi là "tham số" và cái được gọi là "biến ngẫu nhiên" có thể phụ thuộc vào triết lý của bạn, nhưng toán học không thay đổi.P()

Báo giá đầu tiên từ Wikipedia nói rằng theo định nghĩa. Ở đây người ta cho rằng θ là một tham số. Các trích dẫn thứ hai nói rằng L ( q | x )không một xác suất có điều kiện. Điều này có nghĩa là nó không phải là xác suất có điều kiện của θ đã cho x ; và thực sự nó không thể được, vì θ được giả định là một tham số ở đây.L(θx)=P(xθ)θL(θx)θxθ

Trong bối cảnh định lý Bayes cảablà các biến ngẫu nhiên. Nhưng chúng ta vẫn có thể gọiP(ba) là"khả năng" (củaa), và bây giờ nó cũng là mộtxác suất có điều kiệntrung thực(củab). Thuật ngữ này là tiêu chuẩn trong thống kê Bayes. Không ai nói nó là một cái gì đó "tương tự" với khả năng; mọi người chỉ đơn giản gọi nó là khả năng.

P(ab)=P(ba)P(a)P(b),
abP(ba)ab

Lưu ý 1: Trong đoạn cuối cùng, rõ ràng là một xác suất có điều kiện của b . Như một khả năng L ( a b ), nó được coi là một hàm của a ; nhưng nó không phải là phân phối xác suất (hoặc xác suất có điều kiện) của a ! Tích phân của nó trên a không nhất thiết phải bằng 1 . (Trong khi đó tích phân của nó trên b không.)P(ba)bL(ab)aaa1b

Lưu ý 2: Đôi khi khả năng được xác định theo hằng số tỷ lệ tùy ý, như được nhấn mạnh bởi @MichaelLew (vì hầu hết thời gian mọi người quan tâm đến tỷ lệ khả năng ). Điều này có thể hữu ích, nhưng không phải lúc nào cũng được thực hiện và không cần thiết.


Xem thêm Sự khác biệt giữa "khả năng" và "xác suất" là gì? và đặc biệt là câu trả lời của @ whuber ở đó.

Tôi hoàn toàn đồng ý với câu trả lời của @ Tim trong chủ đề này (+1).


1
Vì vậy, một khả năng, có thể trên thực tế, bằng, một xác suất có điều kiện (theo đoạn cuối cùng), có đúng không? Đây là những gì tôi đang cố gắng để vuông. Ví dụ, trong một trong những câu trả lời đầu tiên, chúng tôi có: " Đầu tiên, khả năng nói chung không thể bằng xác suất của dữ liệu được cung cấp giá trị tham số, vì khả năng chỉ được xác định theo hằng số tỷ lệ . Fisher rõ ràng về điều đó khi anh ấy khả năng chính thức hóa đầu tiên (Fisher, 1922). "Đây là những gì tôi đang cố gắng bình phương. Là khả năng - khả năng - có thể bằng với một xác suất có điều kiện?
Creatron

@Creatron Tôi đã thêm hai Ghi chú vào câu trả lời của mình. Họ có làm rõ không?
amip nói rằng Phục hồi Monica

1
Liên quan đến Note1: Vì phân phối xác suất có điều kiện và vì L ( a | b ) không thể là phân phối xác suất, nên đối với tôi, cách "chính xác nhất" chúng ta có thể viết phương trình cho khả năng trong bối cảnh này là: L ( a | b ) P ( b | a ) , và không phải, L ( a | b ) = P ( b | a )P(b|a) L(a|b) L(a|b)P(b|a)L(a|b)=P(b|a). (Tôi biết rằng trong tối ưu hóa điều này không tạo ra sự khác biệt, nhưng tôi đang cố gắng tìm hiểu tính chính xác của khả năng ở đây). Là sự hiểu biết của tôi phải không? Cảm ơn vì sự kiên nhẫn của bạn.
Creatron

1
@Creatron Tôi nghĩ bạn đang nhầm lẫn một số vấn đề khác biệt ở đây. Tôi giả sử rằng bạn đang nói về cài đặt định lý Bayes (đó là điều mà Note 1 của tôi đề cập đến), trong đó cả b là các sự kiện ngẫu nhiên. Được rồi, vì vậy P ( b | a ) là phân phối xác suất có điều kiện của b đã cho a . Nhưng L ( a | b ) được coi là một hàm của a , không phải của b ! Và nó không phải là phân phối xác suất của mộtabP(b|a)baL(a|b)ababởi vì nó không tổng hợp thành một. Điều này không liên quan gì đến vấn đề hoặc tỷ lệ (đó là Note 2 của tôi). Tôi nghĩ rằng chúng ta có thể viết . L(a|b)=P(b|a)
amip nói Hồi phục lại

1
Amip, cảm ơn bạn !! Bạn đã giúp tôi không thắt nút những khái niệm đó cho tôi, cảm ơn bạn rất nhiều !! :) Tôi chỉ "mở rộng" sơ đồ cho trường hợp Bayes và sẽ đánh giá cao phản hồi của bạn để đảm bảo rằng tôi cũng hiểu chính xác điều đó. Tôi cũng đã chấp nhận câu trả lời của bạn. Một lần nữa, ồ ạt!
Creatron

10

Bạn đã có hai câu trả lời hay, nhưng vì nó vẫn chưa rõ ràng cho bạn hãy để tôi cung cấp một câu trả lời. Khả năng được định nghĩa là

L(θ|X)=P(X|θ)=ifθ(xi)

vì vậy chúng tôi có khả năng của một số giá trị tham số cho các dữ liệu X . Nó tương đương với sản phẩm có khối lượng xác suất (trường hợp rời rạc), hoặc các chức năng mật độ (trường hợp liên tục) f của X parametrized bởi θ . Khả năng là một chức năng của tham số cho dữ liệu. Lưu ý rằng θ là một tham số mà chúng tôi đang tối ưu hóa, không phải là một biến ngẫu nhiên, vì vậy nó không có bất kỳ xác suất nào được gán cho nó. Đây là lý do tại sao Wikipedia nói rằng việc sử dụng ký hiệu xác suất có điều kiện có thể không rõ ràng, vì chúng tôi không điều chỉnh bất kỳ biến ngẫu nhiên nào. Mặt khác, trong khung cảnh Bayes θθ XfXθθθ một biến ngẫu nhiên và không có phân phối, vì vậy chúng ta có thể làm việc với nó như với bất kỳ biến ngẫu nhiên nào khác và chúng ta có thể sử dụng định lý Bayes để tính xác suất sau. Khả năng Bayes vẫn là khả năng vì nó cho chúng ta biết về khả năng dữ liệu được cung cấp tham số, sự khác biệt duy nhất là tham số được coi là biến ngẫu nhiên.

Nếu bạn biết lập trình, bạn có thể nghĩ hàm khả năng là hàm quá tải trong lập trình. Một số ngôn ngữ lập trình cho phép bạn có chức năng hoạt động khác nhau khi được gọi bằng các loại tham số khác nhau. Nếu bạn nghĩ về khả năng như thế này, thì theo mặc định, nếu lấy làm đối số một số giá trị tham số và trả về khả năng dữ liệu được cung cấp tham số này. Mặt khác, bạn có thể sử dụng hàm như vậy trong cài đặt Bayes, trong đó tham số là biến ngẫu nhiên, điều này dẫn đến cơ bản là cùng một đầu ra, nhưng điều đó có thể được hiểu là xác suất có điều kiện vì chúng ta đang điều chỉnh biến ngẫu nhiên. Trong cả hai trường hợp, hàm này hoạt động như nhau, chỉ cần bạn sử dụng nó và hiểu nó một chút khác nhau.

// likelihood "as" overloaded function
Default Likelihood(Numeric theta, Data X) {
    return f(X, theta); // returns likelihood, not probability
}

Bayesian Likelihood(RandomVariable theta, Data X) {
    return f(X, theta); // since theta is r.v., the output can be
                        // understood as conditional probability
}

Hơn nữa, bạn sẽ không tìm thấy người Bayes viết định lý Bayes như

P(θ|X)L(θ|X)P(θ)

... Điều này sẽ rất khó hiểu . Đầu tiên, bạn sẽ có trên cả hai mặt của phương trình và nó sẽ không có nhiều ý nghĩa. Thứ hai, chúng tôi có sau khả năng để biết về khả năng θ dữ liệu nhất định (tức là điều mà bạn muốn biết trong khuôn khổ likelihoodist, nhưng bạn không khi θ không phải là một biến ngẫu nhiên). Thứ ba, kể từ khi θ là một biến ngẫu nhiên, chúng ta có và viết nó như khả năng có điều kiện. các Lθ|XθθθLchú thích thường được dành riêng cho thiết lập khả năng. Khả năng tên được sử dụng theo quy ước trong cả hai cách tiếp cận để biểu thị điều tương tự: xác suất quan sát các thay đổi dữ liệu đó được đưa ra cho mô hình của bạn và tham số như thế nào.


Cảm ơn Tim, điều này rất hữu ích trong sự hiểu biết của tôi. Tôi đã củng cố lại câu hỏi của mình (xem trong phần "Chỉnh sửa") với kiến ​​thức mới này. Tôi tin rằng tất cả những gì tôi viết bây giờ là đúng. Nắm giữ duy nhất là điểm cuối cùng trong danh sách về quy tắc Bayes. Nếu bạn có thể nhìn tôi sẽ đánh giá cao điều đó rất nhiều. Cảm ơn một lần nữa, và có một upvote!
Creatron

1
@Creatron Tôi đã thêm một câu bình luận viên đạn cuối cùng của bạn vào câu trả lời của tôi, hy vọng nó đã rõ ràng - nếu không xin vui lòng nói như vậy.
Tim

θP(X=x;θ)P(X=x;θ)
Creatron

(2/2) Tuy nhiên, trong trường hợp thứ hai, (2), khi bối cảnh là cài đặt Bayes, thì trong trường hợp này, các tham số của chúng tôi là một rv, và trong trường hợp này, khả năng IS thực tế là phân phối xác suất có điều kiện, của P (b | a), tuy nhiên, được viết là L (a | b). Vì vậy, trong trường hợp 'mặc định' đầu tiên, khả năng chắc chắn KHÔNG phải là phân phối xác suất, (nhưng bằng với giá trị xác suất), tuy nhiên trong trường hợp thứ hai, khả năng IS thực tế là phân phối xác suất và phân phối xác suất đó là một điều kiện xác suất, được viết là P (b | a). Điều này có đúng không?
Creatron

2
Cảm ơn Tim, mặc dù tôi đã chấp nhận câu trả lời của @amoeba, bài viết của bạn thực sự giúp tôi hiểu khái niệm đa dạng và sâu sắc này, đặc biệt là sự tương tự của bạn với các chức năng quá tải. Cám ơn bạn một lần nữa!
Creatron

7

Có một số khía cạnh của các mô tả phổ biến về khả năng là không chính xác hoặc bỏ qua chi tiết theo cách gây ra sự nhầm lẫn. Mục nhập Wikipedia là một ví dụ tốt.

x

Thứ hai, sẽ hữu ích hơn khi nghĩ về chức năng khả năng hơn là khả năng cá nhân. Hàm khả năng là một hàm của (các) giá trị tham số mô hình, hiển nhiên từ biểu đồ của hàm khả năng. Một biểu đồ như vậy cũng giúp dễ dàng thấy rằng khả năng cho phép xếp hạng các giá trị khác nhau của (các) tham số theo mô hình dự đoán dữ liệu khi được đặt thành các giá trị tham số đó. Việc khám phá các hàm khả năng làm cho vai trò của dữ liệu và các giá trị tham số rõ ràng hơn nhiều, theo ý kiến ​​của tôi, hơn là có thể kết hợp các công thức khác nhau được đưa ra trong câu hỏi ban đầu.

Việc sử dụng tỷ lệ các cặp khả năng trong hàm khả năng là mức độ hỗ trợ tương đối được cung cấp bởi dữ liệu quan sát cho các giá trị tham số (trong mô hình) gặp phải vấn đề về hằng số tỷ lệ không xác định do các hằng số này hủy bỏ theo tỷ lệ. Điều quan trọng cần lưu ý là các hằng số sẽ không nhất thiết phải hủy theo tỷ lệ khả năng đến từ các hàm khả năng riêng biệt (nghĩa là từ các mô hình thống kê khác nhau).

Cuối cùng, rất hữu ích khi nói rõ về vai trò của mô hình thống kê vì khả năng được xác định bởi mô hình thống kê cũng như dữ liệu. Nếu bạn chọn một mô hình khác, bạn sẽ có một hàm khả năng khác và bạn có thể nhận được hằng số tỷ lệ không xác định khác nhau.

Do đó, để trả lời câu hỏi ban đầu, khả năng không phải là xác suất của bất kỳ loại nào. Họ không tuân theo các tiên đề xác suất của Kolmogorov và họ đóng một vai trò khác nhau trong hỗ trợ thống kê suy luận từ các vai trò của các loại xác suất khác nhau.

  1. Fisher (1922) Trên nền tảng toán học của thống kê http://rsta.royalsocietypublishing.org/content/222/594-604/309

1
P(a|b)=P(b|a)P(a)P(b)P(b|a)P(a)

@Creatron 1. Không, tuyên bố không nhất thiết là sai. Hàm khả năng là cách bằng chứng đưa vào tính toán và kết hợp nó với phân phối xác suất mang lại phân phối xác suất. Trong bối cảnh đó, hằng số tỷ lệ không xác định không phải là vấn đề bởi vì sau tích của hàm khả năng và phân phối xác suất trước được chia tỷ lệ tùy ý để nó có tích phân đơn vị chính xác (hoặc tổng).
Michael Lew

2. Trong bối cảnh tìm ước tính khả năng tối đa, sẽ không có sự khác biệt dù bạn sử dụng xác suất có điều kiện hay khả năng, vì chúng sẽ tỷ lệ thuận với toàn bộ phạm vi của các giá trị tham số.
Michael Lew

1
L(θ|x)=P(x|θ)L(θ|x)P(x|θ)

Cảm ơn Micheal Lew, bài viết của bạn đã thực sự giúp tôi hiểu vấn đề này, được đánh giá cao.
Creatron

7

L(θ)θθθ

θL(θ)=,
L(θ)=1θdθΘ
ΘL(θ)dθ=.
L
θP(xθ) and NOT xP(xθ).

2
+1 và cảm ơn vì đã chỉnh sửa câu trả lời của tôi; Tôi quên rằng \midtồn tại.
amip nói phục hồi Monica

@amoeba: Rất vui được giúp đỡ.
Michael Hardy

3

"Tôi đọc điều này là:" Khả năng các tham số bằng theta, được cung cấp dữ liệu X = x, (phía bên trái), bằng với xác suất của dữ liệu X bằng x, với điều kiện là các tham số bằng theta ". (Bold là của tôi để nhấn mạnh)."

P(x|θ)L(θ|x)

θθ=θθ


P(a|b)L(θ|x)=P(X=x;θ)

P(a|b)=P(b|a) P(a)P(b)P(b|a)

L(θ|x):=P(x|θ)θxLLθ

L(θ|x)P(x|θ)

Điều này có ý nghĩa hơn với tôi bây giờ. Cảm ơn sự giúp đỡ ban đầu của bạn, @Alex.
Creatron
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.