Làm thế nào để xác định chặt chẽ khả năng?


30

Khả năng có thể được xác định theo một số cách, ví dụ:

  • hàm từ ánh xạ sang tức là .LLΘ×XΘ×X(θ,x)(θ,x)L(θx)L(θx)L:Θ×XRL:Θ×XR

  • hàm ngẫu nhiênL(X)L(X)

  • chúng tôi cũng có thể xem xét rằng khả năng chỉ là khả năng "được quan sát"L(xobs)L(xobs)

  • trong thực tế, khả năng mang lại thông tin về chỉ đến một hằng số nhân, do đó chúng ta có thể coi khả năng đó là một lớp chức năng tương đương chứ không phải là một hàmθθ

Một câu hỏi khác xảy ra khi xem xét thay đổi tham số: if là tham số hóa mới mà chúng ta thường biểu thị bằng khả năng trên và đây không phải là đánh giá của hàm trước đó tại nhưng tại . Đây là một ký hiệu lạm dụng nhưng hữu ích có thể gây khó khăn cho người mới bắt đầu nếu nó không được nhấn mạnh.ϕ=θ2ϕ=θ2L(ϕx)L(ϕx)ϕϕL(x)L(x)θ2θ2ϕϕ

Định nghĩa nghiêm ngặt yêu thích của bạn về khả năng là gì?

Ngoài ra, làm thế nào để bạn gọi ? Tôi thường nói một cái gì đó như "khả năng trên khi được quan sát".L(θx)L(θx)θθxx

EDIT: Theo quan điểm của một số ý kiến ​​dưới đây, tôi nhận ra rằng tôi nên có trước bối cảnh. Tôi xem xét một mô hình thống kê được đưa ra bởi một họ tham số về mật độ đối với một số biện pháp thống trị, với mỗi được xác định trên không gian quan sát . Do đó, chúng tôi xác định và câu hỏi là " là gì?" (câu hỏi không phải là về một định nghĩa chung về khả năng){ f ( θ ) , θ Θ } f ( θ ) X L ( θ x ) = f ( x θ ) L{f(θ),θΘ}f(θ)XL(θx)=f(xθ)L


2
(1) Vì L ( θ | x ) d x = 1 cho tất cả θ , tôi tin rằng thậm chí hằng số trong L được xác định. (2) Nếu bạn nghĩ rằng các thông số như φθ như chỉ đơn thuần là tọa độ cho một đa dạng của phân phối, sau đó thay đổi tham số không có ý nghĩa toán học nội tại; nó chỉ đơn thuần là một sự thay đổi của mô tả. (3) loa Native English sẽ tự nhiên hơn nói "khả năng của θ " chứ không phải "trên." (4) Mệnh đề "khi x được quan sát" có những khó khăn về triết học, bởi vì hầu hết xL(θ|x)dx=1θLϕθ θxxsẽ không bao giờ được quan sát. Tại sao không chỉ nói "khả năng θ cho x "? θx
whuber

1
@whuber: Với (1), tôi không nghĩ hằng số được xác định rõ. Xem cuốn sách của ET Jaynes nơi ông viết: "khả năng đó không phải là xác suất vì sự bình thường hóa của nó là tùy ý."
Neil G

3
Bạn có vẻ khó hiểu hai loại bình thường hóa, Neil: Jaynes đã đề cập đến bình thường hóa bằng cách tích hợp trên θ , không phải x . θx
whuber

1
@whuber: Tôi không nghĩ rằng một yếu tố tỷ lệ sẽ quan trọng đối với ràng buộc Cramer-Rao vì việc thay đổi k sẽ thêm một lượng không đổi vào khả năng đăng nhập, sau đó biến mất khi lấy đạo hàm riêng. k
Neil G

1
Tôi đồng ý với Neil, tôi không thấy bất kỳ ứng dụng nào mà hằng số đóng vai trò
Stéphane Laurent

Câu trả lời:


13

Mục thứ ba của bạn là mục tôi thường thấy nhất được sử dụng như định nghĩa nghiêm ngặt.

Những người khác cũng thú vị (+1). Cụ thể, điều đầu tiên là hấp dẫn, với độ khó mà kích thước mẫu chưa được xác định (chưa) được xác định, việc xác định tập hợp "từ" sẽ khó khăn hơn.

Đối với tôi, trực giác cơ bản của khả năng là nó là một hàm của mô hình + các tham số của nó, không phải là hàm của các biến ngẫu nhiên (cũng là một điểm quan trọng cho mục đích giảng dạy). Vì vậy, tôi sẽ theo định nghĩa thứ ba.

Nguồn gốc của việc lạm dụng ký hiệu là tập hợp "từ" của khả năng là ẩn, thường không phải là trường hợp cho các chức năng được xác định rõ. Ở đây, cách tiếp cận nghiêm ngặt nhất là nhận ra rằng sau khi biến đổi, khả năng liên quan đến một mô hình khác. Nó tương đương với mô hình đầu tiên, nhưng vẫn là một mô hình khác. Vì vậy, ký hiệu khả năng sẽ hiển thị mô hình mà nó đề cập đến (bằng cách đăng ký hoặc khác). Tôi không bao giờ làm điều đó tất nhiên, nhưng để giảng dạy, tôi có thể.

Cuối cùng, để phù hợp với câu trả lời trước của tôi, tôi nói rằng "khả năng θ " trong công thức cuối cùng của bạn.θ


Cảm ơn. Và lời khuyên của bạn về sự bình đẳng lên đến hằng số nhân là gì?
Stéphane Laurent

Cá nhân tôi thích gọi nó lên khi cần thiết hơn là mã cứng trong định nghĩa. Và nghĩ rằng đối với việc lựa chọn / so sánh mô hình, sự bình đẳng 'hằng số nhân' này không giữ được.
gui11aume

Được. Liên quan đến tên, bạn có thể tưởng tượng bạn thảo luận về các khả năng L ( q | x 1 )L ( q | x 2 ) cho hai quan sát possibles. Trong trường hợp này, bạn có thể nói "khả năng θ khi x 1 quan sát", hay "khả năng θ cho quan sát x 1 ", hay cái gì khác? L(θx1)L(θx2)θx1θx1
Stéphane Laurent

1
Nếu bạn tái parametrize mô hình của bạn với φ = θ 2 bạn thực sự tính toán khả năng như một phần của chức năng L ( . | X ) g ( . ) Nơi g ( y ) = y 2 . Trong trường hợp này, g đi từ R đến R + nên tập hợp định nghĩa (được đề cập là tập hợp "từ") của khả năng không còn giống nhau. Bạn có thể gọi hàm đầu tiên L 1 ( . | )ϕ=θ2L(.|x)g(.)g(y)=y2gRR+L1(.|)L 2 thứ hai ( . | ) vì chúng không cùng chức năng. L2(.|)
gui11aume

1
Làm thế nào là định nghĩa thứ ba nghiêm ngặt? Và vấn đề với kích thước mẫu không được xác định là gì? Kể từ khi chúng ta nói P ( x 1 , x 2 , ... , x n | q ) , mà tự nhiên mang đến cho đời một sigma đại số tương ứng cho các không gian mẫu Ω n , tại sao chúng ta không thể có định nghĩa song song cho các khả năng? P(x1,x2,,xnθ)Ωn
Neil G

8

Tôi nghĩ rằng tôi sẽ gọi nó là một cái gì đó khác nhau. Khả năng là mật độ xác suất cho x được quan sát với giá trị của tham số θ được biểu thị dưới dạng hàm θ cho x đã cho . Tôi không chia sẻ quan điểm về hằng số tỷ lệ. Tôi nghĩ rằng chỉ đến chơi vì tối đa hóa bất kỳ hàm số đơn điệu về khả năng cung cấp cho các giải pháp tương tự cho θ . Vì vậy, bạn có thể phát huy tối đa c L ( q | x ) cho c > 0 hoặc khác hàm số đơn điệu như log ( L ( q | x ) )θθxθcL(θx)c>0log(L(θx)) mà thường được thực hiện.


4
Không chỉ tối đa hóa: tỷ lệ tăng cũng xuất hiện trong khái niệm tỷ lệ khả năng, và trong công thức Bayes cho thống kê Bayes
Stéphane Laurent

Tôi nghĩ ai đó có thể hạ thấp câu trả lời của tôi. Nhưng tôi nghĩ khá hợp lý khi xác định khả năng theo cách này là một xác suất dứt khoát mà không gọi bất cứ điều gì mang tính chất ủng hộ cho nó là khả năng. @ StéphaneLaurent nhận xét của bạn về các linh mục, nếu chức năng có thể tích hợp được, nó có thể được chuẩn hóa thành mật độ. Hậu thế tỷ lệ thuận với khả năng lần trước. Vì hậu thế phải được chuẩn hóa bằng cách chia cho một tích phân, chúng tôi cũng có thể chỉ định trước là phân phối. Nó chỉ là trong một ý nghĩa mở rộng rằng điều này được áp dụng cho các linh mục không đúng.
Michael R. Chernick

1
Tôi không hoàn toàn chắc chắn tại sao ai đó sẽ downvote câu trả lời này. Có vẻ như bạn đang cố gắng trả lời nhiều hơn cho câu hỏi thứ hai của OP hơn câu hỏi thứ nhất. Có lẽ điều đó không hoàn toàn rõ ràng với những độc giả khác. Chúc mừng. :)
Đức hồng y

@Michael Tôi không thấy cần phải hạ câu trả lời này quá. Liên quan đến các linh mục không thông tin (đây là một cuộc thảo luận khác và) Tôi dự định sẽ mở ra một sự bất đồng mới về chủ đề này. Tôi sẽ không làm điều đó sớm, vì tôi không dễ dàng với tiếng Anh, và điều này đối với tôi khó viết "triết học" hơn toán học.
Stéphane Laurent

1
@Stephane: Nếu bạn thích, vui lòng xem xét việc đăng câu hỏi khác của bạn trực tiếp bằng tiếng Pháp. Chúng tôi có một số người nói tiếng Pháp bản địa trên trang web này có thể sẽ giúp dịch bất kỳ đoạn nào bạn không chắc chắn. Điều này bao gồm một người điều hành và cũng là biên tập viên của một trong những tạp chí thống kê tiếng Anh hàng đầu. Tôi mong chờ câu hỏi.
Đức hồng y

6

Đây là một nỗ lực tại một định nghĩa toán học nghiêm ngặt:

Hãy X : Ohm R n là một vector ngẫu nhiên mà thừa nhận một mật độ f ( x | q 0 ) đối với một số biện pháp với ν trên R n , nơi cho q q , { f ( x | q ) : q q } là một gia đình có mật độ trên R n liên quan đến ν . Sau đó, với bất kỳ x R n, chúng tôi xác định hàm khả năngX:ΩRnf(x|θ0)νRnθΘ{f(x|θ):θΘ}RnνxRnL ( θ | x ) f ( x | θ ) ; cho rõ ràng, đối với mỗi x ta có L x : q R . Người ta có thể nghĩ đến x là một tiềm năng đặc biệt x o b s θ 0 là giá trị "true" của θ .L(θ|x)f(x|θ)xLx:ΘRxxobsθ0θ

Một vài quan sát về định nghĩa này:

  1. Định nghĩa là đủ mạnh mẽ để xử lý rời rạc, liên tục, và các loại gia đình của các bản phân phối cho X .X
  2. Chúng tôi đang xác định khả năng ở cấp độ của hàm mật độ thay vì ở mức phân phối xác suất / biện pháp. Lý do cho điều này là mật độ không phải là duy nhất, và hóa ra đây không phải là tình huống mà người ta có thể vượt qua các lớp mật độ tương đương mà vẫn an toàn: các lựa chọn mật độ khác nhau dẫn đến các MLE khác nhau trong trường hợp liên tục. Tuy nhiên, trong hầu hết các trường hợp, có một sự lựa chọn tự nhiên của gia đình mật độ được mong muốn về mặt lý thuyết.
  3. Tôi giống như định nghĩa này vì nó kết hợp các biến ngẫu nhiên chúng tôi đang làm việc với vào nó và, do thiết kế từ chúng ta phải gán cho chúng một phân phối, chúng tôi cũng đã chặt chẽ xây dựng trong các khái niệm về giá trị "true nhưng không rõ" của θ , đây ký hiệu θ 0 . Đối với tôi, là một sinh viên, thách thức của việc khắt khe về khả năng luôn làm thế nào để dung hòa các khái niệm thế giới thực sự của một "true" θ và "quan sát" x o b s với toán học; điều này thường không được giúp đỡ bởi những người chỉ dẫn cho rằng những khái niệm này không chính thức nhưng sau đó quay lại và sử dụng chúng một cách chính thức khi chứng minh mọi thứ! Vì vậy, chúng tôi đối phó với họ chính thức trong định nghĩa này.θθ0θxobs
  4. EDIT: Of course, we are free to consider the usual random elements L(θ|X)L(θ|X), S(θ|X)S(θ|X) and I(θ|X)I(θ|X) and under this definition with no real problems with rigor as long as you are careful (or even if you aren't if that level of rigor is not important to you).

4
@Xi'an Let X1,...,XnX1,...,Xn be uniform on (0,θ)(0,θ). Consider two densities f1(x)=θ1I[0<x<θ]f1(x)=θ1I[0<x<θ] versus f2(x)=θ1I[0xθ]f2(x)=θ1I[0xθ]. Both f1f1 and f2f2 are valid densities for U(0,θ)U(0,θ), but under f2f2 the MLE exists and is equal to maxXimaxXi whereas under f1f1 we have jf1(xj|maxxi)=0jf1(xj|maxxi)=0 so that if you set ˆθ=maxXiθ^=maxXi you end up with a likelihood of 00, and in fact the MLE doesn't exist because supθjf1(x|θ)supθjf1(x|θ) is not attained for any θθ.
guy

1
@guy: thanks, I did not know about this interesting counter-example.
Xi'an

1
@guy You said that supθjf1(xj|θ)supθjf1(xj|θ) is not attained for any θθ. However, this supremum is attained at some point as I show below: L1(θ;x)=nj=1f1(xj|θ)=θnnj=1I(0<xj<θ)=θnI(0<M<θ),
L1(θ;x)=j=1nf1(xj|θ)=θnj=1nI(0<xj<θ)=θnI(0<M<θ),
where M=max{x1,,xn}M=max{x1,,xn}. I am assuming that xj>0xj>0 for all j=1,,nj=1,,n. It is simple to see that 1. L1(θ;x)=0L1(θ;x)=0, if 0<θM0<θM; 2. L1(θ;x)=θnL1(θ;x)=θn, if M<θ<M<θ<. Continuing...
Alexandre Patriota

1
@guy: continuing... That is, L1(θ;x)[0,Mn),
L1(θ;x)[0,Mn),
for all θ(0,)θ(0,). We do not have a maximum value but the supremum does exist and it is given by supθ(0,)L1(θ,x)=Mn
supθ(0,)L1(θ,x)=Mn
and the argument is M=argsupθ(0,)L1(θ;x).
M=argsupθ(0,)L1(θ;x).
Perhaps, the usual asymptotics are not applied here and some other tolls should be employed. But, the supremum of L1(θ;x)L1(θ;x) does exist or I missed some very basic concepts.
Alexandre Patriota

1
@AlexandrePatriota The supremum exists, obviously, but it is not attained by the function. I'm not sure what the notation argsup is supposed to mean - there is no argument of L1(θ;x) which yields the sup because L1(θ;M)=0. The MLE is defined as any ˆθ which attains the sup (typically) and no ˆθ attains the sup here. Obviously there are ways around it - the asymptotics we appeal to require that there exists a likelihood with such-and-such properties, and there does. It's just L2 rather than L1.
guy
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.