Ví dụ trong đó phương pháp của khoảnh khắc có thể đánh bại khả năng tối đa trong các mẫu nhỏ?


57

Công cụ ước tính khả năng tối đa (MLE) là không hiệu quả; chúng tôi thấy kết quả thực tế ở chỗ họ thường làm tốt hơn ước tính phương pháp khoảnh khắc (MoM) (khi chúng khác nhau), ngay cả ở các cỡ mẫu nhỏ

Ở đây 'tốt hơn' có nghĩa là theo nghĩa thông thường có phương sai nhỏ hơn khi cả hai đều không thiên vị, và lỗi bình phương trung bình (MSE) thường nhỏ hơn nói chung.

Câu hỏi, xảy ra, tuy nhiên:

Có trường hợp nào MoM có thể đánh bại MLE - trên MSE , giả sử - trong các mẫu nhỏ?

(trong đó đây không phải là một tình huống kỳ quặc / thoái hóa - tức là có điều kiện để ML tồn tại / được giữ hiệu quả không có triệu chứng)

Một câu hỏi tiếp theo sau đó sẽ là 'nhỏ có thể lớn đến mức nào?' - đó là, nếu có ví dụ, có một số vẫn giữ ở cỡ mẫu tương đối lớn, thậm chí có thể là tất cả các cỡ mẫu hữu hạn?

[Tôi có thể tìm thấy một ví dụ về công cụ ước tính thiên vị có thể đánh bại ML trong các mẫu hữu hạn, nhưng đó không phải là MoM.]


Lưu ý thêm vào hồi cứu: trọng tâm của tôi ở đây chủ yếu là về trường hợp đơn biến (đó thực sự là sự tò mò tiềm ẩn của tôi đến từ đâu). Tôi không muốn loại trừ các trường hợp đa biến, nhưng tôi cũng không đặc biệt muốn đi lạc vào các cuộc thảo luận mở rộng về ước tính của James-Stein.


Không vấn đề gì; nó xảy ra với tất cả chúng ta, và với tôi thường xuyên hơn bạn. Tôi có lẽ nên đặt nó ngay trong tiêu đề, nhưng nó đã khá dài.
Glen_b

@cardinal Tôi đã làm cho các tiêu chí rõ ràng hơn bây giờ.
Glen_b

3
Có nhiều cách khác trong đó phương pháp của khoảnh khắc có thể "đánh bại" khả năng tối đa. Ví dụ, trong các vấn đề ước tính hỗn hợp Bình thường, MLE nổi tiếng là khó tính trong khi MoM thì không.
vqv

@vqv Chắc chắn đó là ý nghĩa trong đó MoM có thể thích hợp hơn.
Glen_b

2
Vì tôi có xu hướng đồng cảm với người plebeian, tôi thông báo rằng trong một mẫu của iid Đồng phục , công cụ ước tính MoM cho có cùng MSE với người bán hàng (MLE) nếu cỡ mẫu là , hoặc ... Nhưng than ôi, với kích thước mẫu lớn hơn, nhà thông thái khẳng định chủ quyền của mình một lần nữa ...θ 1 2U(0,θ)θ12
Alecos Papadopoulos

Câu trả lời:


36

Điều này có thể được coi là ... gian lận, nhưng công cụ ước tính OLS là công cụ ước tính MoM. Xem xét một đặc tả hồi quy tuyến tính tiêu chuẩn (với các hồi quy ngẫu nhiên , do đó cường độ là có điều kiện trên ma trận hồi quy) và một mẫu có kích thước . Suy ra công cụ ước tính OLS của phương sai của thuật ngữ lỗi. Nó không thiên vịnKnσ 2s2σ2

MSE(s2)=Var(s2)=2σ4nK

Bây giờ hãy xem xét MLE của . Nó làσ2

σ^ML2=nKns2
Có sai lệch không. MSE của nó là

MSE(σ^ML2)=Var(σ^ML2)+[E(σ^ML2)σ2]2
Biểu thị MLE theo OLS và sử dụng biểu thức cho phương sai của công cụ ước tính OLS mà chúng tôi thu được

MSE( σ 2 M L )=2(n-K)+K2

MSE(σ^ML2)=(nKn)22σ4nK+(Kn)2σ4
MSE(σ^ML2)=2(nK)+K2n2σ4

Chúng tôi muốn các điều kiện (nếu chúng tồn tại) theo đó

MSE(σ^ML2)>MSE(s2)2(nK)+K2n2>2nK

2(nK)2+K2(nK)>2n2
2n24nK+2K2+nK2K3>2n2
Đơn giản hóa chúng ta thu được Có khả thi cho phương trình bậc hai này trong để thu được giá trị âm không? Chúng tôi cần sự phân biệt đối xử của nó là tích cực. Ta có là một bậc hai, trong lần này. Phân biệt đối xử này là nên để tính đến thực tế rằng là một số nguyên. Nếu
4n+2K+nKK2>0K2(n+2)K+4n<0
K
ΔK=(n+2)216n=n2+4n+416n=n212n+4
nn 1 , n 2 = 12 ±
Δn=12242=816
nnΔK<0K
n1,n2=12±8162=6±42n1,n2={1,12}
nnnằm trong khoảng này, chúng ta có và bậc hai trong luôn có giá trị dương, vì vậy chúng ta không thể có được bất đẳng thức cần thiết. Vì vậy: chúng ta cần một cỡ mẫu lớn hơn 12.ΔK<0K

Cho rằng điều này gốc rễ cho -quadratic làK

K1,K2=(n+2)±n212n+42=n2+1±(n2)2+13n

Nhìn chung: cho cỡ mẫu và số hồi quy như vậy chúng tôi có Đối với ví dụ, nếu thì người ta thấy rằng số hồi quy phải là để giữ bất đẳng thức. Điều thú vị là với số lượng nhỏ các biến hồi quy, MLE tốt hơn theo nghĩa MSE.K K 1< K < K 2M S E ( σ 2 M L ) > M S E ( s 2 ) n = 50 5 < K < 47n>12KK1<K<K2

MSE(σ^ML2)>MSE(s2)
n=505<K<47

PHỤ LỤC
Phương trình cho gốc rễ của -quadratic có thể được viếtK

K1,K2=(n2+1)±(n2+1)24n
mà bằng cách nhìn nhanh, tôi nghĩ rằng hàm dưới sẽ luôn luôn là (có tính đến hạn chế "giá trị nguyên") - vì vậy MLE sẽ có hiệu quả MSE khi các biến hồi quy lên đến cho bất kỳ cỡ mẫu (hữu hạn) nào.55

1
Chà, điều kiện thời điểm lý thuyết đi kèm với đặc tả là . Ở mức độ mà chúng tôi sử dụng tương tự mẫu của làm công cụ ước tính cho , tôi sẽ nói rằng đó là. E(uuX)=σ2E(uuX)σ2
Alecos Papadopoulos

1
@AlecosPapadopoulos "mẫu tương tự", tôi sẽ tranh luận, sẽ lấy cho mẫu số, tức là nó sẽ giống như MLE. Nếu bạn đang thay thế kỳ vọng lý thuyết bằng kỳ vọng thực nghiệm, làm thế nào bạn có thể kết thúc với trong mẫu số? Các điều kiện khoảnh khắc tự nhiên nên và và thay thế với kỳ vọng kinh nghiệm sẽ giúp bạn có trong mẫu số. nnKE[Xk(YXβ)]=0E[(YXβ)2]=σ2n
anh chàng

2
@guy Đó là một nhận xét hợp lệ. Đối với tôi, vấn đề tự do luôn luôn là vấn đề khái niệm với Phương pháp Khoảnh khắc. Sau khi tất cả các "mẫu tương tự" không phải là một khái niệm nghiêm ngặt, và nó được liên kết với các khái niệm về "có nghĩa là mẫu" thông qua sự tương ứng tiệm cận của cái sau với giá trị kỳ vọng -Nhưng trong một khuôn khổ tiệm cận, chia thay vì không không làm cho bất kỳ sự khác biệt. Đối với tôi nó vẫn là một vấn đề chưa được giải quyết. Mặt khác, công cụ ước tính khả năng tối đa được xác định cụ thể bằng các phương trình khả năng và nó có thể hoặc không trùng với MoM. (CONTD)nKn
Alecos Papadopoulos

1
@guy (CONTD). Vì vậy, những gì bạn đang nói là công cụ ước tính MoM của phương sai lỗi trong trường hợp này là công cụ ước tính khả năng tối đa, và do đó, kết quả tôi nhận được so sánh không phải MoM với ML, mà là ML với OLS (sau này là một danh mục riêng). .. vâng, có thể lập luận rằng đây là (cũng) trường hợp.
Alecos Papadopoulos

1
Có bất kỳ điều gì như "công cụ ước tính" MoM không? Đó là "một" công cụ ước tính MoM, phải không? Nếu bạn lấy số dư OLS được chọn ngẫu nhiên, , thì . Đó là một điều kiện thời điểm hoàn toàn tốt, phải không? Và nó mang lại một MoM hoàn toàn tốt cho , phải không? Cụ thể, công cụ ước tính OLS thông thường, . eE(e2)=nknσ2σ2s2
Hóa đơn

17

"Trong bài viết này, chúng tôi xem xét một tham số mới của phân phối Inverse Gaussian hai tham số. Chúng tôi tìm các công cụ ước tính cho các tham số của phân phối Gaussian nghịch đảo bằng phương pháp mô men và phương pháp khả năng tối đa. Sau đó, chúng tôi so sánh hiệu quả của công cụ ước tính cho hai phương pháp dựa trên sai lệch trung bình và sai số trung bình (MSE) của chúng. Chúng tôi sửa các giá trị của tham số, chạy mô phỏng và báo cáo MSE và độ lệch cho ước tính thu được bằng cả hai phương pháp. Kết luận là khi kích thước mẫu là 10, phương pháp của các khoảnh khắc có xu hướng hiệu quả hơn phương pháp khả năng tối đa để ước tính cả hai tham số (lambda và theta) .... " đọc thêm

Ngày nay, người ta không thể (hoặc không nên) tin tưởng mọi thứ được xuất bản, nhưng trang cuối cùng của bài báo có vẻ đầy hứa hẹn. Tôi hy vọng địa chỉ này ghi chú của bạn được thêm vào hồi tưởng.


1
Nếu tôi hiểu chính xác các bảng trong bài viết đó thì tôi tin rằng bạn đã đúng - ở một số kích thước mẫu, phương pháp khoảnh khắc (MME trong bài báo) dường như vượt xa MLE, ít nhất là về ước tính . (Tuy nhiên, một số kết quả mô phỏng có vẻ hơi kỳ quặc - ví dụ: sự tiến triển của cột ngoài cùng bên phải trên p49.) - đây là một kết quả rất thú vị đối với tôi vì Inverse Gaussian được sử dụng tương đối rộng rãi. θ
Glen_b

Tìm tốt Ngay cả khi kết quả bị tắt, thật tuyệt khi thấy yêu cầu được nêu rõ ràng ở đâu đó.
Ben Ogorek

Bài viết mà tôi liên kết đến trong câu trả lời của mình có nguồn gốc từ một luận án MSc, có sẵn toàn bộ ở đây: digi.l Library.tu.ac.th/thesis/st/0415 Xem ví dụ phần 5.2 cho tuyên bố liên quan. Sáu người, bao gồm một giáo sư đầy đủ, đã ký tắt kết quả này.
Ngủ đông

14

Theo các mô phỏng được điều hành bởi Hosking và Wallis (1987) trong "Ước tính tham số và lượng tử cho phân phối Pareto tổng quát", các tham số của phân phối Pareto tổng quát hai tham số được đưa ra bởi cdf

G(y)={1(1+ξyβ)1ξξ01exp(yβ)ξ=0

hoặc mật độ

g(y)={1β(1+ξyβ)11ξξ01βexp(yβ)ξ=0

đáng tin cậy hơn nếu chúng được ước tính bằng phương tiện MOM trái ngược với ML. Điều này giữ cho các mẫu có kích thước lên tới 500. Ước tính MOM được đưa ra bởi

β^=y¯y2¯2(y2¯(y¯)2)

ξ^=12(y¯)22(y2¯(y¯)2)

với

y2¯=1ni=1nyi2

Bài viết chứa khá nhiều lỗi chính tả (ít nhất là phiên bản của tôi). Kết quả cho các công cụ ước tính MOM được đưa ra ở trên được cung cấp bởi "heropup" trong chủ đề này .


Cảm ơn vì điều đó. Đó là một trong những ví dụ đơn giản nhất về những gì tôi đang tìm kiếm cho đến nay.
Glen_b

13

Tôi tìm thấy một:

Đối với phân bố công suất theo cấp số nhân không đối xứng

f(x)=ασΓ(1α)κ1+κ2exp(κασα[(xθ)+]α1κασα[(xθ)]α),α,σ,κ>0, and x,θR

kết quả mô phỏng của Delicado và Goria (2008) cho thấy rằng đối với một số tham số ở cỡ mẫu nhỏ hơn, phương pháp mô men có thể vượt trội hơn MLE; ví dụ trong trường hợp đã biết- ở cỡ mẫu 10, khi ước tính , MSE của MoM nhỏ hơn so với ML.θσ

Delicado và Goria (2008),
Một so sánh mẫu nhỏ về khả năng, khoảnh khắc và phương pháp L-tối đa cho phân bố công suất theo hàm mũ không đối xứng,
Tạp chí thống kê tính toán & phân tích dữ liệu
Tập 52 Số 3, tháng 1, trang 1661-1673

(cũng xem http://www-eio.upc.es/~delicado/my-public-files/LmomAEP.pdf )


13

Phương pháp khoảnh khắc (MM) có thể đánh bại cách tiếp cận khả năng tối đa (ML) khi có thể chỉ định một số khoảnh khắc dân số. Nếu phân phối không xác định, các công cụ ước tính ML sẽ không nhất quán.

Giả sử những khoảnh khắc hữu hạn và các quan sát iid, MM có thể cung cấp các công cụ ước tính tốt với các đặc tính tiệm cận đẹp.

Ví dụ: Đặt là mẫu iid của , trong đó là hàm mật độ xác suất không xác định. Xác định các khoảnh khắc thứ và cho rằng sự quan tâm là để ước tính ra thời điểm .X1,,XnXff:RR+νk=Rxkf(x)dxkν4

Đặt , sau đó bằng cách giả sử rằng , định lý giới hạn trung tâm đảm bảo rằng trong đó " " có nghĩa là "hội tụ trong phân phối đến" . Hơn nữa, theo định lý của Slutsky,Xk¯=1ni=1nXikν8<

n(X4¯ν4)dN(0,ν8ν42),
d

n(X4¯ν4)X8¯X4¯2dN(0,1)
kể từ (xác suất hội tụ).X8¯X4¯2Pν8ν42

Nghĩa là, chúng ta có thể rút ra các kết luận (gần đúng) cho bằng cách sử dụng phương pháp tiếp cận khoảnh khắc (đối với các mẫu lớn), chúng ta chỉ cần đưa ra một số giả định về các thời điểm quan tâm của dân số. Ở đây, các ước tính khả năng tối đa không thể được xác định mà không biết hình dạng của . fν4f

Một nghiên cứu mô phỏng:

Yêu nước và cộng sự. (2009) đã tiến hành một số nghiên cứu mô phỏng để xác minh tỷ lệ loại bỏ các thử nghiệm giả thuyết trong mô hình lỗi-biến. Kết quả cho thấy phương pháp MM tạo ra tỷ lệ lỗi theo giả thuyết null gần với mức danh nghĩa hơn so với ML cho các mẫu nhỏ.

Ghi chú lịch sử:

Phương pháp của những khoảnh khắc được đề xuất bởi K. Pearson vào năm 1894 "Những đóng góp cho lý thuyết tiến hóa toán học". Phương pháp khả năng tối đa đã được RA Fisher đề xuất vào năm 1922 "Trên nền tảng toán học của thống kê lý thuyết". Cả hai bài báo được xuất bản trong các giao dịch triết học của Hiệp hội Hoàng gia Luân Đôn, sê-ri A.

Tài liệu tham khảo:

Ngư dân, RA (1922). Trên nền tảng toán học của thống kê lý thuyết, các giao dịch triết học của Hiệp hội Hoàng gia Luân Đôn, sê-ri A, 222, 309-368.

Patriota, AG, Bolfarine, H, de Fidel, M (2009). Mô hình lỗi biến cấu trúc không đồng nhất với lỗi phương trình, Phương pháp thống kê 6 (4), 408-423 ( pdf )

Pearson, K (1894). Đóng góp cho Lý thuyết tiến hóa toán học, Giao dịch triết học của Hiệp hội Hoàng gia Luân Đôn, sê-ri A, 185, 71-110.


1
Câu trả lời của bạn nghe có vẻ thú vị. Bạn có thể mở rộng về nó một chút không? Tôi không chắc là tôi thấy.
Glen_b

@Glen_b xin vui lòng, xác minh nếu bổ sung cuối cùng của tôi giúp bạn.
Alexandre Patriota

Cảm ơn vì điều đó; Tôi tin rằng tôi thấy những gì bạn đang nhận được.
Glen_b

OK, đó là một nhận xét chung nhưng tôi nghĩ rằng nó trả lời câu hỏi của bạn. Nếu bạn cung cấp tổng số thông tin về hành vi dữ liệu thì cách tiếp cận ML hoàn toàn vượt trội so với phương pháp MM. Trong bài báo [1] chúng tôi tiến hành một số nghiên cứu mô phỏng để xác minh tỷ lệ loại bỏ của các thử nghiệm giả thuyết trong một mô hình lỗi-biến. Kết quả cho thấy phương pháp MM tạo ra tỷ lệ lỗi theo giả thuyết null gần với mức danh nghĩa hơn so với ML cho các mẫu nhỏ. [1] ime.usp.br/~patriota/STAMET-D-08-00113-revised-v2.pdf
Alexandre Patriota

Đây là một ví dụ không điển hình của phương pháp khoảnh khắc (MoM). MoM thường được triển khai trong các vấn đề ước lượng tham số, trong đó có một nhóm phân phối tham số được xác định rõ. Mặt khác, bạn có thể xác định ước tính khả năng tối đa không theo tỷ lệ ở đây. Hàm phân phối theo kinh nghiệm, giả sử F-hat, là ước tính khả năng tối đa không theo tỷ lệ của hàm phân phối chưa biết F. Xem xét khoảnh khắc thứ 4 là chức năng của F, MLE không tính toán của khoảnh khắc thứ 4 là khoảnh khắc thứ 4 của mũ F . Điều này giống như khoảnh khắc thứ 4 mẫu.
vqv

5

Các nguồn bổ sung có lợi cho MOM:

Hồng, HP và W. Ye. 2014. Phân tích tải trọng tuyết cực lớn cho Canada bằng cách sử dụng hồ sơ độ sâu tuyết . Nguy cơ tự nhiên 73 (2): 355-371.

Việc sử dụng MML có thể đưa ra dự đoán không thực tế nếu kích thước mẫu nhỏ (Hosking et al. 1985; Martin và Stedinger 2000).


Martins, ES và JR Stedinger. 2000. Công cụ ước lượng lượng tử cực trị có khả năng tổng quát hóa tối đa cho dữ liệu thủy văn . Nghiên cứu tài nguyên nước 36 (3): 737-744.

Trừu tượng:

Phân phối ba giá trị cực trị (GEV) đã tìm thấy ứng dụng rộng rãi để mô tả lũ lụt hàng năm, lượng mưa, tốc độ gió, độ cao sóng, độ sâu tuyết và các cực đại khác. Các nghiên cứu trước đây cho thấy các công cụ ước tính khả năng tối đa mẫu nhỏ (MLE) của các tham số là không ổn định và khuyến nghị các công cụ ước tính mô men L. Nhiều nghiên cứu gần đây cho thấy phương pháp ước lượng lượng tử có thời gian −0,25 <<0,30 sai số trung bình bình phương nhỏ hơn so với L khoảnh khắc và MLE. Việc kiểm tra hành vi của MLE trong các mẫu nhỏ chứng minh rằng các giá trị vô lý của tham số hình dạng GEV κ có thể được tạo ra. Việc sử dụng phân phối trước Bayes để hạn chế κ giá trị trong phạm vi hợp lý về mặt thống kê / vật lý trong phân tích khả năng tối đa tổng quát (GML) đã loại bỏ vấn đề này.

Trong phần Giới thiệu và Đánh giá Văn học, họ trích dẫn các bài báo bổ sung kết luận rằng MOM trong một số trường hợp vượt trội hơn MLE (một lần nữa mô hình hóa giá trị cực đoan), ví dụ

Hosking et al. [1985a] cho thấy các công cụ ước tính tham số MLE mẫu nhỏ rất không ổn định và khuyến nghị các công cụ ước tính mô men xác suất (PWM) tương đương với công cụ ước tính mô men L [Hosking, 1990]. [...]

Hosking et al. [1985a] đã chỉ ra rằng các ước lượng có trọng số xác suất (PM) hoặc ước lượng L (LM) tương đương cho phân phối GEV tốt hơn các công cụ ước tính khả năng tối đa (MLE) về độ lệch và phương sai cho kích thước mẫu thay đổi từ 15 đến 100. Gần đây, Madsen và cộng sự. [1997a] đã chỉ ra rằng các công cụ ước lượng lượng tử phương pháp (MOM) có RMSE nhỏ hơn (ror-mean-Squareer ror) nhỏ hơn cho -0,25 <K <0,30 so với LM và MLE khi ước tính sự kiện 100 năm cho cỡ mẫu 10-50 . MLE chỉ được ưu tiên khi K> 0,3 và cỡ mẫu khiêm tốn (n> = 50).

K (kappa) là tham số hình dạng của GEV.

giấy tờ xuất hiện trong dấu ngoặc kép:

Hosking J, Wallis J, Wood E (1985) Ước tính phân bố giá trị cực trị tổng quát theo phương pháp xác suất theo trọng số . Kỹ thuật 27: 251 Từ261.

Madsen, H., PF Rasmussen và D. Rosbjerg (1997) So sánh các phương pháp chuỗi tối đa hàng năm và chuỗi thời gian một phần để mô hình hóa các sự kiện thủy văn cực đoan , 1, Mô hình tại chỗ, Resour Water. Độ phân giải, 33 (4), 747-758.

Hosking, JRM, L-khoảnh khắc: Phân tích và ước tính phân phối bằng cách sử dụng kết hợp tuyến tính của thống kê đơn hàng , JR Stat. Sóc., Ser. B, 52, 105-124, 1990.


Ngoài ra, tôi có cùng kinh nghiệm như đã kết luận trong các bài viết trên, trong trường hợp mô hình hóa các sự kiện cực đoan với cỡ mẫu nhỏ và vừa (<50-100 là điển hình) MLE có thể cho kết quả không thực tế, mô phỏng cho thấy MOM mạnh mẽ hơn và có RMSE nhỏ hơn.


3

Trong quá trình trả lời: Ước tính các tham số cho nhị thức tôi tình cờ thấy bài báo này:

Ingram Olkin, A John Petkau, James V Zidek: So sánh các công cụ ước tính N cho Phân phối nhị thức. Jasa 1981.

trong đó đưa ra một ví dụ trong đó phương pháp của các khoảnh khắc, ít nhất là trong một số trường hợp, đánh bại khả năng tối đa. Vấn đề là ước tính trong phân phối nhị thức trong đó cả hai tham số đều không xác định. Ví dụ, nó xuất hiện trong việc cố gắng ước tính sự phong phú của động vật khi bạn không thể nhìn thấy tất cả các loài động vật và xác suất nhìn thấy cũng không rõ.Bin ( N , p ) pNBin(N,p)p


Một điều rất hay về ví dụ này là việc truyền đạt tình huống rất đơn giản - nhiều người đã quen thuộc với nhị thức (ít nhất là trong khái niệm, nếu không phải luôn luôn có tên).
Glen_b
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.