Điều này có thể được coi là ... gian lận, nhưng công cụ ước tính OLS là công cụ ước tính MoM. Xem xét một đặc tả hồi quy tuyến tính tiêu chuẩn (với các hồi quy ngẫu nhiên , do đó cường độ là có điều kiện trên ma trận hồi quy) và một mẫu có kích thước . Suy ra công cụ ước tính OLS của phương sai của thuật ngữ lỗi. Nó không thiên vịnKnσ 2s2σ2
MSE(s2)=Var(s2)=2σ4n−K
Bây giờ hãy xem xét MLE của . Nó làσ2
σ^2ML=n−Kns2
Có sai lệch không. MSE của nó là
MSE(σ^2ML)=Var(σ^2ML)+[E(σ^2ML)−σ2]2
Biểu thị MLE theo OLS và sử dụng biểu thức cho phương sai của công cụ ước tính OLS mà chúng tôi thu được
⇒MSE( σ 2 M L )=2(n-K)+K2
MSE(σ^2ML)=(n−Kn)22σ4n−K+(Kn)2σ4
⇒MSE(σ^2ML)=2(n−K)+K2n2σ4
Chúng tôi muốn các điều kiện (nếu chúng tồn tại) theo đó
MSE(σ^2ML)>MSE(s2)⇒2(n−K)+K2n2>2n−K
⇒2(n−K)2+K2(n−K)>2n2
2n2−4nK+2K2+nK2−K3>2n2
Đơn giản hóa chúng ta thu được
Có khả thi cho phương trình bậc hai này trong để thu được giá trị âm không? Chúng tôi cần sự phân biệt đối xử của nó là tích cực. Ta có
là một bậc hai, trong lần này. Phân biệt đối xử này là
nên
để tính đến thực tế rằng là một số nguyên. Nếu
−4n+2K+nK−K2>0⇒K2−(n+2)K+4n<0
KΔK=(n+2)2−16n=n2+4n+4−16n=n2−12n+4
nn 1 , n 2 = 12 ± √Δn=122−42=8⋅16
nnΔK<0Kn1,n2=12±8⋅16−−−−√2=6±42–√⇒n1,n2={1,12}
nnnằm trong khoảng này, chúng ta có và bậc hai trong luôn có giá trị dương, vì vậy chúng ta không thể có được bất đẳng thức cần thiết. Vì vậy:
chúng ta cần một cỡ mẫu lớn hơn 12.ΔK<0K
Cho rằng điều này gốc rễ cho -quadratic làK
K1,K2=(n+2)±n2−12n+4−−−−−−−−−−√2=n2+1±(n2)2+1−3n−−−−−−−−−−−−√
Nhìn chung: cho cỡ mẫu và số hồi quy như vậy
chúng tôi có
Đối với ví dụ, nếu thì người ta thấy rằng số hồi quy phải là để giữ bất đẳng thức. Điều thú vị là với số lượng nhỏ các biến hồi quy, MLE tốt hơn theo nghĩa MSE.K ⌈ K 1 ⌉ < K < ⌊ K 2 ⌋ M S E ( σ 2 M L ) > M S E ( s 2 ) n = 50 5 < K < 47n>12K⌈K1⌉<K<⌊K2⌋
MSE(σ^2ML)>MSE(s2)
n=505<K<47
PHỤ LỤC
Phương trình cho gốc rễ của -quadratic có thể được viếtK
K1,K2=(n2+1)±(n2+1)2−4n−−−−−−−−−−−−√
mà bằng cách nhìn nhanh, tôi
nghĩ rằng hàm dưới sẽ luôn luôn là (có tính đến hạn chế "giá trị nguyên") - vì vậy MLE sẽ có hiệu quả MSE khi các biến hồi quy lên đến cho bất kỳ cỡ mẫu (hữu hạn) nào.
55