Tại sao chúng ta sử dụng công thức độ lệch chuẩn sai lệch và sai lệch cho của phân phối bình thường?

Tôi cảm thấy hơi sốc khi lần đầu tiên tôi thực hiện mô phỏng Monte Carlo phân phối bình thường và phát hiện ra rằng giá trị trung bình của độ lệch chuẩn từ mẫu, tất cả đều có cỡ mẫu chỉ , được chứng minh là ít hơn nhiều hơn, tức là trung bình lần, được sử dụng để tạo dân số. Tuy nhiên, điều này được biết đến, nếu hiếm khi nhớ, và tôi đã biết, hoặc tôi sẽ không thực hiện một mô phỏng. Đây là một mô phỏng.$100$$100$$n=2$$\sqrt{\frac{2}{\pi }}$$\sigma$

Dưới đây là một ví dụ để dự đoán khoảng tin cậy 95% của bằng 100, , ước tính của và .$N(0,1)$$n=2$$\text{SD}$$\text{E}(s_{n=2})=\sqrt\frac{\pi}{2}\text{SD}$

 RAND()   RAND()    Calc    Calc    
 N(0,1)   N(0,1)    SD      E(s)    
-1.1171  -0.0627    0.7455  0.9344  
 1.7278  -0.8016    1.7886  2.2417  
 1.3705  -1.3710    1.9385  2.4295  
 1.5648  -0.7156    1.6125  2.0209  
 1.2379   0.4896    0.5291  0.6632  
-1.8354   1.0531    2.0425  2.5599  
 1.0320  -0.3531    0.9794  1.2275  
 1.2021  -0.3631    1.1067  1.3871  
 1.3201  -1.1058    1.7154  2.1499  
-0.4946  -1.1428    0.4583  0.5744  
 0.9504  -1.0300    1.4003  1.7551  
-1.6001   0.5811    1.5423  1.9330  
-0.5153   0.8008    0.9306  1.1663  
-0.7106  -0.5577    0.1081  0.1354  
 0.1864   0.2581    0.0507  0.0635  
-0.8702  -0.1520    0.5078  0.6365  
-0.3862   0.4528    0.5933  0.7436  
-0.8531   0.1371    0.7002  0.8775  
-0.8786   0.2086    0.7687  0.9635  
 0.6431   0.7323    0.0631  0.0791  
 1.0368   0.3354    0.4959  0.6216  
-1.0619  -1.2663    0.1445  0.1811  
 0.0600  -0.2569    0.2241  0.2808  
-0.6840  -0.4787    0.1452  0.1820  
 0.2507   0.6593    0.2889  0.3620  
 0.1328  -0.1339    0.1886  0.2364  
-0.2118  -0.0100    0.1427  0.1788  
-0.7496  -1.1437    0.2786  0.3492  
 0.9017   0.0022    0.6361  0.7972  
 0.5560   0.8943    0.2393  0.2999  
-0.1483  -1.1324    0.6959  0.8721  
-1.3194  -0.3915    0.6562  0.8224  
-0.8098  -2.0478    0.8754  1.0971  
-0.3052  -1.1937    0.6282  0.7873  
 0.5170  -0.6323    0.8127  1.0186  
 0.6333  -1.3720    1.4180  1.7772  
-1.5503   0.7194    1.6049  2.0115  
 1.8986  -0.7427    1.8677  2.3408  
 2.3656  -0.3820    1.9428  2.4350  
-1.4987   0.4368    1.3686  1.7153  
-0.5064   1.3950    1.3444  1.6850  
 1.2508   0.6081    0.4545  0.5696  
-0.1696  -0.5459    0.2661  0.3335  
-0.3834  -0.8872    0.3562  0.4465  
 0.0300  -0.8531    0.6244  0.7826  
 0.4210   0.3356    0.0604  0.0757  
 0.0165   2.0690    1.4514  1.8190  
-0.2689   1.5595    1.2929  1.6204  
 1.3385   0.5087    0.5868  0.7354  
 1.1067   0.3987    0.5006  0.6275  
 2.0015  -0.6360    1.8650  2.3374  
-0.4504   0.6166    0.7545  0.9456  
 0.3197  -0.6227    0.6664  0.8352  
-1.2794  -0.9927    0.2027  0.2541  
 1.6603  -0.0543    1.2124  1.5195  
 0.9649  -1.2625    1.5750  1.9739  
-0.3380  -0.2459    0.0652  0.0817  
-0.8612   2.1456    2.1261  2.6647  
 0.4976  -1.0538    1.0970  1.3749  
-0.2007  -1.3870    0.8388  1.0513  
-0.9597   0.6327    1.1260  1.4112  
-2.6118  -0.1505    1.7404  2.1813  
 0.7155  -0.1909    0.6409  0.8033  
 0.0548  -0.2159    0.1914  0.2399  
-0.2775   0.4864    0.5402  0.6770  
-1.2364  -0.0736    0.8222  1.0305  
-0.8868  -0.6960    0.1349  0.1691  
 1.2804  -0.2276    1.0664  1.3365  
 0.5560  -0.9552    1.0686  1.3393  
 0.4643  -0.6173    0.7648  0.9585  
 0.4884  -0.6474    0.8031  1.0066  
 1.3860   0.5479    0.5926  0.7427  
-0.9313   0.5375    1.0386  1.3018  
-0.3466  -0.3809    0.0243  0.0304  
 0.7211  -0.1546    0.6192  0.7760  
-1.4551  -0.1350    0.9334  1.1699  
 0.0673   0.4291    0.2559  0.3207  
 0.3190  -0.1510    0.3323  0.4165  
-1.6514  -0.3824    0.8973  1.1246  
-1.0128  -1.5745    0.3972  0.4978  
-1.2337  -0.7164    0.3658  0.4585  
-1.7677  -1.9776    0.1484  0.1860  
-0.9519  -0.1155    0.5914  0.7412  
 1.1165  -0.6071    1.2188  1.5275  
-1.7772   0.7592    1.7935  2.2478  
 0.1343  -0.0458    0.1273  0.1596  
 0.2270   0.9698    0.5253  0.6583  
-0.1697  -0.5589    0.2752  0.3450  
 2.1011   0.2483    1.3101  1.6420  
-0.0374   0.2988    0.2377  0.2980  
-0.4209   0.5742    0.7037  0.8819  
 1.6728  -0.2046    1.3275  1.6638  
 1.4985  -1.6225    2.2069  2.7659  
 0.5342  -0.5074    0.7365  0.9231  
 0.7119   0.8128    0.0713  0.0894  
 1.0165  -1.2300    1.5885  1.9909  
-0.2646  -0.5301    0.1878  0.2353  
-1.1488  -0.2888    0.6081  0.7621  
-0.4225   0.8703    0.9141  1.1457  
 0.7990  -1.1515    1.3792  1.7286  

 0.0344  -0.1892    0.8188  1.0263  mean E(.)
                    SD pred E(s) pred   
-1.9600  -1.9600   -1.6049 -2.0114    2.5%  theor, est
 1.9600   1.9600    1.6049  2.0114   97.5%  theor, est
                    0.3551 -0.0515    2.5% err
                   -0.3551  0.0515   97.5% err

Kéo thanh trượt xuống để xem tổng số lớn. Bây giờ, tôi đã sử dụng công cụ ước tính SD thông thường để tính khoảng tin cậy 95% xung quanh giá trị trung bình bằng 0 và chúng bị tắt bởi 0,371 đơn vị độ lệch chuẩn. Công cụ ước tính E (s) bị tắt chỉ 0,0515 đơn vị độ lệch chuẩn. Nếu người ta ước tính độ lệch chuẩn, sai số chuẩn của giá trị trung bình hoặc thống kê t, có thể có vấn đề.

Lý do của tôi là như sau, trung bình dân số, , của hai giá trị có thể ở bất kỳ đâu đối với và chắc chắn không nằm ở , sau này tạo ra tổng tối thiểu tuyệt đối có thể bình phương để chúng ta đánh giá thấp đáng kể, như saux 1 x 1 + x $\mu$$x_1$$\frac{x_1+x_2}{2}$$\sigma$

wlog hãy , sau đó là , kết quả ít nhất có thể.Σ n i = 1 ( x i - ˉ x ) 2 2 ( $x_2-x_1=d$$\Sigma_{i=1}^{n}(x_i-\bar{x})^2$$2 (\frac{d}{2})^2=\frac{d^2}{2}$

Điều đó có nghĩa là độ lệch chuẩn được tính là

$\text{SD}=\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{n-1}}$ ,

là một công cụ ước tính sai lệch của độ lệch chuẩn dân số ( ). Lưu ý, trong công thức đó, chúng tôi giảm độ tự do của cho 1 và chia cho , nghĩa là chúng tôi thực hiện một số hiệu chỉnh, nhưng nó chỉ đúng về mặt không có triệu chứng, và sẽ là một quy tắc tốt hơn . Đối với ví dụ của chúng tôi, công thức sẽ cung cấp cho chúng tôi , một giá trị tối thiểu có thể thống kê là , trong đó ( ) giá trị mong đợi tốt hơn sẽ làn n - 1 n - 3 / 2 x 2 - x 1 = d SD S D = $\sigma$$n$$n-1$$n-3/2$$x_2-x_1=d$$\text{SD}$L≠ˉxsE(s)=$SD=\frac{d}{\sqrt 2}\approx 0.707d$$\mu\neq \bar{x}$$s$n<10SDσn25n<25n=$E(s)=\sqrt{\frac{\pi }{2}}\frac{d}{\sqrt 2}=\frac{\sqrt\pi }{2}d\approx0.886d$. Đối với phép tính thông thường, đối với , s bị đánh giá thấp rất đáng kể được gọi là sai lệch số nhỏ , chỉ đạt mức đánh giá thấp 1% của khi xấp xỉ . Vì nhiều thí nghiệm sinh học có , đây thực sự là một vấn đề. Với , sai số xấp xỉ 25 phần trong 100.000. Nói chung, hiệu chỉnh sai lệch số nhỏ ngụ ý rằng công cụ ước lượng không thiên vị về độ lệch chuẩn dân số của phân phối chuẩn là$n<10$$\text{SD}$$\sigma$$n$$25$$n<25$$n=1000$

$\text{E}(s)\,=\,\,\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{2}}>\text{SD}=\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{n-1}}\; .$

Từ Wikipedia theo giấy phép commons sáng tạo, người ta có một âm mưu đánh giá thấp SD của$\sigma$

Vì SD là một công cụ ước tính sai lệch của độ lệch chuẩn dân số, nên nó không thể là công cụ ước lượng không thiên vị tối thiểu MVUE của độ lệch chuẩn dân số trừ khi chúng tôi hài lòng khi nói rằng đó là MVUE là , mà tôi, đối với một người, thì không.$n\rightarrow \infty$

Liên quan đến các bản phân phối không bình thường và không thiên vị đọc điều này .$SD$

Bây giờ đến câu hỏi Q1

Có thể chứng minh rằng ở trên là MVUE cho của phân phối chuẩn của cỡ mẫu , trong đó là số nguyên dương lớn hơn một?σ n $\text{E}(s)$$\sigma$$n$$n$

Gợi ý: (Nhưng không phải là câu trả lời) xem Làm thế nào tôi có thể tìm thấy độ lệch chuẩn của độ lệch chuẩn mẫu so với phân phối chuẩn? .

Câu hỏi tiếp theo, quý 2

Ai đó vui lòng giải thích cho tôi tại sao chúng tôi vẫn sử dụng vì nó rõ ràng sai lệch và sai lệch? Đó là, tại sao không sử dụng cho hầu hết mọi thứ? E ( s $\text{SD}$$\text{E}(s)$Bổ sung, nó đã trở nên rõ ràng trong các câu trả lời dưới đây rằng phương sai là không thiên vị, nhưng căn bậc hai của nó là sai lệch. Tôi sẽ yêu cầu câu trả lời giải quyết câu hỏi khi nào nên sử dụng độ lệch chuẩn không thiên vị.

Hóa ra, một câu trả lời một phần là để tránh sai lệch trong mô phỏng ở trên, phương sai có thể được tính trung bình thay vì giá trị SD. Để thấy tác động của điều này, nếu chúng ta bình phương cột SD ở trên và tính trung bình các giá trị đó, chúng ta nhận được 0,9994, căn bậc hai là ước tính độ lệch chuẩn 0,996915 và sai số chỉ là 0,0006 cho đuôi 2,5% và -0.0006 cho đuôi 95%. Lưu ý rằng điều này là do phương sai là phụ gia, vì vậy tính trung bình cho chúng là một thủ tục lỗi thấp. Tuy nhiên, độ lệch chuẩn là sai lệch và trong những trường hợp chúng ta không có sự xa xỉ trong việc sử dụng phương sai làm trung gian, chúng ta vẫn cần hiệu chỉnh số lượng nhỏ. Ngay cả khi chúng ta có thể sử dụng phương sai làm trung gian, trong trường hợp này là$n=100$, hiệu chỉnh mẫu nhỏ cho thấy nhân căn bậc hai của phương sai không thiên vị 0,9996915 với 1,002528401 để đưa ra 1,002219148 như một ước tính không thiên vị về độ lệch chuẩn. Vì vậy, vâng, chúng ta có thể trì hoãn sử dụng hiệu chỉnh số nhỏ nhưng do đó chúng ta có nên bỏ qua hoàn toàn không?

Câu hỏi ở đây là khi nào chúng ta nên sử dụng hiệu chỉnh số nhỏ, trái với việc bỏ qua việc sử dụng nó, và chủ yếu, chúng ta đã tránh sử dụng nó.

Dưới đây là một ví dụ khác, số điểm tối thiểu trong không gian để thiết lập xu hướng tuyến tính có lỗi là ba. Nếu chúng ta khớp các điểm này với bình phương tối thiểu thông thường, kết quả cho nhiều điểm phù hợp như vậy là một mẫu dư bình thường được gấp lại nếu có phi tuyến tính và một nửa bình thường nếu có tuyến tính. Trong trường hợp nửa bình thường, phân phối của chúng tôi có nghĩa là yêu cầu hiệu chỉnh số lượng nhỏ. Nếu chúng tôi thử cùng một mẹo với 4 điểm trở lên, phân phối nói chung sẽ không liên quan bình thường hoặc dễ đặc trưng. Chúng ta có thể sử dụng phương sai để kết hợp các kết quả 3 điểm đó bằng cách nào đó không? Có lẽ, có lẽ không. Tuy nhiên, nó dễ dàng hơn để hình dung các vấn đề về khoảng cách và vectơ.

Đối với câu hỏi hạn chế hơn

Tại sao một công thức sai lệch tiêu chuẩn thiên vị thường được sử dụng?

câu trả lời đơn giản

Bởi vì ước lượng phương sai liên quan là không thiên vị. Không có sự biện minh toán học / thống kê thực sự.

có thể chính xác trong nhiều trường hợp.

Tuy nhiên, điều này không nhất thiết luôn luôn như vậy. Có ít nhất hai khía cạnh quan trọng của những vấn đề này cần được hiểu.

Đầu tiên, phương sai mẫu không chỉ thiên vị cho các biến ngẫu nhiên Gaussian. Không thiên vị cho bất kỳ phân phối nào có phương sai hữu hạn (như được thảo luận dưới đây, trong câu trả lời ban đầu của tôi). Câu hỏi lưu ý rằng không thiên vị cho và đề xuất một phương án không thiên vị cho biến ngẫu nhiên Gaussian. Tuy nhiên, điều quan trọng cần lưu ý là không giống như phương sai, đối với độ lệch chuẩn, không thể có công cụ ước lượng không thiên vị "không phân phối" (* xem ghi chú bên dưới).σ 2 s $s^2$$\sigma^2$$s$$\sigma$

Thứ hai, như được đề cập trong bình luận của whuber, thực tế là bị sai lệch không ảnh hưởng đến "t test" tiêu chuẩn. Lưu ý đầu tiên rằng, đối với biến Gaussian , nếu chúng ta ước tính điểm z từ một mẫu là thì chúng sẽ bị sai lệch.x { x i } z i = x i - $s$$x$$\{x_i\}$

$$z_i=\frac{x_i-\mu}{\sigma}\approx\frac{x_i-\bar{x}}{s}$$

Tuy nhiên, thống kê t thường được sử dụng trong bối cảnh phân phối lấy mẫu của . Trong trường hợp này, điểm z sẽ là mặc dù chúng ta có thể tính cả và , vì chúng ta không biết . Tuy nhiên, nếu thống kê là bình thường, thì thống kê sẽ tuân theo phân phối Student-t . Đây không phải là một mô lớn xấp xỉ. Giả định duy nhất là các mẫu là iid Gaussian. z ˉ x = ˉ x -$\bar{x}$ztμz ˉ x tn

$$z_{\bar{x}}=\frac{\bar{x}-\mu}{\sigma_{\bar{x}}}\approx\frac{\bar{x}-\mu}{s/\sqrt{n}}=t$$ $z$$t$$\mu$$z_{\bar{x}}$$t$$n$$x$

(Thường các t-test được áp dụng một cách rộng rãi hơn cho khả năng phi Gaussian . Điều này không dựa vào mô lớn , mà theo giới hạn trung tâm lý đảm bảo rằng: vẫn sẽ là Gaussian.)n ˉ $x$$n$$\bar{x}$

---

* Làm rõ về "công cụ ước tính không thiên vị phân phối"

Theo "phân phối miễn phí", ý tôi là người ước tính không thể phụ thuộc vào bất kỳ thông tin nào về dân số ngoài mẫu . Bởi "không thiên vị" Tôi có nghĩa là lỗi dự kiến là 0 đồng nhất, không phụ thuộc vào cỡ mẫu . (Trái ngược với một ước lượng rằng chỉ là tiệm không thiên vị, hay còn gọi là " phù hợp ", mà thiên vị biến mất như ).{ x 1 , ... , x n } E [ θ n ] - θ n n → $x$$\{x_1,\ldots,x_n\}$$\mathbb{E}[\hat{\theta}_n]-\theta$$n$$n\to\infty$

Trong các ý kiến, điều này được đưa ra như một ví dụ có thể có của "công cụ ước tính không thiên vị phân phối". Tóm tắt một chút, công cụ ước tính này có dạng , trong đó là kurtosis dư thừa của . Công cụ ước tính này không "phân phối miễn phí", vì phụ thuộc vào phân phối của . Công cụ ước tính được cho là thỏa mãn , trong đó là phương sai của . Do đó, công cụ ước tính là nhất quán, nhưng không (hoàn toàn) "không thiên vị", nhưκxxκxxE[ σ ]-σx=O[$\hat{\sigma}=f[s,n,\kappa_x]$$\kappa_x$$x$$\kappa_x$$x$σ 2 x xO[$\mathbb{E}[\hat{\sigma}]-\sigma_x=\mathrm{O}[\frac{1}{n}]$$\sigma_x^2$$x$$\mathrm{O}[\frac{1}{n}]$có thể lớn tùy ý cho nhỏ .$n$

---

Lưu ý: Dưới đây là "câu trả lời" ban đầu của tôi. Từ đây trở đi, các ý kiến ​​về trung bình và phương sai "mẫu" tiêu chuẩn, là các công cụ ước tính không thiên vị "không phân phối" (tức là dân số không được coi là Gaussian).

Đây không phải là một câu trả lời hoàn chỉnh, mà là một sự làm rõ về lý do tại sao công thức phương sai mẫu thường được sử dụng.

Cho một mẫu ngẫu nhiên , miễn là các biến có giá trị trung bình chung, công cụ ước tính sẽ không thiên vị , tức là ˉ x = $\{x_1,\ldots,x_n\}$E[xi]=$\bar{x}=\frac{1}{n}\sum_ix_i$

$$\mathbb{E}[x_i]=\mu \implies \mathbb{E}[\bar{x}]=\mu$$

Nếu các biến cũng có một sai hữu hạn thông thường, và họ là không tương quan , thì ước lượng sẽ còn được thiên vị, tức là Lưu ý rằng tính không thiên vị của các công cụ ước tính này chỉ phụ thuộc vào các giả định ở trên (và tính tuyến tính của kỳ vọng; bằng chứng chỉ là đại số). Kết quả không phụ thuộc vào bất kỳ phân phối cụ thể nào, chẳng hạn như Gaussian. Các biến làm không cần phải có một bản phân phối phổ biến, và họ thậm chí không phải là$s^2=\frac{1}{n-1}\sum_i(x_i-\bar{x})^2$x

$$\mathbb{E}[x_ix_j]-\mu^2=\begin{cases}\sigma^2&i=j\\0&i\neq{j}\end{cases} \implies \mathbb{E}[s^2]=\sigma^2$$ $x_i$độc lập (tức là mẫu không phải là iid ).

Các "mẫu độ lệch chuẩn" là không một ước lượng không thiên vị, , nhưng dù sao nó được sử dụng phổ biến. Tôi đoán là điều này đơn giản bởi vì nó là căn bậc hai của phương sai mẫu không thiên vị. (Không có biện minh tinh vi hơn.)s ≠ $s$$\mathbb{s}\neq\sigma$

Trong trường hợp mẫu iauss Gaussian, ước tính khả năng tối đa (MLE) của các tham số là và , tức là phương sai chia cho chứ không phải . Hơn nữa, trong trường hợp iauss Gaussian, độ lệch chuẩn MLE chỉ là căn bậc hai của phương sai MLE. Tuy nhiên, các công thức này, cũng như một trong những gợi ý trong câu hỏi của bạn, phụ thuộc vào giả định Gaussian iid. ( σ 2)MLE=n-$\hat{\mu}_\mathrm{MLE}=\bar{x}$nn$(\hat{\sigma}^2)_\mathrm{MLE}=\frac{n-1}{n}s^2$$n$$n^2$

---

Cập nhật: Làm rõ thêm về "thiên vị" so với "không thiên vị".

Hãy xem xét một mẫu -ementement như trên, , với độ lệch tổng bình phương Đưa ra các giả định được nêu trong phần đầu tiên ở trên, chúng ta nhất thiết phải có nên công cụ ước tính MLE (Gaussian-) bị sai lệch trong khi công cụ ước tính "phương sai mẫu" không thiên vị X = { x 1 , ... , x n } δ 2 n = Σ i ( x i - ˉ x ) 2 E [ δ 2 n ] = ( n - 1 ) σ 2 ^ σ 2 n = $n$$X=\{x_1,\ldots,x_n\}$

$$\delta^2_n=\sum_i(x_i-\bar{x})^2$$ $$\mathbb{E}[\delta^2_n]=(n-1)\sigma^2$$ của 2 n = $$\widehat{\sigma^2_n}=\tfrac{1}{n}\delta^2_n \implies \mathbb{E}[\widehat{\sigma^2_n}]=\tfrac{n-1}{n}\sigma^2$$ $$s^2_n=\tfrac{1}{n-1}\delta^2_n \implies \mathbb{E}[s^2_n]=\sigma^2$$

Bây giờ đúng là trở nên ít sai lệch hơn khi kích thước mẫu tăng. Tuy nhiên không có độ lệch bằng 0 cho dù kích thước mẫu (miễn là ). Đối với cả hai công cụ ước tính, phương sai của phân phối lấy mẫu của chúng sẽ khác không và phụ thuộc vào . n$\widehat{\sigma^2_n}$$n$ n>1$s^2_n$$n>1$$n$

Ví dụ, mã Matlab dưới đây xem xét một thử nghiệm với mẫu từ dân số chuẩn . Để ước tính phân phối lấy mẫu cho , thử nghiệm được lặp lại lần. (Bạn có thể cắt và dán mã ở đây để tự mình thử.)z ˉ x , ^ σ $n=2$$z$ N = 10 $\bar{x},\widehat{\sigma^2},s^2$$N=10^6$

% n=sample size, N=number of samples
n=2; N=1e6;
% generate standard-normal random #'s
z=randn(n,N); % i.e. mu=0, sigma=1
% compute sample stats (Gaussian MLE)
zbar=sum(z)/n; zvar_mle=sum((z-zbar).^2)/n;
% compute ensemble stats (sampling-pdf means)
zbar_avg=sum(zbar)/N, zvar_mle_avg=sum(zvar_mle)/N
% compute unbiased variance
zvar_avg=zvar_mle_avg*n/(n-1)

Đầu ra điển hình là như

zbar_avg     =  1.4442e-04
zvar_mle_avg =  0.49988
zvar_avg     =  0.99977

xác nhận rằng

$$\begin{align} \mathbb{E}[\bar{z}]&\approx\overline{(\bar{z})}\approx\mu=0 \\ \mathbb{E}[s^2]&\approx\overline{(s^2)}\approx\sigma^2=1 \\ \mathbb{E}[\widehat{\sigma^2}]&\approx\overline{(\widehat{\sigma^2})}\approx\frac{n-1}{n}\sigma^2=\frac{1}{2} \end{align}$$

---

Cập nhật 2: Lưu ý về bản chất "đại số" của tính không thiên vị.

Trong phần trình diễn bằng số ở trên, mã gần đúng với kỳ vọng thực sự sử dụng trung bình đồng bộ với bản sao của thí nghiệm (tức là mỗi mẫu là một mẫu có kích thước ). Ngay cả với con số lớn này, các kết quả điển hình được trích dẫn ở trên vẫn không chính xác.$\mathbb{E}[\,]$ n = $N=10^6$$n=2$

Để chứng minh một cách số lượng rằng các công cụ ước tính thực sự không thiên vị, chúng ta có thể sử dụng một mẹo đơn giản để ước tính trường hợp : chỉ cần thêm dòng sau vào mã$N\to\infty$

% optional: "whiten" data (ensure exact ensemble stats)
[U,S,V]=svd(z-mean(z,2),'econ'); z=sqrt(N)*U*V';

(đặt sau "tạo số ngẫu nhiên tiêu chuẩn bình thường" và trước "tính toán số liệu thống kê mẫu")

Với thay đổi đơn giản này, ngay cả việc chạy mã với cho kết quả như$N=10$

zbar_avg     =  1.1102e-17
zvar_mle_avg =  0.50000
zvar_avg     =  1.00000

Độ lệch chuẩn mẫu là đầy đủ và đủ cho để tập hợp các công cụ ước tính không thiên vị của được cho bởi σσ$S=\sqrt{\frac{\sum (X - \bar{X})^2}{n-1}}$$\sigma$$\sigma^k$

$$\frac{(n-1)^\frac{k}{2}}{2^\frac{k}{2}} \cdot \frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n+k-1}{2}\right)} \cdot S^k = \frac{S^k}{c_k}$$

(Xem Tại sao độ lệch chuẩn mẫu là một công cụ ước tính sai lệch của ?$\sigma$σ k ), Theo định lý của LehmannTHER Scheffé, UMVUE. Mặc dù nhất quán, các công cụ ước tính của cũng có thể được hình thành như$\sigma^k$

$$\tilde{\sigma}^k_j= \left(\frac{S^j}{c_j}\right)^\frac{k}{j}$$

(các công cụ ước tính không thiên vị được chỉ định khi ). Sự thiên vị của mỗi được đưa ra bởi$j=k$

$$\operatorname{E}\tilde{\sigma}^k_j - \sigma^k =\left( \frac{c_k}{c_j^\frac{k}{j}} -1 \right) \sigma^k$$

& phương sai của nó bằng

$$\operatorname{Var}\tilde{\sigma}^{k}_j=\operatorname{E}\tilde{\sigma}^{2k}_j - \left(\operatorname{E}\tilde{\sigma}^k_j\right)^2=\frac{c_{2k}-c_k^2}{c_j^\frac{2k}{j}} \sigma^{2k}$$

Đối với hai công cụ ước tính của bạn đã xem xét, & , thiếu sự thiên vị của được bù nhiều hơn bởi phương sai lớn hơn của nó khi so sánh với :$\sigma$$\tilde{\sigma}^1_1=\frac{S}{c_1}$$\tilde{\sigma}^1_2=S$$\tilde{\sigma}_1$$\tilde{\sigma}_2$

$$\begin{align} \operatorname{E}\tilde{\sigma}_1 - \sigma &= 0 \\ \operatorname{E}\tilde{\sigma}_2 - \sigma &=(c_1 -1) \sigma \\ \operatorname{Var}\tilde{\sigma}_1 =\operatorname{E}\tilde{\sigma}^{2}_1 - \left(\operatorname{E}\tilde{\sigma}^1_1\right)^2 &=\frac{c_{2}-c_1^2}{c_1^2} \sigma^{2} = \left(\frac{1}{c_1^2}-1\right) \sigma^2 \\ \operatorname{Var}\tilde{\sigma}_2 =\operatorname{E}\tilde{\sigma}^{2}_1 - \left(\operatorname{E}\tilde{\sigma}_2\right)^2 &=\frac{c_{2}-c_1^2}{c_2} \sigma^{2}=(1-c_1^2)\sigma^2 \end{align}$$ (Lưu ý rằng , như đã là một công cụ ước tính không thiên vị của )$c_2=1$$S^2$$\sigma^2$

Lỗi bình phương trung bình của như một công cụ ước tính của được đưa ra bởi$a_k S^k$$\sigma^2$

$$\begin{align} (\operatorname{E} a_k S^k - \sigma^k)^2 + \operatorname{E} (a_k S^k)^2 - (\operatorname{E} a_k S^k)^2 &= [ (a_k c_k -1)^2 + a_k^2 c_{2k} - a_k^2 c_k^2 ] \sigma^{2k}\\ &= ( a_k^2 c_{2k} -2 a_k c_k + 1 ) \sigma^{2k} \end{align}$$

& do đó giảm thiểu khi

$$a_k = \frac{c_k}{c_{2k}}$$

, cho phép định nghĩa của một bộ ước tính khác về mối quan tâm tiềm năng:

$$\hat{\sigma}^k_j= \left(\frac{c_j S^j}{c_{2j}}\right)^\frac{k}{j}$$

Thật kỳ lạ, , do đó, cùng một hằng số chia để loại bỏ độ lệch nhân để giảm MSE. Dù sao, đây là các công cụ ước tính bất biến vị trí và bất biến tỷ lệ tối thiểu thống nhất của (bạn không muốn ước tính của mình thay đổi nếu bạn đo bằng kelvins thay vì độ Celsius và bạn muốn nó thay đổi theo một hệ số của nếu bạn đo bằng Fahrenheit).$\hat{\sigma}^1_1=c_1S$$S$$S$$\sigma^k$$\left(\frac{9}{5}\right)^k$

Không có điều nào ở trên có liên quan đến việc xây dựng các bài kiểm tra giả thuyết hoặc khoảng tin cậy (xem ví dụ: Tại sao đoạn trích này nói rằng ước lượng không thiên vị của độ lệch chuẩn thường không liên quan? ). Và & không phải người ước tính cũng không phải thang đo tham số của mối quan tâm tiềm năng. Hãy xem xét công cụ ước tính khả năng tối đa ^† hoặc công cụ ước lượng không thiên vị trung bình ; hoặc độ lệch chuẩn hình học của phân phối lognatural . Có thể đáng để hiển thị một vài ước tính ít nhiều phổ biến được thực hiện từ một mẫu nhỏ ($\tilde{\sigma}^k_j$$\hat{\sigma}^k_j$ $\sqrt{\frac{n-1}{n}}S$$\sqrt{\frac{n-1}{\chi^2_{n-1}(0.5)}}S$$\mathrm{e}^\sigma$$n=2$) cùng với giới hạn trên & dưới, & , trong khoảng tin cậy có đuôi bằng nhau có phạm vi bảo hiểm :$\sqrt{\frac{(n-1)s^2}{\chi^2_{n-1}(\alpha)}}$$\sqrt{\frac{(n-1)s^2}{\chi^2_{n-1}(1-\alpha)}}$$1-\alpha$

Khoảng giữa các ước tính khác nhau nhất là không đáng kể so với độ rộng của bất kỳ khoảng tin cậy nào có phạm vi bảo hiểm tốt. (Chẳng hạn, 95% CI là$(0.45s,31.9s)$.) Không có ý nghĩa gì trong việc tinh tế về các thuộc tính của công cụ ước tính điểm trừ khi bạn chuẩn bị khá rõ ràng về những gì bạn muốn sử dụng nó cho một cách rõ ràng nhất, bạn có thể xác định hàm mất tùy chỉnh cho một ứng dụng cụ thể. Một lý do bạn có thể thích một công cụ ước tính chính xác (hoặc gần như) không thiên vị là bạn sẽ sử dụng nó trong các tính toán tiếp theo mà bạn không muốn thiên vị tích lũy: minh họa của bạn về ước tính sai lệch trung bình của độ lệch chuẩn là một ví dụ đơn giản về như vậy (một ví dụ phức tạp hơn có thể sử dụng chúng như một phản hồi trong hồi quy tuyến tính). Về nguyên tắc, một mô hình bao gồm tất cả sẽ làm giảm nhu cầu ước tính không thiên vị như một bước trung gian, nhưng có thể khó khăn hơn đáng kể để chỉ định & phù hợp.

Giá trị của làm cho dữ liệu quan sát có thể xảy ra nhất có thể có một kháng cáo dưới dạng ước tính độc lập với việc xem xét phân phối lấy mẫu của nó.$\sigma$

Câu hỏi 2: Ai đó vui lòng giải thích cho tôi tại sao chúng tôi vẫn sử dụng SD vì nó rõ ràng sai lệch và sai lệch?

Điều này xuất hiện như một phần trong các bình luận, nhưng tôi nghĩ rằng nó lặp đi lặp lại bởi vì đó là mấu chốt của câu trả lời:

Công thức phương sai mẫu là không thiên vị, và phương sai là phụ gia . Vì vậy, nếu bạn muốn thực hiện bất kỳ phép biến đổi (affine) nào, đây là một lý do thống kê nghiêm trọng tại sao bạn nên nhấn mạnh vào công cụ ước tính phương sai "tốt" trên công cụ ước tính SD "đẹp".

Trong một thế giới lý tưởng, họ sẽ tương đương nhau. Nhưng điều đó không đúng trong vũ trụ này. Bạn phải chọn một, vì vậy bạn cũng có thể chọn một trong đó cho phép bạn kết hợp thông tin trên đường.

So sánh hai mẫu có nghĩa là gì? Phương sai của sự khác biệt của chúng là tổng của phương sai của chúng.
Làm một tương phản tuyến tính với một số điều khoản? Lấy phương sai của nó bằng cách lấy tổ hợp tuyến tính của phương sai của chúng.
Nhìn vào dòng hồi quy phù hợp? Nhận phương sai của chúng bằng ma trận phương sai hiệp phương sai của các hệ số beta ước tính của bạn.
Sử dụng kiểm tra F, hoặc kiểm tra t, hoặc khoảng tin cậy dựa trên t? Thử nghiệm F gọi cho phương sai trực tiếp; và kiểm tra t hoàn toàn tương đương với căn bậc hai của kiểm tra F.

Trong mỗi trường hợp phổ biến này, nếu bạn bắt đầu với các phương sai không thiên vị, bạn sẽ vẫn không thiên vị mọi cách (trừ khi bước cuối cùng của bạn chuyển đổi thành SD để báo cáo).
Trong khi đó, nếu bạn muốn bắt đầu với SD không thiên vị, không phải bước trung gian của bạn cũng không phải là kết quả cuối cùng sẽ không thiên vị nào .

Bài này ở dạng phác thảo.

(1) Lấy căn bậc hai không phải là một phép biến đổi affine (Credit @Scortchi.)

(2) , do đó${\rm var}(s) = {\rm E} (s^2) - {\rm E}(s)^2$${\rm E}(s) = \sqrt{{\rm E}(s^2) -{\rm var}(s)}\neq{\sqrt{\rm var(s)}}$

(3) , trong khi${\rm var}(s)=\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{n-1}$$\text{E}(s)\,=\,\,\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{2}}$$\neq\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{n-1}}={\sqrt{\rm var(s)}}$

(4) Do đó, chúng tôi không thể thay thế cho , cho${\sqrt{\rm var(s)}}$$\text{E}(s)$$n$ nhỏ, vì căn bậc hai không phải là affine.

(5) và${\rm var}(s)$$\text{E}(s)$ không thiên vị (Credit @ GeoMatt22 và @Macro, tương ứng).

(6) Đối với các bản phân phối không bình thường, đôi khi (a) không xác định (ví dụ: Cauchy, Pareto với nhỏ ) và (b) không phải UMVUE (ví dụ: Cauchy ( Student's- với ), Pareto, Đồng phục, beta). Thậm chí nhiều hơn thường, chênh lệch có thể được xác định, ví dụ như Student's- với . Sau đó, người ta có thể nói rằng không phải là UMVUE cho phân phối trường hợp chung. Do đó, sau đó không có trách nhiệm đặc biệt nào trong việc đưa ra một hiệu chỉnh số nhỏ gần đúng cho độ lệch chuẩn, có khả năng có những hạn chế tương tự với$\bar{x}$$\alpha$$\rightarrow$$t$$df=1$$t$$1\leq df\leq2$$\text{var}(s)$$\sqrt{\text{var}(s)}$ , nhưng ít sai lệch hơn,$\hat\sigma = \sqrt{ \frac{1}{n - 1.5 - \tfrac14 \gamma_2} \sum_{i=1}^n (x_i - \bar{x})^2 }$ ,

trong đó là kurtosis dư thừa. Trong một tĩnh mạch tương tự, khi kiểm tra phân phối bình phương bình thường (Chi bình phương với$\gamma_2$$df=1$ biến đổi biến đổi ), chúng ta có thể bị cám dỗ lấy căn bậc hai của nó và sử dụng các thuộc tính phân phối bình thường. Nói chung, phân phối bình thường có thể là kết quả của sự biến đổi của các phân phối khác và có thể cần thiết để kiểm tra các thuộc tính của phân phối bình thường đó sao cho việc giới hạn hiệu chỉnh số lượng nhỏ đối với trường hợp bình thường không quá hạn chế như người ta có thể lúc đầu giả định.

Đối với trường hợp phân phối bình thường:

A1: Theo định lý của Lehmann-Scheffe và là UMVUE (Credit @Scortchi).${\rm var}(s)$$\text{E}(s)$

A2: (Đã chỉnh sửa để điều chỉnh các nhận xét bên dưới.) Đối với , chúng ta nên sử dụng cho độ lệch chuẩn, sai số chuẩn, khoảng tin cậy của giá trị trung bình và phân phối và tùy chọn cho z- số liệu thống kê. Đối với -thử nghiệm chúng tôi sẽ không sử dụng các ước lượng không thiên vị như chính nó là Student's- phân phối với bậc tự do (Tín dụng @whuber và @ GeoMatt22). Đối với thống kê z, thường được xấp xỉ bằng lớn, trong đó là nhỏ, nhưng đối với$n\leq 25$$\text{E}(s)$$t$$\frac{ \bar X - \mu} {\sqrt{\text{var}(n)/n}}$$t$$n-1$$\sigma$$n$$\text{E}(s)-\sqrt{\text{var}(n)}$$\text{E}(s)$ có vẻ phù hợp hơn về mặt toán học (Credit @whuber và @ GeoMatt22).

Tôi muốn thêm câu trả lời Bayes cho cuộc thảo luận này. Chỉ vì giả định của bạn là dữ liệu được tạo theo một số bình thường với trung bình và phương sai không xác định, điều đó không có nghĩa là bạn nên tóm tắt dữ liệu của mình bằng cách sử dụng giá trị trung bình và phương sai. Toàn bộ vấn đề này có thể tránh được nếu bạn vẽ mô hình, trong đó sẽ có một tiên đoán sau đó là phân phối T của sinh viên không theo tỷ lệ ba tham số. Ba tham số là tổng số mẫu, tổng số mẫu bình phương và số lượng mẫu. (Hoặc bất kỳ bản đồ phỏng đoán nào trong số này.)

Ngẫu nhiên, tôi thích câu trả lời của Civilstat vì nó làm nổi bật mong muốn kết hợp thông tin của chúng tôi. Ba số liệu thống kê đầy đủ ở trên thậm chí còn tốt hơn hai số liệu được đưa ra trong câu hỏi (hoặc theo câu trả lời của Civilstat). Hai bộ số liệu thống kê này có thể dễ dàng được kết hợp, và chúng đưa ra dự đoán sau tốt nhất với giả định về tính quy tắc.