Giải thích trực quan cho phép chia cho khi tính độ lệch chuẩn?

Hôm nay tôi được hỏi trong lớp tại sao bạn chia tổng sai số bình phương cho thay vì với$n-1$$n$ , khi tính độ lệch chuẩn.

Tôi nói rằng tôi sẽ không trả lời nó trong lớp (vì tôi không muốn đi vào những người ước lượng không thiên vị), nhưng sau đó tôi tự hỏi - có một lời giải thích trực quan cho việc này không?!

Độ lệch chuẩn được tính bằng ước số của là độ lệch chuẩn được tính từ mẫu dưới dạng ước tính độ lệch chuẩn của dân số mà từ đó mẫu được rút ra. Do các giá trị quan sát giảm, trung bình, gần với trung bình mẫu hơn so với trung bình dân số, độ lệch chuẩn được tính bằng độ lệch so với mẫu có nghĩa là đánh giá thấp độ lệch chuẩn mong muốn của dân số. Sử dụng thay vìn - 1 $n-1$$n-1$$n$ như ước số sẽ sửa cho điều đó bằng cách làm cho kết quả lớn hơn một chút.

Lưu ý rằng hiệu chỉnh có hiệu ứng tỷ lệ lớn hơn khi$n$ nhỏ hơn khi lớn, đó là điều chúng ta muốn bởi vì khi n lớn hơn, trung bình mẫu có thể là một ước lượng tốt về trung bình dân số.

Khi mẫu là toàn bộ dân chúng tôi sử dụng độ lệch chuẩn với là số chia vì mẫu có nghĩa là dân số có ý nghĩa.$n$

(Tôi lưu ý về mặt cha mẹ rằng không có gì bắt đầu bằng "khoảnh khắc thứ hai được ghi lại xung quanh một ý nghĩa xác định, xác định" sẽ đáp ứng yêu cầu của người hỏi về một lời giải thích trực quan.)

Một điểm chung là định nghĩa phương sai (của phân phối) là khoảnh khắc thứ hai được lặp lại xung quanh một giá trị trung bình xác định đã biết , trong khi công cụ ước tính sử dụng giá trị trung bình ước tính . Mất một mức độ tự do này (với giá trị trung bình, bạn có thể khôi phục tập dữ liệu với kiến ​​thức chỉ của các giá trị dữ liệu) yêu cầu sử dụng n - 1 thay vì n để "điều chỉnh" kết quả.$n-1$$n-1$$n$

Giải thích như vậy phù hợp với phương sai ước tính trong phân tích thành phần ANOVA và phương sai. Nó thực sự chỉ là một trường hợp đặc biệt.

Sự cần thiết phải thực hiện một số điều chỉnh làm tăng phương sai có thể, tôi nghĩ, được làm rõ bằng trực giác với một đối số hợp lệ không chỉ là vẫy tay trên thực tế . (Tôi nhớ rằng Học sinh có thể đã đưa ra một lập luận như vậy trong bài báo năm 1908 của mình về bài kiểm tra t.) Tại sao việc điều chỉnh phương sai phải chính xác là một yếu tố của khó biện minh hơn, đặc biệt là khi bạn xem xét SD không được điều chỉnh$n/(n-1)$ một công cụ ước tính không thiên vị. (Nó chỉ là căn bậc hai của một công cụ ước lượng không thiên vị của phương sai. Không thiên vị thường không tồn tại một phép biến đổi phi tuyến.) Vì vậy, trên thực tế, việc điều chỉnh chính xác cho SD để loại bỏ sai lệch của nó làkhông một yếu tố của cả!$\sqrt{n/(n-1)}$

Một số sách giáo khoa giới thiệu thậm chí không bận tâm đến việc giới thiệu sd đã điều chỉnh: họ dạy một công thức (chia cho ). Trước tiên tôi đã phản ứng tiêu cực với điều đó khi dạy từ một cuốn sách như vậy nhưng đã phát triển để đánh giá cao sự khôn ngoan: tập trung vào các khái niệm và ứng dụng, các tác giả loại bỏ tất cả các đặc tính toán học không cần thiết. Nó chỉ ra rằng không có gì là tổn thương và không ai bị lừa dối.$n$

Theo định nghĩa, phương sai được tính bằng cách lấy tổng của sự khác biệt bình phương từ giá trị trung bình và chia cho kích thước. Chúng tôi có công thức chung

trong đóμlà giá trị trung bình vàNlà kích thước của dân số.$\sigma^2= \frac{\sum_{i}^{N}(X_i-\mu)^2}{N}$$\mu$$N$

Theo định nghĩa này, phương sai của mẫu (ví dụ mẫu ) cũng phải được tính theo cách này.$t$

trong đó ¯ X là giá trị trung bình vànlà kích thước của mẫu nhỏ này.$\sigma^2_t= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n}$$\overline{X}$$n$

Tuy nhiên, theo phương sai mẫu , chúng tôi muốn nói đến một công cụ ước tính của phương sai dân số σ 2 . Làm thế nào chúng ta có thể ước tính σ 2 chỉ bằng cách sử dụng các giá trị từ mẫu?$S^2$$\sigma^2$$\sigma^2$

Theo công thức trên, các biến ngẫu nhiên lệch khỏi mẫu bình ¯ X với phương sai σ 2 t . Các mẫu bình ¯ X cũng lệch khỏi μ với phương sai σ $X$$\overline{X}$$\sigma^2_t$$\overline{X}$$\mu$ vì trung bình mẫu được giá trị khác nhau từ mẫu để lấy mẫu và nó là một biến ngẫu nhiên với trung bìnhμvà phương saiσ$\frac{\sigma^2}{n}$$\mu$ . (Người ta có thể chứng minh dễ dàng.)$\frac{\sigma^2}{n}$

Do đó, khoảng, nên đi chệch khỏi μ với một biến có liên quan đến hai phương sai để thêm lên hai và nhận được σ 2 = σ 2 t + σ $X$$\mu$ . Bằng cách giải quyết này, chúng tôi nhậnσ2=σ 2 t ×$\sigma^2=\sigma^2_t+\frac{\sigma^2}{n}$ . Thay thếσ 2 t cung cấp công cụ ước tính của chúng tôi cho phương sai dân số:$\sigma^2=\sigma^2_t \times\frac{n}{n-1}$$\sigma^2_t$

.$S^2= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n-1}$

Người ta cũng có thể chứng minh rằng là đúng.$E[S^2]=\sigma^2$

Đây là một trực giác hoàn toàn, nhưng câu trả lời đơn giản nhất là điều chỉnh được thực hiện để làm cho độ lệch chuẩn của mẫu một phần tử không được xác định thay vì 0.

Bạn có thể đạt được một sự hiểu biết sâu sắc hơn về thuật ngữ thông qua hình học một mình, không chỉ là lý do tại sao nó không phải là n nhưng tại sao phải mất chính xác hình thức này, nhưng trước tiên bạn có thể cần phải xây dựng trực giác của bạn đối phó với n hình học ba chiều. Tuy nhiên, từ đó, đây là một bước nhỏ để hiểu sâu hơn về mức độ tự do trong các mô hình tuyến tính (tức là mô hình df & df dư). Tôi nghĩ rằng có chút nghi ngờ rằng Fisher nghĩ theo cách này. Đây là một cuốn sách xây dựng nó dần dần:$n-1$$n$$n$

Saville DJ, Gỗ GR. Phương pháp thống kê: phương pháp hình học . Tái bản lần thứ 3 New York: Springer-Verlag; 1991. 560 trang. YAM387975177

(Vâng, 560 trang. Tôi đã nói dần dần.)

Công cụ ước tính của phương sai dân số bị sai lệch khi áp dụng trên một mẫu của dân số. Để điều chỉnh độ lệch đó, cần chia cho n-1 thay vì n. Về mặt toán học, người ta có thể chỉ ra rằng công cụ ước tính của phương sai mẫu là không thiên vị khi chúng ta chia cho n-1 thay vì n. Một bằng chứng chính thức được cung cấp ở đây:

https: // ec economtheoryblog.com/2012/06/11/latexlatexs2/

Ban đầu, đó là sự chính xác toán học dẫn đến công thức, tôi cho rằng. Tuy nhiên, nếu một người muốn thêm trực giác vào một công thức, các đề xuất đã được đề cập có vẻ hợp lý.

Đầu tiên, các quan sát của một mẫu trung bình gần với trung bình mẫu hơn so với trung bình dân số. Công cụ ước tính phương sai sử dụng giá trị trung bình mẫu và do đó đánh giá thấp phương sai thực sự của dân số. Chia cho n-1 thay vì n sửa cho sai lệch đó.

Hơn nữa, việc chia cho n-1 làm cho phương sai của mẫu một phần tử không được xác định thay vì bằng không.

Tại sao chia cho chứ không phải n ? Bởi vì nó là thông lệ và dẫn đến một ước tính không thiên vị về phương sai. Tuy nhiên, nó dẫn đến một ước tính sai lệch (thấp) về độ lệch chuẩn, như có thể thấy bằng cách áp dụng bất đẳng thức của Jensen cho hàm lõm, căn bậc hai.$n-1$$n$

Vì vậy, những gì tuyệt vời về việc có một công cụ ước tính không thiên vị? Nó không nhất thiết phải giảm thiểu lỗi bình phương trung bình. MLE cho phân phối chuẩn là chia cho chứ không phải n - 1 . Dạy cho học sinh của bạn suy nghĩ, thay vì hồi sinh và vô thức áp dụng các quan niệm cổ xưa từ một thế kỷ trước.$n$$n-1$

Nó được nổi tiếng (hoặc dễ dàng chứng minh) mà bậc hai có cực trị tại z = - $\alpha z^2 + 2\beta z + \gamma$ . Điều này cho thấy, đối với bất kỳ chonsố thựcx1,x2,...,xn, số lượng G(một)= n Σ i=1(xi-một)2=( n Σ i = 1 x 2 i )-2a( n ∑ i = 1 xi)+$z = -\frac{\beta}{\alpha}$$n$$x_1, x_2, \ldots, x_n$ có giá trị tối thiểu khi a =

$$G(a) = \sum_{i=1}^n (x_i-a)^2 = \left(\sum_{i=1}^n x_i^2\right) -2a\left(\sum_{i=1}^n x_i\right) + na^2,$$ .$\displaystyle a = \frac 1n \sum_{i=1}^n x_i =\bar{x}$

Bây giờ, giả sử rằng là một mẫu kích thước n từ một phân phối với biết trung bình μ và phương sai chưa biết σ 2 . Chúng ta có thể ước tính μ là $x_i$$n$$\mu$$\sigma^2$$\mu$ , đủ dễ để tính toán, nhưng cố gắng ước tínhσ2 là$\frac 1n \sum_{i=1}^n x_i = \bar{x}$$\sigma^2$gặp các vấn đề mà chúng ta không biếtμ. Chúng ta có thể, tất nhiên, dễ dàng tính toán G( ˉ x )và chúng ta biết rằngG(μ)≥G( ˉ x ), nhưng làm thế nào lớn hơn nhiều làG(μ)? Câu trả lời là G(μ$\frac 1n \sum_{i=1}^n (x_i-\mu)^2 = n^{-1}G(\mu)$$\mu$$G(\bar{x})$$G(\mu) \geq G(\bar{x})$$G(\mu)$$G(\mu)$lớn hơn theo hệ số xấp xỉ $G(\bar{x})$ , có nghĩa là, G ( μ ) ≈ $\frac{n}{n-1}$và do đóước tínhn-1G(μ)=

$$G(\mu) \approx \frac{n}{n-1}G(\bar{x})\tag{1}$$ cho phương sai của phân phối có thể được xấp xỉ bằng $\displaystyle n^{-1}G(\mu)= \frac 1n\sum_{i=1}^n(x_i-\mu)^2$$\displaystyle \frac{1}{n-1}G(\bar{x}) = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar{x})^2.$

$(1)$

$$\begin{align} G(\mu) &= \sum_{i=1}^n (x_i-\mu)^2\\ &= \sum_{i=1}^n (x_i-\bar{x} + \bar{x}-\mu)^2\\ &= \sum_{i=1}^n \left((x_i-\bar{x})^2 + (\bar{x}-\mu)^2 + 2(x_i-\bar{x})(\bar{x}-\mu)\right)\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 + (\bar{x}-\mu)\sum_{i=1}^n(x_i-\bar{x})\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 \tag{2} \end{align}$$ $\sum_{i=1}^n (x_i-\bar{x}) = n\bar{x}-n\bar{x} = 0$ $$\begin{align} n(\bar{x}-\mu)^2 &= n\frac{1}{n^2}\left(\sum_{i=1}^n(x_i-\mu)\right)^2\\ &= \frac 1n \sum_{i=1}^n(x_i-\mu)^2 + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\\ &= \frac 1n G(\mu) + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\tag{3} \end{align}$$ $x_i$$\mu$$\mu$$(x_i-\mu)(x_j-\mu)$$(3)$$\frac 1nG(\mu)$$(3)$$(2)$ $$G(\mu) \approx G(\bar{x}) + \frac 1nG(\mu) \Longrightarrow G(\mu) \approx \frac{n}{n-1}G(\bar{x})$$ $(1)$

$(x_i-x_j)^2/2$

$$s^2 = \frac{2}{n(n-1)}\sum_{i< j}\frac{(x_i-x_j)^2}{2} = \frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2 .$$

$X$$Y$

$$V(X) = E\left(\frac{(X-Y)^2}{2}\right) = E((X-E(X))^2) .$$

Để đi từ định nghĩa biến ngẫu nhiên của phương sai đến sai lệch của phương sai mẫu là một vấn đề ước tính một kỳ vọng bằng một phương tiện có thể được chứng minh bằng nguyên tắc triết học về tính điển hình: Mẫu là một đại diện điển hình cho phân phối. (Lưu ý, điều này có liên quan đến, nhưng không giống như ước tính theo khoảnh khắc.)

$N=1$$x$$\overline{m}=x$$1$

$$V=\frac{\sum_N (x_n - \overline{m} )^2}{N}$$

$$\overline{V}=\frac{(x-\overline{m})^2}{1} = 0\,.$$

$y$$x\neq y$$N-1=0$

$0$$d+1$$d$$d+1$

Theo gợi ý của whuber , câu trả lời này đã được sao chép từ một câu hỏi tương tự khác .

Hiệu chỉnh của Bessel được thông qua để điều chỉnh sai lệch trong việc sử dụng phương sai mẫu làm công cụ ước tính của phương sai thực. Sự sai lệch trong thống kê chưa được xử lý xảy ra do giá trị trung bình của mẫu gần với giữa các quan sát hơn giá trị trung bình thực và do đó độ lệch bình phương xung quanh mẫu có nghĩa là đánh giá thấp một cách có hệ thống các sai lệch bình phương xung quanh giá trị trung bình thực.

$S_*^2$$n$

$$\begin{equation} \begin{aligned} S_*^2 &= \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (X_i^2 - 2 \bar{X} X_i + \bar{X}^2) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 \bar{X} \sum_{i=1}^n X_i + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 n \bar{X}^2 + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2. \end{aligned} \end{equation}$$

Mang lại kỳ vọng mang lại:

$$\begin{equation} \begin{aligned} \mathbb{E}(S_*^2) &= \frac{1}{n} \sum_{i=1}^n \mathbb{E}(X_i^2) - \mathbb{E} (\bar{X}^2) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= \sigma^2 - \frac{\sigma^2}{n} \\[8pt] &= \frac{n-1}{n} \cdot \sigma^2 \\[8pt] \end{aligned} \end{equation}$$

$\sigma^2$$n-1$

Nói chung, sử dụng "n" trong mẫu số sẽ cho các giá trị nhỏ hơn phương sai dân số, đó là những gì chúng tôi muốn ước tính. Điều này đặc biệt xảy ra nếu các mẫu nhỏ được lấy. Trong ngôn ngữ thống kê, chúng tôi nói rằng phương sai mẫu cung cấp một ước tính sai lệch về phạm vi của phạm vi dân số và cần phải được thực hiện "không thiên vị".

Nếu bạn đang tìm kiếm một lời giải thích trực quan, bạn nên cho học sinh của mình thấy lý do cho chính mình bằng cách thực sự lấy mẫu! Xem này, nó trả lời chính xác câu hỏi của bạn.

https://www.youtube.com/watch?v=xslIhnquFoE

$\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$$S^2 = \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2$$n - 1$

Để trả lời câu hỏi này, chúng ta phải quay trở lại định nghĩa của một công cụ ước tính không thiên vị. Một người ước lượng không thiên vị là một người có kỳ vọng có xu hướng kỳ vọng thực sự. Giá trị trung bình mẫu là một ước lượng không thiên vị. Để xem tại sao:

$$E[\bar{X}] = \frac{1}{n}\sum_{i=1}^{n} E[X_i] = \frac{n}{n} \mu = \mu$$

Chúng ta hãy nhìn vào kỳ vọng của phương sai mẫu,

$$S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i^2) - n\bar{X}^2$$

$$E[S^2] = \frac{1}{n-1} \left( n E[(X_i^2)] - nE[\bar{X}^2] \right).$$

$\bar{X}$$E[\bar{X}^2]$$n-1$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + Var(\bar{X})) \right).$$ $$Var(\bar{X}) = Var(\frac{1}{n}\sum_{i=1}^{n} X_i) = \sum_{i=1}^{n} \frac{1}{n^2} Var(X_i) = \frac{\sigma^2}{n}$$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + \sigma^2/n) \right). = \frac{(n-1)\sigma^2}{n-1} = \sigma^2 \\ $$

$n$$n-1$$n-1$$S^2$

$\mu$$\sigma^2$$n$$\mu$

$$\sigma^2 \left(\frac{n+1}{n-1}\right),$$

$2n$

Phân phối T của Sinh viên tổng quát có ba tham số và sử dụng cả ba số liệu thống kê của bạn. Nếu bạn quyết định loại bỏ một số thông tin, bạn có thể ước tính thêm dữ liệu của mình bằng cách sử dụng phân phối chuẩn hai tham số như được mô tả trong câu hỏi của bạn.

Từ quan điểm của Bayes, bạn có thể tưởng tượng rằng sự không chắc chắn trong siêu đường kính của mô hình (phân phối trên giá trị trung bình và phương sai) làm cho phương sai của dự báo sau lớn hơn phương sai dân số.

Chúa ơi, nó trở nên phức tạp! Tôi nghĩ câu trả lời đơn giản là ... nếu bạn có tất cả các điểm dữ liệu bạn có thể sử dụng "n" nhưng nếu bạn có "mẫu" thì giả sử đó là một mẫu ngẫu nhiên, bạn đã có nhiều điểm mẫu hơn từ bên trong độ lệch chuẩn hơn từ bên ngoài (định nghĩa của độ lệch chuẩn). Bạn không có đủ dữ liệu bên ngoài để đảm bảo bạn có được tất cả các điểm dữ liệu bạn cần một cách ngẫu nhiên. N-1 giúp mở rộng về độ lệch chuẩn "thực".