Làm thế nào chính xác các nhà thống kê đồng ý sử dụng (n-1) làm công cụ ước tính không thiên vị cho phương sai dân số mà không cần mô phỏng?

67

Công thức tính toán phương sai có trong mẫu số: $(n-1)$

$s^2 = \frac{\sum_{i=1}^N (x_i - \bar{x})^2}{n-1}$

Tôi đã luôn tự hỏi tại sao. Tuy nhiên, đọc và xem một vài video hay về "tại sao", có vẻ như, là một công cụ ước tính không thiên vị tốt về phương sai dân số. Trong khi đánh giá thấp và đánh giá quá cao phương sai dân số. $(n-1)$ $n$ $(n-2)$

Điều tôi tò mò muốn biết, là trong thời đại không có máy tính, sự lựa chọn này được thực hiện như thế nào? Có một bằng chứng toán học thực tế chứng minh điều này hay chính điều này hoàn toàn theo kinh nghiệm và thống kê đã thực hiện RẤT NHIỀU phép tính bằng tay để đưa ra "lời giải thích tốt nhất" vào thời điểm đó?

Làm thế nào mà các nhà thống kê đưa ra công thức này vào đầu thế kỷ 19 với sự trợ giúp của máy tính? Hướng dẫn sử dụng hoặc có nhiều hơn nó đáp ứng mắt?

— Bằng tiến sĩ
nguồn

13

Tôi giả sử bạn muốn nói " không có sự trợ giúp của máy tính". Câu trả lời là - có lẽ không có gì đáng ngạc nhiên - bằng cách sử dụng đại số. Việc tạo đạo hàm khá đơn giản và ở nhiều nơi, thông thường các sinh viên thống kê lấy nó làm bài tập / học nó khi chưa tốt nghiệp.

— Glen_b

Tôi nghĩ rằng điều này mang lại một lời giải thích khá hay: en.wikipedia.org/wiki/Variance#Sample_variance

— Verena Haunschmid

5

Liên quan rất chặt chẽ: Tại sao độ lệch chuẩn mẫu là một công cụ ước tính sai lệch của

σ

$\sigma$ và giải thích trực quan để chia cho khi tính sd? .

n - 1

$n-1$

— whuber

Tôi đã chỉnh sửa công thức của bạn để sử dụng và làm trong mẫu số dành cho phương sai mẫu (ký hiệu Latinh) chứ không phải phương sai dân số (ký hiệu Hy Lạp).

s^{2}

$s^{2}$

\bar{x}

$\bar{x}$

n - 1

$n-1$

— Alexis

40

Việc hiệu chỉnh được gọi là hiệu chỉnh của Bessel và nó có bằng chứng toán học. Cá nhân tôi đã được dạy một cách dễ dàng: sử dụng là cách bạn sửa lỗi sai lệch của (xem tại đây ). $n-1$ $E[\frac{1}{n}\sum_1^n(x_i - \bar x)^2]$

Bạn cũng có thể giải thích sự điều chỉnh dựa trên khái niệm mức độ tự do, mô phỏng không cần thiết lắm.

— cốc
nguồn

15

Bằng chứng thay thế số 3 có một lời giải thích trực quan đẹp mà ngay cả một giáo dân cũng có thể hiểu được. Ý tưởng cơ bản là giá trị trung bình mẫu không giống với trung bình dân số. Các quan sát của bạn tự nhiên sẽ gần với trung bình mẫu hơn so với trung bình dân số và điều này cuối cùng đánh giá thấp những điều đó thuật ngữ với thuật ngữ. Điều này có lẽ rõ ràng với hầu hết mọi người nhưng tôi chưa bao giờ nghĩ về "trực giác" về lý do tại sao phương sai mẫu thiên vị lại bị sai lệch cho đến bây giờ. Tôi chỉ học các bằng chứng chính thức.

(x_{i} - μ)^{2}

$(x_i - \mu)^2$

(x_{i} - \bar{x})^{2}

$(x_i - \bar{x})^2$

— WetlabStudent

2

Ngoài ra còn có một cách tiếp cận hình học tại sao phải sửa với n-1 (được giải thích rất độc đáo trong Saville và Wood: Phương pháp thống kê: Phương pháp hình học). Đặt nó ngắn gọn: Một mẫu của n có thể được coi là một không gian dữ liệu n chiều. Các vectơ điểm mẫu thêm vào một vectơ quan sát có thể được phân tách thành vectơ mô hình với kích thước p tương ứng với tham số p và vectơ lỗi với kích thước np. Sự phá vỡ Pythagore tương ứng của vectơ lỗi có np bình phương mà trung bình là thước đo cho sự thay đổi.

— giordano

Tôi sẽ cung cấp cho bạn một liên kết đẹp có chứa một lời giải thích ngắn gọn: en.wikipedia.org/wiki/Bias_of_an_estimator

— Christina

Bạn có thể giải thích tại sao trong bằng chứng (thay thế 3) chúng tôi giả sử rằng cả phương sai đúng và sai lệch được tính bằng 's không? Vấn đề của các phương sai khác nhau phát sinh khi chúng ta có một dân số (với phương sai thực sự) và một mẫu (với phương sai sai lệch). Nhưng nếu chúng ta tính toán phương sai trên cùng một dữ liệu, cụ thể là , tại sao chúng phải khác nhau? Ở đó, chúng tôi nghĩ rằng là một phương sai thực sự được tính bằng cách sử dụng chính xác giống như một . Tôi không thể đồng ý với bằng chứng này. Xin hãy giúp đỡ, tôi đang thiếu gì?

n

$n$

x

$x$

x_{1}, x_{2}, . . ., x_{n}

$x_1, x_2, ... , x_n$

σ^{2}

$\sigma^2$

x

$x$

s_{biased}^{2}

$s_\text{biased}^2$

— Turkhan Badalov

56

Hầu hết các bằng chứng tôi đã thấy đủ đơn giản để Gauss (tuy nhiên ông đã làm điều đó) có lẽ thấy nó khá dễ để chứng minh.

Tôi đã tìm kiếm một dẫn xuất trên CV mà tôi có thể liên kết với bạn (có một số liên kết đến bằng chứng ngoài trang web, bao gồm ít nhất một trong các câu trả lời ở đây), nhưng tôi chưa tìm thấy một ở đây trên CV trong một Một vài tìm kiếm, vì vậy để hoàn thiện, tôi sẽ đưa ra một cách đơn giản. Với sự đơn giản của nó, thật dễ dàng để thấy mọi người sẽ bắt đầu sử dụng cái thường được gọi là hiệu chỉnh của Bessel như thế nào .

Điều này lấy làm kiến thức giả định và giả định rằng một vài thuộc tính phương sai cơ bản đầu tiên được biết đến. $E(X^2)=\text{Var}(X) + E(X)^2$

\begin{array}{rcl} E [\sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}] & = & E [\sum_{i = 1}^{n} x_{i}^{2} - 2 \bar{x} \sum_{i = 1}^{n} x_{i} + n {\bar{x}}^{2}] \\ = & E [\sum_{i = 1}^{n} x_{i}^{2} - n {\bar{x}}^{2}] \\ = & n E [x_{i}^{2}] - n E [{\bar{x}}^{2}] \\ = & n (μ^{2} + σ^{2}) - n (μ^{2} + σ^{2} / n) \\ = & (n - 1) σ^{2} \end{array}

$\begin{eqnarray} E[\sum_{i=1}^{n} (x_i-\bar x)^2] &=& E[\sum_{i=1}^{n} x_i^2-2\bar x\sum_{i=1}^{n} x_i+n\bar{x}^2]\\ &=& E[\sum_{i=1}^{n} x_i^2-n\bar{x}^2] \\ &=& n E[x_i^2]- n E[\bar{x}^2]\\ &=& n (\mu^2 + \sigma^2) - n(\mu^2+\sigma^2/n)\\ &=& (n-1) \sigma^2 \end{eqnarray}$

— Glen_b
nguồn

1

thuộc tính nào làm cho thuật ngữ biến mất?

- 2 \bar{x} \sum_{i = 1}^{n} x_{i}

$-2\bar{x}\sum_{i=1}^{n}x_i$

— Ciprian Tomoiagă

3

Nó không biến mất. Bạn có nhận thấy dấu hiệu của thuật ngữ cuối thay đổi?

— Glen_b

1

(+1) Gần đây tôi đã nghe một bằng chứng tuyệt vời rằng cá nhân tôi thấy trực quan hơn. Phương sai mẫu với hệ có thể được biểu thị lại dưới dạng trung bình của tất cả các khác biệt bình phương giữa tất cả các điểm cặp. Bây giờ lưu ý rằng các cặp trong đó cùng một điểm nhập hai lần đều bằng 0 và điều này làm sai lệch biểu thức. Có vẻ hợp lý để điều chỉnh sai lệch bằng cách loại trừ tất cả các cặp này khỏi tổng kép và chỉ tính trung bình trên các phần còn lại. Điều này mang lại sự điều chỉnh của Bessel.

1 / n

$1/n$

— amip nói rằng Phục hồi Monica

1

Không, đừng bận tâm, đã tìm ra nó. , vì vậy bạn chỉ đang áp dụng cùng một danh tính mà bạn đã đề cập ở trên cho cả hai điều khoản trong dòng 3.

V [\bar{x}] = \frac{V [x]}{n}

$V[\bar{x}] = \frac{V[x]}{n}$

— tel

1

Bất kỳ biến thể iid nào có cùng giây thứ hai. Chúng tôi đi từ việc nói về tất cả trong số họ đến chỉ thảo luận về một trong số họ. Bạn có thể dễ dàng lấy (và một số người làm) hoặc hoặc ... nhưng tôi đã lấy thứ

x_{1}

$x_1$

x_{2}

$x_2$

x_{n}

$x_n$

i

$i$

— Glen_b

37

Theo Thế giới toán học của Weisstein, lần đầu tiên được chứng minh bởi Gauss vào năm 1823. Tài liệu tham khảo là tập 4 của Gauss 'Werke, có thể được đọc tại https://archive.org/details/werkecarlf04gausrich . Các trang có liên quan dường như là 47-49. Có vẻ như Gauss đã điều tra câu hỏi và đưa ra một bằng chứng. Tôi không đọc tiếng Latin, nhưng có một bản tóm tắt tiếng Đức trong văn bản. Trang 103-104 giải thích những gì anh ấy đã làm (Chỉnh sửa: Tôi đã thêm một bản dịch thô):

Allein da man nicht berechtigt ist, die s Richts als sie wirklich ambitzen. [Nhưng vì người ta không có quyền đối xử với các giá trị có thể xảy ra nhất như thể chúng là giá trị thực, nên người ta có thể dễ dàng thuyết phục bản thân rằng người ta luôn phải thấy rằng lỗi có thể xảy ra nhất và sai số trung bình là quá nhỏ, và do đó, kết quả đã cho sở hữu độ chính xác cao hơn những gì họ thực sự có.]

từ đó có vẻ như người ta đã biết rằng phương sai mẫu là một ước tính sai lệch của phương sai dân số. Bài báo tiếp tục nói rằng sự khác biệt giữa hai loại thường bị bỏ qua vì không quan trọng nếu cỡ mẫu đủ lớn. Sau đó, nó nói:

Der Verfasser hat daher dieen Gegenstand eine ambondere Untersuchung unterworfen, die zu einem sehr Merkwuerdigen hoechst einfachen Kết quả là mũ gefuehrt. Man braucht nemlich den nach dem angezeigten fahlerhaften Verfahren gefundenen mittleren Fehler, um ihn in die richtigen zu verwandeln, Nur mit

$\sqrt{\frac{π - ρ}{π}}$ $\sqrt{\frac{\pi-\rho}{\pi}}$
zu Multiplicieren, wo die Anzahl der beobachtungen (số lượng quan sát) und die Anzahl der unbekannten groents (số lượng chưa biết) bedeutet. [Do đó, tác giả đã thực hiện một nghiên cứu đặc biệt về đối tượng này dẫn đến một kết quả rất kỳ lạ và cực kỳ đơn giản. Cụ thể, người ta chỉ cần nhân sai số trung bình được tìm thấy bởi quá trình sai lầm ở trên với (biểu thức đã cho) để thay đổi nó thành đúng, trong đó là số lượng quan sát và là số lượng không xác định.] $\pi$ $\rho$ $\pi$ $\rho$

Vì vậy, nếu đây thực sự là lần đầu tiên tìm thấy sự hiệu chỉnh, thì có vẻ như nó đã được tìm thấy bởi một phép tính thông minh của Gauss, nhưng mọi người đã biết rằng cần phải điều chỉnh một số thứ, vì vậy có lẽ ai đó đã tìm thấy nó theo kinh nghiệm trước đó . Hoặc có thể các tác giả trước đó không quan tâm để có được câu trả lời chính xác vì dù sao họ cũng đang làm việc với các tập dữ liệu khá lớn.

Tóm tắt: hướng dẫn sử dụng, nhưng mọi người đã biết rằng trong mẫu số không hoàn toàn đúng. $n$

— Cá bơn
nguồn

Nếu ai đó có thể cung cấp một bản dịch tiếng Đức, điều đó sẽ tốt đẹp. Tôi không đọc tiếng Đức.

— Faheem Mitha

2

Có, Google Dịch không hoạt động tốt vì lỗi chính tả của tôi! Tôi sẽ thêm vào một nỗ lực dịch thuật; đó sẽ là một cách tốt để thực hành tiếng Đức của tôi.

— Flounderer

14

Đối với tôi một phần của trực giác là

\begin{matrix} The degree to which \\ X_{i} varies from \bar{X} \end{matrix} + \begin{matrix} The degree to which \\ \bar{X} varies from μ \end{matrix} = \begin{matrix} The degree to which \\ X_{i} varies from μ . \end{matrix}

$\begin{array}{c} \mbox{The degree to which}\\ X_{i}\mbox{ varies from }\bar{X} \end{array}+\begin{array}{c} \mbox{The degree to which}\\ \bar{X}\mbox{ varies from }\mu \end{array}=\begin{array}{c} \mbox{The degree to which }\\ X_{i}\mbox{ varies from }\mu. \end{array}$

Đó là,

E [{(X_{i} - \bar{X})}^{2}] + E [{(\bar{X} - μ)}^{2}] = E [{(X_{i} - μ)}^{2}] .

$\mathbf{E}\left[\left(X_{i}-\bar{X}\right)^{2}\right]+\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]=\mathbf{E}\left[\left(X_{i}-\mu\right)^{2}\right].$

Trên thực tế việc chứng minh phương trình trên cần một chút đại số (đại số này rất giống với câu trả lời của @ Glen_b ở trên). Nhưng giả sử đó là sự thật, chúng ta có thể sắp xếp lại để có được:

E [{(X_{i} - \bar{X})}^{2}] = \underset{σ^{2}}{\underset{⏟}{E [{(X_{i} - μ)}^{2}]}} - \underset{\frac{σ^{2}}{n}}{\underset{⏟}{E [{(\bar{X} - μ)}^{2}]}} = \frac{n - 1}{n} σ^{2} .

$\mathbf{E}\left[\left(X_{i}-\bar{X}\right)^{2}\right]=\underset{\sigma^{2}}{\underbrace{\mathbf{E}\left[\left(X_{i}-\mu\right)^{2}\right]}}-\underset{\frac{\sigma^{2}}{n}}{\underbrace{\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]}}=\frac{n-1}{n}\sigma^2.$

Đối với tôi, một phần trực giác khác là sử dụng thay vì giới thiệu sai lệch. Và độ lệch này chính xác bằng . $\bar{X}$ $\mu$ $\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]=\frac{\sigma^2}{n}$

— Kenny LJ
nguồn

12

Hầu hết các câu trả lời đã giải thích rất công phu nhưng ngoài những câu trả lời đó có một minh họa đơn giản mà người ta có thể thấy hữu ích:

Giả sử bạn được cho rằng và ba số đầu tiên là: $n=4$

$8,4,6$ , _

Bây giờ số thứ tư có thể là bất cứ điều gì vì không có ràng buộc. Bây giờ hãy xem xét tình huống khi bạn được cho rằng và , sau đó nếu ba số đầu tiên là: thì số thứ tư phải là . $n=4$ $\bar x=6$ $8,4,6$ $6$

Điều này có nghĩa là nếu bạn biết giá trị và , thì giá trị không có tự do. Do đó, cho chúng ta một công cụ ước lượng không thiên vị. $n-1$ $\bar x$ $nth$ $n-1$

— Satwik Bhattamishra
nguồn