Trực giác đằng sau độ lệch chuẩn

26

Tôi đang cố gắng để có được sự hiểu biết trực quan tốt hơn về độ lệch chuẩn.

Theo những gì tôi hiểu, nó là đại diện cho mức trung bình của sự khác biệt của một tập hợp các quan sát trong một tập dữ liệu từ giá trị trung bình của tập dữ liệu đó. Tuy nhiên, nó KHÔNG thực sự bằng trung bình của sự khác biệt vì nó mang lại nhiều trọng lượng hơn cho các quan sát xa hơn so với giá trị trung bình.

Giả sử tôi có dân số các giá trị sau - $\{1, 3, 5, 7, 9\}$

Giá trị trung bình là . $5$

Nếu tôi đo lường mức độ lây lan dựa trên giá trị tuyệt đối tôi nhận được

\frac{\sum_{i = 1}^{5} | x_{i} - μ |}{5} = 2.4

$\frac{\sum_{i = 1}^5|x_i - \mu|}{5} = 2.4$

Nếu tôi thực hiện một biện pháp lây lan dựa trên độ lệch chuẩn, tôi sẽ nhận được

\sqrt{\frac{\sum_{i = 1}^{5} (x_{i} - μ)^{2}}{5}} = 2.83

$\sqrt{\frac{\sum_{i = 1}^5(x_i - \mu)^2}{5}} = 2.83$

Kết quả sử dụng độ lệch chuẩn lớn hơn, như mong đợi, vì trọng số tăng thêm mà nó mang lại cho các giá trị xa hơn giá trị trung bình.

Nhưng nếu tôi được thông báo rằng tôi đang đối phó với một dân số có giá trị trung bình là và độ lệch chuẩn là làm thế nào tôi có thể suy ra rằng dân số đó bao gồm các giá trị như ? Có vẻ như con số rất độc đoán ... Tôi không thấy bạn phải giải thích nó như thế nào. Liệu có nghĩa là các giá trị được trải rất rộng hay tất cả chúng được tập hợp chặt chẽ xung quanh giá trị trung bình ... $5$ $2.83$ $\{1, 3, 5, 7, 9\}$ $2.83$ $2.83$

Khi bạn được trình bày với một tuyên bố rằng bạn đang đối phó với một dân số có giá trị trung bình là và độ lệch chuẩn là điều đó cho bạn biết gì về dân số? $5$ $2.83$

standard-deviation intuition

— tiếng nổ siêu thanh
nguồn

2

Câu hỏi này có liên quan (mặc dù không giống nhau) với stats.stackexchange.com/q/81986/3277 và một câu hỏi khác liên quan đến đó.

— ttnphns

1

Nó cho bạn biết khoảng cách 'điển hình' so với giá trị trung bình (khoảng cách RMS). Điều gì làm cho 'lớn' hay 'nhỏ' phụ thuộc vào tiêu chí của bạn . Nếu bạn đang cố gắng đo dung sai kỹ thuật thì nó có thể rất lớn. Trong các bối cảnh khác, độ lệch chuẩn tương tự có thể được coi là khá nhỏ.

— Glen_b -Reinstate Monica

13

Trực giác của tôi là độ lệch chuẩn là: thước đo sự lan truyền của dữ liệu.

Bạn có một điểm tốt là nó rộng hay chặt phụ thuộc vào giả định cơ bản của chúng ta là gì cho việc phân phối dữ liệu.

Hãy cẩn thận: Một biện pháp lan truyền là hữu ích nhất khi phân phối dữ liệu của bạn đối xứng quanh giá trị trung bình và có phương sai tương đối gần với phân phối Bình thường. (Điều này có nghĩa là nó xấp xỉ Bình thường.)

Trong trường hợp dữ liệu xấp xỉ Bình thường, độ lệch chuẩn có cách hiểu chính tắc:

Vùng: Giá trị trung bình mẫu +/- 1 độ lệch chuẩn, chứa khoảng 68% dữ liệu
Vùng: Giá trị trung bình mẫu +/- 2 độ lệch chuẩn, chứa khoảng 95% dữ liệu
Vùng: Giá trị trung bình mẫu +/- 3 độ lệch chuẩn, chứa khoảng 99% dữ liệu

(xem hình ảnh đầu tiên trong Wiki )

Điều này có nghĩa là nếu chúng ta biết trung bình dân số là 5 và độ lệch chuẩn là 2,83 và chúng tôi giả sử phân phối là xấp xỉ Bình thường, tôi sẽ nói với bạn rằng tôi chắc chắn một cách hợp lý rằng nếu chúng ta thực hiện (rất nhiều) nhiều quan sát, chỉ 5% sẽ nhỏ hơn 0,4 = 5 - 2 * 2.3 hoặc lớn hơn 9,6 = 5 + 2 * 2.3.

Lưu ý ảnh hưởng của độ lệch chuẩn đến khoảng tin cậy của chúng tôi là gì? (càng lan rộng, càng không chắc chắn)

Hơn nữa, trong trường hợp chung khi dữ liệu thậm chí không gần như bình thường, nhưng vẫn đối xứng, bạn biết rằng tồn tại một số mà: $\alpha$

Vùng: Độ lệch chuẩn trung bình +/- , chứa khoảng 95% dữ liệu $\alpha$

Bạn có thể tìm hiểu từ một mẫu phụ hoặc giả sử và điều này thường mang đến cho bạn một quy tắc tốt để tính toán trong đầu những quan sát trong tương lai, hoặc những quan sát mới nào có thể được coi là ngoại lệ. (hãy luôn cảnh giác!) $\alpha$ $\alpha=2$

Tôi không thấy bạn phải giải thích nó như thế nào. Liệu 2,83 có nghĩa là các giá trị được trải rất rộng hay tất cả chúng được tập hợp chặt chẽ xung quanh giá trị trung bình ...

Tôi đoán mọi câu hỏi hỏi "rộng hay chặt", cũng nên chứa: "liên quan đến cái gì?". Một gợi ý có thể là sử dụng phân phối nổi tiếng làm tài liệu tham khảo. Tùy thuộc vào ngữ cảnh, có thể hữu ích khi nghĩ về: "Nó rộng hơn nhiều hay chặt hơn Bình thường / Poisson?".

EDIT: Dựa trên một gợi ý hữu ích trong các bình luận, thêm một khía cạnh về độ lệch chuẩn là thước đo khoảng cách.

Tuy nhiên, một trực giác của tính hữu ích của độ lệch chuẩn là nó là một thước đo khoảng cách giữa các dữ liệu mẫu và nó có nghĩa là : $s_N$ $x_1,… , x_N$ $\bar{x}$

$s_N = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2}$

Để so sánh, lỗi bình phương trung bình (MSE), một trong những biện pháp lỗi phổ biến nhất trong thống kê, được định nghĩa là:

$\operatorname{MSE}=\frac{1}{n}\sum_{i=1}^n(\hat{Y_i} - Y_i)^2$

Các câu hỏi có thể được nêu ra tại sao các chức năng khoảng cách trên? Tại sao khoảng cách bình phương, và không phải khoảng cách tuyệt đối chẳng hạn? Và tại sao chúng ta lấy căn bậc hai?

Có khoảng cách bậc hai, hoặc lỗi, các hàm có lợi thế là chúng ta có thể phân biệt và dễ dàng giảm thiểu chúng. Theo như căn bậc hai có liên quan, nó thêm vào khả năng diễn giải khi nó chuyển đổi lỗi trở lại quy mô của dữ liệu quan sát của chúng tôi.

— nghĩa là
nguồn

Tại sao bạn nói rằng một biện pháp lây lan là 'hữu ích' nhất khi dữ liệu bình thường? Dường như đối với tôi, bất kỳ tập hợp dữ liệu nào cũng có sự lây lan và độ lệch chuẩn là một bản tóm tắt về mức chênh lệch ngay cả khi nó không nắm bắt được hình dạng của sự lây lan.

— Michael Luân

Chắc chắn, bạn đã đúng. Nhưng tôi đã không tuyên bố rằng độ lệch chuẩn phụ thuộc vào hình dạng của phân phối theo bất kỳ cách nào. Chỉ đơn thuần chỉ ra rằng NẾU bạn có một số kiến thức về hình dạng (hoặc bạn đã sẵn sàng để đưa ra giả định này), nó thường là một thông tin hữu ích hơn nhiều. Theo cách tương tự, giá trị trung bình mẫu là một mô tả tốt về dữ liệu của bạn, NẾU bạn có thể đưa ra các giả định chung nhất định về phân phối.

— có nghĩa là

Lý do yêu thích của tôi để sử dụng hình vuông thay vì giá trị tuyệt đối là theo cách đó là logarit xác suất của một số Gaussian. Vì vậy, nếu bạn tin rằng các lỗi là Gaussian về bản chất và các bit đó là cách tốt để đo thông tin, thì sẽ hợp lý khi sử dụng lỗi bình phương.

— qbolec

5

Nó có thể giúp nhận ra rằng giá trị trung bình tương tự như trung tâm của khối lượng . Phương sai là thời điểm quán tính . Độ lệch chuẩn là bán kính của hồi chuyển .

Đối với một viễn cảnh lịch sử, hãy xem:

George Airy (1875) Về lý thuyết đại số và số về sai số của các quan sát và sự kết hợp của các quan sát

Karl Pearson (1894) Đóng góp cho thuyết tiến hóa toán học.

Cốt truyện này từ Airy 1875 cho thấy các biện pháp sai lệch khác nhau có thể dễ dàng thay thế (trang 17). Độ lệch chuẩn được gọi là "lỗi bình phương trung bình". Nó cũng được thảo luận ở các trang 20-21 và ông biện minh cho việc sử dụng nó ở trang 48, cho thấy rằng việc tính toán bằng tay là dễ nhất vì không cần tính toán riêng biệt các lỗi âm và dương. Thuật ngữ độ lệch chuẩn được Pearson giới thiệu trong bài viết được trích dẫn ở trên trên trang 75.

nhập mô tả hình ảnh ở đây

Bên cạnh đó: Lưu ý rằng tiện ích của độ lệch chuẩn phụ thuộc vào khả năng áp dụng "luật lỗi", còn được gọi là "đường cong thông thường", phát sinh từ "rất nhiều nguyên nhân gây ra lỗi độc lập" (Airy 1875 pg 7). Không có lý do để mong đợi rằng những sai lệch so với ý nghĩa nhóm của mỗi cá nhân nên tuân theo luật này. Trong nhiều trường hợp cho các hệ thống sinh học, phân phối bình thường log là giả định tốt hơn bình thường. Xem:

Limpert et al (2001) Phân phối log-normal trên các ngành khoa học: Chìa khóa và manh mối

Một câu hỏi nữa là liệu có phù hợp để coi biến thể riêng lẻ là nhiễu hay không, vì quá trình tạo dữ liệu hoạt động ở cấp độ của cá nhân chứ không phải nhóm.

— Sống động
nguồn

3

Độ lệch chuẩn thực sự mang lại nhiều trọng lượng hơn cho những người ở xa trung bình, bởi vì nó là căn bậc hai của trung bình của khoảng cách bình phương. Lý do sử dụng điều này (chứ không phải độ lệch tuyệt đối trung bình mà bạn đề xuất hoặc độ lệch tuyệt đối trung bình, được sử dụng trong thống kê mạnh mẽ) một phần là do tính toán có thời gian dễ dàng hơn với đa thức so với giá trị tuyệt đối. Tuy nhiên, thông thường, chúng tôi muốn nhấn mạnh các giá trị cực đoan.

Đối với câu hỏi của bạn về ý nghĩa trực quan - nó phát triển theo thời gian. Bạn đúng rằng nhiều hơn một bộ số có thể có cùng giá trị trung bình và sd; điều này là do giá trị trung bình và sd chỉ là hai phần thông tin và tập dữ liệu có thể là 5 phần (dưới dạng 1,3,5,7,9) hoặc nhiều hơn nữa.

Việc trung bình 5 và sd là 2,83 là "rộng" hay "hẹp" tùy thuộc vào lĩnh vực bạn đang làm việc.

Khi bạn chỉ có 5 số, thật dễ dàng để xem danh sách đầy đủ; khi bạn có nhiều số, các cách suy nghĩ trực quan hơn về sự lây lan bao gồm những thứ như tóm tắt năm số hoặc, thậm chí tốt hơn, các biểu đồ như biểu đồ mật độ.

— Peter Flom - Tái lập Monica
nguồn

2

Độ lệch chuẩn đo khoảng cách dân số của bạn với giá trị trung bình là các biến ngẫu nhiên.

$X: [0,1] \rightarrow \mathbb{R}$

X (t) = = {\begin{cases} 1 & 0 \leq t < \frac{1}{5} \\ 3 & \frac{1}{5} \leq t < \frac{2}{5} \\ 5 & \frac{2}{5} \leq t < \frac{3}{5} \\ 7 & \frac{3}{5} \leq t < \frac{4}{5} \\ 9 & \frac{4}{5} \leq t \leq 1 \end{cases}

$X(t) = \begin{cases} 1 & 0 \leq t < \frac{1}{5} \\ 3 & \frac{1}{5} \leq t < \frac{2}{5}\\ 5 & \frac{2}{5} \leq t < \frac{3}{5}\\ 7 & \frac{3}{5} \leq t < \frac{4}{5}\\ 9 & \frac{4}{5} \leq t \leq 1 \end{cases}$

Lý do chúng ta chuyển sang các chức năng và đo lường lý thuyết là bởi vì chúng ta cần có một cách thảo luận có hệ thống về việc hai không gian xác suất giống nhau đến các sự kiện không có cơ hội xảy ra. Bây giờ chúng ta đã chuyển sang các chức năng, chúng ta cần một cảm giác về khoảng cách.

Có nhiều cảm giác về khoảng cách cho các chức năng, đáng chú ý nhất là các chỉ tiêu

| | Y | |_{p} = {(\int_{0}^{1} | Y (t) |^{p} d t)}^{1 / p}

$||Y||_p = \left(\int_{0}^1|Y(t)|^pdt\right)^{1/p}$ for

Y : [0, 1] \to R

$Y: [0,1] \rightarrow \mathbb{R}$ and

1 \leq p < \infty

$1 \leq p < \infty$ induce the distance functions

d_{p} (Y, Z) = | | X - Z | |_{p}

$d_p(Y,Z) = ||X - Z||_p$ .

If we take the $p=1$ norm we get the naïve absolute value deviation that you mentioned:

d_{1} (X, 5) = | | X - \underline{5} | |_{1} = 2.4.

$d_1(X,5) = ||X - \underline{5} ||_1 = 2.4.$ If we take the

p = 2

$p=2$ norm we get the usual standard deviation

d_{2} (X, 5) = | | X - \underline{5} | |_{2} = 2.83.

$d_2(X,5) = ||X-\underline{5}||_2 = 2.83.$

Here $\underline{5}$ denotes the constant function $t \mapsto 5$ .

Understanding the meaning of standard deviation is really understanding the meaning of the distance function $d_2$ and understanding why it is, in many senses, the best measure of distance between functions.

— SomeEE
nguồn

This explanation includes some constructions that do not seem "intuitive." The principal one is the unwarranted appearance of a function defined on

[0, 1]

$[0,1]$ , an interval which has nothing to do with the setting. (It is natural to define

X : {1, 3, 5, 7, 9} \to R

$X:\{1,3,5,7,9\}\to\mathbb{R}$ as

X (i) = i

$X(i)=i$ where the algebra is the power set of

{1, 3, 5, 7, 9}

$\{1,3,5,7,9\}$ .) Also, interpreting expressions like "

| | X - 5 | |_{1}

$||X-5||_1$ " is somewhat problematic because "

5

$5$ " represents a number--the mean of the population--not a random variable. In the end, after all this machinery is introduced, the question is restated but not actually answered.

— whuber

Yes the random variable you listed is standard for those comfortable with measure theory. I was hoping to narrow it down to understanding functions and integration for people with only calculus background. I will rewrite the mean as a function.

— SomeEE

Also, in that it is a restated question, are you suggesting to include comments about why

d_{2}

$d_2$ is the best measure of distance between functions?

— SomeEE

The question asks for intuition in understanding the standard deviation. You have explained how it is the

L^{2}

$L^2$ norm in some function space. Although that provides another mathematical formalization (and would be adequate intuition for a mathematician otherwise ignorant of the standard deviation), it seems to stop short of what the original poster was requesting. What would be most welcome is a follow-up paragraph explaining the "meaning of the distance function

d_{2}

$d_2$ " and elaborating, if only a little, on the senses in which it is a "best" measure of distance.

— whuber