Độ lệch chuẩn của dữ liệu không âm có thể vượt quá giá trị trung bình không?

Tôi có một số lưới 3D hình tam giác. Số liệu thống kê cho các khu vực tam giác là:

• Tối thiểu 0,000
• Tối đa 2341.141
• Trung bình 56.317
• Std dev 98.720

Vì vậy, nó có nghĩa là bất cứ điều gì đặc biệt hữu ích về độ lệch chuẩn hoặc cho thấy có lỗi trong việc tính toán nó, khi các số liệu hoạt động như trên? Các khu vực chắc chắn là xa phân phối bình thường.

Và như ai đó đã đề cập trong một trong những câu trả lời của họ dưới đây, điều thực sự làm tôi ngạc nhiên là nó chỉ lấy một SD từ giá trị trung bình để các số bị âm và do đó ra khỏi miền hợp pháp.

Cảm ơn

Không có gì nói rằng độ lệch chuẩn phải nhỏ hơn hoặc nhiều hơn giá trị trung bình. Cho một tập hợp dữ liệu, bạn có thể giữ giá trị trung bình như cũ nhưng thay đổi độ lệch chuẩn thành mức độ tùy ý bằng cách thêm / trừ một số dương một cách thích hợp .

Sử dụng tập dữ liệu mẫu của @ whuber từ nhận xét của anh ấy cho câu hỏi: {2, 2, 2, 202}. Như đã nêu bởi @whuber: giá trị trung bình là 52 và độ lệch chuẩn là 100.

Bây giờ, nhiễu từng phần tử của dữ liệu như sau: {22, 22, 22, 142}. Giá trị trung bình vẫn là 52 nhưng độ lệch chuẩn là 60.

Tất nhiên, đây là những thông số độc lập. Bạn có thể đặt các khám phá đơn giản trong R (hoặc một công cụ khác mà bạn có thể thích).

R> set.seed(42)     # fix RNG
R> x <- rnorm(1000) # one thousand N(0,1)
R> mean(x)          # and mean is near zero
[1] -0.0258244
R> sd(x)            # sd is near one
[1] 1.00252
R> sd(x * 100)      # scale to std.dev of 100
[1] 100.252
R> 

Tương tự, bạn chuẩn hóa dữ liệu bạn đang xem bằng cách trừ giá trị trung bình và chia cho độ lệch chuẩn.

Chỉnh sửa và làm theo ý tưởng của @ whuber, đây là một bộ dữ liệu vô cùng gần với bốn phép đo của bạn:

R> data <- c(0, 2341.141, rep(52, 545))
R> data.frame(min=min(data), max=max(data), sd=sd(data), mean=mean(data))
  min     max      sd    mean
1   0 2341.14 97.9059 56.0898
R> 

Tôi không chắc tại sao @Andy ngạc nhiên với kết quả này, nhưng tôi biết anh ấy không đơn độc. Tôi cũng không chắc chắn về tính quy phạm của dữ liệu phải làm với thực tế là sd cao hơn giá trị trung bình. Nó khá đơn giản để tạo ra một tập dữ liệu thường được phân phối trong trường hợp này; thật vậy, chuẩn thông thường có giá trị trung bình là 0, sd là 1. Thật khó để có được một tập dữ liệu phân phối bình thường của tất cả các giá trị dương với sd> mean; thật vậy, điều đó không thể xảy ra (nhưng nó phụ thuộc vào cỡ mẫu và thử nghiệm tính quy phạm nào bạn sử dụng ... với một mẫu rất nhỏ, những điều kỳ lạ xảy ra)

Tuy nhiên, một khi bạn loại bỏ quy định về tính quy tắc, như @Andy đã làm, không có lý do gì khiến sd nên lớn hơn hoặc nhỏ hơn giá trị trung bình, ngay cả đối với tất cả các giá trị dương. Một ngoại lệ duy nhất sẽ làm điều này. ví dụ

x <- runif (100, 1, 200) x <- c (x, 2000)

cho giá trị trung bình của 113 và sd là 198 (tất nhiên tùy thuộc vào hạt giống).

Nhưng một câu hỏi lớn hơn là tại sao điều này làm mọi người ngạc nhiên.

Tôi không dạy thống kê, nhưng tôi tự hỏi những gì về cách dạy số liệu thống kê làm cho khái niệm này trở nên phổ biến.

Chỉ cần thêm một điểm chung rằng, từ góc độ tính toán, và ∫ x 2 f ( x ) d x có liên quan bởi bất đẳng thức của Jensen , giả sử cả hai tích phân tồn tại, ∫ x 2 f ( x ) d x ≥ { ∫ x f ( x ) d x }

$$\int x f(x) \text{d}x$$ $$\int x^2 f(x) \text{d}x$$ Với sự bất bình đẳng chung này, không có gì ngăn cản phương sai trở nên lớn tùy ý. Chứng kiếnphân phối t của Studentvới ν bậc tự do, X ~ T ( ν , μ , σ ) và chịu Y = | X | có khoảnh khắc thứ hai giống với khoảnh khắc thứ hai của X , E [ | X | 2 ] = $$\int x^2 f(x) \text{d}x \ge \left\{ \int x f(x) \text{d}x \right\}^2\,.$$ $\nu$ $$X \sim \mathfrak{T}(\nu,\mu,\sigma)$$ $Y=|X|$$X$ khiν>2. Vì vậy, nó đi đến vô cùng khiνgiảm xuống2, trong khi giá trị trung bình củaYvẫn hữu hạn miễn làν>1. $$\mathbb{E}[|X|^2] = \frac{\nu}{\nu-2}\sigma^2 + \mu^2,$$ $\nu>2$$\nu$$2$$Y$$\nu>1$

Có lẽ OP rất ngạc nhiên khi giá trị trung bình - 1 SD là số âm (đặc biệt là mức tối thiểu là 0).

Đây là hai ví dụ có thể làm rõ.

Giả sử bạn có một lớp gồm 20 học sinh lớp một, trong đó 18 là 6 tuổi, 1 là 5 và 1 là 7. Bây giờ hãy thêm vào giáo viên 49 tuổi. Độ tuổi trung bình là 8,0, trong khi độ lệch chuẩn là 9,402.

Bạn có thể nghĩ: một phạm vi độ lệch chuẩn cho lớp này dao động từ -1,40 đến 17,42 năm. Bạn có thể ngạc nhiên rằng SD bao gồm một độ tuổi tiêu cực, điều này có vẻ không hợp lý.

Bạn không phải lo lắng về độ tuổi âm (hoặc các ô 3D kéo dài dưới mức tối thiểu 0,0). Theo trực giác, bạn vẫn có khoảng hai phần ba dữ liệu trong vòng 1 SD của giá trị trung bình. (Bạn thực sự có 95% dữ liệu trong vòng 2 SD trung bình.)

Khi dữ liệu có phân phối không bình thường, bạn sẽ thấy kết quả đáng ngạc nhiên như thế này.

Ví dụ thứ hai. Trong cuốn sách của mình, Fooled by Randomness , Nassim Taleb thiết lập thí nghiệm tư tưởng về một cung thủ bịt mắt bắn vào một bức tường có chiều dài không rõ ràng. Cung thủ có thể bắn trong khoảng từ +90 độ đến -90 độ.

Thỉnh thoảng, cung thủ sẽ bắn mũi tên song song vào tường, và nó sẽ không bao giờ bắn trúng. Xem xét khoảng cách mũi tên bỏ lỡ mục tiêu là phân phối số. Độ lệch chuẩn cho kịch bản này sẽ là không rõ ràng.

$X$

$$f_X(x) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x} I_{(0,\infty)}(x) \, ,$$ $\alpha,\beta>0$$m>0$$s>0$$m>s$$m<s$$\alpha=m^2/s^2$$\beta=m/s^2$$X$$\mathbb{E}[X]=\alpha/\beta=m$$\sqrt{\mathbb{Var}[X]}=\sqrt{\alpha/\beta^2}=s$$X$$m$$s$R$m>s$$m<s$

> m <- 10
> s <- 1
> x <- rgamma(10000, shape = m^2/s^2, rate = m/s^2)
> mean(x)
[1] 10.01113
> sd(x)
[1] 1.002632

> m <- 1
> s <- 10
> x <- rgamma(10000, shape = m^2/s^2, rate = m/s^2)
> mean(x)
[1] 1.050675
> sd(x)
[1] 10.1139

As pointed out in the other answers, the mean $\bar{x}$ and standard deviation $\sigma_x$ are essentially unrelated in that it is not necessary for the standard deviation to be smaller than the mean. However, if the data are nonnegative, taking on values in $[0,c]$, say, then, for large data sets (where the distinction between dividing by $n$ or by $n-1$ does not matter very much), the following inequality holds:

$$\sigma_x \leq \sqrt{\bar{x}(c-\bar{x})} \leq \frac{c}{2}$$ and so if $\bar{x} > c/2$, we can be sure that $\sigma_x$ will be smaller. Indeed, since $\sigma_x = c/2$ only for an extremal distribution (half the data have value $0$ and the other half value $c$), $\sigma_x < \bar{x}$ can hold in some cases when $\bar{x} < c/2$ as well. If the data are measurements of some physical quantity that is nonnegative (e.g. area) and have an empirical distribution that is a good fit to a normal distribution, then $\sigma_x$ will be considerably smaller than $\min\{\bar{x}, c - \bar{x}\}$ since the fitted normal distribution should assign negligibly small probability to the events $\{X < 0\}$ and $\{X > c\}$.

What you seem to have in mind implicitly is a prediction interval that would bound the occurrence of new observations. The catch is: you must postulate a statistical distribution compliant with the fact that your observations (triangle areas) must remain non-negative. Normal won't help, but log-normal might be just fine. In practical terms, take the log of observed areas, calculate the mean and standard deviation, form a prediction interval using the normal distribution, and finally evaluate the exponential for the lower and upper limits -- the transformed prediction interval won't be symmetric around the mean, and is guaranteed to not go below zero. This is what I think the OP actually had in mind.

Felipe Nievinski points to a real issue here. It makes no sense to talk in normal distribution terms when the distribution is clearly not a normal distribution. All-positive values with a relatively small mean and relatively large standard deviation cannot have a normal distribution. So, the task is to figure out what sort of distribution fits the situation. The original post suggests that a normal distribution (or some such) was clearly in mind. Otherwise negative numbers would not come up. Log normal, Rayleigh, Weibull come to mind ... I don't know but wonder what might be best in a case like this?