Giá trị tối đa của hệ số biến đổi cho tập dữ liệu giới hạn

17

Trong cuộc thảo luận sau một câu hỏi gần đây về việc độ lệch chuẩn có thể vượt quá giá trị trung bình hay không, một câu hỏi đã được nêu ra một cách ngắn gọn nhưng không bao giờ được trả lời đầy đủ. Vì vậy, tôi đang yêu cầu nó ở đây.

Hãy xem xét một tập hợp số không âm trong đó cho . Không yêu cầu phải khác biệt, nghĩa là, tập hợp có thể là nhiều trang. Giá trị trung bình và phương sai của tập hợp được xác định là và độ lệch chuẩn là . Lưu ý rằng tập hợp các số không phải là một mẫu từ dân số và chúng tôi không ước tính trung bình dân số hoặc phương sai dân số. Câu hỏi sau đó là: $n$ $x_i$ $0 \leq x_i \leq c$ $1 \leq i \leq n$ $x_i$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}, σ_{x}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} = (\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - {\bar{x}}^{2}

$\bar{x} = \frac{1}{n}\sum_{i=1}^n x_i, ~~ \sigma_x^2 = \frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2 = \left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) - \bar{x}^2$

σ_{x}

$\sigma_x$

Giá trị tối đa của , hệ số biến đổi, trên tất cả các lựa chọn của trong khoảng gì? $\dfrac{\sigma_x}{\bar{x}}$ $x_i$ $[0,c]$

Giá trị tối đa mà tôi có thể tìm thấy cho là đạt được khi của có giá trị và còn lại (ngoại lệ) có giá trị , cho Nhưng điều này hoàn toàn không phụ thuộc vào , và tôi tự hỏi liệu những giá trị lớn hơn, có thể phụ thuộc vào cả và , có thể đạt được hay không. $\frac{\sigma_x}{\bar{x}}$ $\sqrt{n-1}$ $n-1$ $x_i$ $0$ $x_i$ $c$

\bar{x} = \frac{c}{n}, \frac{1}{n} \sum x_{i}^{2} = \frac{c^{2}}{n} \Rightarrow σ_{x} = \sqrt{\frac{c^{2}}{n} - \frac{c^{2}}{n^{2}}} = \frac{c}{n} \sqrt{n - 1} .

$\bar{x} = \frac{c}{n},~~ \frac{1}{n}\sum x_i^2 = \frac{c^2}{n} \Rightarrow \sigma_x = \sqrt{\frac{c^2}{n} - \frac{c^2}{n^2}} = \frac{c}{n}\sqrt{n-1}.$

c

$c$

n

$n$

c

$c$

Có ý kiến gì không? Tôi chắc chắn rằng câu hỏi này đã được nghiên cứu trong tài liệu thống kê trước đây, và vì vậy các tài liệu tham khảo, nếu không phải là kết quả thực tế, sẽ được đánh giá cao.

— Dilip Sarwate
nguồn

Tôi nghĩ rằng bạn đúng về việc đó là giá trị lớn nhất có thể, và tôi cũng ngạc nhiên rằng

c

$c$ không quan trọng. Mát mẻ.

— Peter Flom - Tái lập Monica

7

c

$c$ không nên ảnh hưởng đến kết quả vì

\frac{σ_{x}}{\bar{x}}

$\frac{\sigma_x}{\bar{x}}$ không thay đổi nếu tất cả các giá trị được nhân với bất kỳ hằng số dương

k

$k$ .

— Henry

15

Hình học cung cấp cái nhìn sâu sắc và bất bình đẳng cổ điển có khả năng dễ dàng truy cập vào sự nghiêm ngặt.

Giải pháp hình học

Chúng ta biết, từ hình học của các hình vuông nhỏ nhất , là hình chiếu trực giao của vectơ của dữ liệu trên không gian con tuyến tính được tạo bởi vectơ không đổi và tỷ lệ thuận với khoảng cách (Euclide) giữa và Các ràng buộc không âm là tuyến tính và khoảng cách là một hàm lồi, từ đó các cực trị của khoảng cách phải đạt được tại các cạnh của hình nón được xác định bởi các ràng buộc. Hình nón này là phần chỉnh hình dương trong $\mathbf{\bar{x}} = (\bar{x}, \bar{x}, \ldots, \bar{x})$ $\mathbf{x}=(x_1, x_2, \ldots, x_n)$ $(1,1,\ldots,1)$ $\sigma_x$ $\mathbf{x}$ $\mathbf{\bar{x}}.$ $\mathbb{R}^n$ và các cạnh của nó là các trục tọa độ, từ đó ngay lập tức theo sau tất cả ngoại trừ một trong các phải bằng 0 ở khoảng cách tối đa. Đối với một tập hợp dữ liệu như vậy, phép tính trực tiếp (đơn giản) hiển thị $x_i$ $\sigma_x/\bar{x}=\sqrt{n}.$

Giải pháp khai thác bất đẳng thức cổ điển

$\sigma_x/\bar{x}$ được tối ưu hóa đồng thời với mọi chuyển đổi đơn điệu của chúng. Trước điều này, hãy tối đa hóa

\frac{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}{(x_{1} + x_{2} + \dots + x_{n})^{2}} = \frac{1}{n} (\frac{n - 1}{n} {(\frac{σ_{x}}{\bar{x}})}^{2} + 1) = f (\frac{σ_{x}}{\bar{x}}) .

$\frac{x_1^2+x_2^2+\ldots+x_n^2}{(x_1+x_2+\ldots+x_n)^2} = \frac{1}{n}\left(\frac{n-1}{n}\left(\frac{\sigma_x}{\bar{x}}\right)^2+1\right) = f\left(\frac{\sigma_x}{\bar{x}}\right).$

(Công thức cho có thể trông bí ẩn cho đến khi bạn nhận ra nó chỉ ghi lại các bước người ta sẽ thực hiện khi thao tác đại số để đưa nó vào một hình thức đơn giản, đó là phía bên tay trái.) $f$ $\sigma_x/\bar{x}$

Một cách dễ dàng bắt đầu với Bất bình đẳng của Chủ sở hữu ,

x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2} \leq (x_{1} + x_{2} + \dots + x_{n}) max ({x_{i}}) .

$x_1^2+x_2^2+\ldots+x_n^2 \le \left(x_1+x_2+\ldots+x_n\right)\max(\{x_i\}).$

(Điều này không cần bằng chứng đặc biệt trong ngữ cảnh đơn giản này: chỉ thay thế một yếu tố của mỗi thuật ngữ bằng thành phần tối đa : rõ ràng tổng bình phương sẽ không giảm. ra thuật ngữ chung mang lại phía bên phải của bất đẳng thức.) $x_i^2 = x_i \times x_i$ $\max(\{x_i\})$ $\max(\{x_i\})$

Vì không phải là tất cả (sẽ không để lại ), nên chia cho bình phương tổng của chúng là hợp lệ và cho bất đẳng thức tương đương $x_i$ $0$ $\sigma_x/\bar{x}$

\frac{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}{(x_{1} + x_{2} + \dots + x_{n})^{2}} \leq \frac{max ({x_{i}})}{x_{1} + x_{2} + \dots + x_{n}} .

$\frac{x_1^2+x_2^2+\ldots+x_n^2}{(x_1+x_2+\ldots+x_n)^2} \le \frac{\max(\{x_i\})}{x_1+x_2+\ldots+x_n}.$

Bởi vì mẫu số không thể nhỏ hơn tử số (bản thân nó chỉ là một trong các số hạng trong mẫu số), phía bên phải bị chi phối bởi giá trị , chỉ đạt được khi tất cả trừ một trong số bằng . Từ đâu $1$ $x_i$ $0$

\frac{σ_{x}}{\bar{x}} \leq f^{- 1} (1) = \sqrt{(1 \times (n - 1)) \frac{n}{n - 1}} = \sqrt{n} .

$\frac{\sigma_x}{\bar{x}} \le f^{-1}\left(1\right) = \sqrt{\left(1 \times (n - 1)\right)\frac{n}{n-1}}=\sqrt{n}.$

Cách tiếp cận khác

Vì là không âm và không thể tổng bằng , nên các giá trị xác định phân phối xác suất trên . Viết cho tổng của , chúng tôi nhận ra $x_i$ $0$ $p(i) = x_i/(x_1+x_2+\ldots+x_n)$ $F$ $\{1,2,\ldots,n\}$ $s$ $x_i$

\begin{aligned} \frac{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}{(x_{1} + x_{2} + \dots + x_{n})^{2}} & = \frac{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}{s^{2}} \\ = (\frac{x_{1}}{s}) (\frac{x_{1}}{s}) + (\frac{x_{2}}{s}) (\frac{x_{2}}{s}) + \dots + (\frac{x_{n}}{s}) (\frac{x_{n}}{s}) \\ = p_{1} p_{1} + p_{2} p_{2} + \dots + p_{n} p_{n} \\ = E_{F} [p] . \end{aligned}

$\eqalign{ \frac{x_1^2+x_2^2+\ldots+x_n^2}{(x_1+x_2+\ldots+x_n)^2} &= \frac{x_1^2+x_2^2+\ldots+x_n^2}{s^2} \\ &= \left(\frac{x_1}{s}\right)\left(\frac{x_1}{s}\right)+\left(\frac{x_2}{s}\right)\left(\frac{x_2}{s}\right) + \ldots + \left(\frac{x_n}{s}\right)\left(\frac{x_n}{s}\right)\\ &= p_1 p_1 + p_2 p_2 + \ldots + p_n p_n\\ &= \mathbb{E}_F[p]. }$

Thực tế tiên đề rằng không có xác suất nào có thể vượt quá ngụ ý kỳ vọng này cũng không thể vượt quá , nhưng thật dễ dàng để làm cho nó bằng bằng cách đặt tất cả trừ một trong số bằng và do đó chính xác một trong số là khác không. Tính hệ số biến thiên như trong dòng cuối cùng của giải pháp hình học ở trên. $1$ $1$ $1$ $p_i$ $0$ $x_i$

— whuber
nguồn

Cảm ơn cho một câu trả lời chi tiết từ đó tôi đã học được rất nhiều! Tôi giả sử rằng sự khác biệt giữa trong câu trả lời của bạn và mà tôi đã nhận được (và Henry đã xác nhận) là do thực tế là bạn đang sử dụng như định nghĩa của trong khi tôi đã sử dụng

\sqrt{n}

$\sqrt{n}$

\sqrt{n - 1}

$\sqrt{n-1}$

σ_{x} = \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}}

$\sigma_x = \sqrt{\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2}$

σ_{x}

$\sigma_x$

σ_{x} = \sqrt{\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}} ?

$\sigma_x = \sqrt{\frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})^2}?$

— Dilip Sarwate

1

Vâng Dilip, đúng vậy. Xin lỗi về sự khác biệt với câu hỏi; Tôi nên kiểm tra trước và tôi nên xác định (mà tôi dự định làm nhưng quên).

σ_{x}

$\sigma_x$

— whuber

10

Một số tài liệu tham khảo, như những ngọn nến nhỏ trên bánh của những người khác:

Katsnelson và Kotz (1957) đã chứng minh rằng miễn là tất cả , thì hệ số biến đổi không thể vượt quá . Kết quả này đã được đề cập trước đó bởi Longley (1952). Cramér (1946, tr.357) đã chứng minh một kết quả kém sắc nét hơn và Kirby (1974) đã chứng minh một kết quả kém chung hơn. $x_i \ge 0$ $\sqrt{n − 1}$

Cramér, H. 1946. Phương pháp toán học thống kê . Princeton, NJ: Nhà xuất bản Đại học Princeton.

Katsnelson, J. và S. Kotz. Năm 1957. Về giới hạn trên của một số biện pháp biến đổi. Archiv für Meteorologie, Geophysik und Bioklimatologie , Series B 8: 103 Hang107.

Kirby, W. 1974. Giới hạn đại số của thống kê mẫu. Nghiên cứu tài nguyên nước 10: 220

Longley, RW 1952. Các biện pháp về sự thay đổi của lượng mưa. Đánh giá thời tiết hàng tháng 80: 111 từ 117.

Tôi đã xem qua các giấy tờ này khi làm việc

Cox, NJ 2010. Giới hạn của độ lệch mẫu và kurtosis. Tạp chí Stata 10: 482-495.

trong đó thảo luận về các giới hạn tương tự rộng rãi về độ lệch và kurtosis dựa trên khoảnh khắc.

— Nick Cox
nguồn

8

Với hai số , một số và bất kỳ : $x_i \ge x_j$ $\delta \gt 0$ $\mu$

(x_{i} + δ - μ)^{2} + (x_{j} - δ - μ)^{2} - (x_{i} - μ)^{2} - (x_{j} - μ)^{2} = 2 δ (x_{i} - x_{j} + δ) > 0.

$(x_i+\delta - \mu)^2 + (x_j - \delta - \mu)^2 - (x_i - \mu)^2 - (x_j - \mu)^2 = 2\delta(x_i - x_j +\delta) \gt 0.$

Áp dụng điều này cho datapoint không âm, điều này có nghĩa là trừ khi tất cả trừ một trong số số bằng 0 và do đó không thể giảm thêm nữa, có thể tăng phương sai và độ lệch chuẩn bằng cách mở rộng khoảng cách giữa bất kỳ cặp điểm dữ liệu nào trong khi vẫn giữ nguyên giá trị trung bình, do đó làm tăng hệ số biến đổi. Vì vậy, hệ số biến đổi tối đa cho tập dữ liệu là như bạn đề xuất: . $n$ $n$ $\sqrt{n-1}$

$c$ không nên ảnh hưởng đến kết quả vì không thay đổi nếu tất cả các giá trị được nhân với bất kỳ hằng số dương (như tôi đã nói trong nhận xét của tôi). $\frac{\sigma_x}{\bar{x}}$ $k$

— Henry
nguồn