Phương sai của biến ngẫu nhiên giới hạn

22

Giả sử rằng một biến ngẫu nhiên có giới hạn dưới và giới hạn trên [0,1]. Làm thế nào để tính toán phương sai của một biến như vậy?

variance standard-deviation measurement-error

— Piotr
nguồn

8

Cách tương tự như đối với một biến không giới hạn - thiết lập giới hạn tổng hợp hoặc tổng hợp một cách thích hợp.

— Scortchi - Phục hồi Monica

2

Như @Scortchi đã nói. Nhưng tôi tò mò tại sao bạn nghĩ nó có thể khác?

— Peter Flom - Tái lập Monica

3

Trừ khi bạn không biết gì về biến số (trong trường hợp giới hạn trên của phương sai có thể được tính từ sự tồn tại của giới hạn), tại sao thực tế là nó bị ràng buộc đi vào tính toán?

— Glen_b -Reinstate Monica

6

Một giới hạn trên hữu ích trên phương sai của một biến ngẫu nhiên nhận các giá trị trong với xác suất là và đạt được bằng một biến ngẫu nhiên rời rạc lấy các giá trị và với xác suất bằng nhau . Một điểm khác cần lưu ý là phương sai được đảm bảo tồn tại trong khi một biến ngẫu nhiên không bị ràng buộc có thể không có phương sai (một số, chẳng hạn như các biến ngẫu nhiên Cauchy thậm chí không có giá trị trung bình).

[a, b]

$[a,b]$

1

$1$

(b - a)^{2} / 4

$(b-a)^2/4$

a

$a$

b

$b$

\frac{1}{2}

$\frac{1}{2}$

— Dilip Sarwate

7

Có là một biến rời rạc ngẫu nhiên mà đúng bằng chính xác: một biến ngẫu nhiên mà sẽ đưa vào giá trị và với xác suất bằng . Vì vậy, ít nhất chúng ta biết rằng một giới hạn trên phổ quát trên phương sai không thể nhỏ hơn .

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

a

$a$

b

$b$

\frac{1}{2}

$\frac{1}{2}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— Dilip Sarwate

46

Bạn có thể chứng minh sự bất bình đẳng của Popoviciu như sau. Sử dụng các ký hiệu và . Xác định hàm theo Tính toán đạo hàm và giải chúng tôi thấy rằng đạt được mức tối thiểu tại ( lưu ý rằng ). $m=\inf X$ $M=\sup X$ $g$

g (t) = = E [{(X - t)}^{2}] .

$g(t)=\mathbb{E}\left[\left(X-t\right)^2\right] \, .$

g^{'}

$g'$

g^{'} (t) = = - 2 E [X] + 2 t = = 0,

$g'(t) = -2\mathbb{E}[X] +2t=0 \, ,$

g

$g$

t = E [X]

$t=\mathbb{E}[X]$

g^{″} > 0

$g''>0$

Bây giờ, hãy xem xét giá trị của hàm tại điểm đặc biệt . Đó phải là trường hợp Nhưng Vì và , chúng tôi có ngụ ý rằng $g$ $t=\frac{M+m}{2}$

V một r [X] = = g (E [X]) \leq g (\frac{M + m}{2}) .

$\mathbb{Var}[X]=g(\mathbb{E}[X])\leq g\left(\frac{M+m}{2}\right) \, .$

g (\frac{M + m}{2}) = = E [{(X - \frac{M + m}{2})}^{2}] = = \frac{1}{4} E [{((X - m) + (X - M))}^{2}] .

$g\left(\frac{M+m}{2}\right) = \mathbb{E}\left[\left(X - \frac{M+m}{2}\right)^2 \right] = \frac{1}{4}\mathbb{E}\left[\left((X-m) + (X-M)\right)^2 \right] \, .$

X - m \geq 0

$X-m\geq 0$

X - M \leq 0

$X-M\leq 0$

{((X - m) + (X - M))}^{2} \leq {((X - m) - (X - M))}^{2} = = {(M - m)}^{2},

$\left((X-m)+(X-M)\right)^2\leq\left((X-m)-(X-M)\right)^2=\left(M-m\right)^2 \, ,$

\frac{1}{4} E [{((X - m) + (X - M))}^{2}] \leq \frac{1}{4} E [{((X - m) - (X - M))}^{2}] = = \frac{(M - m)^{2}}{4} .

$\frac{1}{4}\mathbb{E}\left[\left((X-m) + (X-M)\right)^2 \right] \leq \frac{1}{4}\mathbb{E}\left[\left((X-m) - (X-M)\right)^2 \right] = \frac{(M-m)^2}{4} \, .$

Do đó, chúng tôi đã chứng minh sự bất bình đẳng của Popoviciu

V một r [X] \leq \frac{(M - m)^{2}}{4} .

$\mathbb{Var}[X]\leq \frac{(M-m)^2}{4} \, .$

— Thiền
nguồn

3

Cách tiếp cận tốt đẹp: thật tốt khi thấy các cuộc biểu tình nghiêm ngặt về những điều này.

— whuber

22

+1 Tốt đẹp! Tôi đã học được số liệu thống kê từ lâu trước khi máy tính thịnh hành và một ý tưởng được đưa vào chúng tôi là cho phép tính toán phương sai bằng cách tìm tổng bình phương của độ lệch từ bất kỳ điểm thuận tiện nào và sau đó điều chỉnh cho độ lệch. Tất nhiên, ở đây, danh tính này đưa ra một bằng chứng đơn giản về kết quả rằng có giá trị tối thiểu tại mà không cần sự dẫn xuất, v.v.

E [(X - t)^{2}] = E [((X - μ) - (t - μ))^{2}] = E [(X - μ)^{2}] + (t - μ)^{2}

$E[(X-t)^2] = E[((X-\mu)-(t-\mu))^2] = E[(X-\mu)^2]+(t-\mu)^2$

t

$t$

g (t)

$g(t)$

t = μ

$t=\mu$

— Dilip Sarwate

18

Đặt là phân phối trên . Chúng tôi sẽ chỉ ra rằng nếu phương sai của là tối đa, thì có thể không có hỗ trợ trong nội bộ, từ đó theo sau là Bernoulli và phần còn lại là tầm thường. $F$ $[0,1]$ $F$ $F$ $F$

Theo ký hiệu, hãy để là khoảnh khắc thô thứ của (và, như thường lệ, chúng tôi viết và cho phương sai). $\mu_k = \int_0^1 x^k dF(x)$ $k$ $F$ $\mu = \mu_1$ $\sigma^2 = \mu_2 - \mu^2$

Chúng tôi biết không có tất cả sự hỗ trợ tại một điểm (phương sai là tối thiểu trong trường hợp đó). Trong số những thứ khác, điều này hàm ý nằm hoàn toàn giữa và . Để tranh luận bằng mâu thuẫn, giả sử có một số tập hợp con có thể đo được trong phần bên trong trong đó . Không mất bất kỳ tính tổng quát nào, chúng tôi có thể giả sử (bằng cách thay đổi thành nếu cần) rằng : nói cách khác, có được bằng cách cắt bất kỳ một phần của trên trung bình và $F$ $\mu$ $0$ $1$ $I$ $(0,1)$ $F(I)\gt 0$ $X$ $1-X$ $F(J = I \cap (0, \mu]) \gt 0$ $J$ $I$ $J$ có xác suất dương.

Chúng ta hãy thay đổi thành bằng cách lấy tất cả xác suất ra khỏi và đặt nó ở . $F$ $F'$ $J$ $0$ Khi làm như vậy, thay đổi thành $\mu_k$

μ_{k}^{'} = μ_{k} - \int_{J} x^{k} d F (x) .

$\mu'_k = \mu_k - \int_J x^k dF(x).$

Là một vấn đề của ký hiệu, chúng ta hãy viết cho các tích phân như vậy, từ đâu $[g(x)] = \int_J g(x) dF(x)$

μ_{2}^{'} = = μ_{2} - [x^{2}], μ^{'} = = μ - [x] .

$\mu'_2 = \mu_2 - [x^2], \quad \mu' = \mu - [x].$

Tính toán

σ^{' 2} = μ_{2}^{'} - μ^{' 2} = μ_{2} - [x^{2}] - (μ - [x])^{2} = σ^{2} + ((μ [x] - [x^{2}]) + (μ [x] - [x]^{2})) .

$\sigma'^2 = \mu'_2 - \mu'^2 = \mu_2 - [x^2] - (\mu - [x])^2 = \sigma^2 + \left((\mu[x] - [x^2]) + (\mu[x] - [x]^2)\right).$

Nhiệm kỳ thứ hai ở bên phải, , là không âm vì khắp mọi nơi trên . Thuật ngữ đầu tiên bên phải có thể được viết lại $(\mu[x] - [x]^2)$ $\mu \ge x$ $J$

μ [x] - [x^{2}] = μ (1 - [1]) + ([μ] [x] - [x^{2}]) .

$\mu[x] - [x^2] = \mu(1 - [1]) + ([\mu][x] - [x^2]).$

Thuật ngữ đầu tiên bên phải hoàn toàn tích cực vì (a) và (b) vì chúng tôi giả sử không tập trung tại một điểm. Thuật ngữ thứ hai là không âm bởi vì nó có thể được viết lại thành và tích phân này là không âm trong các giả định trên và . Theo sau đó là . $\mu \gt 0$ $[1] = F(J) \lt 1$ $F$ $[(\mu-x)(x)]$ $\mu \ge x$ $J$ $0 \le x \le 1$ $\sigma'^2 - \sigma^2 \gt 0$

Chúng tôi đã chỉ ra rằng theo các giả định của chúng tôi, thay đổi đến Nghiêm tăng sai của nó. Sau đó, cách duy nhất không thể xảy ra là khi tất cả xác suất của được tập trung tại các điểm cuối và , với các giá trị (giả sử) lần lượt là và . Phương sai của nó dễ dàng được tính bằng là cực đại khi và bằng ở đó. $F$ $F'$ $F'$ $0$ $1$ $1-p$ $p$ $p(1-p)$ $p=1/2$ $1/4$

Bây giờ khi là phân phối trên , chúng tôi sẽ truy xuất lại và bán lại thành phân phối trên . Việc lặp lại không thay đổi phương sai trong khi thay đổi tỷ lệ chia nó cho . Do đó, một có phương sai cực đại trên tương ứng với phân phối có phương sai cực đại trên : do đó, phân phối Bernoulli được định cỡ lại và được dịch thành có phương sai , QED . $F$ $[a,b]$ $[0,1]$ $(b-a)^2$ $F$ $[a,b]$ $[0,1]$ $(1/2)$ $[a,b]$ $(b-a)^2/4$

— whuber
nguồn

Thú vị, whuber. Tôi không biết bằng chứng này.

— Zen

6

@Zen Không có nghĩa là thanh lịch như của bạn. Tôi đã đưa ra nó bởi vì tôi đã thấy mình trong nhiều năm suy nghĩ theo cách này khi phải đối mặt với sự bất bình đẳng phân phối phức tạp hơn nhiều: Tôi hỏi làm thế nào xác suất có thể được thay đổi để làm cho bất bình đẳng trở nên cực đoan hơn. Là một heuristic trực quan, nó hữu ích. Bằng cách sử dụng các cách tiếp cận như phương pháp được trình bày ở đây, tôi nghi ngờ một lý thuyết chung cho việc chứng minh một lớp lớn các bất đẳng thức như vậy có thể được rút ra, với một loại hương vị lai của Phép tính biến đổi và kỹ thuật nhân số Lagrange (chiều hữu hạn).

— whuber

Hoàn hảo: câu trả lời của bạn rất quan trọng vì nó mô tả một kỹ thuật tổng quát hơn có thể được sử dụng để xử lý nhiều trường hợp khác.

— Zen

@whuber nói - "Tôi hỏi làm thế nào xác suất có thể được thay đổi xung quanh để làm cho bất bình đẳng cực đoan hơn." - đây dường như là cách tự nhiên để suy nghĩ về những vấn đề như vậy.

— Glen_b -Reinstate Monica

Dường như có một vài sai lầm trong đạo hàm. Nó phải làNgoài ra, không bằng vì không giống với

μ [x] - [x^{2}] = μ (1 - [1]) [x] + ([μ] [x] - [x^{2}]) .

$\mu[x] - [x^2] = \mu(1 - [1])[x] + ([\mu][x] - [x^2]).$

[(μ - x) (x)]

$[(\mu-x)(x)]$

[μ] [x] - [x^{2}]

$[\mu][x] - [x^2]$

[μ] [x]

$[\mu][x]$

μ [x]

$\mu[x]$

— Leo

13

Nếu biến ngẫu nhiên bị giới hạn ở và chúng ta biết trung bình , phương sai được giới hạn bởi . $[a,b]$ $\mu=E[X]$ $(b-\mu)(\mu-a)$

Trước tiên chúng ta hãy xem xét trường hợp . Lưu ý rằng với tất cả , , trong đó cũng có . Sử dụng kết quả này, $a=0, b=1$ $x\in [0,1]$ $x^2\leq x$ $E[X^2]\leq E[X]$

σ^{2} = = E [X^{2}] - (E [X]^{2}) = = E [X^{2}] - μ^{2} \leq μ - μ^{2} = = μ (1 - μ) .

$\begin{equation} \sigma^2 = E[X^2] - (E[X]^2) = E[X^2] - \mu^2 \leq \mu - \mu^2 = \mu(1-\mu). \end{equation}$

Để khái quát thành các khoảng với , hãy xem xét bị giới hạn ở . Xác định , được giới hạn trong . Tương đương, và do đó trong đó bất đẳng thức dựa trên kết quả đầu tiên. Bây giờ, bằng cách thay thế , ràng buộc bằng là kết quả mong muốn. $[a,b]$ $b>a$ $Y$ $[a,b]$ $X=\frac{Y-a}{b-a}$ $[0,1]$ $Y = (b-a)X + a$

V một r [Y] = = (b - một)^{2} V một r [X] \leq (b - một)^{2} μ_{X} (1 - μ_{X}) .

$\begin{equation} Var[Y] = (b-a)^2Var[X] \leq (b-a)^2\mu_X (1-\mu_X). \end{equation}$

μ_{X} = \frac{μ_{Y} - a}{b - a}

$\mu_X = \frac{\mu_Y - a}{b-a}$

(b - một)^{2} \frac{μ_{Y} - một}{b - một} (1 - \frac{μ_{Y} - một}{b - một}) = = (b - một)^{2} \frac{μ_{Y} - một}{b - một} \frac{b - μ_{Y}}{b - một} = = (μ_{Y} - một) (b - μ_{Y}),

$\begin{equation} (b-a)^2\, \frac{\mu_Y - a}{b-a}\,\left(1- \frac{\mu_Y - a}{b-a}\right) = (b-a)^2 \frac{\mu_Y -a}{b-a}\,\frac{b - \mu_Y}{b-a} = (\mu_Y - a)(b- \mu_Y), \end{equation}$

— Juho Kokkala
nguồn

8

Theo yêu cầu của @ user603 ....

Một giới hạn trên hữu ích trên phương sai của một biến ngẫu nhiên nhận các giá trị trong với xác suất là . Bằng chứng cho trường hợp đặc biệt (đó là những gì OP yêu cầu) có thể được tìm thấy ở đây trên math.SE , và nó dễ dàng thích nghi với trường hợp tổng quát hơn. Như đã lưu ý trong nhận xét của tôi ở trên và cả trong câu trả lời được tham chiếu ở đây, một biến ngẫu nhiên rời rạc lấy các giá trị và với xác suất bằng nhau có phương sai và do đó không có giới hạn chung chặt chẽ hơn có thể được tìm thấy. $\sigma^2$ $[a,b]$ $1$ $\sigma^2 \leq \frac{(b−a)^2}{4}$ $a=0, b=1$ $a$ $b$ $\frac{1}{2}$ $\frac{(b−a)^2}{4}$

Một điểm khác cần lưu ý là một biến ngẫu nhiên bị ràng buộc có phương sai hữu hạn, trong khi đối với biến ngẫu nhiên không giới hạn, phương sai có thể không hữu hạn và trong một số trường hợp thậm chí có thể không xác định được. Ví dụ, giá trị trung bình không thể được xác định cho các biến ngẫu nhiên Cauchy và do đó, người ta không thể xác định phương sai (như kỳ vọng của độ lệch bình phương so với giá trị trung bình).

— Dilip Sarwate
nguồn

đây là trường hợp đặc biệt trong câu trả lời của @ Juho

— Aksakal

Đó chỉ là một nhận xét, nhưng tôi cũng có thể thêm rằng câu trả lời này không trả lời câu hỏi được hỏi.

— Aksakal

@Aksakal Vậy ??? Juho đã trả lời một câu hỏi hơi khác và gần đây hơn nhiều. Câu hỏi mới này đã được hợp nhất với câu hỏi bạn thấy ở trên, mà tôi đã trả lời mười tháng trước.

— Dilip Sarwate

0

Bạn có chắc chắn rằng điều này nói chung là đúng - cho các phân phối liên tục cũng như rời rạc? Bạn có thể cung cấp một liên kết đến các trang khác? Đối với một phân biệt chung về , việc chỉ ra rằng Tôi có thể tưởng tượng rằng sự bất bình đẳng sắc nét hơn tồn tại ... Bạn có cần hệ số cho kết quả của mình không? $[a,b]$

V một r (X) = = E [(X - E [X])^{2}] \leq E [(b - một)^{2}] = = (b - một)^{2} .

$Var(X) = E[(X-E[X])^2] \le E[(b-a)^2] = (b-a)^2.$

1 / 4

$1/4$

Mặt khác, người ta có thể tìm thấy nó với hệ số dưới tên Popoviciu's_inequality trên wikipedia. $1/4$

Bài viết này có vẻ tốt hơn bài viết trên wikipedia ...

Đối với phân phối đồng đều,

V một r (X) = = \frac{(b - một)^{2}}{12} .

$Var(X) = \frac{(b-a)^2}{12}.$

— Ric
nguồn

Trang này nêu kết quả khi bắt đầu một bằng chứng có liên quan đến tôi vì nó dường như đòi hỏi sự hiểu biết về "Định lý cơ bản của lập trình tuyến tính". sci.tech-archive.net/Archive/sci.math/2008-06/msg01239.html

— Adam Russell

Cảm ơn bạn đã đặt một cái tên này! "Bất bình đẳng của Popoviciu" là thứ tôi cần.

— Adam Russell

2

Câu trả lời này đưa ra một số gợi ý không chính xác: thực sự đúng. Tham chiếu đến bất bình đẳng của Popoviciu sẽ hoạt động, nhưng nói đúng ra nó chỉ áp dụng cho các bản phân phối có hỗ trợ hữu hạn (đặc biệt, không bao gồm phân phối liên tục). Một đối số giới hạn sẽ thực hiện các mẹo, nhưng cần thêm một số thứ ở đây.

1 / 4

$1/4$

— whuber

2

Một phân phối liên tục có thể tiếp cận một phân tách rời rạc (theo thuật ngữ cdf) một cách tùy ý (ví dụ: xây dựng mật độ liên tục từ một mật độ rời rạc nhất định bằng cách đặt một hạt nhân có hình dạng Beta (4,4) tập trung tại mỗi điểm khối lượng - của khu vực thích hợp - và để độ lệch chuẩn của mỗi hạt nhân như vậy co lại về 0 trong khi giữ cho diện tích của nó không đổi). Các giới hạn rời rạc như được thảo luận ở đây cũng sẽ đóng vai trò là các giới hạn phân phối liên tục. Tôi hy vọng bạn đang nghĩ về các bản phân phối không chính thống liên tục ... mà thực sự có giới hạn trên khác nhau.

— Glen_b -Reinstate Monica

2

Chà ... câu trả lời của tôi là ít hữu ích nhất nhưng tôi sẽ để nó ở đây do những bình luận tốt đẹp. Chúc mừng, R

— Ric