Hàm nghịch đảo của phương sai

Đối với một số không đổi (ví dụ 4) đã cho, có thể tìm phân phối xác suất cho , để chúng ta có ?X V a r ( X ) = $r$$X$$\mathrm{Var}(X)=r$

$r$$r=0$$X$Pr ( X = c ) = 0 c ≠ μ X μ ∈ $\Pr(X=\mu)=1$$\Pr(X=c)=0$$c \neq \mu$$X$$\mu \in \mathbb{R}$

Nếu , không thể tìm thấy phân phối, vì .V một r ( X ) = E ( X - μ X ) 2 ≥ $r<0$$\mathrm{Var}(X)=\mathbb{E}(X-\mu_X)^2 \geq 0$

Đối với , câu trả lời sẽ phụ thuộc vào những gì có thêm thông tin được biết về . Ví dụ: nếu được biết là có nghĩa là , thì với bất kỳ và chúng ta có thể tìm thấy một bản phân phối với những khoảnh khắc này bằng cách lấy . Đây không phải là một giải pháp duy nhất cho vấn đề khớp trung bình và phương sai, nhưng nó là giải pháp phân phối thông thường duy nhất (và trong tất cả các giải pháp có thể, đây là giải pháp tối đa hóa entropy, như Daniel chỉ ra). Nếu bạn cũng muốn khớp, ví dụ: thời điểm trung tâm thứ ba hoặc cao hơn, thì bạn sẽ cần xem xét phạm vi phân phối xác suất rộng hơn.X X μ μ ∈ R r > 0 X ~ N ( μ , r $r>0$$X$$X$$\mu$$\mu \in \mathbb{R}$$r>0$$X \sim N(\mu, r)$

Giả sử thay vào đó chúng tôi đã có một số thông tin về phân phối thay vì khoảnh khắc của nó. Ví dụ: nếu chúng ta biết rằng tuân theo phân phối Poisson thì giải pháp duy nhất sẽ là . Nếu chúng ta biết rằng tuân theo phân phối theo cấp số nhân, thì một lần nữa, có một giải pháp duy nhất , trong đó chúng ta đã tìm thấy tham số bằng cách giải .X X ~ P o i s s o n ( r ) X X ~ E x p o n e n t i một l ( $X$$X$$X \sim \mathrm{Poisson}(r)$$X$Var(X)=r=$X \sim \mathrm{Exponential}(\frac{1}{\sqrt{r}})$$\mathrm{Var}(X) = r = \frac{1}{\lambda^2}$

Trong các trường hợp khác, chúng ta có thể tìm thấy cả một gia đình của các giải pháp. Nếu chúng ta biết rằng tuân theo phân phối hình chữ nhật (thống nhất liên tục), thì chúng ta có thể tìm thấy chiều rộng duy nhất cho phân phối bằng cách giải . Nhưng sẽ có cả một nhóm giải pháp, được tham số hóa bởi - các bản phân phối trong bộ này là tất cả các bản dịch của nhau. Tương tự, nếu bình thường thì mọi phân phối sẽ hoạt động (vì vậy chúng tôi có cả bộ giải pháp được lập chỉ mục bởi , một lần nữa có thể là bất kỳ số thực nào và một lần nữa gia đình đều là bản dịch của nhau). Nếuw V a r ( X ) = r = w $X$$w$ X~U(một,một+w)một∈RXX~N(μ,r)μXX~Gmộtmmmột($\mathrm{Var}(X) = r = \frac{w^2}{12}$$X \sim U(a, a+w)$$a \in \mathbb{R}$$X$$X \sim N(\mu, r)$$\mu$$X$ theo phân phối gamma sau đó, bằng cách sử dụng tham số hóa tỷ lệ hình dạng, chúng ta có thể có được cả một nhóm giải pháp, được tham số hóa bởi . Các thành viên của gia đình này không phải là bản dịch của nhau. Để giúp hình dung một "họ giải pháp" trông như thế nào, đây là một số ví dụ về phân phối bình thường được lập chỉ mục bởi , và sau đó phân phối gamma được lập chỉ mục bởi , tất cả đều có phương sai bằng bốn, tương ứng với ví dụ trong câu hỏi của bạn.θ>0Lθr=$X \sim \mathrm{Gamma}(\frac{r}{\theta^2}, \theta)$$\theta > 0$$\mu$$\theta$$r=4$

Mặt khác, đối với một số phân phối, có thể hoặc không thể tìm ra giải pháp, tùy thuộc vào giá trị của . Chẳng hạn, nếu phải là biến Bernoulli thì với có hai giải pháp khả thi vì có hai xác suất giải phương trình và trên thực tế hai xác suất này là bổ sung, tức là . Với chỉ có giải pháp duy nhất và với không có phân phối Bernoulli nào có phương sai đủ cao.X 0 ≤ r < 0,25 X ~ B e r n o u l l i ( p ) p V một r ( X ) = r = p ( 1 - p ) p 1 + p 2 = 1 r = 0,25 p = 0,5 r > $r$$X$$0 \leq r \lt 0.25$$X \sim \mathrm{Bernoulli}(p)$$p$$\mathrm{Var}(X) = r = p(1-p)$$p_1 + p_2 = 1$$r=0.25$$p=0.5$$r>0.25$

Tôi cảm thấy tôi cũng nên đề cập đến trường hợp . Có nhiều giải pháp cho trường hợp này cũng vậy, ví dụ như một sinh viên phân phối với hai bậc tự do.t$r = \infty$$t$

Mã R cho các ô

require(ggplot2)

x.df  <- data.frame(x = rep(seq(from=-8, to=8, length=100), times=5),
    mu = rep(c(-4, -2, 0, 2, 4), each=100))
x.df$pdf <- dnorm(mean=x.df$mu, x.df$x)
ggplot(x.df, aes(x=x, y=pdf, group=factor(mu), colour=factor(mu))) + theme_bw() + 
    geom_line(size=1) + scale_colour_brewer(name=expression(mu), palette="Set1") +
    theme(legend.key = element_blank()) + ggtitle("Normal distributions with variance 4")

x.df  <- data.frame(x = rep(seq(from=0, to=20, length=1000), times=5),
    theta = rep(c(0.25, 0.5, 1, 2, 4), each=1000))
x.df$pdf <- dgamma(x.df$x, shape=4/(x.df$theta)^2, scale=x.df$theta)
ggplot(x.df, aes(x=x, y=pdf, group=factor(theta), colour=factor(theta))) + theme_bw() + 
    geom_line(size=1) + scale_colour_brewer(name=expression(theta), palette="Set1") +
    theme(legend.key = element_blank()) + ggtitle("Gamma distributions with variance 4") +
    coord_cartesian(ylim = c(0, 1)) 

Giả sử bạn có nghĩa là "có thể tìm phân phối xác suất cho " thì câu trả lời là có, vì bạn chưa chỉ định bất kỳ tiêu chí nào mà X phải đáp ứng. Trong thực tế, có vô số phân phối có thể đáp ứng điều kiện này. Chỉ cần xem xét sự phân bố bình thường, N ( x ; μ , σ 2 ) . Bạn có thể đặt σ 2 = r và có thể nhận bất kỳ giá trị nào bạn thích - sau đó bạn sẽ có theo yêu cầu.$X$$X$$\mathcal{N}(x ; \mu, \sigma^2)$$\sigma^2 = r$V a r [ X ] = $\mu$$Var[X] = r$

Trong thực tế, phân phối chuẩn khá đặc biệt về vấn đề này vì đây là phân phối xác suất entropy tối đa cho một giá trị trung bình và phương sai nhất định.

Câu hỏi này có thể được giải thích theo cách làm cho nó thú vị và không hoàn toàn tầm thường. Với một cái gì đó là vẻ bề ngoài giống như một biến ngẫu nhiên, đến mức độ nào là nó có thể xác suất assign để giá trị của nó (hoặc thay đổi xác suất tồn tại xung quanh) theo cách như vậy mà đúng của nó tương đương với một số số định trước r ? Câu trả lời là tất cả các giá trị có thể r ≥ 0 được cho phép, lên đến một giới hạn xác định bởi phạm vi của X .$X$$r$$r\ge 0$$X$

Lợi ích tiềm năng trong phân tích như vậy nằm ở ý tưởng thay đổi thước đo xác suất, trong khi vẫn giữ một biến ngẫu nhiên cố định, để đạt được một kết thúc cụ thể. Mặc dù ứng dụng này rất đơn giản, nhưng nó hiển thị một số ý tưởng nằm dưới định lý Girsanov , một kết quả cơ bản trong tài chính toán học.

Chúng ta hãy đặt lại câu hỏi này một cách nghiêm ngặt, rõ ràng. Giả sử

là một hàm đo được xác định trên một không gian đo với sigma-đại số S . Với một số thực r > 0 đã cho , khi nào có thể tìm thấy số đo xác suất P trên không gian này mà Var ( X ) = r ?$\Omega$$\mathfrak{S}$$r \gt 0$$\mathbb{P}$$\text{Var}(X) = r$

Tôi tin rằng câu trả lời là đây là có thể khi . $\sup(X) - \inf(X) \gt 2\sqrt{r}$ (Bình đẳng có thể giữ nếu supremum và infimum đều đạt: đó là, họ thực sự là những tối đa và tối thiểu của.) Khi một trong haisup(X)=∞hoặcinf(X)=-∞, tình trạng này không áp đặt giới hạn vềr, và sau đó tất cả các giá trị không âm của phương sai là có thể.$X$$\sup(X)=\infty$$\inf(X)=-\infty$$r$

Bằng chứng là bằng cách xây dựng. Hãy bắt đầu với một phiên bản đơn giản của nó, để quan tâm đến các chi tiết và xác định ý tưởng cơ bản, sau đó chuyển sang xây dựng thực tế.

1. Hãy có trong hình ảnh của X : phương tiện này có một ω x ∈ Ohm mà X ( ω x ) = x . Xác định hàm đặt P : S → [ 0 , 1 ] là chỉ số của ω x : nghĩa là P ( A ) = 0 nếu ω x ∉ A và P ( A ) = 1 khi ω $x$$X$$\omega_x\in\Omega$$X(\omega_x) = x$$\mathbb{P}:\mathfrak{S}\to [0,1]$$\omega_x$$\mathbb{P}(A) = 0$$\omega_x\notin A$$\mathbb{P}(A) = 1$ .$\omega_x\in A$

   Kể từ khi , rõ ràng P thỏa mãn hai tiên đề đầu tiên của xác suất . Nó là cần thiết để hiển thị nó đáp ứng thứ ba; cụ thể, đó là phụ gia sigma. Nhưng điều này là gần như là hiển nhiên: bất cứ khi nào { E i , i = 1 , 2 , ... } là một hữu hạn hoặc vô hạn đếm được tập các sự kiện loại trừ lẫn nhau, sau đó hoặc là không ai trong số chúng chứa ω x --Trong trường hợp đó P ( E i ) = 0 cho tất cả $\mathbb{P}(\Omega)=1$$\mathbb P$$\{E_i, i=1, 2, \ldots\}$$\omega_x$$\mathbb{P}(E_i)=0$$i$- hoặc chính xác một trong số chúng chứa , trong trường hợp này P ( E j ) = 1 đối với một số j cụ thể và nếu không P ( E i ) = 0 cho tất cả i ≠ j . Trong cả hai trường hợp$\omega_x$$\mathbb{P}(E_j)=1$$j$$\mathbb{P}(E_i)=0$$i\ne j$

   $$\mathbb{P}\left(\cup_i E_i\right) = \sum_i \mathbb{P}(E_i)$$

   bởi vì cả hai bên đều là hoặc cả 1 .$0$$1$

   Vì tập trung tất cả xác suất vào ω x , nên phân phối của X tập trung vào x và X phải có phương sai bằng không.$\mathbb{P}$$\omega_x$$X$$x$$X$

2. Hãy là hai giá trị trong phạm vi của X ; có nghĩa là, X ( ω 1 ) = x 1 và X ( ω 2 ) = x 2 . Theo cách tương tự như bước trước, xác định số đo P là trung bình có trọng số của các chỉ số ω 1 và ω 2 . Sử dụng trọng số không âm 1 - p và p để p được xác định. Cũng như trước đây, chúng tôi thấy rằng $x_1 \le x_2$$X$$X(\omega_1) = x_1$$X(\omega_2) = x_2$$\mathbb{P}$$\omega_1$$\omega_2$$1-p$$p$$p$$\mathbb{P}$- có sự kết hợp lồi của các biện pháp chỉ thị được thảo luận trong (1) - là một biện pháp xác suất. Phân phối của liên quan đến biện pháp này là phân phối Bernoulli ( p ) đã được chia tỷ lệ theo x 2 - x 1 và được thay đổi bởi - x 1 . Vì phương sai của phân phối Bernoulli ( p ) là p ( 1 - p ) , nên phương sai của X phải là ( x 2 - x 1 ) 2 p $X$$(p)$$x_2-x_1$$-x_1$$(p)$$p(1-p)$$X$ .$(x_2-x_1)^2p(1-p)$

Một hệ quả trực tiếp của (2) là bất kỳ mà có tồn tại x 1 ≤ x 2 trong khoảng X và 0 ≤ p < 1 mà$r$$x_1 \le x_2$$X$$0 \le p \lt 1$

có thể là phương sai của . Kể từ 0 ≤ p ( 1 - p ) ≤ 1 / 4 , điều này ngụ ý$X$$0 \le p(1-p) \le 1/4$

giữ bình đẳng khi và chỉ khi có cực đại và cực tiểu.$X$

Ngược lại, nếu vượt này ràng buộc của ( sup ( X ) - inf ( X ) ) 2 / 4 , sau đó không có giải pháp là có thể, vì chúng ta đã biết rằng phương sai của bất kỳ biến ngẫu nhiên bị chặn không thể vượt quá một phần tư bình phương của nó phạm vi.$r$$(\sup(X)-\inf(X))^2/4$

Vâng, có thể tìm thấy phân phối như vậy. Trong thực tế, bạn có thể lấy bất kỳ phân phối nào có phương sai hữu hạn và tỷ lệ phù hợp với điều kiện của bạn, bởi vì

Chẳng hạn, phân phối đồng đều trên khoảng có phương sai: σ 2 = $[0,1]$ Do đó, phân phối đồng đều trong khoảng[0,

Trong thực tế, đây là một cách phổ biến để thêm tham số vào một số bản phân phối, chẳng hạn như Student t. Nó chỉ có một tham số, - độ tự do. Khi v → ∞ phân phối hội tụ đến một tiêu chuẩn bình thường. Nó có hình chuông, và trông rất giống bình thường, nhưng có đuôi béo hơn. Đó là lý do tại sao nó thường được sử dụng thay thế cho phân phối bình thường khi đuôi mập. Vấn đề duy nhất là phân phối Gaussian có hai tham số. Vì vậy, đến phiên bản thu nhỏ của Student t, đôi khi được gọi là phân phối "tỷ lệ vị trí t" . Đây là một chuyển đổi rất đơn giản: ξ = t - $\nu$$\nu\to\infty$ , trong đóμ,slà vị trí và tỷ lệ. Bây giờ, bạn có thể thiết lập các quy mô để các biến mớiξsẽ có bất kỳ sai yêu cầu, và sẽ có một hình dạng của phân phối t Student.$\xi=\frac{t-\mu}{s}$$\mu,s$$\xi$