Điều gì làm cho ý nghĩa của một số phân phối không xác định?

21

Nhiều tệp PDF có phạm vi từ âm đến vô cực dương, tuy nhiên một số phương tiện được xác định và một số thì không. Những đặc điểm chung làm cho một số tính toán?

distributions mean

— Kevin Nowachot
nguồn

14

Tích phân hội tụ.

— Sycorax nói Phục hồi lại

1

Phân phối này là trừu tượng toán học. Nếu tích phân không hội tụ thì có nghĩa là không được xác định. Tuy nhiên, điều không được đề cập trong các câu trả lời dưới đây là các tệp PDF có cực âm cộng với vô cực không thể mô hình hóa các nguồn dữ liệu thực. Không có quá trình vật lý như vậy để tạo ra dữ liệu đó trong cuộc sống thực. Theo tôi, tất cả các nguồn dữ liệu thực sẽ bị giới hạn và bạn sẽ có thể tính gần đúng giá trị trung bình.

— Cagdas Ozgenc

3

@Cagdas Nhận xét đó dường như không chính xác. Có rất nhiều quá trình đuôi nặng. Những kỳ vọng khác nhau của họ được biểu hiện dưới dạng biến động cực đoan trong trung bình dài hạn. Ví dụ, để biết ứng dụng thuyết phục của mô hình Cauchy, hãy xem bài đăng của Douglas Zare tại stats.stackexchange.com/a/36037/919 .

— whuber

2

@CagdasOzgenc: Bạn nên đọc Black Swan của Taleb để xem lý do đó sai như thế nào. Mặc dù về mặt heuristur có thể không có một quá trình tạo ra phân phối một cách hoàn hảo với trung bình không xác định hoặc trung bình vô hạn, có rất nhiều ví dụ mà mọi người đánh giá thấp mức độ phân bố của chất béo và tiến hành tính toán phương tiện, trong khi phân phối thực sự có có nghĩa là hoàn toàn khác nhau và thường bị lệch phải. Kiểu suy luận không đúng đắn này đã dẫn đến nhiều gafs đánh giá rủi ro trong tài chính, nơi rủi ro bị đánh giá thấp bởi nhiều mệnh lệnh lớn.

— Alex R.

1

@Cagdas Ozgenc: Để thảo luận về lý do tại sao lập luận của bạn sai, hãy xem stats.stackexchange.com/questions/94402/ mẹo

— kjetil b halvorsen

23

Giá trị trung bình của phân phối được xác định theo nghĩa tích phân (tôi sẽ viết nó như thể phân phối liên tục - như một tích phân Riemann, nhưng vấn đề được áp dụng chung hơn; chúng ta có thể tiến hành tích hợp Stieltjes hoặc Lebesgue để giải quyết những điều này đúng và tất cả cùng một lúc):

E (X) = \int_{- \infty}^{\infty} x f (x) d x

$E(X) = \int_{-\infty}^\infty x f(x)\, dx$

Nhưng điều đó có nghĩa gì? Đó thực sự là một tốc ký cho

\overset{lim}{_{a \to \infty, b \to \infty}} \int_{- a}^{b} x f (x) d x

$\stackrel{\lim}{_{a\to\infty,b\to\infty}} \int_{-a}^b x\, f(x)\, dx$

hoặc là

\overset{lim}{_{a \to \infty}} \int_{- a}^{0} x f (x) d x + \overset{lim}{_{b \to \infty}} \int_{0}^{b} x f (x) d x

$\stackrel{\lim}{_{a\to\infty}} \int_{-a}^0 x f(x)\, dx \, +\, \stackrel{\lim}{_{b\to\infty}} \int_{0}^b x f(x)\, dx$

(mặc dù bạn có thể phá vỡ nó ở bất cứ đâu không chỉ ở 0)

Vấn đề xảy ra khi giới hạn của các tích phân đó là không hữu hạn.

Vì vậy, ví dụ, hãy xem xét mật độ Cauchy tiêu chuẩn, tỷ lệ thuận với ... lưu ý rằng $\frac{1}{1+x^2}$

\overset{lim}{_{b \to \infty}} \int_{0}^{b} \frac{x}{1 + x^{2}} d x

$\stackrel{\lim}{_{b\to\infty}} \int_{0}^b \frac{x}{1+x^2}\, dx$

đặt , vì vậy $u=1+x^2$ $du=2x\,dx$

= \overset{lim}{_{b \to \infty}} \frac{1}{2} \int_{1}^{1 + b^{2}} \frac{1}{u} d u

$=\,\stackrel{\lim}{_{b\to\infty}}\frac12 \int_{1}^{1+b^2} \frac{1}{u}\, du$

= \overset{lim}{_{b \to \infty}} \frac{_{1}}{^{2}} \ln (u) |_{1}^{1 + b^{2}}

$=\,\stackrel{\lim}{_{b\to\infty}} \frac{_1}{^2}\ln(u)\Bigg |_{1}^{1+b^2}$

= \overset{lim}{_{b \to \infty}} \frac{_{1}}{^{2}} \ln (1 + b^{2})

$=\,\stackrel{\lim}{_{b\to\infty}} \frac{_1}{^2}\ln(1+b^2)$

mà không phải là hữu hạn. Giới hạn ở nửa dưới cũng không hữu hạn; kỳ vọng là do đó không xác định.

Hoặc nếu chúng ta có biến ngẫu nhiên là giá trị tuyệt đối của một Cauchy tiêu chuẩn, toàn bộ kỳ vọng của nó sẽ tỷ lệ thuận với giới hạn mà chúng ta vừa xem (ví dụ ). $\stackrel{\lim}{_{b\to\infty}} \frac12\ln(1+b^2)$

Mặt khác, một số mật độ khác vẫn tiếp tục "đến vô cùng" nhưng tích phân của chúng không có giới hạn.

— Glen_b -Reinstate Monica
nguồn

1

Tất nhiên, bạn cũng có thể thấy điều tương tự trong các phân phối xác suất rời rạc tương tự. Thực hiện phân phối trong đó xác suất nếu xảy ra, với số nguyên , tỷ lệ với . Tổng xác suất là hữu hạn (điều này cũng tương tự vì nó cần phải có giới hạn 1: thực ra hằng số của chúng ta phải là hoặc bất cứ điều gì), nhưng vì tổng của phân kỳ nó không có nghĩa. Trong khi đó, nếu chúng ta chọn một xác suất tỷ lệ thuận với thì giá trị trung bình liên quan đến một tổng và chúng tôi ổn, điều đó "đủ nhỏ" để nó hội tụ.

n

$n$

n > 0

$n>0$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{6}{π^{2}}

$\frac{6}{\pi^2}$

\frac{1}{n}

$\frac{1}{n}$

\frac{1}{n^{3}}

$\frac{1}{n^3}$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

— Steve Jessop

1

Có, là hằng số tỷ lệ cho điều đó (để làm cho nó thành 1).

\frac{6}{π^{2}}

$\frac{6}{\pi^2}$

— Glen_b -Reinstate Monica

8

Các câu trả lời khác là tốt, nhưng có thể không thuyết phục được tất cả mọi người, đặc biệt là những người nhìn vào bản phân phối Cauchy (với ) và nói rằng vẫn còn trực giác rõ ràng rằng giá trị trung bình phải bằng không. $x_0 = 0$

Lý do câu trả lời trực quan không chính xác từ góc độ toán học là do định lý sắp xếp lại Riemann (video) .

Hiệu quả những gì bạn đang làm khi bạn nhìn vào Cauchy và nói rằng "nên bằng 0" là bạn đang tách "trung tâm" về 0, và sau đó khẳng định các khoảnh khắc của hai kích thước cân bằng. Hay nói cách khác, bạn đang ngầm thực hiện một khoản tiền vô hạn với "một nửa" các số hạng dương (các khoảnh khắc ở mỗi điểm bên phải) và "một nửa" các số hạng phủ định (các khoảnh khắc ở mỗi điểm bên trái) và tuyên bố nó tổng bằng không. (Dành cho những người có đầu óc kỹ thuật: ) $\int_{0}^\infty f(x_0+r)r\, dr - \int_{0}^{\infty} f(x_0-r)r\, dr = 0$

Định lý sắp xếp lại Riemann nói rằng loại tổng vô hạn này (một loại có cả hai số dương và âm) chỉ nhất quán nếu hai chuỗi (chỉ các thuật ngữ tích cực và chỉ các thuật ngữ phủ định) được hội tụ khi được sử dụng độc lập. Nếu cả hai bên (tích cực và tiêu cực) đều khác nhau, thì bạn có thể đưa ra một thứ tự tổng hợp các điều khoản sao cho tổng hợp với bất kỳ số nào . (Video ở trên, bắt đầu lúc 6:50)

Vì vậy, có, nếu bạn thực hiện tổng kết một cách cân bằng từ 0 ra, những khoảnh khắc đầu tiên từ bản phân phối Cauchy sẽ bị hủy. Tuy nhiên, định nghĩa (tiêu chuẩn) về trung bình không thực thi thứ tự tổng kết này. Bạn sẽ có thể tổng hợp các khoảnh khắc theo bất kỳ thứ tự nào và có giá trị như nhau. Do đó, giá trị trung bình của phân phối Cauchy là không xác định - bằng cách chọn một cách thận trọng cách bạn tổng hợp các khoảnh khắc, bạn có thể làm cho chúng "cân bằng" (hoặc không) thực tế tại bất kỳ điểm nào.

Vì vậy, để làm cho giá trị trung bình của một phân phối xác định, hai tích phân thời điểm cần phải từng được độc lập tụ (hữu hạn) xung quanh đề xuất trung bình (trong đó, khi bạn làm toán, thực sự chỉ là một cách khác để nói rằng toàn bộ không thể thiếu ( ) cần phải hội tụ). Nếu những cái đuôi "mập" đủ để khiến khoảnh khắc cho một bên trở nên vô tận, bạn đã hoàn thành. Bạn không thể cân bằng nó với một khoảnh khắc vô tận ở phía bên kia. $\int_{-\infty}^\infty f(x)x\, dx$

Tôi nên đề cập rằng hành vi "phản trực giác" của những thứ như phân phối Cauchy hoàn toàn do vấn đề khi nghĩ về vô cực. Lấy phân phối Cauchy và cắt đuôi - thậm chí xa tùy ý, như cộng / trừ số xkcd - và (một khi được chuẩn hóa lại), bạn đột nhiên nhận được một cái gì đó hoạt động tốt và có nghĩa là xác định. Đó không phải là vấn đề về đuôi và chính chúng là vấn đề, đó là cách những cái đuôi đó hành xử khi bạn tiếp cận vô hạn.

— RM
nguồn

Tốt đẹp. Tôi tự hỏi nếu nó có thể đưa ra một "thứ tự tổng kết" ngoại lệ, dẫn đến, nói, hai.

— Matthew Drury

@MatthewDrury: p_i và n_i biểu thị số dương và số âm. Liên tiếp tìm p_i và n_i sao cho tích phân trên [n_i, p_i] là 2+ (1 / i) và tích phân trên [n_ {i + 1}, p_i] là 2- (1 / i). Người ta có thể làm điều này một cách rõ ràng bằng cách sử dụng R, matlab hoặc mathicala, nhưng chỉ với một số lượng hữu hạn các thuật ngữ.

— David Epstein

7

Tướng Abrial và Glen_b đã có câu trả lời hoàn hảo. Tôi chỉ muốn thêm một bản demo nhỏ để cho bạn thấy ý nghĩa của phân phối Cauchy không tồn tại / không hội tụ.

Trong thí nghiệm tiếp theo, bạn sẽ thấy, thậm chí bạn có được một mẫu lớn và xác định trung bình theo kinh nghiệm từ mẫu, các con số khá khác nhau từ thử nghiệm đến thử nghiệm.

set.seed(0)
par(mfrow=c(1,2))
experiments=rep(1e5,100)
mean_list_cauchy=sapply(experiments, function(n) mean(rcauchy(n)))
mean_list_normal=sapply(experiments, function(n) mean(rnorm(n)))
plot(mean_list_cauchy,ylim=c(-10,10))
plot(mean_list_normal,ylim=c(-10,10))

Bạn có thể quan sát rằng chúng tôi có thử nghiệm và trong mỗi thử nghiệm, chúng tôi lấy mẫu điểm từ hai phân phối, với kích thước mẫu lớn như vậy, giá trị trung bình theo các thử nghiệm khác nhau khá gần với trung bình thực. Kết quả cho thấy phân phối Cauchy không có ý nghĩa hội tụ, nhưng phân phối bình thường thì có. $100$ $1\times 10^5$

CHỈNH SỬA:

Như @ mark999 đã đề cập trong cuộc trò chuyện, chúng ta nên lập luận rằng hai phân phối được sử dụng trong thử nghiệm có "phương sai" tương tự (lý do tôi sử dụng trích dẫn là do phương sai phân phối Cauchy cũng không được xác định.). Đây là lời biện minh: PDF của họ là tương tự nhau.

$0$

curve(dnorm, -8,8)
curve(dcauchy, -8,8)

— Haitao Du
nguồn

4

Tôi không nghĩ rằng điều này cho thấy rằng phân phối Cauchy không có ý nghĩa. Bạn có thể nhận được kết quả tương tự nếu bạn thay thế phân phối Cauchy bằng phân phối bình thường với phương sai lớn phù hợp.

— đánh dấu

điểm tốt @ mark999, tôi sẽ chỉnh sửa câu trả lời của mình để giải quyết vấn đề này.

— Haitao Du

Có thể tìm ra từ bản phân phối Cauchy rằng nó không có ý nghĩa gì, có lẽ bằng cách nhìn vào cái đuôi béo của nó?

— ks1322

Có lẽ bạn đã có một cái gì đó như thế này trong tâm trí? stats.stackexchange.com/questions/90531/...

— Mặt trăng Sycorax nói Khôi phục Monica

2

Theo định nghĩa của tích phân Lebesgue-Stieltjes, giá trị trung bình tồn tại nếu:

\int | x | d F (x) < \infty .

$\int \vert x\vert dF(x)<\infty.$

https://en.wikipedia.org/wiki/Moment_(mathatures)#Significance_of_the_moments

https://en.wikipedia.org/wiki/Lebesgue_integration

— hướng Tây
nguồn

2

$d\theta/2\pi$ $\theta$ $A\subset \mathbb S^1$ $\mathtt{length}(A)/2\pi$ $U(-\pi,\pi)$ $\pi$ $\pi-\varepsilon$ $-\pi+\varepsilon\ (=\pi+\varepsilon \mod 2\pi)$ $\pi$ $U(-\pi,\pi)$ $\varepsilon/2\pi$

Vì phân phối trên vòng tròn là đối xứng xoay, nên không thể có giá trị trung bình, trung vị hoặc chế độ trên vòng tròn. Tương tự, những khoảnh khắc cao hơn, chẳng hạn như phương sai, không thể có ý nghĩa. Phân phối này phát sinh tự nhiên trong nhiều bối cảnh. Ví dụ, dự án hiện tại của tôi liên quan đến hình ảnh kính hiển vi của mô ung thư. Rất nhiều đối tượng trong ảnh không đối xứng và có thể gán "hướng" cho từng đối tượng. Giả thuyết null rõ ràng là các hướng này được phân phối đồng đều.

$\mathbb S^1$ $p=(0,1)\in\mathbb S^1$ $x$ $\theta$ $p$ $x$ $x=\tan(\theta/2)$ $d\theta/2 = dx/(1+x^2)$ $\frac{d\theta}{\pi(1+x^2)}$

$\mathbb S^1 \setminus \{p\}$ $p$ $p\in\mathbb S^1$ $p$ $-p = (0,-1)$ $0\in\mathbb R$

— David Epstein
nguồn

2

Phân phối Cauchy có một trung vị và chế độ.

— jkabrg

khá đúng. Tôi đã mang đi một chút. Nhưng lập luận cho sự không tồn tại của giá trị trung bình là chính xác .. Tôi sẽ chỉnh sửa câu trả lời của mình.

— David Epstein

θ \sim U (- π, π)

$\theta \sim U(-\pi,\pi)$

X = \tan (θ / 2)

$X = \tan(\theta/2)$

E [θ] = 0

$\mathbb E[\theta] = 0$

@jkabrg: Tôi hy vọng các chỉnh sửa mới làm cho điều này dễ hiểu hơn

— David Epstein