Xem xét tổng


40

Tôi đã tự hỏi về điều này trong một thời gian; Tôi thấy nó hơi kỳ lạ khi nó xảy ra đột ngột. Về cơ bản, tại sao chúng ta chỉ cần ba bộ đồng phục để Zn hoạt động trơn tru như nó? Và tại sao việc làm mịn xảy ra tương đối nhanh?

Z2 :

2

Z3 :

3

(hình ảnh bị đánh cắp một cách đáng xấu hổ từ blog của John D. Cook: http://www.johndcook.com/blog/2009/02/12/sums-of-uniform-random-values/ )

Tại sao nó không mất, nói, bốn bộ đồng phục? Hay năm? Hoặc là...?


11
tốt, đơn giản đến mức dễ thấy, bởi vì tổng số 3 đồng phục có các phân đoạn bậc hai trong pf của nó, và một khi bạn nhận được hai hoặc nhiều đồng phục, bạn có một đỉnh ở mức trung bình. Một đỉnh bậc hai là "trơn tru" ... và các phép nối giữa các phần bậc hai là 1 và 2, vì vậy nó không thể xoắn ở mức 1,5; có nhiều cách khác để đi đến cùng một kết luận
Glen_b

Câu trả lời:


71

Chúng ta có thể thực hiện nhiều cách tiếp cận khác nhau, bất kỳ cách nào có thể trực quan đối với một số người và ít trực quan hơn đối với những người khác. Để phù hợp với sự thay đổi như vậy, câu trả lời này khảo sát một số cách tiếp cận như vậy, bao gồm các bộ phận chính của tư duy toán học - phân tích (vô hạn và vô hạn), hình học / cấu trúc liên kết (mối quan hệ không gian) và đại số (mô hình chính thức của thao tác biểu tượng) - như cũng như xác suất chính nó. Nó đạt đến đỉnh điểm trong một quan sát thống nhất cả bốn cách tiếp cận, chứng tỏ có một câu hỏi thực sự được trả lời ở đây, và cho thấy chính xác vấn đề là gì. Mỗi cách tiếp cận cung cấp, theo cách riêng của nó, cái nhìn sâu sắc hơn về bản chất của các hình dạng của các hàm phân phối xác suất của các tổng của các biến thống nhất độc lập.


Lý lịch

Các Uniform phân phối[0,1] có một số giới thiệu cơ bản. Khi có phân phối như vậy,X

  1. Các cơ hội mà nằm trong một tập thể đo lường được Một chỉ là thước đo (chiều dài) của A [ 0 , 1 ] , được viết | A [ 0 , 1 ] | .XAA[0,1]|A[0,1]|

  2. Từ đó, ngay lập tức hàm phân phối tích lũy (CDF) là

    FX(x)=Pr(Xx)=|(,x][0,1]|=|[0,min(x,1)]|={0x<0x0x11x>1.

    CDF

  3. Hàm mật độ xác suất (PDF), là đạo hàm của CDF, là với và nếu không. (Nó không được xác định ở và )0 x 1 f X ( x ) = 0 0 1fX(x)=10x1fX(x)=001

    PDF


Trực giác từ các chức năng đặc trưng (Phân tích)

Hàm đặc trưng (CF) của bất kỳ biến ngẫu nhiên là kỳ vọng của (trong đó là đơn vị tưởng tượng, ). Sử dụng PDF của phân phối đồng đều, chúng tôi có thể tính toánexp ( i t X ) i i 2 = - 1Xexp(itX)ii2=1

ϕX(t)=exp(itx)fX(x)dx=01exp(itx)dx=exp(itx)it|x=0x=1=exp(it)1it.

CF là một (phiên bản) biến đổi Fourier của PDF, . Các định lý cơ bản nhất về biến đổi Fourier là:ϕ(t)=f^(t)

  • CF của tổng các biến độc lập là sản phẩm của CF của chúng.X+Y

  • Khi PDF gốc liên tục và bị chặn, có thể được phục hồi từ CF bằng một phiên bản có liên quan chặt chẽ của biến đổi Fourier,X f φfXfϕ

f(x)=ϕˇ(x)=12πexp(ixt)ϕ(t)dt.
  • Khi khác biệt, đạo hàm của nó có thể được tính dưới dấu tích phân:f

    f(x)=ddx12πexp(ixt)ϕ(t)dt=i2πtexp(ixt)ϕ(t)dt.

    Để điều này được xác định rõ, tích phân cuối cùng phải hội tụ tuyệt đối; đó là,

    |texp(ixt)ϕ(t)|dt=|t||ϕ(t)|dt

    phải hội tụ đến một giá trị hữu hạn. Ngược lại, khi nó hội tụ, đạo hàm tồn tại ở mọi nơi nhờ vào các công thức đảo ngược này.

Bây giờ rõ ràng chính xác mức độ khác biệt của PDF đối với tổng số biến thống nhất là: từ viên đạn đầu tiên, CF của tổng các biến iid là CF của một trong số chúng được nâng lên sức mạnh , ở đây bằng . Tử số được giới hạn (nó bao gồm các sóng hình sin) trong khi mẫu số là . Chúng ta có thể nhân một số nguyên như vậy với và nó vẫn sẽ hội tụ hoàn toàn khi và hội tụ có điều kiện khi . Do đó, ứng dụng lặp lại của viên đạn thứ ba cho thấy rằng PDF cho tổng số thống nhất sẽ liên tục làn th ( exp ( i t ) - 1 ) n / ( i t ) n O ( t n ) t s s < n - 1 s = n - 1 n n - 2 n - 1nnth(exp(it)1)n/(it)nO(tn)tss<n1s=n1nn2lần khác nhau và, ở hầu hết các nơi, nó sẽ khác nhau gấp lần.n1

CF cho n = 10

Đường cong bóng mờ màu xanh là một biểu đồ log-log có giá trị tuyệt đối của phần thực của CF của tổng iid biến thiên thống nhất. Đường màu đỏ nét đứt là một tiệm cận; độ dốc của nó là , cho thấy PDF có độ phân giải gấp lần. Để tham khảo, đường cong màu xám vẽ phần thực của CF cho hàm Gaussian có hình dạng tương tự (PDF bình thường).- 10 10 - 2 = 8n=1010102=8


Trực giác từ Xác suất

Đặt và là các biến ngẫu nhiên độc lập trong đó có phân phối Đồng nhất . Hãy xem xét một khoảng hẹp . Chúng tôi phân tích cơ hội thành cơ hội mà đủ gần với khoảng thời gian này nhân cơ hội có kích thước phù hợp để đặt trong khoảng này, với điều kiện đủ gần:YXX[0,1](t,t+dt]X+Y(t,t+dt]YXX+YY

fX+Y(t)dt=Pr(X+Y(t,t+dt])=Pr(X+Y(t,t+dt]|Y(t1,t+dt])Pr(Y(t1,t+dt])=Pr(X(tY,tY+dt]|Y(t1,t+dt])(FY(t+dt)FY(t1))=1dt(FY(t+dt)FY(t1)).

Sự bình đẳng thức xuất phát từ khái niệm cho PDF của . Chia cả hai bên cho và lấy giới hạn là choXdtdt0

fX+Y(t)=FY(t)FY(t1).

Nói cách khác, việc thêm một biến đồng nhất vào bất kỳ biến nào sẽ thay đổi pdf thành một CDF . Vì PDF là dẫn xuất của CDF, điều này ngụ ý rằng mỗi lần chúng ta thêm một biến thống nhất độc lập vào , thì PDF kết quả sẽ khác biệt hơn một lần so với trước đây.[0,1]XYfYFY(t)FY(t1)Y

Hãy áp dụng những hiểu biết này, bắt đầu với một biến đồng bộ . PDF gốc không khác biệt ở hoặc : nó không liên tục ở đó. PDF của không phải là khả vi tại , , hoặc , nhưng nó phải được liên tục tại các điểm, bởi vì nó là sự khác biệt của tích phân của PDF của . Thêm một biến thống nhất độc lập : PDF của có thể phân biệt ở , , và - nhưng nó không nhất thiết phải có thứ haiY01Y+X012YX2Y+X+X2 0123các dẫn xuất tại các điểm đó. Và như vậy.


Trực giác từ Hình học

CDF tại của một tổng số iid thống nhất thay đổi bằng thể tích của hypercube đơn vị nằm trong nửa không gian . Tình huống cho biến thể được hiển thị ở đây, với được đặt ở , và sau đó là .tn[0,1]nx1+x2++xntn=3t1/23/25/2

Khối lập phương 3D

Khi tiến triển từ đến , siêu phẳng vượt qua các đỉnh tại , . Mỗi lần hình dạng của mặt cắt thay đổi: trong hình đầu tiên là hình tam giác ( -simplex), sau đó là hình lục giác, sau đó lại là hình tam giác. Tại sao PDF không bị bẻ cong ở các giá trị này của ?t0nHn(t):x1+x2++xn=tt=0t=1,,t=n2t

Để hiểu điều này, trước tiên hãy xem xét các giá trị nhỏ của . Ở đây, siêu phẳng cắt một -simplex. Tất cả các kích thước của đơn giản tỷ lệ thuận với , trong đó "diện tích" của nó tỷ lệ thuận với . Một số ký hiệu cho điều này sẽ có ích sau này. Đặt là "hàm bước đơn vị"tHn(t)n1n1ttn1θ

θ(x)={0x<01x0.

Nếu không có sự hiện diện của các góc khác của hypercube, tỷ lệ này sẽ tiếp tục vô tận. Một biểu đồ diện tích của -simplex sẽ trông giống như đường cong màu xanh đặc bên dưới: nó bằng 0 tại các giá trị âm và bằngở trạng thái tích cực, được viết thuận tiện. Nó có một "kink" của thứ tự ở gốc, theo nghĩa là tất cả các dẫn xuất qua thứ tự tồn tại và liên tục, nhưng các dẫn xuất trái và phải của thứ tự tồn tại nhưng không đồng ý với nguồn gốc .n1tn1/(n1)!θ(t)tn1/(n1)!n2n3n2

(Các đường cong khác được hiển thị trong hình này là (Đỏ), (Vàng) và (Đen). Vai trò của chúng trong trường hợp sẽ được thảo luận thêm bên dưới.)3θ(t1)(t1)2/2!3θ(t2)(t2)2/2!θ(t3)(t3)2/2!n=3

Khu vực đơn giản

Để hiểu điều gì xảy ra khi vượt qua , hãy xem xét chi tiết trường hợp , trong đó tất cả các hình học xảy ra trong một mặt phẳng. Chúng ta có thể xem đơn vị "khối" (bây giờ chỉ là một hình vuông) là một tổ hợp tuyến tính của các góc phần tư , như được hiển thị ở đây:t1n=2

Góc phần tư

Góc phần tư thứ nhất xuất hiện ở bảng dưới bên trái, màu xám. Giá trị của là , xác định đường chéo hiển thị trong tất cả năm bảng. CDF bằng với khu vực màu vàng hiển thị bên phải. Khu vực màu vàng này bao gồm:t1.5

  1. Vùng màu xám hình tam giác ở bảng dưới bên trái,

  2. trừ đi vùng màu xanh lá cây hình tam giác ở bảng trên bên trái,

  3. trừ đi vùng màu đỏ hình tam giác ở bảng giữa thấp,

  4. cộng với bất kỳ khu vực màu xanh trong bảng điều khiển trung trên (nhưng không có bất kỳ khu vực như vậy, cũng sẽ không có cho đến khi vượt quá ).t2

Mỗi một trong diện tích này là diện tích của một hình tam giác. Một thang đo đầu tiên như , hai thang đo tiếp theo là 0 đối với và nếu không thì tỷ lệ như và cuối cùng là 0 đối với và các thang đo khác như . Phân tích hình học này đã xác định rằng CDF tỷ lệ thuận với = ; tương tự, PDF tỷ lệ thuận với tổng của ba hàm , và2n=4tn=t2t<1(t1)n=(t1)2t<2(t2)nθ(t)t2θ(t1)(t1)2θ(t1)(t1)2+θ(t2)(t2)2θ(t)t22θ(t1)(t1)2+θ(t2)(t2)2θ(t)t2θ(t1)(t1)θ(t2)(t2)(mỗi cái đều chia tỷ lệ tuyến tính khi ). Bảng bên trái của hình này hiển thị biểu đồ của họ: hiển nhiên, tất cả chúng đều là phiên bản của biểu đồ gốc , nhưng (a) đã dịch chuyển , và đơn vị sang phải và (b) thay đổi kích thước , và , tương ứng.n=2θ(t)t012121

Đồ thị cho n = 2

Bảng bên phải hiển thị tổng của các biểu đồ này (đường cong đen đặc, được chuẩn hóa để có diện tích đơn vị: đây chính xác là tệp PDF trông góc cạnh được hiển thị trong câu hỏi ban đầu.

Bây giờ chúng ta có thể hiểu bản chất của "kinks" trong PDF của bất kỳ tổng các biến thống nhất iid nào. Tất cả đều giống hệt như "kink" xảy ra ở trong hàm , có thể được định cỡ lại và chuyển sang các số nguyên tương ứng với vị trí của siêu phẳng vượt qua các đỉnh của hypercube. Với , đây là một thay đổi có thể nhìn thấy theo hướng: đạo hàm phải của tại là trong khi đạo hàm trái của nó là . Với , đây là một liên tục0θ(t)tn11,2,,nHn(t)n=2θ(t)t001n=3thay đổi theo hướng, nhưng thay đổi đột ngột (không liên tục) trong đạo hàm thứ hai. Đối với chung , sẽ có các đạo hàm liên tục thông qua thứ tự nhưng không liên tục trong đạo .nn2n1st


Trực giác từ thao tác đại số

Việc tích hợp để tính toán CF, dạng xác suất có điều kiện trong phân tích xác suất và tổng hợp hypercube như một tổ hợp tuyến tính của các góc phần tư đều đề nghị quay lại phân phối thống nhất ban đầu và biểu diễn lại nó như một tổ hợp tuyến tính của những điều đơn giản hơn . Thật vậy, PDF của nó có thể được viết

fX(x)=θ(x)θ(x1).

Hãy để chúng tôi giới thiệu toán tử shift : nó hoạt động trên bất kỳ hàm bằng cách dịch chuyển một đơn vị đồ thị của nó sang bên phải:Δf

(Δf)(x)=f(x1).

Chính thức, sau đó, đối với PDF của biến thống nhất, chúng tôi có thể viếtX

fX=(1Δ)θ.

PDF của một tổng số đồng phục iid là tích chập của với chính nó lần. Điều này xuất phát từ định nghĩa của một tổng các biến ngẫu nhiên: tích chập của hai hàm và là hàmnfXnfg

(fg)(x)=f(xy)g(y)dy.

Thật dễ dàng để xác minh rằng tích chập bắt đầu với . Chỉ cần thay đổi biến tích hợp từ thành :Δyy+1

(f(Δg))=f(xy)(Δg)(y)dy=f(xy)g(y1)dy=f((x1)y)g(y)dy=(Δ(fg))(x).

Đối với bản PDF của tổng số đồng phục iid, bây giờ chúng ta có thể tiến hành đại số để viếtn

f=fXn=((1Δ)θ)n=(1Δ)nθn

(trong đó "power" biểu thị phép tích chập lặp lại, không phải là phép nhân theo chiều!). Bây giờ là một tích hợp trực tiếp, cơ bản, mang lạinθn

θn(x)=θ(x)xn1n1!.

Phần còn lại là đại số, bởi vì Định lý nhị thức được áp dụng (giống như trong bất kỳ đại số giao hoán nào so với thực tế):

f=(1Δ)nθn=i=0n(1)i(ni)Δiθn.

Bởi vì chỉ thay đổi đối số của nó bằng , điều này thể hiện PDF dưới dạng kết hợp tuyến tính của các phiên bản đã thay đổi của , chính xác như chúng tôi đã suy luận về mặt hình học:Δiifθ(x)xn1

f(x)=1(n1)!i=0n(1)i(ni)(xi)n1θ(xi).

(John Cook trích dẫn công thức này sau trong bài đăng trên blog của mình, sử dụng ký hiệu for .) ( x - i ) n - 1 θ ( x - i )(xi)+n1(xi)n1θ(xi)

Theo đó, vì là một chức năng trơn tru ở mọi nơi, mọi hành vi đơn lẻ của PDF sẽ chỉ xảy ra ở những nơi là số ít (rõ ràng chỉ là ) và tại những nơi đó được dịch sang phải . Bản chất của hành vi số ít đó - mức độ mượt mà - do đó sẽ giống nhau ở tất cả các vị trí . θ ( x ) 0 1 , 2 , ... , n n + 1xn1θ(x)01,2,,nn+1

Minh họa đây là hình ảnh cho , hiển thị (trong bảng điều khiển bên trái) các thuật ngữ riêng lẻ trong tổng và (trong bảng điều khiển bên phải) các khoản tiền một phần, đạt đến đỉnh điểm của chính nó (đường cong đen đặc):n=8

Âm mưu cho n = 8


Đóng các bình luận

Nó rất hữu ích để lưu ý rằng phương pháp cuối cùng này cuối cùng đã mang lại một, biểu hiện thực tế nhỏ gọn để tính PDF của một tổng của biến thống nhất iid. (Một công thức cho CDF cũng thu được tương tự.)n

Định lý giới hạn trung tâm có rất ít điều để nói ở đây. Rốt cuộc, một tổng số các biến Binomial iid hội tụ thành một bản phân phối Bình thường, nhưng tổng đó luôn luôn rời rạc: nó thậm chí không bao giờ có một tệp PDF nào cả! Chúng ta không nên hy vọng vào bất kỳ trực giác nào về "kinks" hoặc các biện pháp khác biệt khác của PDF đến từ CLT.


12
(+1) Tuyệt vời! Bây giờ, bạn mất bao lâu để kết hợp tất cả những thứ này lại với nhau?!
Đức hồng y

13
@Cardinal Đây là câu hỏi cuối cùng tôi đọc được trước khi mất điện vào thứ Hai tuần trước. Trong tuần tiếp theo, các buổi tối dài kéo dài tạo cơ hội để suy nghĩ về nó thông qua :-) và, để giải trí, để phát triển nhiều câu trả lời. Sau khi sức mạnh được phục hồi vào cuối tuần trước, tôi chỉ thú vị một chút thời gian để làm các hình minh họa và viết tất cả lên (mất nhiều thời gian hơn dự kiến, tôi thú nhận). Tôi hy vọng rằng có lẽ một số chủ đề này có thể phục vụ như một tài liệu tham khảo cho các câu hỏi tương lai liên quan về tổng các biến ngẫu nhiên.
whuber

1
Ồ Tôi ước tôi có thể 'yêu thích' câu trả lời này .
Đại hoàng

2
whuber, điều này là hoàn toàn tuyệt vời. Tôi không bao giờ nhận ra một câu hỏi đơn giản như vậy có thể sâu đến mức nào. Sẽ mất một thời gian để tôi tự mò mẫm câu trả lời của bạn, nhưng bây giờ, cảm ơn bạn rất nhiều!
tetragrammaton

6
Tôi sẽ vi phạm chính sách của SE về các bình luận, bằng cách nói rằng chúng tôi (tất cả các crossvalidate.com) nên mua chuộc công ty điện lực của bạn để cắt điện thường xuyên hơn :)
mpiktas

1

Bạn có thể lập luận rằng hàm mật độ xác suất của một biến ngẫu nhiên thống nhất là hữu hạn,

do đó tích phân hàm mật độ tích lũy của một biến ngẫu nhiên đồng nhất là liên tục,

do đó hàm mật độ xác suất của tổng hai biến ngẫu nhiên đồng nhất là liên tục,

do đó, tích phân hàm mật độ tích lũy của tổng hai biến ngẫu nhiên đồng nhất là trơn tru (khác biệt liên tục),

do đó hàm mật độ xác suất của tổng ba biến ngẫu nhiên đồng nhất là trơn tru.


1

Tôi nghĩ điều đáng ngạc nhiên hơn là bạn có được đỉnh cực đại cho . n=2

Định lý giới hạn trung tâm nói rằng đối với các cỡ mẫu đủ lớn, phân phối giá trị trung bình (và tổng chỉ là thời gian trung bình , một hằng số cố định cho mỗi biểu đồ) sẽ xấp xỉ bình thường. Nó chỉ ra rằng phân phối đồng đều thực sự hoạt động tốt đối với CLT (đối xứng, không có đuôi nặng (cũng không có nhiều đuôi), không có khả năng ngoại lệ), vì vậy, đối với đồng phục, cỡ mẫu cần phải đủ lớn "Không lớn lắm (khoảng 5 hoặc 6 cho một xấp xỉ tốt), bạn đã thấy xấp xỉ OK ở .n = 3nn=3

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.