Lấy kỳ vọng của loạt Taylor (đặc biệt là phần còn lại)


42

Câu hỏi của tôi liên quan đến việc cố gắng biện minh cho một phương pháp được sử dụng rộng rãi, cụ thể là lấy giá trị mong đợi của Taylor Series. Giả sử chúng ta có một biến ngẫu nhiên với trung bình dương và phương sai . Ngoài ra, chúng ta có một hàm, giả sử, .Xμσ2log(x)

Thực hiện mở rộng Taylor của xung quanh giá trị trung bình, chúng tôi nhận được trong đó, như thường lệ, là st.logX

logX=logμ+Xμμ12(Xμ)2μ2+13(Xμ)3ξX3,
ξX|ξXμ|<|Xμ|

Nếu chúng ta kỳ vọng, chúng ta sẽ có được một phương trình gần đúng mà mọi người thường gọi là một cái gì đó tự hiển thị (xem dấu trong phương trình đầu tiên ở đây)E log X log μ - 1 :

ElogXlogμ12σ2μ2

CÂU HỎI : Tôi quan tâm đến việc làm thế nào để chứng minh rằng giá trị kỳ vọng của số hạng còn lại thực sự không đáng kể, tức là (hay nói cách khác là ).

E[(Xμ)3ξX3]=o(σ2)
E[o(Xμ)2]=o(E[(Xμ)2])

Những gì tôi đã cố gắng thực hiện : giả sử rằng (lần lượt, có nghĩa là trong ), tôi đã cố gắng tách tích phân thành hai, bao quanh với một số -vicinity N_ : σ20XμPμεNε

Rp(x)(xμ)3ξx3dx=xNεdx+xNεdx

Cái đầu tiên có thể bị giới hạn do thực tế là và do đó không làm phiền. Nhưng với điều thứ hai, chúng ta có hai sự thật đồng tình: một mặt (dưới dạng ). Nhưng mặt khác, chúng ta không biết phải làm gì với . 1 / ξ 3 P ( | X - L | > ε ) 0 σ 20 1 / ξ 30Nε1/ξ3

P(|Xμ|>ε)0
σ201/ξ3

Một khả năng khác có thể là thử sử dụng bổ đề của Fatou, nhưng tôi không thể tìm ra cách.

Sẽ đánh giá cao bất kỳ trợ giúp hoặc gợi ý. Tôi nhận ra rằng đây là một câu hỏi rất kỹ thuật, nhưng tôi cần phải thực hiện nó để tin tưởng vào phương pháp "kỳ vọng Taylor" này. Cảm ơn!

PS tôi đã kiểm tra ở đây , nhưng có vẻ như đó là một chút của một thứ khác.


Tại sao có một dấu trừ trước nhiệm kỳ thứ ba của việc mở rộng Taylor? Ngoài ra tại sao trong nhiệm kỳ thứ tư có chứ không phải? Tôi đang thiếu gì? 3 !33!
Alecos Papadopoulos

@Alecos: Chỉ cần nhìn vào đạo hàm thứ của . Điều đó sẽ trả lời cả hai câu hỏi của bạn. log xnlogx
Đức hồng y

4
(+1) Vấn đề này gần đây đã xuất hiện trong các cuộc thảo luận về hai câu hỏi liên quan đến việc tìm kiếm những khoảnh khắc của . Nó trả tiền để chăm sóc thêm với những vấn đề như vậy. :-)X1
hồng y

1
Xấp xỉ thứ tự đầu tiên thực sự có thể tốt hơn trong một số trường hợp, bởi vì định lý giá trị trung bình. Không chắc chắn nếu định lý giá trị trung bình sẽ giúp trong trường hợp chung.
xác suất

1
Tôi đã nghĩ rằng định lý hội tụ thống trị có thể hữu ích ở đây, vì phương trình là một giao điểm của các giới hạn và tích hợp. E(o(..))=o(E(..))
xác suất

Câu trả lời:


32

Bạn có quyền hoài nghi về phương pháp này. Phương pháp chuỗi Taylor không hoạt động nói chung, mặc dù heuristic chứa một hạt nhân của sự thật. Để tóm tắt các cuộc thảo luận kỹ thuật dưới đây,

  • Nồng độ mạnh ngụ ý rằng phương pháp chuỗi Taylor hoạt động cho các chức năng tốt
  • Mọi thứ có thể và sẽ trở nên sai lầm đáng kể đối với các bản phân phối có đuôi nặng hoặc các chức năng không đẹp

Như câu trả lời của Alecos chỉ ra, điều này cho thấy phương pháp Taylor-series nên được loại bỏ nếu dữ liệu của bạn có thể có đuôi nặng. (Chuyên gia tài chính, tôi đang nhìn bạn.)

Như Elvis đã lưu ý, vấn đề chính là phương sai không kiểm soát được những khoảnh khắc cao hơn . Để xem tại sao, hãy đơn giản hóa câu hỏi của bạn càng nhiều càng tốt để đi đến ý chính.

Giả sử chúng ta có một chuỗi các biến ngẫu nhiên với là . σ ( X n ) 0 n Xnσ(Xn)0n

H: Chúng tôi có thể đảm bảo rằng làn ?E[|Xnμ|3]=o(σ2(Xn))n?

các biến ngẫu nhiên với khoảnh khắc thứ hai hữu hạn và khoảnh khắc thứ ba vô hạn, nên câu trả lời rõ ràng là không . Do đó, nói chung, phương pháp chuỗi Taylor thất bại ngay cả đối với đa thức bậc 3 . Lặp lại lập luận này cho thấy bạn không thể mong đợi phương pháp chuỗi Taylor cung cấp kết quả chính xác, ngay cả đối với đa thức, trừ khi tất cả các khoảnh khắc của biến ngẫu nhiên của bạn được kiểm soát tốt.

Vậy thì chúng ta phải làm gì? Chắc chắn phương thức này hoạt động cho các biến ngẫu nhiên bị ràng buộc có hỗ trợ hội tụ đến một điểm, nhưng lớp này quá nhỏ để có thể thú vị. Thay vào đó, giả sử rằng chuỗi xuất phát từ một số gia đình tập trung cao độ thỏa mãn (nói)Xn

(1)P{|Xnμ|>t}eCnt2

với mọi và một số . Các biến ngẫu nhiên như vậy là đáng ngạc nhiên phổ biến. Ví dụ: khi là trung bình theo kinh nghiệmt>0C>0Xn

Xn:=1ni=1nYi

gồm các biến ngẫu nhiên đẹp (ví dụ: iid và giới hạn), các bất đẳng thức tập trung khác nhau ngụ ý rằng thỏa mãn (1). Một đối số chuẩn (xem trang 10 ở đây ) giới hạn các khoảnh khắc thứ cho các biến ngẫu nhiên như vậy:YiXnp

E[|Xnμ|p](p2Cn)p/2.

Vì vậy, đối với bất kỳ "đủ đẹp" chức năng phân tích (xem dưới đây), chúng ta có thể bị ràng buộc lỗi trên -term xấp xỉ chuỗi Taylor bằng cách sử dụng bất đẳng thức tam giácfEmm

Em:=|E[f(Xn)]p=0mf(p)(μ)p!E(Xnμ)p|1(2Cn)(m+1)/2p=m+1|f(p)(μ)|pp/2p!

khi . Kể từ khi xấp xỉ của Stirling cho , lỗi của chuỗi Taylor bị cắt ngắn thỏa mãnn>C/2p!pp1/2

(2)Em=O(n(m+1)/2) as nwheneverp=0p(1p)/2|f(p)(μ)|<.

Do đó, khi tập trung mạnh và đủ đẹp, phép tính xấp xỉ chuỗi Taylor thực sự chính xác. Bất đẳng thức xuất hiện trong (2) ngụ ý rằng , do đó, đặc biệt điều kiện của chúng tôi yêu cầu là toàn bộ . Điều này có ý nghĩa bởi vì (1) không áp đặt bất kỳ giả định ràng buộc nào đối với .Xnff(p)(μ)/p!=O(pp/2)X nfXn

Chúng ta hãy xem những gì có thể sai khi có một điểm kỳ dị (theo nhận xét của người đánh bóng). Giả sử rằng chúng ta chọn . Nếu chúng ta lấy từ phân phối bị cắt giữa 0 và 2, thì đủ tập trung nhưng cho mọi . Nói cách khác, chúng ta có một biến ngẫu nhiên tập trung cao độ, bị ràng buộc và vẫn là phương pháp chuỗi Taylor thất bại khi hàm chỉ có một điểm duy nhất.ff(x)=1/xXnNormal(1,1/n)XnE[f(Xn)]=n

Một vài từ về sự nghiêm ngặt. Tôi thấy nó tốt hơn để trình bày điều kiện xuất hiện trong (2) như xuất phát thay vì deus ex machina được yêu cầu trong một định dạng chứng minh / định lý nghiêm ngặt. Để làm cho lập luận hoàn toàn nghiêm ngặt, đầu tiên lưu ý rằng phía bên phải trong (2) ngụ ý rằng

E[|f(Xn)|]i=0|f(p)(μ)|p!E[|Xnμ|p]<

bởi tốc độ tăng trưởng của các khoảnh khắc subgaussian từ trên cao. Do đó, định lý của Fubini cung cấp

E[f(Xn)]=i=0f(p)(μ)p!E[(Xnμ)p]

Phần còn lại của bằng chứng tiến hành như trên.


1
Tôi có thể đã bỏ lỡ nó trong một lần đọc nhanh, nhưng bạn có cho rằng (trong số những thứ khác) cung cấp khoảnh khắc thứ ba của là đủ "trong tầm kiểm soát", thì kỳ vọng của có thể được ước tính một cách hợp lý bằng cách kỳ vọng chuỗi [MacLaurin] của ? Tôi đang lo lắng vì tôi đã không nhìn thấy bất kỳ tham chiếu đến các tính chất hội tụ của hàng loạt chính nó, mà ít nhất cũng quan trọng như đuôi của phân phối của . Xlog(X)logX
whuber

2
@whuber Bạn đúng rồi; bạn sẽ cần sự hỗ trợ của để có mặt trong ROC của loạt Taylor, vì vậy, đặc biệt, gần như chắc chắn. Tôi sẽ cập nhật bài viết để phản ánh điều này. X0<X<2μ
Mike McCoy

2
Tôi vẫn nghĩ rằng tôi đang thiếu một cái gì đó. Ví dụ: khi có phân phối Bình thường bị cắt ngắn thành , rõ ràng là "tập trung cao độ", có nghĩa là và gần như chắc chắn trong bán kính hội tụ của (có tính phân tích trong phần bên trong của đĩa đơn vị ở giữa , chứa ), nhưng là vô hạn. X(1,1)(0,2)μ=1f(x)=1/x=1/(1(1x))1(0,2μ)E[f(X)]
whuber

1
@gron Bạn đã mắc một số lỗi nhỏ. Khi , đạo hàm . Điều kiện không giữ vì cho bất kỳ . Bạn cũng có thể xác minh rằng (2) không giữ vì bất kỳ hàm nào thỏa mãn (2) cũng thỏa mãn và do đó có không có điểm kỳ dị ( toàn bộ , theo liên kết). f(x)=1/x|f(p)(μ)|=p!/μp
(2)=p!p(1p/2)μp
μ>0log(p!f(p)(μ))/pf
Mike McCoy

1
@gron Bạn cần hai điều: (1) đảm bảo rằng RV của bạn có hỗ trợ nghiêm ngặt trong ROC của chuỗi nhật ký sức mạnh (nghĩa là cho ) và (2) đảm bảo rằng các khoảnh khắc của RV giảm đủ nhanh để ước tính lỗi cho ở trên là hữu hạn. Về cách kiểm soát khoảnh khắc, bạn nên hỏi một câu hỏi mới bởi vì nó sẽ chiếm quá nhiều nhân vật (và bản thân tôi cũng tò mò về những cách mới). [0+ε,2με]ε>0Em
Mike McCoy

10

Mặc dù câu trả lời của tôi sẽ không đạt đến mức độ tinh vi toán học của các câu trả lời khác, tôi quyết định đăng nó vì tôi tin rằng nó có gì đó để đóng góp - mặc dù kết quả sẽ là "tiêu cực", như họ nói.

Nói một cách nhẹ nhàng, tôi sẽ nói rằng OP là "không thích rủi ro" , (vì hầu hết mọi người, cũng như chính khoa học), bởi vì OP yêu cầu một điều kiện đủ để xấp xỉ chuỗi mở rộng Taylor bậc 2 là "được chấp nhận được ". Nhưng nó không phải là một điều kiện cần thiết.

Thứ nhất, một điều kiện tiên quyết cần thiết nhưng không đủ để giá trị dự kiến ​​của Phần còn lại sẽ ở mức thấp hơn so với phương sai của rv, như OP yêu cầu, là chuỗi hội tụ ở vị trí đầu tiên. Chúng ta chỉ nên giả định hội tụ? Không.

Biểu thức chung mà chúng tôi kiểm tra là

E[g(Y)]=fY(y)[i=0g(i)(μ)(yμ)ii!]dy[1]

Như Loistl (1976) tuyên bố, tham khảo cuốn sách "Tính toán và thống kê" của Gemignani (1978, trang 170), một điều kiện để hội tụ tổng vô hạn là (một ứng dụng của phép thử tỷ lệ để hội tụ)

yμ<|yμ|<limi|(g(i)(μ)g(i+1)(μ)(i+1))|[2]

... Trong đó là giá trị trung bình của rv Mặc dù điều này cũng là một điều kiện đủ (kiểm tra tỷ lệ là không kết luận nếu mối quan hệ trên giữ bằng đẳng thức), chuỗi sẽ phân kỳ nếu bất đẳng thức giữ theo hướng khác.μ

Loistl đã kiểm tra ba biểu mẫu chức năng cụ thể cho , hàm mũ, công suất và logarit (bài báo của ông thuộc lĩnh vực Dự kiến ​​tiện ích và lựa chọn danh mục đầu tư, vì vậy ông đã thử nghiệm các biểu mẫu chức năng tiêu chuẩn được sử dụng để biểu diễn chức năng tiện ích lõm). Đối với các hình thức chức năng này, ông thấy rằng chỉ đối với hình thức chức năng theo cấp số nhân, không có giới hạn nào đối với . Ngược lại, đối với sức mạnh và đối với trường hợp logarit (nơi chúng ta đã có ), chúng ta thấy rằng tính hợp lệ của bất đẳng thức tương đương với y - μ 0 < y [ 2 ] y - μ < μ 0 < y < 2 μg()yμ0<y[2]

yμ<μ0<y<2μ

Điều này có nghĩa là nếu biến của chúng tôi thay đổi ngoài phạm vi này, thì phần mở rộng Taylor có trung tâm mở rộng là giá trị trung bình của biến sẽ phân kỳ.

Vì vậy: đối với một số dạng chức năng, giá trị của hàm tại một số điểm trong miền của nó bằng với sự mở rộng Taylor vô hạn của nó, bất kể điểm này cách trung tâm mở rộng bao xa. Đối với các hình thức chức năng khác (bao gồm logarit), điểm quan tâm phải nằm hơi "gần" với trung tâm mở rộng đã chọn. Trong trường hợp chúng ta có rv, điều này có nghĩa là hạn chế về sự hỗ trợ về mặt lý thuyết của biến (hoặc kiểm tra phạm vi quan sát theo kinh nghiệm của nó).

Loitl, sử dụng các ví dụ bằng số, cũng cho thấy rằng việc tăng thứ tự mở rộng trước khi cắt ngắn có thể làm cho vấn đề tồi tệ hơn đối với tính chính xác của phép tính gần đúng. Chúng ta phải lưu ý rằng theo kinh nghiệm, chuỗi thời gian của các biến quan sát trong lĩnh vực tài chính có biểu hiện biến thiên lớn hơn biến số theo yêu cầu của bất đẳng thức. Vì vậy, Loitl tiếp tục ủng hộ rằng phương pháp gần đúng của chuỗi Taylor nên được loại bỏ hoàn toàn, liên quan đến Lý thuyết lựa chọn danh mục đầu tư.

Sự phục hồi đến 18 năm sau từ Hlawitschka (1994) . Cái nhìn sâu sắc và kết quả có giá trị ở đây là, và tôi trích dẫn

... mặc dù một loạt cuối cùng có thể hội tụ, có thể nói rất ít về bất kỳ loạt nào của nó; sự hội tụ của một chuỗi không có nghĩa là các điều khoản giảm ngay lập tức kích thước hoặc bất kỳ thuật ngữ cụ thể nào là đủ nhỏ để bị bỏ qua. Thật vậy, có thể, như đã chứng minh ở đây, một loạt có thể xuất hiện để phân kỳ trước khi cuối cùng hội tụ trong giới hạn. Do đó, chất lượng của xấp xỉ thời điểm đối với tiện ích dự kiến ​​dựa trên một số điều khoản đầu tiên của chuỗi Taylor, do đó, không thể được xác định bởi các thuộc tính hội tụ của chuỗi vô hạn. Đây là một vấn đề thực nghiệm và theo kinh nghiệm, các xấp xỉ hai thời điểm đối với các hàm tiện ích được nghiên cứu ở đây thực hiện tốt cho nhiệm vụ lựa chọn danh mục đầu tư. Hlawitschka (1994)

Ví dụ, Hlawitschka đã chỉ ra rằng phép gần đúng bậc 2 là "thành công" cho dù chuỗi Taylor có hội tụ hay không , nhưng anh ta cũng xác minh kết quả của Lotl, rằng việc tăng thứ tự xấp xỉ có thể làm cho nó tệ hơn. Nhưng có một vòng loại cho thành công này: Trong Danh mục đầu tư, Tiện ích dự kiến ​​được sử dụng để xếp hạng chứng khoán và các sản phẩm tài chính khác. Đó là một biện pháp thứ tự , không phải hồng y. Vì vậy, những gì Hlawitschka tìm thấy là xấp xỉ bậc 2 đã duy trì thứ hạng của các chứng khoán khác nhau, so với xếp hạng xuất phát từ giá trị chính xác của , và khôngE(g(Y) rằng nó luôn cho kết quả định lượng ở mức đủ gần với giá trị chính xác này (xem bảng A1 của anh ấy trong trang 718).

Vì vậy, nơi mà để lại cho chúng tôi? Trong tình trạng lấp lửng, tôi muốn nói. Dường như cả về lý thuyết và thực nghiệm, khả năng chấp nhận xấp xỉ Taylor bậc 2 phụ thuộc rất nhiều vào nhiều khía cạnh khác nhau của hiện tượng cụ thể đang nghiên cứu và phương pháp khoa học được sử dụng - phụ thuộc vào các giả định lý thuyết, vào các dạng chức năng được sử dụng, về sự biến thiên quan sát của loạt ...

Nhưng hãy kết thúc điều này một cách tích cực: ngày nay, sức mạnh máy tính thay thế cho rất nhiều thứ. Vì vậy, chúng ta có thể mô phỏng và kiểm tra tính hợp lệ của xấp xỉ bậc 2, cho một loạt các giá trị của biến với giá rẻ, cho dù chúng ta làm việc trên một vấn đề lý thuyết hay thực nghiệm.


8

Không phải là một câu trả lời thực tế, nhưng một ví dụ cho thấy rằng mọi thứ không được tốt đẹp, và cần có thêm các giả thuyết để làm cho kết quả này là đúng.

Xác định dưới dạng hỗn hợp giữa đồng phục và , thành phần thống nhất được chọn với xác suất và bình thường với xác suất . Bạn có và phương sai của nó hội tụ thành khi chuyển sang vô cùng, vì nếu tôi không nhầm.XnU([1n;1n])N(nn1,1n)1n11n=n1nE(Xn)=10n

E(Xn2)=13n2×1n+((nn1)2+1n)×n1n,

Bây giờ xác định (và hoặc bất cứ điều gì). Các biến ngẫu nhiên được xác định rõ nhưng không có giá trị mong đợi, vì không được xác định, không thành vấn đề lớn như thế nào là.f(x)=1/xf(0)=0f(Xn)

1n1n1xdx
n

Kết luận của tôi là bạn rõ ràng cần các giả thuyết về hành vi toàn cầu của hoặc - nhiều khả năng, thanh lịch hơn - về tốc độ mật độ của phân rã khi bạn ở xa giá trị mong đợi. Tôi chắc chắn rằng những giả thuyết như vậy có thể được tìm thấy trong văn học cổ điển (và ngay cả trong sách giáo khoa), tiếc là sự đào tạo của tôi không nằm trong thống kê và tôi vẫn tự mình đấu tranh với văn học ... dù sao tôi cũng hy vọng điều này có ích.fXn

Tái bút Đây không phải là ví dụ ngược lại với câu trả lời của Nick sao? Ai sai rồi?


1
Một tuyên bố chung hơn về đối số của bạn là tồn tại và là hữu hạn choE[Xk]k=1,2,3
xác suất

Tôi nghĩ nhận xét trên của tôi là không chính xác - điều cần có là hàm thừa nhận mở rộng Taylor Series tại điểm . Ví dụ bạn cung cấp, bạn có không liên tục tại . Tôi nghĩ điều này có nghĩa là không thể được mở rộng trong loạt Taylor cho ví dụ của bạn. f(x)x=μf(x)=1xx=0f
xác suất

Nó có thể, tại . Sau đó, có bán kính hội tụ ... Có thể bạn cần một bán kính hội tụ vô hạn?! Đó là một yêu cầu mạnh mẽ. μ=1
Elvis

1
Elvis, vâng, chúng tôi cần một điều kiện toàn cầu. Về cơ bản, phần còn lại phải cư xử tử tế sau khi nó bị đè nặng bởi các đuôi của phân phối. Đối với một cái gì đó tương tự như ví dụ của bạn xuất hiện gần đây, xem ở đây , ở đâyở đây .
Đức hồng y

4

Đây không phải là một câu trả lời hoàn chỉnh, chỉ là một cách khác để đi đến xấp xỉ bậc hai.

Tôi nghĩ rằng cách tốt nhất để sử dụng là sử dụng định lý giá trị trung bình của Cauchy, thay vì làm việc với số hạng còn lại của loạt Taylor. Nếu chúng ta áp dụng nó một lần, chúng ta có

f(X)=f(μ)+f(ξ1)(Xμ)

đối với một số khi hoặc khi . Bây giờ chúng ta áp dụng lại định lý giá trị trung bình cho và chúng ta cóXξ1μXμXξ1μXμf(ξ1)

f(ξ1)=f(μ)+f(ξ2)(ξ1μ)

đối với một số khi hoặc khi . đưa cái này vào fomula đầu tiênXξ1ξ2μXμXξ1ξ2μXμ

f(X)=f(μ)+f(μ)(Xμ)+f(ξ2)(ξ1μ)(Xμ)

Lưu ý rằng kết quả này chỉ yêu cầu liên tục và hai lần phân biệt giữa và . Tuy nhiên, điều này chỉ áp dụng cho cố định và thay đổi sẽ có nghĩa là thay đổi tương ứng trong . Phương thức delta thứ hai có thể được xem là đưa ra giả định toàn cầu rằng và trên toàn bộ phạm vi hỗ trợ của , hoặc ít nhất là trong khu vực có khối lượng xác suất cao.X μ X X ξ i ξ 1 - μ = 1fXμXXξiξ2=μXξ1μ=12(Xμ)ξ2=μX

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.