Cái nào có đuôi nặng hơn, lognatural hay gamma?

(Điều này dựa trên một câu hỏi vừa gửi cho tôi qua email; tôi đã thêm một số ngữ cảnh từ một cuộc trò chuyện ngắn trước đó với cùng một người.)

Năm ngoái tôi đã nói rằng phân phối gamma có đuôi nặng hơn so với logic bất thường, và kể từ đó tôi đã nói rằng đó không phải là trường hợp.

• Mà là đuôi nặng hơn?

• Một số tài nguyên tôi có thể sử dụng để khám phá mối quan hệ là gì?

Đuôi (phải) của một bản phân phối mô tả hành vi của nó ở các giá trị lớn. Đối tượng nghiên cứu chính xác không phải là mật độ của nó - mà trong nhiều trường hợp thực tế không tồn tại - mà là chức năng phân phối của nó . Cụ thể hơn, vì phải tăng bất thường lên đối với các đối số lớn (theo Luật xác suất tổng thể), chúng tôi quan tâm đến việc nó tiếp cận nhanh chóng với tiệm cận đó như thế nào: chúng ta cần điều tra hành vi của chức năng sinh tồn của nó dưới dạng .$F$$F$$1$$x$ $1- F(x)$$x \to \infty$

Cụ thể, một phân phối cho một biến ngẫu nhiên là "nặng" hơn nhau với điều kiện cuối cùng có khả năng nhiều hơn ở giá trị lớn hơn . Điều này có thể được chính thức hóa: phải tồn tại một số hữu hạn sao cho với mọi ,$F$$X$$G$ $F$$G$$x_0$$x \gt x_0$

Đường cong màu đỏ trong hình này là hàm tồn tại cho phân phối Poisson . Đường cong màu xanh dành cho phân phối Gamma , có cùng phương sai. Cuối cùng, đường cong màu xanh luôn vượt quá đường cong màu đỏ, cho thấy phân phối Gamma này có đuôi nặng hơn phân phối Poisson này. Các phân phối này không thể dễ dàng được so sánh bằng cách sử dụng mật độ, vì phân phối Poisson không có mật độ.$(3)$$(3)$

Đúng là khi mật độ và tồn tại và cho sau đó là đuôi nặng hơn . Tuy nhiên, điều ngược lại là sai - và đây là một lý do thuyết phục để dựa trên định nghĩa về độ nặng của đuôi đối với các chức năng sinh tồn thay vì mật độ, ngay cả khi việc phân tích đuôi có thể được thực hiện dễ dàng hơn bằng cách sử dụng mật độ.$f$$g$$f(x) \gt g(x)$$x \gt x_0$$F$$G$

Các ví dụ ngược có thể được xây dựng bằng cách lấy một phân phối rời rạc hỗ trợ tích cực không giới hạn mà tuy nhiên không nặng nề hơn (rời rạc sẽ thực hiện thủ thuật). Biến điều này thành phân phối liên tục bằng cách thay thế khối lượng xác suất của tại mỗi điểm hỗ trợ , viết , bằng (giả sử phân phối Beta tỷ lệ bằng hỗ trợ trên một khoảng thích hợp và trọng số của . Cho một số dương nhỏ chọn$H$$G$$G$$H$$k$$h(k)$$(2,2)$$[k-\varepsilon(k), k+\varepsilon(k)]$$h(k)$$\delta,$$\varepsilon(k)$đủ nhỏ để đảm bảo rằng mật độ cực đại của phân phối Beta được chia tỷ lệ này vượt quá . Bằng cách xây dựng, hỗn hợp là một phân phối liên tục có đuôi trông giống như của (nó thấp hơn một chút so với một lượng ) nhưng có gai trong đó mật độ tại hỗ trợ của và tất cả các gai đó đều có điểm vượt quá mật độ . Do đó là đuôi nhẹ hơn nhưng bất kể có bao xa ngoài ở đuôi chúng tôi đi sẽ có điểm nơi mật độ của nó vượt trội so với .$f(k)/\delta$$\delta H + (1-\delta )G$$G^\prime$$G$$\delta$$H$$f$$G^\prime$$F$$F$

Đường cong màu đỏ là PDF của phân phối Gamma , đường cong vàng là PDF của phân phối logic và đường cong màu xanh (có gai) là PDF của hỗn hợp xây dựng như trong ví dụ mẫu. (Lưu ý trục mật độ logarit.) Hàm tồn tại của gần với phân phối Gamma (với các vặn phân rã nhanh chóng): cuối cùng nó sẽ tăng ít hơn , mặc dù PDF của nó sẽ luôn tăng vọt so với của dù chúng ta nhìn xa đến đâu.$G$$F$$G^\prime$$G^\prime$$F$$F$

Thảo luận

Ngẫu nhiên, chúng ta có thể thực hiện phân tích này trực tiếp trên các chức năng sinh tồn của các bản phân phối logic và Gamma, mở rộng chúng xung quanh để tìm hành vi tiệm cận của chúng và kết luận rằng tất cả các lognorm có đuôi nặng hơn tất cả các Gammas. Nhưng, vì các phân phối này có mật độ "đẹp", việc phân tích được thực hiện dễ dàng hơn bằng cách chỉ ra rằng với đủ lớn , mật độ logic bất thường vượt quá mật độ Gamma. Tuy nhiên, chúng ta đừng nhầm lẫn sự thuận tiện phân tích này với ý nghĩa của một cái đuôi nặng nề.$x=\infty$$x$

Tương tự, mặc dù những khoảnh khắc cao hơn và các biến thể của chúng (chẳng hạn như xiên và kurtosis) nói một chút về đuôi, chúng không cung cấp đủ thông tin. Một ví dụ đơn giản, chúng tôi có thể cắt bớt bất kỳ phân phối logic bất thường nào với giá trị lớn đến mức bất kỳ số lượng khoảnh khắc nhất định nào của nó sẽ hiếm khi thay đổi - nhưng như vậy, chúng tôi sẽ loại bỏ hoàn toàn đuôi của nó, làm cho nó nhẹ hơn bất kỳ phân phối nào không bị ràng buộc hỗ trợ (như Gamma).

Một sự phản đối công bằng đối với các mâu thuẫn toán học này sẽ chỉ ra rằng hành vi cho đến nay không có ứng dụng thực tế, bởi vì không ai có thể tin rằng bất kỳ mô hình phân phối nào sẽ có giá trị ở những giá trị cực đoan (có lẽ không thể đạt được). Tuy nhiên, điều đó cho thấy rằng trong các ứng dụng, chúng ta phải cẩn thận để xác định phần nào của đuôi là mối quan tâm và phân tích nó cho phù hợp. (Chẳng hạn, thời gian tái phát lũ lụt có thể hiểu theo nghĩa này: lũ lụt 10 năm, lũ lụt 100 năm và lũ lụt 1000 năm đặc trưng cho các phần cụ thể của đuôi phân phối lũ.) đối tượng cơ bản của phân tích ở đây là hàm phân phối chứ không phải mật độ của nó.

Gamma và lognatural đều là các phân phối đúng, phân phối hệ số biến thiên không đổi trên và chúng thường là cơ sở của các mô hình "cạnh tranh" cho các loại hiện tượng cụ thể.$(0,\infty)$

Có nhiều cách khác nhau để xác định độ nặng của một cái đuôi, nhưng trong trường hợp này tôi nghĩ rằng tất cả những cái thông thường cho thấy rằng lognatural nặng hơn. (Điều mà người đầu tiên có thể đã nói đến là những gì diễn ra không phải ở đuôi xa, mà là một chút ở bên phải của chế độ (giả sử, khoảng phần trăm thứ 75 trên âm mưu đầu tiên bên dưới, đối với logic bất thường chỉ dưới 5 và gamma chỉ trên 5.)

Tuy nhiên, hãy khám phá câu hỏi theo cách rất đơn giản để bắt đầu.

Dưới đây là mật độ gamma và lognatural với trung bình 4 và phương sai 4 (âm mưu trên cùng - gamma có màu xanh đậm, lognatural là màu xanh), và sau đó là nhật ký của mật độ (phía dưới), vì vậy bạn có thể so sánh các xu hướng ở đuôi:

Thật khó để nhìn thấy nhiều chi tiết trong cốt truyện hàng đầu, bởi vì tất cả các hành động đều ở bên phải 10. Nhưng nó khá rõ ràng trong cốt truyện thứ hai, nơi gamma đang đi xuống nhanh hơn nhiều so với logic bất thường.

Một cách khác để khám phá mối quan hệ là xem xét mật độ của các bản ghi, như trong câu trả lời ở đây ; chúng ta thấy rằng mật độ của các bản ghi cho lognatural là đối xứng (đó là bình thường!), và đối với gamma là lệch trái, với một cái đuôi nhẹ ở bên phải.

Chúng ta có thể làm điều đó theo đại số, trong đó chúng ta có thể xem tỷ lệ mật độ là (hoặc nhật ký của tỷ lệ). Đặt là mật độ gamma và lognatural:$x\rightarrow\infty$$g$$f$

Thuật ngữ trong [] là một bậc hai trong , trong khi thuật ngữ còn lại đang giảm tuyến tính theo . Dù thế nào đi nữa, cuối cùng sẽ giảm nhanh hơn bậc hai tăng bất kể giá trị của tham số là gì . Trong giới hạn là , nhật ký tỷ lệ mật độ đang giảm dần về phía , điều đó có nghĩa là gamma pdf cuối cùng nhỏ hơn nhiều so với pdf lognatural và nó vẫn tiếp tục giảm. Nếu bạn lấy tỷ lệ theo cách khác (với lognatural trên đầu), cuối cùng nó phải tăng vượt quá mọi ràng buộc.$\log(x)$$x$$-x/\beta$$x\rightarrow\infty$$-\infty$

Đó là, bất kỳ logic bất thường nào cũng có đuôi nặng hơn bất kỳ gamma nào .

Các định nghĩa khác về độ nặng:

Một số người quan tâm đến độ lệch hoặc kurtosis để đo độ nặng của đuôi phải. Ở một hệ số biến thiên nhất định, lognatural vừa lệch hơn và có độ nhiễu cao hơn gamma . **

Ví dụ, với độ lệch , gamma có độ lệch là 2CV trong khi logic bất thường là 3CV + CV .$^3$

Có một số định nghĩa kỹ thuật về các biện pháp khác nhau về mức độ nặng của đuôi ở đây . Bạn có thể muốn thử một vài trong số đó với hai bản phân phối. Lognatural là một trường hợp đặc biệt thú vị trong định nghĩa đầu tiên - tất cả các khoảnh khắc của nó tồn tại, nhưng MGF của nó không hội tụ trên 0, trong khi MGF cho Gamma không hội tụ trong một vùng lân cận bằng không.

-

** Như Nick Cox đề cập dưới đây, phép biến đổi thông thường thành tính chuẩn gần đúng cho gamma, phép biến đổi Wilson-Hilferty, yếu hơn nhật ký - đó là phép biến đổi gốc khối. Tại các giá trị nhỏ của tham số hình dạng, gốc thứ tư đã được đề cập thay vào đó, hãy xem cuộc thảo luận trong câu trả lời này , nhưng trong cả hai trường hợp, đó là một biến đổi yếu hơn để đạt được tính gần chuẩn.

Việc so sánh độ lệch (hoặc kurtosis) không đề xuất bất kỳ mối quan hệ cần thiết nào trong phần đuôi cực đoan - thay vào đó nó cho chúng ta biết điều gì đó về hành vi trung bình; nhưng nó có thể vì lý do đó hoạt động tốt hơn nếu điểm ban đầu không được thực hiện về phần đuôi cực đoan.

Tài nguyên : Thật dễ dàng để sử dụng các chương trình như R hoặc Minitab hoặc Matlab hoặc Excel hoặc bất cứ điều gì bạn muốn để vẽ mật độ và mật độ log và nhật ký tỷ lệ mật độ ... và như vậy, để xem mọi thứ diễn ra như thế nào trong các trường hợp cụ thể. Đó là những gì tôi đề nghị bắt đầu với.

Mặc dù kurtosis có liên quan đến độ nặng của đuôi, nhưng nó sẽ đóng góp nhiều hơn vào khái niệm phân phối chất béo và tương đối ít hơn đối với độ nặng của đuôi, như ví dụ sau đây cho thấy. Ở đây, bây giờ tôi lấy lại những gì tôi đã học được trong các bài viết trên và dưới đây, đó là những bình luận thực sự xuất sắc. Đầu tiên, khu vực của một cái đuôi bên phải là khu vực từ x đến của hàm mật độ , AKA là hàm sống sót, . Đối với phân phối lognatural và phân phối gamma$\infty$$f(x)$$1-F(t)$$\frac{e^{-\frac{(\log (x)-\mu )^2}{2 \sigma ^2}}}{\sqrt{2 \pi } \sigma x};x\geq 0$$\frac{\beta ^{\alpha } x^{\alpha -1} e^{-\beta x}}{\Gamma (\alpha )};x\geq 0$, chúng ta hãy so sánh các hàm sinh tồn tương ứng của chúng và bằng đồ họa. Để làm điều này, tôi tùy ý đặt phương sai tương ứng của họ và , cũng như lượng dư thừa tương ứng của chúng làm mất và bằng cách chọn và giải cho . Màn trình diễn này$\frac{1}{2} \text{erfc}\left(\frac{ \log (x)-\mu}{\sqrt{2} \sigma}\right)$$Q(\alpha ,\beta x)=\frac{\Gamma (\alpha , \beta x)}{\Gamma (\alpha )}$$\left(e^{\sigma ^2}-1\right) e^{2 \mu +\sigma ^2}$$\frac{\alpha }{\beta ^2}$$3 e^{2 \sigma ^2}+2 e^{3 \sigma ^2}+e^{4 \sigma ^2}-6$$\frac{6}{\alpha }$$\mu =0, \sigma =0.8$$\alpha \to 0.19128,\beta \to 0.335421$

chức năng sống sót cho phân phối lognatural (LND) màu xanh lam và phân phối gamma (GD) màu cam. Điều này mang lại cho chúng tôi sự thận trọng đầu tiên của chúng tôi. Đó là, nếu âm mưu này là tất cả những gì chúng tôi muốn kiểm tra, chúng tôi có thể kết luận rằng cái đuôi cho GD nặng hơn so với LND. Do đó, đây không phải là trường hợp được hiển thị bằng cách mở rộng các giá trị trục x của âm mưu, do đó

Biểu đồ này cho thấy rằng 1) ngay cả với các kurtoses bằng nhau, các vùng đuôi bên phải của LND và GD có thể khác nhau. 2) Chỉ riêng việc giải thích đồ họa cũng có những nguy hiểm, vì nó chỉ có thể hiển thị kết quả cho các giá trị tham số cố định trong một phạm vi giới hạn. Do đó, cần phải tìm các biểu thức tổng quát cho tỷ lệ hàm tồn tại giới hạn của . Tôi đã không thể làm điều này với các bản mở rộng vô hạn. Tuy nhiên, tôi đã có thể thực hiện điều này bằng cách sử dụng trung gian của các chức năng đầu cuối hoặc chức năng tiệm cận, không phải là các hàm duy nhất và ở đâu cho đuôi bên phải sau đó là đủ cho và$\lim_{x\to \infty } \, \frac{S(\text{LND},x)}{S(\text{GD},x)}$$\lim_{x\to \infty } \, \frac{F(x)}{G(x)}=1$$F(x)$$G(x)$để được tiệm cận lẫn nhau. Với sự cẩn thận thích hợp để tìm các hàm này, điều này có khả năng xác định một tập hợp con các hàm đơn giản hơn các hàm sinh tồn, có thể được chia sẻ hoặc giữ chung với nhiều hơn một hàm mật độ, ví dụ, hai hàm mật độ khác nhau có thể chia sẻ một cái đuôi hạn chế. Trong phiên bản trước của bài đăng này, đây là những gì tôi đã đề cập đến như là "sự phức tạp thêm vào của việc so sánh các chức năng sinh tồn." Lưu ý rằng, và (Vô tình và không nhất thiết phải và$\lim_{u\to \infty } \, \frac{\text{erfc}(u)}{\frac{e^{-u^2}}{\sqrt{\pi } u}}=1$$\lim_{u\to \infty } \, \frac{\Gamma (\alpha ,u)}{e^{-u} u^{\alpha -1}}=1$$\text{erfc}(u)<\frac{e^{-u^2}}{\sqrt{\pi } u}$$\Gamma (\alpha ,u )<e^{-u} u^{\alpha -1}$ . Đó là, không cần thiết phải chọn một giới hạn trên, chỉ là một chức năng tiệm cận). Ở đây chúng tôi viết và trong đó tỷ lệ của các điều khoản bên tay phải có cùng giới hạn với như các điều khoản tay trái. Đơn giản hóa tỷ lệ giới hạn của các điều khoản tay phải$\frac{1}{2} \text{erfc}\left(\frac{\log (x)-\mu }{\sqrt{2} \sigma }\right)<\frac{e^{-\left(\frac{\log (x)-\mu }{\sqrt{2} \sigma }\right)^2}}{\frac{2 \left(\sqrt{\pi } (\log (x)-\mu )\right)}{\sqrt{2} \sigma }}$$\frac{\Gamma (\alpha ,\beta x)}{\Gamma (\alpha )}<\frac{e^{-\text{$\beta $x}} (\beta x)^{\alpha -1}}{\Gamma (\alpha )}$$x\to \infty$$\lim_{x\to \infty } \, \frac{\sigma \Gamma (\alpha ) (\beta x)^{1-\alpha } e^{\beta x-\frac{(\mu -\log (x))^2}{2 \sigma ^2}}}{\sqrt{2 \pi } (\log (x)-\mu )}=\infty$ có nghĩa là với x đủ lớn, vùng đuôi LND là lớn như chúng ta muốn so với vùng đuôi GD, không phân biệt giá trị tham số là gì. Điều đó dẫn đến một vấn đề khác, chúng tôi không phải lúc nào cũng có giải pháp đúng cho tất cả các giá trị tham số, do đó, chỉ sử dụng minh họa đồ họa có thể gây hiểu nhầm. Ví dụ: vùng đuôi phải phân phối gamma lớn hơn vùng đuôi phân phối theo cấp số nhân khi , nhỏ hơn số mũ khi và GD chính xác là phân phối theo cấp số nhân khi .$\alpha < 1$$\alpha >1$$\alpha =1$

Vậy thì việc sử dụng lấy logarit của tỷ lệ các hàm sinh tồn là gì, vì rõ ràng chúng ta không cần phải lấy logarit để tìm tỷ lệ giới hạn? Nhiều hàm phân phối chứa các số hạng theo cấp số nhân trông đơn giản hơn khi logarit được thực hiện và nếu tỷ lệ này trở nên vô hạn trong giới hạn khi x tăng, thì logarit cũng sẽ làm như vậy. Trong trường hợp của chúng tôi, điều đó sẽ cho phép chúng tôi kiểm tra , điều mà một số người sẽ thấy đơn giản hơn khi xem xét. Cuối cùng, nếu tỷ lệ của các hàm sinh tồn bằng 0, thì logarit của tỷ lệ đó sẽ chuyển sang$\lim_{x\to \infty } \, \left(\log \left(\frac{\sigma \Gamma (\alpha ) (\beta x)^{1-\alpha }}{\sqrt{2 \pi } (\log (x)-\mu )}\right)+\beta x-\frac{(\mu -\log (x))^2}{2 \sigma ^2}\right)=\infty$$-\infty$và trong tất cả các trường hợp sau khi tìm thấy giới hạn của logarit của tỷ lệ, chúng ta phải lấy biểu thức của giá trị đó để hiểu mối quan hệ của nó với giá trị giới hạn của tỷ lệ thông thường của hàm tồn tại.