Làm cách nào để tôi khớp một tập hợp dữ liệu với phân phối Pareto trong R?

Có, giả sử, dữ liệu sau đây:

8232302  684531  116857   89724   82267   75988   63871   
  23718    1696     436     439     248     235

Muốn có một cách đơn giản để phù hợp với điều này (và một số bộ dữ liệu khác) cho bản phân phối Pareto. Lý tưởng nhất là nó sẽ xuất ra các giá trị lý thuyết phù hợp, ít lý tưởng hơn là các tham số.

r pareto-distribution

— Felix
nguồn

cran.r-project.org/web/packages/fitdistrplus/fitdistrplus.pdf

— Stéphane Laurent

Những gì được dự định bởi "giá trị lý thuyết phù hợp"? Những kỳ vọng của số liệu thống kê đặt hàng cho các ước tính tham số? Hay cái gì khác?

— Glen_b -Reinstate Monica

Chà, nếu bạn có một mẫu từ phân phối pareto với các tham số và (trong đó là tham số ràng buộc thấp hơn và là tham số hình dạng) khả năng đăng nhập của điều đó mẫu là: $X_1, ..., X_n$ $m>0$ $\alpha>0$ $m$ $\alpha$

n đăng nhập (α) + n α đăng nhập (m) - (α + 1) Σ_{tôi = = 1}^{n} đăng nhập (X_{tôi})

$n \log(\alpha) + n \alpha \log(m) - (\alpha+1) \sum_{i=1}^{n} \log(X_i)$

đây là mức tăng đơn điệu tính bằng , vì vậy bộ tối đa hóa là giá trị lớn nhất phù hợp với dữ liệu quan sát được. Do tham số xác định giới hạn dưới của hỗ trợ cho phân phối Pareto, nên tối ưu là $m$ $m$

\hat{m} = = \underset{tôi}{tối thiểu} X_{tôi}

$\hat{m} = \min_{i} X_i$

không phụ thuộc vào . Tiếp theo, sử dụng các thủ thuật tính toán thông thường, MLE cho phải đáp ứng $\alpha$ $\alpha$

\frac{n}{α} + n đăng nhập (\hat{m}) - Σ_{tôi = = 1}^{n} đăng nhập (X_{tôi}) = = 0

$\frac{n}{\alpha} + n \log( \hat{m} ) - \sum_{i=1}^{n} \log(X_i) = 0$

một số đại số đơn giản cho chúng ta biết MLE của là $\alpha$

\hat{α} = = \frac{n}{Σ_{tôi = = 1}^{n} đăng nhập (X_{tôi} / \hat{m})}

$\hat{\alpha} = \frac{n}{\sum_{i=1}^{n} \log(X_i/\hat{m})}$

Trong nhiều giác quan quan trọng (ví dụ hiệu quả tiệm cận tối ưu ở chỗ nó đạt được giới hạn dưới của Cramer-Rao), đây là cách tốt nhất để khớp dữ liệu với phân phối Pareto. Mã R bên dưới tính toán MLE cho một tập dữ liệu nhất định , X.

pareto.MLE <- function(X)
{
   n <- length(X)
   m <- min(X)
   a <- n/sum(log(X)-log(m))
   return( c(m,a) ) 
}

# example. 
library(VGAM)
set.seed(1)
z = rpareto(1000, 1, 5) 
pareto.MLE(z)
[1] 1.000014 5.065213

Chỉnh sửa: Dựa trên phần bình luận của @cardinal và tôi bên dưới, chúng tôi cũng có thể lưu ý rằng là đối ứng của giá trị trung bình mẫu của , xảy ra với có phân phối theo cấp số nhân. Do đó, nếu chúng ta có quyền truy cập vào phần mềm có thể phù hợp với phân phối theo cấp số nhân (rất có thể, vì dường như nó phát sinh trong nhiều vấn đề thống kê), thì có thể thực hiện phân phối Pareto bằng cách chuyển đổi tập dữ liệu theo cách này và điều chỉnh nó đến một phân phối theo cấp số nhân trên quy mô chuyển đổi. $\hat{\alpha}$ $\log(X_i /\hat{m})$

— Vĩ mô
nguồn

(+1) Chúng ta có thể viết mọi thứ một cách gợi ý hơn một chút bằng cách lưu ý rằng được phân phối theo cấp số nhân với tỷ lệ . từ điều này và sự bất biến của MLE khi chuyển đổi, chúng tôi kết luận ngay rằng , trong đó chúng tôi thay thế bằng trong biểu thức sau. Điều này cũng gợi ý về cách chúng tôi có thể sử dụng phần mềm tiêu chuẩn để phù hợp với Pareto ngay cả khi không có tùy chọn rõ ràng nào khả dụng.

Y_{i} = \log (X_{i} / m)

$Y_i = \log(X_i/m)$

α

$\alpha$

\hat{α} = 1 / \bar{Y}

$\hat\alpha = 1/\bar Y$

m

$m$

\hat{m}

$\hat m$

— Đức hồng y

@cardinal - Vì vậy,

là nghịch đảo của giá trị trung bình mẫu của

's, trong đó xảy ra để có một phân phối mũ. Điều này giúp chúng ta như thế nào?

\hat{α}

$\hat{\alpha}$

\log (X_{i} / \hat{m})

$\log(X_i/\hat{m})$

— Macro

Xin chào, Macro. Điểm tôi đang cố gắng đưa ra là vấn đề ước tính các tham số của Pareto có thể giảm (về cơ bản) so với ước tính tỷ lệ theo cấp số nhân: Thông qua việc chuyển đổi ở trên, chúng ta có thể chuyển đổi dữ liệu và vấn đề của mình thành (có lẽ) quen thuộc hơn và trích xuất ngay câu trả lời (giả sử chúng tôi hoặc phần mềm của chúng tôi đã biết phải làm gì với một mẫu số mũ).

— Đức hồng y

Làm thế nào tôi có thể đo lỗi của loại phù hợp?

— emanuele

@emanuele, phương sai gần đúng của MLE là nghịch đảo của ma trận thông tin cá, sẽ yêu cầu bạn tính toán ít nhất một đạo hàm của khả năng đăng nhập. Hoặc, bạn có thể sử dụng một loại mô hình bootstrap để ước tính lỗi tiêu chuẩn.

— Macro

Bạn có thể sử dụng fitdistchức năng được cung cấp trong fitdistrplusgói:

library(MASS)
library(fitdistrplus)
library(actuar)

# suppose data is in dataPar list
fp <- fitdist(dataPar, "pareto", start=list(shape = 1, scale = 500))
#the mle parameters will be stored in fp$estimate

— akashrajkn
nguồn

Có nên như library(fitdistrplus)vậy không?

— Sean

@ Có, chỉnh sửa phản hồi phù hợp

— Kevin L Keys

Lưu ý rằng cuộc gọi đến library(actuar)là bắt buộc để làm việc này.

— jsta

Fp $ ước tính ["hình dạng"] thể hiện điều gì trong trường hợp này? Có lẽ là alpha ước tính? Hay beta?

— Albert Hendriks