Làm thế nào để ước tính, khi chỉ có số liệu thống kê tóm tắt có sẵn?

Điều này một phần được thúc đẩy bởi câu hỏi sau đây và các cuộc thảo luận sau nó.

Giả mẫu iid được quan sát, $X_i\sim F(x,\theta)$ . Mục đích là để ước lượng $\theta$ . Nhưng mẫu ban đầu không có sẵn. Thay vào đó, một số thống kê của mẫu $T_1,...,T_k$ . Giả sử là cố định. Làm thế nào để chúng tôi ước tính ? Điều gì sẽ là ước tính khả năng tối đa trong trường hợp này?$k$$\theta$

Trong trường hợp này, bạn có thể xem xét xấp xỉ ABC về khả năng (và do đó của MLE ) theo giả định / hạn chế sau:

Giả thiết. Kích thước mẫu ban đầu được biết đến.$n$

Đây không phải là một giả định hoang dã cho rằng chất lượng, về mặt hội tụ, của các công cụ ước tính thường xuyên phụ thuộc vào kích thước mẫu, do đó người ta không thể có được các ước lượng tốt tùy ý mà không biết kích thước mẫu ban đầu.

Ý tưởng là để tạo ra một mẫu từ phân bố sau của và, để tạo ra một xấp xỉ của MLE , bạn có thể sử dụng một tầm quan trọng lấy mẫu kỹ thuật như trong [1] hoặc xem xét một trên trước khi thống nhất$\theta$ với sự hỗ trợ trên phù hợp đặt như trong[2].$\theta$

Tôi sẽ mô tả phương pháp trong [2]. Trước hết, hãy để tôi mô tả bộ lấy mẫu ABC.

Bộ lấy mẫu ABC

Hãy để là mô hình mà tạo ra các mẫu nơi q ∈ q là một tham số (được ước tính), T là một số liệu thống kê (một chức năng của mẫu) và T 0 là số liệu thống kê quan sát, trong ABC biệt ngữ này được gọi là số liệu thống kê tóm tắt , ρ là một thước đo, π ( θ ) một bản phân phối trước trên θ và ε $f(\cdot\vert\theta)$$\theta \in \Theta$$T$$T_0$$\rho$$\pi(\theta)$$\theta$ một khoan dung. Sau đó, bộ lấy mẫu từ chối ABC có thể được thực hiện như sau.$\epsilon>0$

1. Mẫu từ π $\theta^*$ .$\pi(\cdot)$
2. Tạo một mẫu kích thước n từ mô hình f ( ⋅ | q * ) .$\bf{x}$$n$$f(\cdot\vert\theta^*)$
3. Tính .$T^*=T({\bf x})$
4. Nếu , chấp nhận θ * như một mô phỏng từ sau của θ .$\rho(T^*,T_0)<\epsilon$$\theta^*$$\theta$

Thuật toán này tạo ra một mẫu gần đúng từ phân bố sau của cho T ( x ) = T 0 . Do đó, kịch bản tốt nhất là khi thống kê $\theta$$T({\bf x})=T_0$$T$ là đủ nhưng các số liệu thống kê khác có thể được sử dụng. Đối với một mô tả chi tiết hơn về điều này xem bài viết này .

Bây giờ, trong một khung chung, nếu một người sử dụng đồng phục trước có chứa MLE trong hỗ trợ của nó, thì Tối đa một posteriori (MAP) trùng với Công cụ ước tính khả năng tối đa (MLE). Do đó, nếu bạn xem xét một bộ đồng phục phù hợp trước trong Bộ lấy mẫu ABC, thì bạn có thể tạo một mẫu gần đúng của phân phối sau có MAP trùng với MLE. Bước còn lại bao gồm ước tính chế độ này. Vấn đề này đã được thảo luận trong CV, ví dụ như trong "Ước tính hiệu quả tính toán của chế độ đa biến" .

Một ví dụ đồ chơi

Hãy là một mẫu từ một N ( μ , 1 ) và giả sử rằng những thông tin chỉ có sẵn từ mẫu này là ˉ x = $(x_1,...,x_n)$$N(\mu,1)$. Hãyρlà Euclide số liệu trongRvàε=0,001. Sau khi chương trình đang R làm thế nào để có được một MLE xấp xỉ bằng cách sử dụng phương pháp mô tả ở trên sử dụng một mẫu mô phỏng vớin=100vàμ=0, một mẫu của các phân bố sau của kích thước1000, một bộ đồng phục trước choμtrên(-0.3,0.3)và một công cụ ước tính mật độ hạt nhân để ước tính chế độ của mẫu sau (MAP = MLE).$\bar{x}=\dfrac{1}{n}\sum_{j=1}^n x_j$$\rho$${\mathbb R}$$\epsilon=0.001$$n=100$$\mu=0$$1000$$\mu$$(-0.3,0.3)$

rm(list=ls())

# Simulated data
set.seed(1)
x = rnorm(100)

# Observed statistic
T0=mean(x)

# ABC Sampler using a uniform prior 

N=1000
eps = 0.001
ABCsamp = rep(0,N)
i=1

while(i<N+1){
u = runif(1,-0.3,0.3)
t.samp = rnorm(100,u,1)
Ts = mean(t.samp)
if(abs(Ts-T0)<eps){
ABCsamp[i]=u
i=i+1
print(i)
}
}

# Approximation of the MLE
kd = density(ABCsamp)
kd$x[which(kd$y==max(kd$y))]

Như bạn có thể thấy, sử dụng dung sai nhỏ, chúng ta có được xấp xỉ rất tốt của MLE (trong ví dụ tầm thường này có thể được tính từ thống kê cho rằng nó là đủ). Điều quan trọng cần lưu ý là sự lựa chọn của thống kê tóm tắt là rất quan trọng. Quantiles thường là một lựa chọn tốt cho thống kê tóm tắt, nhưng không phải tất cả các lựa chọn đều tạo ra một xấp xỉ tốt. Nó có thể là trường hợp thống kê tóm tắt không nhiều thông tin và sau đó chất lượng của xấp xỉ có thể kém, được biết đến trong cộng đồng ABC.

Cập nhật: Một cách tiếp cận tương tự đã được công bố gần đây trên Fan et al. (2012) . Xem mục này để thảo luận về bài báo.

Tất cả phụ thuộc vào việc có hay không sự phân bố chung của những 's được biết đến. Nếu đó là, ví dụ: ( T 1 , Vay , T k ) ∼ g ( t 1 , Mạnh , t k | θ , n ) thì bạn có thể tiến hành ước tính khả năng tối đa dựa trên phân phối chung này. Lưu ý rằng, trừ khi ( T 1 , Mạnh , T k ) là đủ, điều này hầu như sẽ luôn có khả năng tối đa khác so với khi sử dụng dữ liệu thô $T_i$

Nếu phân phối chung ở trên với mật độ không có sẵn, giải pháp do Procrastinator đề xuất là khá phù hợp.$g$

Công cụ ước tính khả năng tối đa (thường xuyên) như sau:

$F$

Cách bạn thực sự tối đa hóa khả năng phụ thuộc chủ yếu vào khả năng để viết khả năng phân tích một cách dễ hiểu. Nếu điều này là có thể, bạn sẽ có thể xem xét các thuật toán tối ưu hóa chung (newton-raphson, simplex ...). Nếu bạn không có khả năng dễ điều khiển, bạn có thể thấy việc tính toán một điều kiện có điều kiện dễ dàng hơn như trong thuật toán EM, điều này cũng sẽ mang lại ước tính khả năng tối đa theo các giả thuyết khá hợp lý.

Tốt