Điều kiện để công cụ ước lượng M hội tụ đến giá trị trung bình thực

10

Đưa ra các mẫu iid từ phân phối gaussian và công cụ ước lượng M, , những thuộc tính nào trên có đủ để đảm bảo trong xác suất? Là đang lồi lõm và tăng đủ nghiêm ngặt? $X_1,...,X_n \sim N(\mu,\sigma)$ $\mu_m = \underset{a}{\operatorname{argmin}} \sum\rho(|X_i-a|)$ $\rho$ $\mu_m \rightarrow \mu$ $\rho$

estimation

— Sâu bướm
nguồn

Vì bạn có thể lấy và sau đó là trung bình mẫu, điều đó có nghĩa là nó thậm chí không hoàn toàn lồi, nhưng tăng nghiêm ngặt có, do đó ... tôi sẽ đặt lồi hoặc tăng nghiêm ngặt, cả hai dường như là đủ, mặc dù vẫn phải chứng minh điều này. Độ lồi trực quan nghiêm ngặt đảm bảo mức tối thiểu toàn cầu duy nhất, để tăng nghiêm ngặt đó là giả định gaussianity quan trọng.

ρ (x) = x

$\rho(x) = x$

μ_{m}

$\mu_m$

— Dmitrij Celov

1

Tác dụng tiệm cận giấy cho các bộ giảm thiểu các quá trình lồi của Hjort và Pollard có thể giúp đỡ ở đây, mặc dù nó không chuyên về phân phối Gaussian và nó xem xét một dạng hàm tương phản tổng quát hơn, cụ thể là , mặc dù ký hiệu của chúng là . Ngoài độ lồi của in , chúng yêu cầu mở rộng trong xung quanh , theo một nghĩa nào đó có liên quan đến phân phối dữ liệu. Vì vậy, không đơn giản như chỉ nói là lồi hoặc tăng, nhưng có lẽ nếu bạn giới hạn định lý đối với các phân phối Gaussian và $\rho(x,a)$ $g(y,t)$ $g$ $t$ $g$ $t$ $\theta_0$ $\rho$ $g$ để có biểu mẫu bạn chỉ định, bạn có thể nhận được một tập hợp các điều kiện gọn gàng hơn. Tôi sẽ viết lại định lý của họ ở đây cho đầy đủ, hơi khó hiểu:

Giả sử chúng ta có

$Y,Y_{1},Y_{2},\ldots$ iid từ phân phối $F$
Tham số quan tâm $\theta_{0}=\theta(F)\in\cal{R}^{p}$
$\theta_{0}\in\arg\min_{t\in\cal{R}^{p}}\mathbb{E} g(Y,t)$ , trong đó là lồi trong . $g(y,t)$ $t$
Chúng tôi có "sự mở rộng yếu" của trong xung quanh : với có giá trị trung bình bằng 0 theo và cho một ma trận xác định dương . $g(y,t)$ $t$ $\theta_{0}$ $g (y, θ_{0} + t) - g (y, θ_{0}) = D (y)^{T} t + R (y, t),$ $g(y,\theta_{0}+t)-g(y,\theta_{0})=D(y)^{T}t+R(y,t),$ $D(y)$ $F$ $E R (Y, t) = \frac{1}{2} t^{T} J t + o ({| t |}^{2}), as t \to 0$ $\mathbb{E} R(Y,t)=\frac{1}{2}t^{T}Jt+o(\left|t\right|^{2}),\mbox{ as }t\to0$ $J$
$\mbox{Var}[ R(Y,t) ]=o(\left|t\right|^{2})$ là . $t\to0$
$D(Y)$ có ma trận hiệp phương sai hữu hạn . $K=\int D(y)D(y)^{T}\, dF(y)$

THEN bất kỳ công cụ ước tính nào là -consistent cho và bình thường không có triệu chứng với $\hat{\theta}_{n}\in\arg\min_{\theta\in\cal{R}^{p}}\sum_{i=1}^{n}g(Y_{i},t)$ $\sqrt{n}$ $\theta_{0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \overset{d}{\to} N_{p} (0, J^{- 1} K J^{- 1}) .

$\sqrt{n}\left(\hat{\theta}_{n}-\theta_{0}\right)\stackrel{d}{\rightarrow}\mathcal{N}_{p}(0,J^{-1} K J^{-1}).$

— DavidR
nguồn

0

Đây không phải là một câu trả lời, vì nó sẽ giảm vấn đề của bạn sang vấn đề khác, nhưng tôi nghĩ nó có thể hữu ích. Câu hỏi của bạn về cơ bản là về tính nhất quán của công cụ ước lượng M. Vì vậy, trước tiên chúng ta có thể nhìn vào kết quả chung. Đây là kết quả từ cuốn sách van der Vaart (định lý 5.7, trang 45):

Định lý Đặt là các hàm ngẫu nhiên và đặt là hàm cố định của sao cho với mọi $M_n$ $M$ $\theta$ $\varepsilon>0$

sup_{θ \in Θ} | M_{n} (θ) - M (θ) | \overset{P}{\to} 0,

$\sup_{\theta\in\Theta}|M_n(\theta)-M(\theta)|\xrightarrow{P}0,$

sup_{θ : d (θ, θ_{0}) \geq ε} M (θ) < M (θ_{0}) .

$\sup_{\theta:d(\theta,\theta_0)\ge\varepsilon} M(\theta)<M(\theta_0).$

Sau đó, bất kỳ chuỗi ước tính nào với hội tụ xác suất thành $\hat\theta_n$ $M_n(\hat\theta_n)\ge M_n(\theta_0)-o_P(1)$ $\theta_0$

Trong trường hợp của bạn , và $\theta_0=\mu$ $M(\theta)=E\rho(|X-\theta|)$ $M_n(\theta)=\frac{1}{n}\sum \rho(|X_i-\theta|)$

Điều kiện quan trọng ở đây là sự hội tụ thống nhất. Trong trang 46 van der Vaart nói

đối với mức trung bình là trường hợp của bạn, điều kiện này tương đương với tập hợp các hàm ( trong trường hợp của bạn) là Glivenko -Canteli . Một tập hợp các điều kiện đủ đơn giản là nhỏ gọn, các hàm liên tục cho mọi và> chúng bị chi phối bởi một hàm có thể tích hợp. $\{m_\theta, \theta\in\Theta\}$ $m_\theta=\rho(|x-\theta|)$ $\Theta$ $\theta\to m_\theta(x)$ $x$

Trong Wooldridge , kết quả này được xây dựng dưới dạng định lý gọi là Định luật yếu số thống nhất, trang 349 (ấn bản đầu tiên), định lý 12.1. Nó chỉ thêm các yêu cầu đo lường cho những gì van der Vaart tuyên bố.

Trong trường hợp của bạn, bạn có thể chọn một cách an toàn cho một số , vì vậy bạn cần chứng minh rằng có tồn tại hàm sao cho $\Theta=[\mu-C,\mu+C]$ $C$ $b$

| ρ (| x - θ |) | \leq b (x)

$|\rho(|x-\theta|)|\le b(x)$

với tất cả , sao cho . Lý thuyết hàm lồi có thể giúp ích ở đây, vì bạn cơ bản có thể $\theta\in\Theta$ $Eb(X)<\infty$

b (x) = sup_{θ \in Θ} | ρ (| x - θ |) | .

$b(x)=\sup_{\theta\in\Theta}|\rho(|x-\theta|)|.$

Nếu chức năng này có các thuộc tính tốt thì bạn tốt để đi.

— mpiktas
nguồn