Nếu thu hẹp được áp dụng một cách thông minh, nó có luôn hoạt động tốt hơn cho các công cụ ước tính hiệu quả hơn không?

Giả sử tôi có hai công cụ ước tính và là các công cụ ước tính nhất quán của cùng một tham số và sao cho với theo nghĩa psd. Do đó, tiệm cận hiệu quả hơn . Hai công cụ ước tính này dựa trên các hàm mất mát khác nhau. $\widehat{\beta}_1$ $\widehat{\beta}_2$ $\beta_0$

\sqrt{n} ({\hat{β}}_{1} - β_{0}) \overset{d}{\to} N (0, V_{1}), \sqrt{n} ({\hat{β}}_{2} - β_{0}) \overset{d}{\to} N (0, V_{2})

$\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)$

V_{1} \leq V_{2}

$V_1 \leq V_2$

{\hat{β}}_{1}

$\widehat{\beta}_1$

{\hat{β}}_{2}

$\widehat{\beta}_2$

Bây giờ tôi muốn tìm kiếm một số kỹ thuật thu nhỏ để cải thiện các thuộc tính mẫu hữu hạn của các công cụ ước tính của tôi.

Giả sử rằng tôi đã tìm thấy một kỹ thuật thu nhỏ giúp cải thiện công cụ ước tính trong một mẫu hữu hạn và cho tôi giá trị của MSE bằng với . Có phải điều này ngụ ý rằng tôi có thể tìm thấy một kỹ thuật thu nhỏ phù hợp để áp dụng cho sẽ mang lại cho tôi MSE không lớn hơn ? $\widehat{\beta}_2$ $\widehat{\gamma}_2$ $\widehat{\beta}_1$ $\widehat{\gamma}_2$

Nói cách khác, nếu thu hẹp được áp dụng một cách khéo léo, nó có luôn hoạt động tốt hơn cho các công cụ ước tính hiệu quả hơn không?

— Alik
nguồn

Câu trả lời:

Hãy để tôi đề nghị một ví dụ hơi nhàm chán thừa nhận. Nói rằng không chỉ là tiệm cận hiệu quả hơn , mà còn đạt các Cramer Rao thấp hơn ràng buộc. Một kỹ thuật co rút thông minh cho sẽ với . Phương sai tiệm cận của $\hat{\beta}_1$ $\hat{\beta}_2$ $\hat{\beta}_2$

{\hat{β}}_{2}^{*} = w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}

$\hat{\beta}_2^\ast = w \hat{\beta}_2 + (1 - w) \hat{\beta}_1$

w \in (0, 1)

$w\in(0,1)$

{\hat{β}}_{2}^{*}

$\hat{\beta}_2^\ast$ là

trong đó đẳng thức cuối sử dụng Bổ đề trong

V^{*} = A v a r (w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}) = A v a r (w ({\hat{β}}_{2} - {\hat{β}}_{1}) + {\hat{β}}_{1}) = V_{1} + w^{2} (V_{2} - V_{1})

$V^\ast = \mathbb{Avar}(w \hat{\beta}_2 + (1 - w) \hat{\beta}_1) = \mathbb{Avar}(w (\hat{\beta}_2 - \hat{\beta}_1) + \hat{\beta}_1 ) = V_1 + w^2 (V_2 - V_1)$ Giấy của Hausman . Chúng tôi có

do đó là một sự cải tiến nguy cơ tiệm cận (không có điều kiện thiên vị). Vì vậy, chúng tôi thấy một kỹ thuật co rút cung cấp cho một số tiệm cận (và mẫu do đó hy vọng hữu hạn) cải tiến so với

. Tuy nhiên, không có độ co ước lượng tương tự như

mà sau từ thủ tục này.

V_{2} - V^{*} = V_{2} (1 - w^{2}) - V_{1} (1 - w^{2}) \geq 0

$V_2 - V^\ast = V_2(1-w^2) - V_1(1-w^2) \geq 0$

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}^{*}

$\hat{\beta}_1^\ast$

Tất nhiên, vấn đề ở đây là sự co ngót được thực hiện đối với công cụ ước tính hiệu quả và do đó không thể áp dụng cho chính công cụ ước tính hiệu quả. Điều này có vẻ khá rõ ràng ở mức độ cao nhưng tôi đoán rằng trong một ví dụ cụ thể thì điều này không quá rõ ràng ( công cụ ước tính MLE và Phương pháp Khoảnh khắc cho phân phối thống nhất có thể là một ví dụ?).

— Matthias Schmidtbl cổ
nguồn

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}

$\hat{\beta}_1$

{\hat{β}}_{2}^{⋆}

$\hat{\beta}^\star_2$

{\hat{β}}_{j}^{*} = f_{j} ({\hat{β}}_{j})

$\hat\beta_j^* = f_j(\hat\beta_j)$

f_{j}

$f_j$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

r i s k ({\hat{β}}_{2}) \geq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_2) \ge risk(\hat\beta_2^*)$

f_{1}

$f_1$

r i s k ({\hat{β}}_{1}^{*}) \leq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_1^*) \le risk(\hat\beta_2^*)$

f_{1}

$f_1$

f (β, x)

$f(\beta, x)$

r i s k (f ({\hat{β}}_{2}, x)) < r i s k ({\hat{β}}_{2})

$risk(f(\hat{\beta}_2,x)) < risk(\hat{\beta}_2)$

g (β, x)

$g(\beta, x)$

r i s k (g ({\hat{β}}_{1}, x)) < r i s k ({\hat{β}}_{1})

$risk(g(\hat{\beta}_1,x)) < risk(\hat{\beta}_1)$

cảm ơn vì đã chia sẻ những khoản tín dụng này, mặc dù tôi không thực sự trả lời câu hỏi của bạn ...

— Matthias Schmidtblomsher

-2

Đây là một câu hỏi thú vị mà tôi muốn chỉ ra một số điểm nổi bật đầu tiên.

Hai ước lượng là phù hợp
$\hat{\beta}_1$ $\hat\beta_2$
Hàm mất không giống nhau
một phương pháp thu nhỏ được áp dụng cho một phương pháp để nó làm giảm sự biến đổi mà chính nó kết thúc một công cụ ước tính tốt hơn
Câu hỏi : Nói cách khác, nếu thu hẹp được áp dụng một cách khéo léo, nó có luôn hoạt động tốt hơn cho các công cụ ước tính hiệu quả hơn không?

Về cơ bản, có thể cải thiện một công cụ ước tính trong một khung nhất định, chẳng hạn như lớp dự toán không thiên vị. Tuy nhiên, như bạn đã chỉ ra, các hàm mất khác nhau làm cho tình huống trở nên khó khăn vì một hàm mất có thể giảm thiểu tổn thất bậc hai và hàm kia giảm thiểu entropy. Hơn nữa, việc sử dụng từ "luôn luôn" rất khó khăn vì nếu một người ước tính là người giỏi nhất trong lớp, bạn không thể yêu cầu bất kỳ người ước tính tốt hơn, nói một cách logic.

$l_p$ $\beta$ $y=x\beta+e$ $e\sim N(0,\sigma^2<\infty)$ $\sigma$ $x$ $l_p$ $p=3$ $p=2$ $p\rightarrow 1$

Vì vậy, câu trả lời của tôi cho câu hỏi của bạn là có, với điều kiện bạn giả sử cùng một nhóm người ước tính và cùng chức năng mất cũng như các giả định.

— TPArrow
nguồn

p \to 1

$p \to 1$

p = 3

$p=3$

p = 2

$p=2$

ℓ_{p}

$\ell_p$

l_{p}

$l_p$

l_{1}

$l_1$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

ℓ_{p}

$\ell_p$

{\hat{α}}_{j}^{p} = \arg min_{α} ‖ α - {\hat{β}}_{j} ‖_{2}^{2} + λ ‖ α ‖_{p}

$\hat\alpha^p_j = \arg\min_\alpha \|\alpha-\hat\beta_j\|_2^2 + \lambda \|\alpha\|_p$

j \in {1, 2}

$j \in \{1,2\}$

p = 2, 3

$p=2,3$

— user795305

cảm ơn @Ben, tôi cảm thấy chúng ta không có sự đồng thuận trong định nghĩa về co ngót. Bạn coi nó như một quá trình hậu kỳ nhưng tôi là một xử lý nội tuyến. Tôi nghĩ rằng cả hai chúng ta đều đúng vì câu hỏi không tính đến loại co ngót. PS: Tôi đoán những gì bạn có nghĩa là từ co rút giống như đập mạnh.

— TPArrow

Co ngót có thể là cả nội tuyến và như là một xử lý hậu kỳ. Các ví dụ bạn đã đề cập trong phản hồi của mình là về "co rút nội tuyến", trong khi câu hỏi hỏi về "co rút xử lý bài". Lưu ý rằng câu hỏi đưa ra hai công cụ ước tính và , sau đó yêu cầu kỹ thuật thu nhỏ để áp dụng cho hoặc . Tôi nghĩ rằng nó có thể là giá trị để đọc lại câu hỏi trong vấn đề này.

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

— user795305