Tài sản orory của một người ước tính là gì?

Là gì sở hữu oracle của một ước lượng?
Mục tiêu mô hình hóa nào là tài sản tiên tri có liên quan cho (dự đoán, giải thích, ...)?

Cả hai lý thuyết nghiêm ngặt về mặt lý thuyết và (đặc biệt) đều được chào đón.

— Richard Hardy
nguồn

Sẽ thật tuyệt nếu có một câu trả lời một cửa vững chắc cho câu hỏi. Một số tài liệu liên quan: Zou "LASSO Thích ứng và các đặc tính tiên tri của nó" , tr. 1 (trang 1418).

— Richard Hardy

Câu trả lời:

Một nhà tiên tri biết sự thật: nó biết tập hợp con thực sự và sẵn sàng hành động theo nó. Thuộc tính orory là phân phối tiệm cận của công cụ ước tính giống như phân phối tiệm cận của MLE chỉ trên sự hỗ trợ thực sự. Đó là, người ước tính thích nghi với việc biết hỗ trợ thực sự mà không cần phải trả giá (về mặt phân phối tiệm cận.)

Ví dụ, bằng các đặc tính tối ưu tiệm cận của MLE được thảo luận trong thống kê lý thuyết của Keener trong định lý 9.14, chúng tôi biết, trong một số điều kiện kỹ thuật, khi, ví dụ, lỗi là Gaussian, đó là trong đó chúng tôi giả sử rằng là hệ số thực vào sự hỗ trợ đúng . Lưu ý rằng phương sai của phân phối tiệm cận là nghịch đảo của thông tin Fisher, cho thấy là hiệu quả tiệm cận. Vì MLE biết hỗ trợ thực sự đạt được điều này, nó cũng được yêu cầu như là một phần của tài sản tiên tri.

\sqrt{n} ({\hat{β}}_{S} - β_{S}^{*}) \to N (0, {tôi}^{- 1} (β_{S}^{*})),

$\sqrt{n} \left( \hat\beta_S - \beta^*_S \right) \to \mathcal{N} (0, I^{-1}(\beta^*_S)),$

β_{S}^{*}

$\beta^*_S$

S

$S$

{\hat{β}}_{S}

$\hat\beta_S$

Tuy nhiên, chúng tôi phải trả một mức giá không phổ biến cao: xem, ví dụ,

Hannes Leeb, Benedikt M. Pötscher, Công cụ ước tính thưa thớt và tài sản của nhà tiên tri, hoặc sự trở lại của công cụ ước tính của Hodges, Tạp chí Kinh tế lượng, Tập 142, Số 1, 2008, Trang 201-211,

trong đó cho thấy nguy cơ của bất kỳ "công cụ ước tính tiên tri" nào (theo nghĩa của Fan và Li, 2001) có một tối cao chuyển hướng đến vô cùng.

— người dùng795305
nguồn

-Có thuộc tính tiên tri cho Lasso nêu lên: tài sản của nhà tiên tri là phân phối tiệm cận của công cụ ước tính giống như phân phối không triệu chứng của hồi quy logistic LASSO chỉ trên hỗ trợ thực sự

— Annalize Azzopardi

Định nghĩa của tài sản Oracle có liên quan cao đến bối cảnh. Câu trả lời rất ngắn nhưng chính xác trong hồi quy tuyến tính (chính xác là chiều cao) là:

một công cụ ước tính orory phải nhất quán trong ước tính tham số và lựa chọn biến.

Lưu ý rằng một công cụ ước tính phù hợp trong lựa chọn biến không nhất thiết phải nhất quán trong ước tính tham số. Xem giấy Lasso thích ứng cho các định nghĩa toán học hoặc đơn giản là xem các slide này .

— TPArrow
nguồn

Trong bài báo adaLASSO (được liên kết trong nhận xét của tôi), họ nói rằng tốc độ hội tụ cũng phải là tối ưu (thêm vào ước lượng nhất quán). Đó là một khái niệm quan trọng và hơi khó khăn. Bạn có thể giải thích về điều đó?

— Richard Hardy

\sqrt{n}

$\sqrt{n}$

n

$n$

Vì vậy, bạn sẽ đề nghị loại bỏ yêu cầu của tỷ lệ là tối ưu trong định nghĩa của tài sản oracle?

— Richard Hardy

Trong các định nghĩa chung, tôi thấy không có nghĩa vụ phải đề cập đến tốc độ. Nhưng trên lý thuyết, rõ ràng chúng ta cần biết / xác định tốc độ tối ưu.

— TPArrow

Cảm ơn. Tôi chọn điều này bởi vì chúng ta nói về một định nghĩa ở đây, vì vậy tôi đang cố gắng chính xác.

— Richard Hardy