Hướng tới mục tiêu khả năng thích ứng tối đa là gì?

Tôi đang cố gắng để hiểu một số giấy tờ của Mark van der Laan. Ông là một nhà thống kê lý thuyết tại Berkeley, nghiên cứu về các vấn đề chồng chéo đáng kể với học máy. Một vấn đề đối với tôi (bên cạnh toán học sâu) là anh ta thường kết thúc việc mô tả các phương pháp học máy quen thuộc bằng cách sử dụng một thuật ngữ hoàn toàn khác. Một trong những khái niệm chính của ông là "Kỳ vọng tối đa khả năng nhắm mục tiêu".

TMLE được sử dụng để phân tích dữ liệu quan sát bị kiểm duyệt từ một thử nghiệm không được kiểm soát theo cách cho phép ước tính hiệu ứng ngay cả khi có các yếu tố gây nhiễu. Tôi hoàn toàn nghi ngờ rằng nhiều khái niệm tương tự tồn tại dưới các tên khác trong các lĩnh vực khác, nhưng tôi chưa hiểu rõ về nó đủ để khớp trực tiếp với bất kỳ thứ gì.

Một nỗ lực để thu hẹp khoảng cách với "Phân tích dữ liệu tính toán" ở đây:

Bước vào kỷ nguyên của khoa học dữ liệu: Học tập có mục tiêu và tích hợp thống kê và phân tích dữ liệu tính toán

Và một giới thiệu cho các nhà thống kê là ở đây:

Mục tiêu suy luận nguyên nhân dựa trên khả năng tối đa được nhắm mục tiêu: Phần I

Từ thứ hai:

Trong bài viết này, chúng tôi phát triển một công cụ ước tính khả năng tối đa được nhắm mục tiêu cụ thể về tác động nhân quả của các can thiệp nhiều điểm thời gian. Điều này liên quan đến việc sử dụng siêu học dựa trên tổn thất để có được ước tính ban đầu về các yếu tố chưa biết của công thức tính G, và sau đó, áp dụng hàm dao động tối ưu cụ thể theo tham số mục tiêu (mô hình tham số tối thiểu thuận lợi nhất) cho từng yếu tố ước tính, ước tính (các) tham số biến động với ước tính khả năng tối đa và lặp lại bước cập nhật này của yếu tố ban đầu cho đến khi hội tụ. Bước cập nhật khả năng tối đa được nhắm mục tiêu lặp lại này làm cho công cụ ước tính kết quả của hiệu ứng nhân quả tăng gấp đôi theo nghĩa là nó phù hợp nếu công cụ ước tính ban đầu phù hợp, hoặc ước lượng của hàm dao động tối ưu là phù hợp. Hàm dao động tối ưu được chỉ định chính xác nếu phân phối có điều kiện của các nút trong biểu đồ nhân quả mà người ta can thiệp được xác định chính xác.

Theo thuật ngữ của ông, "siêu học" là học tập với một sơ đồ trọng số không âm về mặt lý thuyết. Nhưng ý anh ta là gì khi "áp dụng hàm dao động tối ưu cụ thể cho tham số đích (mô hình con tham số tối thiểu thuận lợi nhất) cho từng yếu tố ước tính".

Hoặc chia nó thành ba câu hỏi riêng biệt, liệu TMLE có song song trong học máy không, "mô hình con tham số ít thuận lợi nhất" là gì và "hàm biến động" trong các lĩnh vực khác là gì?

— Nathan Kurz
nguồn

Một lý do thuật ngữ có thể không quen thuộc là mục tiêu của TMLE là ước tính hiệu quả điều trị trung bình - suy luận nguyên nhân, không phải dự đoán. Khi tôi đọc "siêu người học" trong các bài viết về TMLE, tôi nghĩ rằng các tác giả đã mượn thuật ngữ từ gói SuperLearner trong R để xây dựng các mô hình tập hợp.

— RobertF

Tôi đồng ý rằng van der Laan có xu hướng phát minh ra những tên mới cho những ý tưởng đã có sẵn (ví dụ: người siêu học), nhưng TMLE không phải là một trong số đó theo như tôi biết. Đây thực sự là một ý tưởng rất thông minh và tôi không thấy gì từ cộng đồng Machine Learning có vẻ tương tự (mặc dù tôi có thể không biết gì). Các ý tưởng xuất phát từ lý thuyết về phương trình ước lượng hiệu quả bán đảo, đó là điều mà tôi nghĩ rằng các nhà thống kê nghĩ nhiều về người ML.

Ý tưởng cơ bản là thế này. Giả sử là một cơ chế tạo dữ liệu thực sự và lãi suất nằm ở một chức năng cụ thể . Liên kết với một chức năng như vậy thường là một phương trình ước tính $P_0$ $\Psi(P_0)$

\sum_{i} φ (Y_{i} ∣ θ) = 0,

$\sum_i \varphi(Y_i \mid \theta) = 0,$

nơi được xác định trong một số cách bởi , và chứa đầy đủ thông tin để xác định . sẽ được như vậy mà . Giải phương trình này trong có thể, ví dụ, được dễ dàng hơn nhiều so với ước tính tất cả các . Phương trình ước lượng này là hiệu quả theo nghĩa là bất kỳ công cụ ước lượng hiệu quả nào của đều tương đương với phương pháp giải quyết phương trình này. $\theta = \theta(P)$ $P$ $\Psi$ $\varphi$ $E_{P} \varphi(Y \mid \theta) = 0$ $\theta$ $P_0$ $\Psi(P_0)$ (Lưu ý: Tôi hơi lỏng lẻo với thuật ngữ "hiệu quả", vì tôi chỉ mô tả heuristic.) Lý thuyết đằng sau các phương trình ước tính như vậy là khá thanh lịch, với cuốn sách này là tài liệu tham khảo chính tắc. Đây là nơi người ta có thể tìm thấy các định nghĩa tiêu chuẩn về "các mô hình con ít thuận lợi nhất"; những điều khoản này không được van der Laan phát minh ra.

Tuy nhiên, nói chung, ước tính bằng cách sử dụng các kỹ thuật học máy sẽ không thỏa mãn phương trình ước tính này. Ước tính, nói rằng, mật độ là một vấn đề về bản chất khó khăn, có lẽ khó khăn hơn nhiều so với ước tính , nhưng máy học kỹ thuật thường sẽ đi trước và ước tính với một số , và sau đó sử dụng một plug-in ước tính . van der Laan sẽ trích ước lượng này là không được nhắm mục tiêu và do đó có thể không hiệu quả - có lẽ, nó có thể thậm chí không được $P_0$ $P_0$ $\Psi(P_0)$ $P_0$ $\hat P$ $\Psi(\hat P)$ gì cả! Tuy nhiên, van der Laan nhận ra sức mạnh của học máy và biết rằng để ước tính các hiệu ứng mà anh ta quan tâm cuối cùng sẽ đòi hỏi một số ước tính mật độ. Nhưng anh ta không quan tâm đến việc ước tính; lập dự toán mật độ chỉ được thực hiện với mục đích nhận được tại. $\sqrt n$ $P_0$ $\Psi$

Ý tưởng về TMLE là bắt đầu với ban đầu ước tính mật độ và sau đó xem xét một mô hình mới như thế này: $\hat p$

{\hat{p}}_{1, ϵ} = \frac{\hat{p} \exp (ϵ φ (Y ∣ θ))}{\int \hat{p} \exp (ϵ φ (y ∣ θ)) d y}

$\hat p_{1, \epsilon} = \frac{\hat p \exp(\epsilon \ \varphi(Y \mid \theta))}{\int \hat p \exp(\epsilon \ \varphi(y \mid \theta)) \ dy}$

$\epsilon$ $\epsilon$ $\epsilon = 0$ $\hat p$ $\Psi$ $\epsilon \ne 0$ $\hat p_1$ $\hat p$

{\hat{p}}_{2, ϵ} \propto {\hat{p}}_{1, \hat{ϵ}} \exp (ϵ φ (Y ∣ θ) .

$\hat p_{2, \epsilon} \propto \hat p_{1, \hat \epsilon} \exp(\epsilon \ \varphi(Y \mid \theta).$

và cứ như vậy cho đến khi chúng ta có được một cái gì đó, trong giới hạn, thỏa mãn phương trình ước lượng hiệu quả.

— chàng
nguồn

"Tôi đồng ý rằng van der Laan có xu hướng phát minh ra tên mới cho những ý tưởng đã tồn tại" - Vâng, thấy giới thiệu này để TMLE: biostats.bepress.com/ucbbiostat/paper252 , nơi van der Laan sử dụng "coarsening một cách ngẫu nhiên" có nghĩa là khả năng trao đổi và "giả định điều trị thử nghiệm (ETA)" có nghĩa là tích cực. :-) Nó không quá bất thường trong lĩnh vực của chúng tôi. Các nhà khoa học dữ liệu sử dụng các thuật ngữ như thu hồi, độ chính xác và thử nghiệm A / B mà tôi đã học là độ nhạy, giá trị tiên đoán tích cực và thử nghiệm giả thuyết ở trường đại học.

— RobertF

@RobertF CAR là do Heitjan và Rubin, và là một khái quát của MAR. Rubin đã phát minh ra MAR và cũng đã phổ biến khung kết quả tiềm năng, do đó, sử dụng CAR như một cách bắt kịp tất cả các giả định loại không biết / có thể trao đổi có vẻ công bằng với tôi.

— anh chàng