Chính quy có thể hữu ích nếu chúng ta chỉ quan tâm đến mô hình hóa, không phải trong dự báo?

Việc chính quy hóa có thể hữu ích nếu chúng ta chỉ quan tâm đến việc ước tính (và diễn giải) các tham số mô hình, không phải trong dự báo hoặc dự đoán?

Tôi thấy việc chính quy hóa / xác thực chéo là cực kỳ hữu ích nếu mục tiêu của bạn là đưa ra dự báo tốt về dữ liệu mới. Nhưng nếu bạn đang làm kinh tế truyền thống và tất cả những gì bạn quan tâm là ước tính thì sao? Xác nhận chéo cũng có thể hữu ích trong bối cảnh đó? Khó khăn về khái niệm mà tôi đấu tranh là chúng ta thực sự có thể tính toán trên dữ liệu thử nghiệm, nhưng chúng ta không bao giờ có thể tính toán bởi vì định nghĩa thực sự không bao giờ được quan sát. (Giả sử như đã đưa ra giả định rằng thậm chí còn có một thực sự , tức là chúng ta biết họ mô hình mà dữ liệu được tạo.)L ( Y , Y ) L ( β , β ) β $\beta$$\mathcal{L}\left(Y, \hat{Y}\right)$$\mathcal{L}\left(\beta, \hat{\beta}\right)$$\beta$$\beta$

Giả sử tổn thất của bạn là $\mathcal{L}\left(\beta, \hat{\beta}\right) = \lVert \beta - \hat{\beta} \rVert$ . Bạn phải đối mặt với một sự đánh đổi sai lệch, phải không? Vì vậy, theo lý thuyết, bạn có thể tốt hơn nên thực hiện một số chính quy. Nhưng làm thế nào bạn có thể chọn tham số chính quy của bạn?

Tôi rất vui khi thấy một ví dụ số đơn giản của mô hình hồi quy tuyến tính, với các hệ số $\beta \equiv (\beta_1, \beta_2, \ldots, \beta_k)$ , trong đó hàm mất của nhà nghiên cứu là $\lVert \beta - \hat{\beta} \rVert$ hoặc thậm chí chỉ $(\beta_1 - \hat{\beta}_1)^2$ . Trong thực tế, làm thế nào người ta có thể sử dụng xác nhận chéo để cải thiện tổn thất dự kiến ​​trong các ví dụ đó?

Chỉnh sửa : DJohnson chỉ cho tôi https://www.cs.cornell.edu/home/kleinber/aer15-prediction.pdf , có liên quan đến câu hỏi này. Các tác giả viết rằng

Các kỹ thuật học máy ... cung cấp một cách có kỷ luật để dự đoán $\hat{Y}$ , trong đó (i) sử dụng chính dữ liệu để quyết định cách thực hiện sự đánh đổi sai lệch và (ii) cho phép tìm kiếm trên một tập hợp rất phong phú các biến và các dạng chức năng. Nhưng mọi thứ đều phải trả giá: người ta phải luôn nhớ rằng vì chúng được điều chỉnh cho $\hat{Y}$ nên chúng không (không có nhiều giả định khác) đưa ra những đảm bảo rất hữu ích cho $\hat{\beta}$ .

Một bài báo khác có liên quan, một lần nữa nhờ vào DJohnson: http://arxiv.org/pdf/1504.01132v3.pdf . Bài viết này giải quyết câu hỏi tôi đã đấu tranh ở trên:

Một ... thách thức cơ bản trong việc áp dụng các phương pháp học máy như cây hồi quy ngoài vấn đề suy luận nguyên nhân là các phương pháp chính quy hóa dựa trên xác nhận chéo thường dựa vào việc quan sát sự thật mặt đất, đó là kết quả thực tế trong một mẫu xác nhận chéo. Tuy nhiên, nếu mục tiêu của chúng tôi là giảm thiểu sai số bình phương trung bình của các hiệu ứng điều trị, chúng tôi gặp phải vấn đề [11] gọi là vấn đề cơ bản của suy luận nguyên nhân gây ra: hiệu ứng nhân quả không được quan sát thấy đối với bất kỳ đơn vị riêng lẻ nào và vì vậy chúng tôi không trực tiếp có một sự thật nền tảng. Chúng tôi giải quyết vấn đề này bằng cách đề xuất các phương pháp xây dựng các ước tính không thiên vị về sai số bình phương trung bình của hiệu quả nguyên nhân của điều trị.

Có, khi chúng tôi muốn ước tính phương sai thấp sai lệch. Tôi đặc biệt thích bài viết của gung ở đây Vấn đề nào làm phương pháp thu nhỏ giải quyết? Xin cho phép tôi dán hình của gung ở đây ...

Nếu bạn kiểm tra cốt truyện được thực hiện, bạn sẽ rõ lý do tại sao chúng ta cần thường xuyên / thu hẹp. Lúc đầu, tôi cảm thấy kỳ lạ rằng tại sao chúng ta cần ước lượng sai lệch? Nhưng nhìn vào con số đó, tôi nhận ra, có một mô hình phương sai thấp có rất nhiều lợi thế: ví dụ, nó "ổn định" hơn trong sử dụng sản xuất.

Xác thực chéo có thể hữu ích nếu chúng ta chỉ quan tâm đến việc mô hình hóa (tức là ước tính các tham số), không phải trong dự báo?

Vâng, nó có thể. Chẳng hạn, một ngày khác tôi đang sử dụng ước tính tầm quan trọng của tham số thông qua Cây quyết định. Mỗi lần tôi xây dựng một cây, tôi kiểm tra lỗi xác thực chéo. Tôi cố gắng giảm lỗi nhiều nhất có thể, sau đó tôi sẽ chuyển sang bước tiếp theo để ước tính tầm quan trọng của các tham số. Có thể là nếu cây đầu tiên mà bạn xây dựng rất xấu và bạn không kiểm tra lỗi, bạn sẽ có câu trả lời ít chính xác hơn (nếu không sai).

Lý do chính tôi tin là do nhiều số lượng biến kiểm soát mà mỗi kỹ thuật có. Ngay cả một thay đổi nhỏ trong một biến điều khiển sẽ cung cấp một kết quả khác.

Làm cách nào để cải thiện mô hình của bạn sau khi bạn kiểm tra lỗi xác thực chéo? Vâng, nó phụ thuộc vào mô hình của bạn. Hy vọng, sau khi thử một vài lần, bạn sẽ có được một số ý tưởng về các biến kiểm soát quan trọng nhất và có thể thao tác chúng để tìm ra một lỗi thấp.