Sử dụng chính quy khi làm suy luận thống kê

17

Tôi biết về lợi ích của việc chính quy hóa khi xây dựng các mô hình dự đoán (sai lệch so với phương sai, ngăn ngừa quá mức). Nhưng, tôi tự hỏi liệu có nên thực hiện chính quy hóa (lasso, sườn, lưới đàn hồi) hay không khi mục đích chính của mô hình hồi quy là suy luận về các hệ số (xem dự đoán nào có ý nghĩa thống kê). Tôi rất thích nghe suy nghĩ của mọi người cũng như các liên kết đến bất kỳ tạp chí học thuật hoặc các bài báo phi học thuật nào đề cập đến vấn đề này.

— người dùng162381
nguồn

3

Chẳng hạn, chính quy có thể được nhìn thấy bằng mắt Bayes, lasso, tương ứng với một số hàm mũ đôi trước (với tỷ lệ được chọn bằng xác nhận chéo). Vì vậy, một khả năng là đi đầy đủ.

— kjetil b halvorsen

1

xác định dự đoán nào là khác không là tất cả những gì về Lasso! Nếu bạn muốn xác định giá trị nào khác biệt đáng kể về mặt thống kê so với số không, thì việc xem xét các phương pháp như lasso

— user795305

8

Thuật ngữ "chính quy hóa" bao gồm rất nhiều phương pháp. Với mục đích của câu trả lời này, tôi sẽ thu hẹp nghĩa là "tối ưu hóa bị phạt", tức là thêm hình phạt hoặc vào vấn đề tối ưu hóa của bạn. $L_1$ $L_2$

Nếu đó là trường hợp, thì câu trả lời là "Có! Vâng kinda" dứt khoát.

Lý do cho điều này là việc thêm hình phạt hoặc vào hàm khả năng dẫn đến chính xác chức năng toán học giống như thêm Laplace hoặc Gaussian trước khả năng có được phân phối sau (độ dốc thang máy: phân phối trước mô tả sự không chắc chắn về các tham số trước khi xem dữ liệu, phân phối sau mô tả sự không chắc chắn của các tham số sau khi xem dữ liệu), dẫn đến thống kê Bayes 101. Thống kê Bayes rất phổ biến và được thực hiện mọi lúc với mục tiêu suy luận về các hiệu ứng ước tính. $L_1$ $L_2$

Đó là "Có!" phần. "Well kinda" là việc tối ưu hóa phân phối sau của bạn được thực hiện và được gọi là ước tính "Maximum A Posterior" (MAP). Nhưng hầu hết Bayes không sử dụng ước tính MAP, họ lấy mẫu từ phân phối sau bằng thuật toán MCMC! Điều này có một số lợi thế, một trong số đó là nó có xu hướng ít có xu hướng giảm trong các thành phần phương sai.

Vì lợi ích của sự ngắn gọn, tôi đã cố gắng không đi sâu vào chi tiết về số liệu thống kê của Bayes, nhưng nếu điều này làm bạn quan tâm, đó là nơi để bắt đầu tìm kiếm.

— Vách đá AB
nguồn

2

(+1) Nhưng nếu tôi đã sử dụng những linh mục đó chỉ vì họ đưa ra dự đoán tốt - thực sự tôi có thể đã điều chỉnh chúng cho mục đích đó - vậy tôi sẽ làm gì để ước tính MAP hoặc phân phối sau? (Tất nhiên nếu tôi gợi ra các linh mục để trình bày kiến thức về các tham số trước khi xem dữ liệu tôi biết chính xác những gì cần tạo ra chúng.)

— Scortchi - Phục hồi Monica

1

@Scortchi: đó là một điểm rất tốt: sử dụng xác thực chéo để chọn hình phạt sẽ đưa bạn ra khỏi khuôn khổ Bayes cổ điển (theo như tôi biết). Xây dựng một mô hình với CV để chọn các tham số chính quy sẽ không trùng với câu trả lời này, nhưng sử dụng chính quy hóa với các hình phạt cố định, được chọn dựa trên thông tin chuyên gia sẽ.

— Vách đá AB

2

Lưu ý: Cách tiếp cận + MCMC trước đó sẽ chỉ cho kết quả hợp lệ nếu các hậu tố cho tất cả các hệ số tiềm năng được kiểm tra và báo cáo. Mặt khác, chúng ta đang ở trong một thiết lập suy luận có chọn lọc và hầu hết các phương pháp suy luận ngây thơ sẽ không hợp lệ.

— dùng3903581

(+1) Câu trả lời hay! Tuy nhiên, tôi nghĩ rằng có thể đáng để làm rõ câu "Nhưng hầu hết Bayes không sử dụng ước tính MAP, họ lấy mẫu từ phân phối sau bằng thuật toán MCMC!" Có vẻ như bạn đang cố gắng nói rằng hầu hết người Bayes sử dụng toàn bộ hậu thế trong việc chọn công cụ ước tính của họ. Để xem vấn đề, lưu ý rằng một ước tính cho MAP có thể được thực hiện từ mẫu cho phân phối sau.

— user795305

8

Có một sự khác biệt lớn giữa việc thực hiện ước tính bằng cách sử dụng hình phạt kiểu sườn núi và hình phạt kiểu lasso. Các công cụ ước tính loại sườn có xu hướng thu nhỏ tất cả các hệ số hồi quy về 0 và bị sai lệch, nhưng có một phân phối tiệm cận dễ dàng vì chúng không thu nhỏ bất kỳ biến nào về 0. Sự sai lệch trong các ước tính sườn núi có thể có vấn đề trong việc kiểm tra giả thuyết thực hiện tiếp theo, nhưng tôi không phải là một chuyên gia về điều đó. Mặt khác, hình phạt loại Lasso / lưới đàn hồi thu nhỏ nhiều hệ số hồi quy về 0 và do đó có thể được xem là kỹ thuật chọn mô hình. Vấn đề thực hiện suy luận trên các mô hình được chọn dựa trên dữ liệu thường được gọi là vấn đề suy luận chọn lọc hoặc suy luận sau lựa chọn. Lĩnh vực này đã chứng kiến nhiều sự phát triển trong những năm gần đây.

$y\sim N(\mu,1)$ $\mu$ $\mu$ $|y| > c >0$ $c$ $y$ $c$ $y$

Tương tự, Lasso (hoặc lưới đàn hồi) ràng buộc không gian mẫu theo cách để đảm bảo rằng mô hình đã chọn đã được chọn. Việc cắt ngắn này phức tạp hơn, nhưng có thể được mô tả một cách phân tích.

Dựa trên cái nhìn sâu sắc này, người ta có thể thực hiện suy luận dựa trên phân phối dữ liệu bị cắt ngắn để có được số liệu thống kê kiểm tra hợp lệ. Để biết khoảng tin cậy và thống kê kiểm tra, hãy xem công việc của Lee và cộng sự: http://projecteuclid.org/euclid.aos/1460381681

Các phương thức của chúng được thực hiện trong gói R selectiveInference .

Ước tính tối ưu (và thử nghiệm) sau khi lựa chọn mô hình được thảo luận trong (đối với Lasso): https://arxiv.org/abs/1705.09417

và gói phần mềm (ít toàn diện hơn) của họ có sẵn trong: https://github.com/ammeir2/selectiveMLE

— người dùng3903581
nguồn

4

Tôi đặc biệt khuyến nghị LASSO nếu bạn đang cố gắng sử dụng hồi quy cho suy luận dựa trên "dự đoán nào có ý nghĩa thống kê" - nhưng không phải vì lý do bạn có thể mong đợi.

Trong thực tế, các yếu tố dự đoán trong một mô hình có xu hướng tương quan. Ngay cả khi không có tính đa hình đáng kể, sự lựa chọn của các yếu tố dự báo "có ý nghĩa" trong hồi quy có thể thay đổi đáng kể từ mẫu này sang mẫu khác.

Vì vậy, có, đi trước và làm LASSO cho hồi quy của bạn. Sau đó lặp lại quy trình xây dựng mô hình hoàn chỉnh (bao gồm xác thực chéo để chọn hình phạt LASSO) trên nhiều mẫu bootstrap (vài trăm hoặc hơn) từ dữ liệu gốc. Xem mức độ thay đổi của tập hợp các yếu tố dự đoán "đáng kể" được chọn theo cách này.

Trừ khi các yếu tố dự đoán của bạn rất trực giao với nhau, quá trình này sẽ khiến bạn phải suy nghĩ kỹ về việc diễn giải các giá trị p theo hồi quy theo đó các yếu tố dự đoán riêng lẻ là "quan trọng".

— EdM
nguồn

1

+1 Tôi đồng ý với mọi thứ được viết, câu trả lời rất thực dụng nhưng tại sao không sử dụng lưới đàn hồi thay vì LASSO? (đưa ra OP cũng đề cập đến nó) Việc chính quy hóa sườn núi sẽ kiểm soát mối tương quan giữa các yếu tố dự đoán nổi bật hơn một chút.

— usεr11852 nói Phục hồi Monic

Trên thực tế, có thể tính toán các giá trị p, ước tính và khoảng tin cậy hợp lệ trong các mô hình được chọn thông qua mạng lưới đàn hồi HOẶC, chỉ cần được thực hiện đúng.

— dùng3903581

@ user3903581 Tôi không tranh cãi rằng người ta có thể nhận được các giá trị LASSO thường xuyên hợp lệ, theo nghĩa là một giả thuyết null thực sự sẽ dẫn đến một hệ số lớn hơn ít hơn 5% so với các mẫu sao chép. Vấn đề nằm ở những nỗ lực quá thường xuyên chỉ quy kết các suy luận nguyên nhân cho các yếu tố dự đoán do đó được coi là "đáng kể" mà không xem xét các vấn đề được đưa ra bởi các yếu tố dự đoán tương quan.

— EdM