Kiểm tra ý nghĩa hoặc xác nhận chéo?

20

Hai cách tiếp cận phổ biến để chọn các biến tương quan là các thử nghiệm quan trọng và xác nhận chéo. Vấn đề nào mà mỗi người cố gắng giải quyết và khi nào tôi sẽ thích cái này hơn cái kia?

cross-validation feature-selection

— JohnRos
nguồn

22

Thứ nhất, cho phép một cách rõ ràng và đặt câu hỏi vào bối cảnh của hồi quy tuyến tính nhiều nơi chúng tôi thoái một biến phản ứng, , trên các biến khác nhau (tương quan hay không), với tham số vector và hàm hồi quy $y$ $x_1, \ldots, x_p$ $\beta = (\beta_0, \beta_1, \ldots, \beta_p)$
mà có thể là một mô hình của giá trị trung bình của biến đáp ứng cho một quan sát nhất định .

f (x_{1}, \dots, x_{p}) = β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p},

$f(x_1, \ldots, x_p) = \beta_0 + \beta_1 x_1 + \ldots + \beta_p x_p,$

x_{1}, \dots, x_{p}

$x_1, \ldots, x_p$

Câu hỏi đặt ra là làm thế nào để chọn một tập hợp con của 's được không, và đặc biệt, so sánh thử nghiệm ý nghĩa so với kiểm chứng chéo . $\beta_i$

Để rõ ràng về thuật ngữ, kiểm tra ý nghĩa là một khái niệm chung, được thực hiện khác nhau trong các bối cảnh khác nhau. Nó phụ thuộc, ví dụ, vào việc lựa chọn một thống kê kiểm tra. Xác nhận chéo thực sự là một thuật toán để ước tính lỗi tổng quát hóa dự kiến , đây là khái niệm chung quan trọng và phụ thuộc vào sự lựa chọn của hàm mất.

Các lỗi tổng quát dự kiến là một chút kỹ thuật để xác định chính thức, nhưng trong lời nói nó là sự mất mát dự kiến của một mô hình được trang bị khi sử dụng cho dự báo trên một tập hợp dữ liệu độc lập , nơi kỳ vọng là qua các dữ liệu được sử dụng để lập dự toán cũng như các dữ liệu độc lập thiết lập được sử dụng để dự đoán.

$\beta_1$

$\beta_1 = 0$ $p$ $\beta_1 = 0$ $p$
$\beta_1 = 0$ $\beta_1 = 0$ $\beta_1$ cũng được phép khác 0, và sau đó chúng ta có thể so sánh hai lỗi ước tính. Bất kỳ cái nào là nhỏ nhất tương ứng với mô hình chúng tôi chọn.

$\beta_1 \neq 0$

$\beta_1$ $\beta_1$ $-$

$p$ $p$

$p$ $p$ $\beta_1$ $\beta_1$ và khoảng tin cậy để thay thế.

— NRH
nguồn

17

Đơn giản chỉ cần sử dụng các bài kiểm tra quan trọng và quy trình từng bước để thực hiện lựa chọn mô hình có thể khiến bạn tin rằng bạn có một mô hình rất mạnh với các yếu tố dự đoán quan trọng khi thực tế, bạn không làm vậy; bạn có thể có được mối tương quan mạnh mẽ một cách tình cờ và những mối tương quan này dường như có thể được tăng cường khi bạn loại bỏ các dự đoán không cần thiết khác.

Tất nhiên, quy trình lựa chọn chỉ giữ các biến có tương quan mạnh nhất với kết quả và, khi quy trình từng bước tiến về phía trước, xác suất xảy ra lỗi Loại I trở nên lớn hơn bạn tưởng. Điều này là do các lỗi tiêu chuẩn (và do đó giá trị p) không được điều chỉnh để tính đến thực tế là các biến không được chọn để đưa vào mô hình một cách ngẫu nhiên và nhiều thử nghiệm giả thuyết đã được tiến hành để chọn bộ đó.

David Freedman có một bài báo dễ thương, trong đó ông chứng minh những điểm này được gọi là " Lưu ý về sàng lọc phương trình hồi quy ". Trừu tượng:

$R^2$ $R^2$

Một giải pháp tiềm năng cho vấn đề này, như bạn đã đề cập, là sử dụng một biến thể của xác nhận chéo. Khi tôi không có kinh tế tốt (lĩnh vực nghiên cứu của tôi) hoặc lý do thống kê để tin vào mô hình của mình, đây là cách tiếp cận ưa thích của tôi để chọn một mô hình phù hợp và thực hiện suy luận.

Những người được hỏi khác có thể đề cập rằng các quy trình từng bước sử dụng AIC hoặc BIC tương đương với việc xác nhận chéo. Tuy nhiên, điều này chỉ hoạt động khi số lượng quan sát liên quan đến số lượng dự đoán trở nên lớn. Trong bối cảnh có nhiều biến liên quan đến số lượng quan sát (Freedman nói 1 biến trên 10 hoặc ít hơn các quan sát), lựa chọn theo cách này có thể thể hiện các tính chất kém được thảo luận ở trên.

Trong thời đại máy tính mạnh mẽ, tôi không thấy bất kỳ lý do nào để không sử dụng xác nhận chéo như một quy trình lựa chọn mô hình so với lựa chọn từng bước.

— Charlie
nguồn

Bạn có thể đưa ra một tài liệu tham khảo cho các quy trình từng bước bằng cách sử dụng AIC hoặc BIC tương đương với việc xác thực chéo không? Tôi đã đọc về sự tương đương của AIC / BIC với xác nhận chéo, nhưng không phải trong một thiết lập từng bước.

— Richard Hardy