Xác thực chéo (CV) và thống kê xác thực chéo (GCV) tổng quát

Tôi đã tìm thấy các định nghĩa có thể mâu thuẫn đối với thống kê xác thực chéo (CV) và thống kê xác thực chéo (GCV) được liên kết với mô hình tuyến tính (với một vectơ lỗi đồng nhất, bình thường ). $Y = X\boldsymbol\beta + \boldsymbol\varepsilon$ $\boldsymbol\varepsilon$

Một mặt, Golub, Heath & Wahba định nghĩa ước tính GCV là (trang 216) $\hat{\lambda}$

bộ thu nhỏ của do trong đó $V\left(\lambda\right)$
$V (λ) = \frac{\frac{1}{n} {‖ (I - A (λ)) y ‖}^{2}}{{(\frac{1}{n} t r (I - A (λ)))}^{2}}$ $V\left(\lambda\right) = \frac{\frac{1}{n} \left\|\left(I - A\left(\lambda\right)\right)y\right\|^2}{\left(\frac{1}{n} \mathrm{tr}\left(I - A\left(\lambda\right)\right)\right)^2}$ $A\left(\lambda\right) = X\left(X^T X + n\lambda I\right)^{-1} X^T$

Mặt khác, Efron định nghĩa khái niệm tương tự như $V\left(0\right)$ (trang 24), tuy nhiên, ông cho rằng việc giới thiệu khái niệm này với Craven & Wahba, trong đó định nghĩa của nó (trang 377) về cơ bản là giống nhau như định nghĩa đã đề cập ở trên của Golub, Heath & Wahba.

Điều này có nghĩa là $0$ giảm thiểu $V\left(\lambda\right)$ ?

Tương tự, Golub, Heath & Wahba định nghĩa ước tính CV của $\lambda$ (tr. 217) là tối thiểu hóa

P (λ) = \frac{1}{n} \sum_{k = 1}^{n} {({[X β^{(k)} (λ)]}_{k} - y_{k})}^{2}

$P\left(\lambda\right) = \frac{1}{n}\sum_{k=1}^n \left(\left[X \beta^{(k)}\left(\lambda\right)\right]_k - y_k\right)^2$

trong đó $\beta^{\left(k\right)}\left(\lambda\right)$ là ước tính

\hat{β} (λ) = {(X^{T} X + n λ I)}^{- 1} X^{T} y

$\hat{\beta}\left(\lambda\right) = \left(X^T X + n \lambda I\right)^{-1} X^T y$

của $\beta$ với điểm dữ liệu thứ bị bỏ qua. $k$ $y_i$

Các tác giả gán phần giới thiệu ước tính CV (còn gọi là ước tính PRESS) cho Allen ("PRESS của Allen", ibid.) Tuy nhiên, trong bài viết của Allen, ước tính PRESS được định nghĩa (tr. 126) là $n P\left(0\right)$ (trong bài viết của Efron, nó được định nghĩa là $P\left(0\right)$ (trang 24)).

Một lần nữa, điều này có nghĩa là $0$ giảm thiểu $P\left(\lambda\right)$ ?

Allen, David M. Mối quan hệ giữa lựa chọn biến và phân tích dữ liệu và phương pháp dự đoán. Kỹ thuật, Tập. 16, số 1 (tháng 2 năm 1974), trang 125-127
Craven, Peter và Wahba, Grace. Làm mịn dữ liệu ồn ào với chức năng Spline. Numerische Mathematik 31, (1979), trang 377-403
Efron, Bradley. Làm thế nào thiên vị là tỷ lệ lỗi rõ ràng của một hồi quy logistic? Báo cáo kỹ thuật số 232. Khoa Thống kê, Đại học Stanford (Tháng 4 năm 1985)
Golub, Gene H., Heath và Grace Wahba. Xác thực chéo tổng quát như một phương pháp để chọn tham số độ dốc tốt. Kỹ thuật, Tập. 21, số 2 (tháng 5 năm 1979), trang 215-223

cross-validation

— Evan Aad
nguồn

Bạn đã quên đề cập rằng điều này sẽ được trang bị với hồi quy sườn và không phải là hình vuông nhỏ nhất? Tôi đã hoàn toàn bối rối về những gì là cho đến khi tôi nhìn thấy các tiêu đề giấy ở phía dưới

λ

$\lambda$

— Shadowtalker

Xóa Xác thực chéo tổng quát trong tiêu đề và thêm Hồi quy độ dốc trong tiêu đề. Dưới đây là những gì GridSearchCV () mặc định cho RidgeCV ():

— HoofarLotusX

Tôi tin rằng các ý kiến đang chỉ vào câu trả lời, nhưng không nói thẳng ra. Vì vậy, tôi sẽ cùn.

Công thức V được trích dẫn ở đây là cụ thể cho hồi quy sườn tuyến tính. Họ không nói nó giống như PRESS, họ nói rằng đó là phiên bản bất biến xoay vòng của PRESS. Phần "bất biến xoay" là phần tạo nên điều này.

Bài viết của Efron là về hồi quy logistic, được tùy chỉnh theo bối cảnh đó. Nếu bạn muốn xem bản dịch toán giữa hai bối cảnh, cuốn sách phù hợp để đọc là Các yếu tố của học thống kê, 2ed, của Hastie, Tibshirani và Freedman. Họ cung cấp cuốn sách đó miễn phí, trực tuyến: https://web.stanford.edu/~hastie/Papers/ESLII.pdf . Một cách đọc hữu ích khác về GCV là Mô hình phụ gia tổng quát của Simon Wood. Điều trị của ông tích hợp GCV nói chung với các ứng dụng trong hồi quy và hồi quy logistic.

Nếu bạn nhìn vào cuốn sách ESL, trang 244, về cơ bản bạn sẽ thấy cùng một hệ thống ký hiệu. Họ đề cập đến sản phẩm ma trận lớn mà bạn có là ma trận mượt mà hơn (tôi muốn nói đó là ma trận Hat hoặc người anh em họ gần). Họ mô tả Smoother là ánh xạ từ đến $S$ $y$ $\hat{y}$

\hat{y} = S y

$\hat{y}=S y$

$S$ $S$

Họ cung cấp một công thức cho xấp xỉ GCV:

G C V (\hat{f}) = \frac{1}{N} \sum_{i = 1}^{N} {[\frac{y_{i} - \hat{f} (x_{i})}{1 - t r a c e (S) / N}]}^{2}

$GCV(\hat{f})=\frac{1}{N}\sum_{i=1}^{N}\left[\frac{y_i - \hat{f}(x_i)}{1-trace(S)/N}\right]^2$

Điều này khá giống với hành vi của AIC trong nhiều mô hình. Dấu là số lượng tham số hiệu quả. $trace{S}$

Các mảnh bạn trích dẫn là tổng quát hơn một dấu vết của . Theo như tôi có thể hiểu, trong bản tóm tắt của GCV là một phiên bản gần đúng của việc loại bỏ một giá trị chéo, nhưng trong một số trường hợp, (tôi tin rằng hồi quy sườn), nó là chính xác. Đó là một điểm chính trong bài báo Golub. $n\lambda$ $S$

Chúc may mắn, viết lại nếu bạn tìm hiểu thêm.

— pauljohn32
nguồn

Cảm ơn. Tôi đã đăng câu hỏi của mình hơn 5 năm trước và kể từ đó tôi đã quên hầu hết các tài liệu này, vì vậy tôi không thể đánh giá câu trả lời của bạn để cho biết nó tốt (có vẻ như vậy) hay xấu, và vì lý do này Tôi cũng không thể chấp nhận nó. Cảm ơn cho bài viết, mặc dù. Hy vọng nó sẽ hữu ích cho những người khác có thể đi qua trang này.

— Evan Aad