TL, DR: Dường như, trái với lời khuyên oft-lặp đi lặp lại, nghỉ-one-out kiểm chứng chéo (Loo-CV) - có nghĩa là,-fold CV với(số nếp gấp) tương đương với(số về quan sát đào tạo) - đưa ra các ước tính về lỗi tổng quát hóa là biến số nhỏ nhất cho bất kỳnào, không phải là biến nhất, giả sử mộtđiều kiện ổn định nhất định trên mô hình / thuật toán, tập dữ liệu hoặc cả hai (tôi không chắc chắn là chính xác vì tôi không thực sự hiểu điều kiện ổn định này).K N $K$$K$$N$$K$

• Ai đó có thể giải thích rõ ràng chính xác điều kiện ổn định này là gì?
• Có đúng là hồi quy tuyến tính là một thuật toán "ổn định" như vậy không, ngụ ý rằng trong bối cảnh đó, LOO-CV hoàn toàn là sự lựa chọn tốt nhất của CV về sự sai lệch và sai lệch của các ước tính về lỗi tổng quát hóa có liên quan?

Sự khôn ngoan thông thường là việc lựa chọn trong Fold CV tuân theo sự đánh đổi sai lệch, giá trị thấp hơn (tiếp cận 2) dẫn đến ước tính về lỗi tổng quát hóa có xu hướng bi quan hơn, nhưng phương sai thấp hơn, trong khi giá trị cao hơn của (tiếp cận ) dẫn đến các ước tính ít sai lệch, nhưng có phương sai lớn hơn. Giải thích thông thường cho hiện tượng phương sai gia tăng này với được đưa ra có lẽ nổi bật nhất trong Các yếu tố của học thống kê (Phần 7.10.1):K K K N $K$$K$$K$$K$$N$$K$

Với K = N, công cụ ước tính xác thực chéo gần như không thiên vị cho lỗi dự đoán đúng (dự kiến), nhưng có thể có phương sai cao vì N "tập huấn luyện" rất giống nhau.

Hàm ý là các lỗi xác nhận có tương quan cao hơn do đó tổng của chúng có nhiều biến đổi hơn. Dòng này lập luận đã được lặp đi lặp lại trong nhiều câu trả lời trên trang web này (ví dụ, ở đây , ở đây , ở đây , ở đây , ở đây , ở đây và ở đây ) cũng như trên các blog khác nhau và vv Nhưng một phân tích chi tiết hầu như không bao giờ được đưa ra, thay vì chỉ có một trực giác hoặc phác họa ngắn gọn về những gì một phân tích có thể trông như thế nào.$N$

Tuy nhiên, người ta có thể tìm thấy các tuyên bố mâu thuẫn, thường trích dẫn một điều kiện "ổn định" nhất định mà tôi không thực sự hiểu. Ví dụ, câu trả lời mâu thuẫn này trích dẫn một vài đoạn trong bài báo năm 2015, trong số những điều khác, "Đối với các mô hình / quy trình mô hình có độ không ổn định thấp , LOO thường có độ biến thiên nhỏ nhất" (nhấn mạnh thêm). Bài viết này (phần 5.2) dường như đồng ý rằng LOO đại diện cho sự lựa chọn ít biến nhất của miễn là mô hình / thuật toán là "ổn định". Thậm chí còn có lập trường khác về vấn đề này, cũng có bài viết này (Hệ quả 2), trong đó có nội dung "Phương sai của xác thực chéo gấp [...] không phụ thuộc vàok $K$$k$$k$, "một lần nữa trích dẫn một điều kiện" ổn định "nhất định.

Giải thích về lý do tại sao LOO có thể là CV biến nhất là đủ trực quan, nhưng có một trực giác. Ước tính CV cuối cùng của lỗi bình phương trung bình (MSE) là giá trị trung bình của ước tính MSE trong mỗi lần gấp. Vì vậy, khi tăng lên đến , ước tính CV là giá trị trung bình của số lượng biến ngẫu nhiên ngày càng tăng. Và chúng ta biết rằng phương sai của một giá trị trung bình giảm theo số lượng biến được tính trung bình. Vì vậy, để cho Loo được biến nhất CV -fold, nó sẽ phải là sự thật rằng sự gia tăng chênh lệch do sự tương quan tăng trong dự toán MSE giá trị hơn giảm chênh lệch do số lượng lớn các nếp gấp được trung bình trênK N $K$$K$$N$$K$. Và nó không phải là rõ ràng rằng điều này là đúng.

Trở nên bối rối khi nghĩ về tất cả những điều này, tôi quyết định chạy một mô phỏng nhỏ cho trường hợp hồi quy tuyến tính. Tôi mô phỏng 10.000 bộ dữ liệu với = 50 và 3 dự đoán không tương quan, mỗi lần ước tính lỗi tổng quát sử dụng -fold CV với = 2, 5, 10, hay 50 = . Mã R ở đây. Dưới đây là các phương tiện và phương sai kết quả của ước tính CV trên tất cả 10.000 bộ dữ liệu (tính theo đơn vị MSE):K K $N$$K$$K$$N$

         k = 2 k = 5 k = 10 k = n = 50
mean     1.187 1.108  1.094      1.087
variance 0.094 0.058  0.053      0.051

Các kết quả này cho thấy mô hình dự kiến ​​rằng các giá trị cao hơn dẫn đến sai lệch ít bi quan hơn, nhưng cũng xuất hiện để xác nhận rằng phương sai của ước tính CV là thấp nhất, không cao nhất, trong trường hợp LOO.$K$

Vì vậy, có vẻ như hồi quy tuyến tính là một trong những trường hợp "ổn định" được đề cập trong các bài báo ở trên, trong đó việc tăng có liên quan đến việc giảm hơn là tăng phương sai trong ước tính CV. Nhưng điều tôi vẫn không hiểu là:$K$

• Chính xác thì điều kiện "ổn định" này là gì? Nó có áp dụng cho các mô hình / thuật toán, bộ dữ liệu hoặc cả hai ở một mức độ nào đó không?
• Có một cách trực quan để suy nghĩ về sự ổn định này?
• Các ví dụ khác về các mô hình / thuật toán hoặc bộ dữ liệu ổn định và không ổn định là gì?
• Có tương đối an toàn không khi cho rằng hầu hết các mô hình / thuật toán hoặc bộ dữ liệu là "ổn định" và do đó thường được chọn ở mức cao là khả thi về mặt tính toán?$K$

Câu trả lời này tiếp nối câu trả lời của tôi về Xu hướng và phương sai trong xác thực chéo một lần so với K-gấp , thảo luận về lý do tại sao LOOCV không luôn luôn dẫn đến phương sai cao hơn. Theo một cách tiếp cận tương tự, tôi sẽ cố gắng làm nổi bật một trường hợp trong đó LOOCV dẫn đến phương sai cao hơn khi có sự xuất hiện của các ngoại lệ và một "mô hình không ổn định".

Thuật toán ổn định (lý thuyết học tập)

Chủ đề về sự ổn định thuật toán là một chủ đề gần đây và một số kết quả cổ điển, vô tận đã được chứng minh trong 20 năm qua. Dưới đây là một vài bài báo thường được trích dẫn

• Heuristic của sự không ổn định và ổn định trong lựa chọn mô hình (1996): Leo Breiman
• Giới hạn kiểm tra độ ổn định và độ ổn định của thuật toán cho LOOCV (1997): Kearns, Ron
• Tính ổn định và sự khái quát (2002): Bousquet, Elisseef
• Xác thực chéo và Ổn định bình phương trung bình (2011) Kale, Kumar, Vassilvitskii
• Hầu như mọi nơi đều ổn định thuật toán và lỗi tổng quát hóa (2012): Kutin, Niyogi
• Một số lưu ý về chủ đề: Đại học Arizona

Trang tốt nhất để có được sự hiểu biết chắc chắn là trang wikipedia cung cấp một bản tóm tắt xuất sắc được viết bởi một người dùng có lẽ rất hiểu biết.

Định nghĩa trực quan về sự ổn định

Theo trực giác, một thuật toán ổn định là một thuật toán mà dự đoán không thay đổi nhiều khi dữ liệu huấn luyện được sửa đổi một chút.

Chính thức, có nửa tá phiên bản ổn định, được liên kết với nhau bởi các điều kiện kỹ thuật và phân cấp, xem hình ảnh này từ đây chẳng hạn:

Tuy nhiên, mục tiêu rất đơn giản, chúng tôi muốn có được các giới hạn chặt chẽ về lỗi tổng quát hóa của một thuật toán học cụ thể, khi thuật toán đáp ứng tiêu chí ổn định. Như người ta mong đợi, tiêu chí ổn định càng hạn chế, ràng buộc tương ứng sẽ càng chặt chẽ.

Ký hiệu

Các ký hiệu sau đây là từ bài viết trên wikipedia, bản thân nó sao chép bài báo Bousquet và Elisseef:

• $S = \{ z_1 = (x_1,y_1), ..., z_m = (x_m, y_m)\}$
• $V$$f$$z$$V(f,z)$
• $i$$S^{|i} = \{ z_1,...,z_{i-1}, z_{i+1},...,z_m\}$
• $i$$S^{i} = \{ z_1,...,z_{i-1}, z_i^{'}, z_{i+1},...,z_m\}$

Định nghĩa chính thức

Có lẽ khái niệm mạnh nhất về tính ổn định mà một thuật toán học thú vị có thể được mong đợi tuân theo là tính ổn định đồng nhất :

$\beta$$V$

Được coi là một hàm của , thuật ngữ có thể được viết là . Chúng tôi nói rằng thuật toán ổn định khi giảm khi . Một dạng ổn định hơi yếu hơn là:β β m β m $m$$\beta$$\beta_m$$\beta_m$$\frac{1}{m}$

Giả thuyết ổn định

Nếu một điểm bị xóa, sự khác biệt trong kết quả của thuật toán học được đo bằng chênh lệch tuyệt đối trung bình của tổn thất ( chỉ tiêu ). Theo trực giác: những thay đổi nhỏ trong mẫu chỉ có thể khiến thuật toán chuyển sang các giả thuyết gần đó.$L_1$

Ưu điểm của các dạng ổn định này là chúng cung cấp giới hạn cho độ lệch và phương sai của các thuật toán ổn định. Cụ thể, Bousquet đã chứng minh các giới hạn cho sự ổn định của Đồng phục và Giả thuyết vào năm 2002. Kể từ đó, nhiều công việc đã được thực hiện để cố gắng nới lỏng các điều kiện ổn định và khái quát các giới hạn, ví dụ vào năm 2011, Kale, Kumar, Vassilvitskii cho rằng có nghĩa là ổn định vuông cung cấp giới hạn phương sai định lượng tốt hơn giới hạn.

Một số ví dụ về thuật toán ổn định

Các thuật toán sau đây đã được chứng minh là ổn định và đã được chứng minh giới hạn khái quát hóa:

• Hồi quy bình phương tối thiểu thường xuyên (có thích hợp trước)
• Phân loại KNN với chức năng mất 0-1
• SVM với một hạt nhân giới hạn và hằng số chính quy lớn
• SVM lề mềm
• Thuật toán entropy tương đối tối thiểu để phân loại
• Một phiên bản của thường xuyên đóng bao

Một mô phỏng thử nghiệm

Lặp lại thử nghiệm từ luồng trước đó ( xem tại đây ), bây giờ chúng tôi giới thiệu một tỷ lệ ngoại lệ nhất định trong tập dữ liệu. Đặc biệt:

• 97% dữ liệu có nhiễu đồng nhất$[-.5,.5]$
• 3% dữ liệu có nhiễu đồng nhất$[-20,20]$

Vì mô hình đa thức bậc không được chuẩn hóa, nó sẽ bị ảnh hưởng nặng nề bởi sự hiện diện của một vài ngoại lệ cho các tập dữ liệu nhỏ. Đối với các bộ dữ liệu lớn hơn hoặc khi có nhiều ngoại lệ hơn, hiệu ứng của chúng sẽ nhỏ hơn khi chúng có xu hướng hủy bỏ. Xem bên dưới cho hai mô hình cho 60 và 200 điểm dữ liệu.$3$

Thực hiện mô phỏng như trước đây và vẽ sơ đồ MSE trung bình và phương sai của MSE cho kết quả rất giống với Thí nghiệm 2 của bài báo Bengio & Grandvalet 2004 .

Mặt trái : không có ngoại lệ. Bên tay phải : 3% ngoại lệ.

(xem bài viết được liên kết để giải thích về hình cuối cùng)

Giải thích

Trích dẫn câu trả lời của Yves Grandvalet trên luồng khác:

Theo trực giác, [trong trường hợp thuật toán không ổn định], CV rời khỏi có thể bị mù với sự không ổn định tồn tại, nhưng có thể không được kích hoạt bằng cách thay đổi một điểm duy nhất trong dữ liệu đào tạo, điều này làm cho nó rất khác với việc nhận ra tập huấn luyện.

Trong thực tế, rất khó để mô phỏng sự gia tăng phương sai do LOOCV. Nó đòi hỏi một sự kết hợp đặc biệt của sự không ổn định, một số ngoại lệ nhưng không quá nhiều và một số lượng lớn các lần lặp. Có lẽ điều này được mong đợi vì hồi quy tuyến tính đã được chứng minh là khá ổn định. Một thử nghiệm thú vị sẽ là lặp lại điều này cho dữ liệu chiều cao hơn và thuật toán không ổn định hơn (ví dụ: cây quyết định)

Tôi sẽ đưa ra câu trả lời của mình trong ngữ cảnh của đoạn bạn trích dẫn:

Với K = N, công cụ ước tính xác thực chéo gần như không thiên vị cho lỗi dự đoán đúng (dự kiến), nhưng có thể có phương sai cao vì N "tập huấn luyện" rất giống nhau.

Công cụ ước tính CV của lỗi dự đoán đúng (dự kiến) dựa trên ví dụ về tập huấn luyện, vì vậy ở đây, kỳ vọng là trên các mẫu tập huấn luyện, khi tôi hiểu chính xác.

Vì vậy, những gì đoạn này liên quan đến "phương sai cao" sau đó nói rằng có sự khác biệt "cao" giữa lỗi dự kiến ​​và lỗi ước tính bằng CV (ở đây, trung bình trên các nếp gấp).

Điều này có ý nghĩa bởi vì mô hình phù hợp với một tập huấn luyện cụ thể và bởi vì tất cả các nếp gấp đào tạo rất giống nhau trong vòng loại bỏ. Tuy nhiên, trong khi các nếp gấp đào tạo rất giống nhau trong vòng CV, ước tính có thể khác đi rất nhiều nếu chúng ta trao đổi các mẫu đào tạo cho CV. Trong CV gấp, vì chúng tôi "đa dạng hóa" các nếp gấp đào tạo, chúng tôi có một số ảnh hưởng trung bình và trên các k-nếp gấp, các ước tính sau đó thay đổi ít hơn.

Hay nói cách khác, công cụ ước tính CV bỏ đi về cơ bản gần giống như một phương pháp giữ chỗ, bạn không xoay các nếp gấp và dựa vào ước tính lỗi của bạn trên một bộ xác thực. Một lần nữa, qua các ví dụ đào tạo, sẽ có sự chênh lệch cao so với ước tính từ k-Fold, trong đó bạn trung bình trên các nếp gấp bằng cách đào tạo các mô hình hơi đa dạng trong vòng k-gấp (nói cách khác, nếu bạn trao đổi các tập huấn luyện, các ước tính của lỗi thông qua k-Fold có thể sẽ không thay đổi nhiều như vậy).

CHỈNH SỬA:

Khi tôi đọc một số câu trả lời ở đây về xác thực chéo và internet nói chung, tôi nghĩ rằng có vẻ như có một sự nhầm lẫn nào đó mà chúng tôi đang đề cập đến. Tôi nghĩ rằng một số người đề cập đến một mô hình có phương sai cao (với ML nói về sự mất mát có thành phần phương sai thống trị) so với phương sai cao của công cụ ước tính CV gấp. Và, một bộ câu trả lời khác đề cập đến phương sai là phương sai mẫu liên quan đến các nếp gấp khi ai đó nói "k-Fold có phương sai cao". Vì vậy, tôi đề nghị phải cụ thể, bởi vì các câu trả lời là khác nhau trong cả hai trường hợp.

Chúng ta đã trải qua điều này trước đây - bạn đang trở nên quá toán học về một con ngựa chết. Xem bài viết kinh điển của Ron Kohavi (Stanford-Univ) về CV và tình huống khó xử sai lệch thiên vị ở đây . Khi bạn đọc xong, bạn sẽ không muốn thực hiện LOOCV và có thể sẽ bị thu hút vào CV gấp 10 lần và / hoặc CV bootstrap-bias.

Bạn cũng phải suy nghĩ về các bộ dữ liệu lớn, trong đó LOOCV quá tốn kém về mặt tính toán. Hiện tại, LOOCV không thực sự là một lựa chọn trong quy trình / đường ống công việc của hầu hết các nhóm.

Chính xác thì điều kiện "ổn định" này là gì? Nó có áp dụng cho các mô hình / thuật toán, bộ dữ liệu hoặc cả hai ở một mức độ nào đó không?

Trong vũ trụ của tất cả các hàm chi phí và trong vũ trụ của tất cả các bộ tính năng, tôi sẽ không cho rằng có một chỉ số "ổn định" tổng thể, bởi vì nó sẽ không thể chấp nhận được và sẽ quá dễ bị phá vỡ dưới một tập hợp vô cùng lớn điều kiện. Về cơ bản, là phù hợp khi các tham số df và / hoặc # lớn đến mức cần nhiều dữ liệu đào tạo hơn. Xu hướng cũng sẽ lớn hơn đối với , vì nhiều dữ liệu được sử dụng và phương sai sẽ bằng 0 một cách giả tạo, vì các bộ dữ liệu đào tạo quá giống nhau. Bạn cũng sẽ học được nhiều nhiễu hơn trong dữ liệu khi . k = n k = $k=n$$k=n$$k=n$

LREG như một bộ phân loại sẽ hoạt động khi dữ liệu có thể phân tách tuyến tính, nhưng trung bình độ lệch của nó sẽ quá cao, vì nhiều bộ dữ liệu không thể phân tách tuyến tính.

Có một cách trực quan để suy nghĩ về sự ổn định này?

Không theo quan điểm của tôi - vì không có quy tắc chung về sự ổn định.

Các ví dụ khác về các mô hình / thuật toán hoặc bộ dữ liệu ổn định và không ổn định là gì?

Đây là kết thúc mở và quá rộng, vì một số lượng lớn các câu trả lời có thể được đưa ra, điều này sẽ không hữu ích.

Có tương đối an toàn không khi cho rằng hầu hết các mô hình / thuật toán hoặc bộ dữ liệu là "ổn định" và do đó thường được chọn ở mức cao là khả thi về mặt tính toán?$K$

Không. Chỉ dựa vào giả định rằng bạn tin dữ liệu. Một ví dụ là Rừng ngẫu nhiên, mà thực sự không có . Mặc dù khoảng 37% dữ liệu sẽ được sử dụng để thử nghiệm (trung bình, 37% đối tượng không được chọn khi lấy mẫu thay thế), ví dụ, có 5.000 bộ dữ liệu khác nhau (bootstraps) được chia thành đào tạo / thử nghiệm khác nhau. Ví dụ của bạn lấy từ các giấy tờ giả định rằng mỗi tập dữ liệu được sử dụng là một nhận thức thực sự của dữ liệu - đó là một giả định sai lầm. $k$$k$

Với bootstrapping, quy tắc ổn định xung quanh là chấp nhận được, vì mẫu dữ liệu được sử dụng cho phương pháp CV đơn giản liên quan đến không phải là sự nhận thức thực sự về vũ trụ của tất cả dữ liệu mà mẫu được lấy. $k$$k$