Khoảng dự đoán dựa trên xác nhận chéo (CV)

Trong sách giáo khoa và các bài giảng trên youtube, tôi đã học được rất nhiều về các mô hình lặp như tăng tốc, nhưng tôi chưa bao giờ thấy bất cứ điều gì về việc tạo ra một khoảng dự đoán.

Xác nhận chéo được sử dụng cho các mục sau:

Lựa chọn mô hình : Hãy thử các mô hình khác nhau và chọn mô hình phù hợp nhất. Trong trường hợp tăng, sử dụng CV để chọn tham số điều chỉnh.
Đánh giá mô hình : Ước tính hiệu suất của mô hình đã chọn

Một số tham số rất quan trọng trong đánh giá mô hình, một trong số đó là lỗi dự đoán dự kiến. Xác nhận chéo cung cấp một ước tính tốt về lỗi dự đoán, cũng được mô tả trong cuốn sách "Các yếu tố của học thống kê".

Nhưng làm thế nào để chúng ta sử dụng lỗi dự đoán dự kiến để xây dựng một khoảng dự đoán?

Và nếu bạn dự đoán giá của một ngôi nhà chẳng hạn, khoảng dự đoán sẽ cao hơn cho một ngôi nhà 500.000 € so với một ngôi nhà 200.000 €. Làm thế nào để chúng tôi ước tính các khoảng dự đoán này bằng cách sử dụng xác nhận chéo?

cross-validation boosting prediction-interval

— Kasper
nguồn

Đây là một bước đi theo hướng tốt: blog.datadive.net/prediction-inter đạn

— Kasper

Tôi nghĩ rằng những gì bạn đang tìm kiếm là dự đoán phù hợp. Xem bài viết của Shafer và Vovk jmlr.csail.mit.edu/ con / volume9 / safer08a / safer08a.pdf .

— Alexey Zaytsev

Bạn có thể giải thích lý do tại sao bạn tin rằng khoảng dự đoán sẽ là "cao hơn" cho một ngôi nhà 500k so với một ngôi nhà 200k? Đó có phải là một hàm của số lượng mẫu? Bạn có thể giả sử các mẫu được rút iid từ tổng phân phối không?

— justanotherbrain

Sau khi đọc lại câu hỏi này, tôi có thể cung cấp cho bạn các ràng buộc sau:

Giả sử các mẫu được rút ra iid, sự phân bố là cố định, và sự mất mát được bao bọc bởi , sau đó với xác suất ít nhất , $B$ $1 - \delta$

E [E (h)] \leq \hat{E} (h) + B \sqrt{\frac{đăng nhập \frac{1}{δ}}{2 m}}

$\mathbb{E}[\mathcal{E}(h)] \leq \hat{\mathcal{E}}(h) + B\sqrt{\frac{\log \frac{1}{\delta}}{2m}}$

nơi là kích thước mẫu, và là sự tự tin. Các ràng buộc giữ tầm thường bởi sự bất bình đẳng của McDiarmid. $m$ $1-\delta$

là kích thước mẫu, là lỗi tổng quát, và là lỗi thử nghiệm cho giả thuyết. $m$ $\mathbb{E}[\mathcal{E}(h)]$ $\hat{\mathcal{E}}(h)$

Vui lòng không chỉ báo cáo lỗi xác thực chéo cũng như lỗi kiểm tra, những lỗi này nói chung là vô nghĩa vì chúng chỉ là ước tính điểm.

Bài cũ để ghi lại:

Tôi không chắc chắn rằng tôi hoàn toàn hiểu câu hỏi của bạn, nhưng tôi sẽ đâm vào nó.

Đầu tiên, tôi không chắc chắn làm thế nào bạn sẽ xác định một khoảng dự đoán cho lựa chọn mô hình, vì theo tôi hiểu, các khoảng dự đoán đưa ra một số giả định phân phối. Thay vào đó, bạn có thể rút ra các bất đẳng thức tập trung, về cơ bản ràng buộc một biến ngẫu nhiên bởi phương sai của nó đối với một số xác suất. Bất bình đẳng tập trung được sử dụng thông qua học máy, bao gồm cả lý thuyết nâng cao để tăng cường. Trong trường hợp này, bạn muốn ràng buộc lỗi tổng quát hóa (lỗi nói chung, các điểm bạn chưa thấy) bởi lỗi thực nghiệm (lỗi của bạn trên tập kiểm tra) cộng với một số thuật ngữ phức tạp và thuật ngữ liên quan đến phương sai.

Bây giờ tôi cần phải xua tan một sự hiểu lầm về xác nhận chéo là cực kỳ phổ biến. Xác thực chéo sẽ chỉ cung cấp cho bạn một ước tính không thiên vị về lỗi dự kiến của một mô hình CHO MỘT KÍCH THƯỚC MẪU CỐ ĐỊNH. Bằng chứng cho điều này chỉ hoạt động cho giao thức rời khỏi. Điều này thực sự khá yếu, vì nó không cung cấp cho bạn thông tin nào về phương sai. Mặt khác, xác nhận chéo sẽ trả về một mô hình gần với giải pháp giảm thiểu rủi ro cấu trúc, đây là giải pháp tốt nhất về mặt lý thuyết. Bạn có thể tìm thấy bằng chứng trong phần phụ lục tại đây: http://www.cns.nyu.edu/~rabadi/resource/scat-150519.pdf

Vậy làm thế nào để rút ra một khái quát ràng buộc? (Hãy nhớ một ràng buộc khái quát hóa về cơ bản là một khoảng dự đoán về lỗi tổng quát hóa cho một mô hình cụ thể). Vâng, các giới hạn là thuật toán cụ thể. Thật không may, chỉ có một cuốn sách giáo khoa đặt giới hạn cho tất cả các thuật toán thường được sử dụng trong học máy (bao gồm cả tăng tốc). Cuốn sách là Những nền tảng của Machine Learning (2012) của Mohri, Rostamizadeh và Talwalkar. Đối với các slide bài giảng bao trùm tài liệu, bạn có thể tìm thấy chúng trên trang web của Mohri: http://www.cs.nyu.edu/~mohri/ml14/

Mặc dù Yếu tố học tập thống kê là một cuốn sách quan trọng và có phần hữu ích, nhưng nó không nghiêm ngặt và nó bỏ qua nhiều chi tiết kỹ thuật rất quan trọng liên quan đến các thuật toán và hoàn toàn bỏ qua bất kỳ giới hạn khái quát nào. Các nền tảng của Machine Learning là cuốn sách toàn diện nhất cho máy học (điều này có ý nghĩa khi thấy nó được viết bởi một số thứ tốt nhất trong lĩnh vực này). Tuy nhiên, sách giáo khoa là tiên tiến, vì vậy chỉ cần cẩn thận các chi tiết kỹ thuật.

Có thể tìm thấy khái quát hóa để tăng cường (có bằng chứng) tại đây: http://www.cs.nyu.edu/~mohri/mls/lecture_6.pdf

Tôi hy vọng đó là những gợi ý đủ để trả lời câu hỏi của bạn. Tôi do dự về việc đưa ra một câu trả lời hoàn chỉnh bởi vì sẽ mất khoảng 50 trang để xem qua tất cả các chi tiết cần thiết, chứ đừng nói đến các cuộc thảo luận sơ bộ ...

Chúc may mắn!

— chỉ cần điều trị
nguồn

Vì vậy, nếu tôi hiểu rõ, điều này đưa ra giới hạn trên cho lỗi tổng quát hóa cho bất kỳ lượng tử nào, trên toàn bộ phân phối (dựa trên một số giả định). Tuy nhiên tôi không hiểu câu của bạn "Vui lòng không báo cáo lỗi xác thực chéo cũng như lỗi kiểm tra". Bạn có nghĩa là hai biện pháp này là vô ích hoặc chúng chỉ vô dụng để cố gắng tìm một khoảng dự đoán?

— LouisBBBB

@LouisBBBB CV lỗi và lỗi kiểm tra là loại giống như báo cáo một ý nghĩa mẫu. Thông thường, việc báo cáo mẫu có nghĩa là không có khoảng tin cậy vì mỗi lần tôi chạy thử nghiệm, tôi sẽ nhận được một kết quả khác nhau. Tôi nói vô nghĩa, nhưng có lẽ "vô dụng" là tốt hơn ... Người ta có thể lập luận rằng có một ý nghĩa nào đó trong ước tính điểm (nghĩa là định nghĩa). Nhưng nói chung, ước tính điểm là "vô dụng" theo nghĩa là chúng không đặc trưng cho việc phân phối lỗi theo "cách hữu ích". "Hữu ích" trong bối cảnh đưa ra quyết định.

— justanotherbrain

Tôi nghĩ tôi hiểu những gì bạn nói. Vì vậy, bạn thích phân tích phân phối lỗi thay vì trung bình. Và nếu tôi quay trở lại câu hỏi, Kasper muốn ước tính khoảng thời gian dự đoán "mỗi điểm". Câu trả lời của bạn là giới hạn trên toàn cầu cho độ dài khoảng dự đoán (hoặc một cái gì đó gần), đúng không? Vì vậy, bạn có biết một cách để có được một giới hạn trên địa phương?

— LouisBBBB

Ah - cảm ơn đã làm rõ. Tôi nghĩ rằng tôi đã hiểu nhầm câu hỏi của @ Kasper và có rất nhiều câu hỏi tiếp theo. Cảm ơn đã chỉ ra điều này, tôi sẽ thực hiện một số hoạt động đào.

— justanotherbrain