Các đảm bảo lý thuyết của đóng bao là gì


17

Tôi (khoảng) đã nghe rằng:

đóng bao là một kỹ thuật để giảm phương sai của thuật toán dự đoán / ước lượng / học tập.

Tuy nhiên, tôi chưa bao giờ thấy một bằng chứng toán học chính thức của tuyên bố này. Có ai biết tại sao điều này là đúng về mặt toán học? Nó dường như là một thực tế được chấp nhận / biết đến rộng rãi đến mức tôi mong đợi một tài liệu tham khảo trực tiếp về vấn đề này. Tôi sẽ ngạc nhiên nếu không có. Ngoài ra, có ai biết điều này có ảnh hưởng gì đến sự thiên vị không?

Có bất kỳ đảm bảo lý thuyết nào khác về cách tiếp cận đóng gói mà bất cứ ai biết và nghĩ là quan trọng và muốn chia sẻ nó?

Câu trả lời:


21

Trường hợp sử dụng chính cho đóng bao là giảm phương sai của các mô hình sai lệch thấp bằng cách gộp chúng lại với nhau. Điều này đã được nghiên cứu thực nghiệm trong bài viết mang tính bước ngoặt " Một so sánh thực nghiệm về thuật toán phân loại bỏ phiếu: Đóng bao, tăng cường và biến thể " của Bauer và Kohavi . Nó thường hoạt động như quảng cáo.

Tuy nhiên, trái với niềm tin phổ biến, đóng bao không được đảm bảo để giảm phương sai . Một giải thích gần đây hơn và (theo tôi) tốt hơn là việc đóng bao làm giảm ảnh hưởng của các điểm đòn bẩy. Điểm đòn bẩy là những điểm ảnh hưởng không tương xứng đến mô hình kết quả, chẳng hạn như các ngoại lệ trong hồi quy bình phương nhỏ nhất. Rất hiếm khi các điểm đòn bẩy ảnh hưởng tích cực đến các mô hình kết quả, trong trường hợp đó việc đóng bao làm giảm hiệu suất. Hãy xem " Đóng gói cân bằng ảnh hưởng " của Grandvalet .

Vì vậy, để cuối cùng trả lời câu hỏi của bạn: hiệu quả của việc đóng bao phần lớn phụ thuộc vào các điểm đòn bẩy. Rất ít đảm bảo về mặt lý thuyết tồn tại, ngoại trừ việc đóng bao tuyến tính làm tăng thời gian tính toán về kích thước túi! Điều đó nói rằng, nó vẫn là một kỹ thuật được sử dụng rộng rãi và rất mạnh mẽ. Khi học với tiếng ồn nhãn, ví dụ, đóng gói có thể tạo ra các phân loại mạnh mẽ hơn .

Rao và Tibshirani đã đưa ra một cách giải thích Bayes trong " Phương pháp out-of-bootstrap để lấy trung bình và lựa chọn mô hình " :

Theo nghĩa này, phân phối bootstrap đại diện cho một phân phối sau (không gần đúng), không thông tin cho thông số của chúng tôi. Nhưng phân phối bootstrap này thu được một cách dễ dàng - mà không phải chính thức chỉ định trước và không phải lấy mẫu từ phân phối sau. Do đó, chúng ta có thể nghĩ về việc phân phối bootstrap như một người đàn ông nghèo "Bayes sau.


1
Làm thế nào để giải thích 'điểm đòn bẩy' áp dụng cho cây, thường được đề nghị cho đóng bao? Trong khi rõ ràng các điểm đòn bẩy cao là gì cho hồi quy tuyến tính, những điểm này cho cây là gì?
DavidR 17/03/2015

tìm thấy một tài liệu tham khảo khác cho câu hỏi này: quora.com/, bạn nghĩ gì? điều này có mâu thuẫn với thực tế bạn nói rằng nó không làm giảm phương sai về mặt lý thuyết không?
Charlie Parker

Tôi thấy rằng wikipedia nói rằng đóng bao (hay còn gọi là tập hợp bootstrap) làm giảm phương sai. Nếu không có bằng chứng lý thuyết cho điều này, điều này có nghĩa là bài báo sai?
Charlie Parker

Trong hầu hết các trường hợp, đóng bao không có phương sai thấp hơn nhưng đó không phải là cơ chế thực tế của nó. Grandvalet đã chỉ ra các ví dụ trong đó nó làm tăng phương sai và minh họa rằng cơ chế này liên quan chặt chẽ hơn đến việc cân bằng ảnh hưởng của các điểm dữ liệu ảnh hưởng mạnh đến mô hình, chẳng hạn như các ngoại lệ trong hồi quy bình phương nhỏ nhất, trong hầu hết các trường hợp làm giảm phương sai.
Marc Claesen
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.