Khi nào nên sử dụng nhiều mô hình để dự đoán?

Đây là một câu hỏi khá chung chung:

Tôi thường thấy rằng việc sử dụng nhiều mô hình khác nhau vượt trội hơn một mô hình khi cố gắng dự đoán một chuỗi thời gian ra khỏi mẫu. Có bất kỳ giấy tờ tốt chứng minh rằng sự kết hợp của các mô hình sẽ tốt hơn một mô hình duy nhất? Có cách thực hành tốt nhất nào xung quanh việc kết hợp nhiều mô hình không?

Một số tài liệu tham khảo:

• Hui Zoua, Yuhong Yang "Kết hợp các mô hình chuỗi thời gian để dự báo" Tạp chí dự báo quốc tế 20 (2004) 69 Thiêu 84

Đôi khi loại mô hình này được gọi là một bản hòa tấu. Ví dụ trang này cung cấp một cái nhìn tổng quan tốt đẹp về cách thức hoạt động. Ngoài ra các tài liệu tham khảo được đề cập có rất hữu ích.

Năm cuối cùng của cuộc thi Giải thưởng NetFlix (2009) dường như đã thay đổi mạnh mẽ giả định chung của toàn cộng đồng so với việc kết hợp nhiều thuật toán học tập.

Ví dụ, đào tạo chính thức của tôi (các khóa học đại học) và sau đó giám sát / cố vấn trong công việc đã dạy chúng tôi tránh kết hợp thuật toán trừ khi chúng tôi có lý do rõ ràng để làm như vậy - và "để cải thiện độ phân giải của thuật toán hiện tại của tôi", là ' t thực sự coi là một lý do tốt. (Những người khác có thể có trải nghiệm khác - tất nhiên tôi đang suy luận một quan điểm toàn cộng đồng chỉ dựa trên kinh nghiệm của riêng tôi, mặc dù kinh nghiệm của tôi về mã hóa các thuật toán ML hoạt động kém là đáng kể.)

Tuy nhiên, vẫn có một vài "mẫu" trong đó kết hợp các thuật toán theo cách này hay cách khác đã được chấp nhận và thực sự cải thiện hiệu suất. Đối với tôi, ví dụ thường gặp nhất liên quan đến một số thuật toán ML được định cấu hình ở chế độ máy (gán nhãn lớp cho từng điểm dữ liệu) và trong đó có nhiều hơn hai lớp (thường là nhiều hơn). Ví dụ, khi sử dụng thuật toán học có giám sát để giải quyết bốn lớp và chúng ta sẽ thấy sự phân tách tuyệt vời ngoại trừ giả sử Class III so với Class IV. Vì vậy, trong số sáu ranh giới quyết định đó, chỉ có một giải quyết dưới ngưỡng yêu cầu. Đặc biệt khi các lớp III và IV cùng nhau chiếm một phần trăm nhỏ của dữ liệu, thêm một thuật toán bổ sung được tối ưu hóa chỉ dựa trên độ phân giải của hai lớp đó, là một giải pháp khá phổ biến cho loại vấn đề phân tích này. (Thông thường, 'điểm mù' là một giới hạn vốn có của thuật toán chính - ví dụ: đó là một phân loại tuyến tính và ranh giới quyết định III / IV là phi tuyến tính.

Nói cách khác, khi chúng ta có một thuật toán đáng tin cậy phù hợp với môi trường xử lý (thường là truyền dữ liệu) và được thực hiện trong thông số ngoại trừ một điểm mù duy nhất khiến nó không thể giải quyết hai (hoặc nhiều) lớp được tính một phần nhỏ của dữ liệu, sau đó, tốt hơn hết là 'bắt vít' một thuật toán chuyên dụng khác để nắm bắt những gì thuật toán chính bị thiếu một cách có hệ thống.

Cuối cùng, về chủ đề này, tôi muốn giới thiệu rất nhiều Chương 17, Kết hợp nhiều người học , trong phần Giới thiệu về Machine Learning , 2d, bởi Ethem Alpaydin, MIT Press, 2010. Lưu ý rằng đây là phiên bản thứ hai được xuất bản vài tháng trước; phiên bản đầu tiên được xuất bản năm 2004 và tôi nghi ngờ nó có cùng độ bao phủ của chủ đề này. (Trên thực tế tôi đề nghị toàn bộ văn bản, nhưng chương đó nói riêng vì nó liên quan đến Câu hỏi của Shane.)

Trong 25 trang, tác giả tóm tắt có lẽ mọi sơ đồ kết hợp thuật toán ML có tiện ích đã được chứng minh trong tài liệu học thuật hoặc thực tiễn - ví dụ: đóng gói, tăng cường, hỗn hợp các chuyên gia, khái quát hóa xếp chồng, xếp tầng, bỏ phiếu, sửa lỗi, .. ..

Theo dõi phản ứng của Peter về các phương pháp tập hợp:

• Điều này được đề cập trong "Các yếu tố của học thống kê" (xem trang 288 chẳng hạn).
• Witten và Frank "Khai thác dữ liệu: Các công cụ và kỹ thuật máy học thực tế" trình bày phần này trong phần 7.5, bao gồm thảo luận về Đóng bao, Ngẫu nhiên, Tăng tốc, hồi quy phụ gia, hồi quy logistic phụ gia, cây tùy chọn, cây mô hình logistic và xếp chồng.
• Điều này được đề cập trong Chương 14 của Christopher M. Giám mục "Nhận dạng mẫu và học máy" , bao gồm Mô hình trung bình, Tăng tốc, Ủy ban, Mô hình dựa trên cây và Mô hình hỗn hợp có điều kiện.

Ví dụ ngoạn mục nhất là thử thách Netflix , đã thực sự thúc đẩy sự pha trộn phổ biến.

Đây là một câu trả lời ngoài lề trái, chỉ chạm vào phần "thực hành tốt nhất xung quanh việc kết hợp nhiều mô hình" trong câu hỏi của bạn. Về cơ bản, đây chính xác là luận điểm danh dự của tôi, ngoại trừ việc tôi đang xử lý các mô hình phức tạp, phi tuyến tính cao thể hiện sự hỗn loạn và tiếng ồn - mô hình khí hậu. Điều này không có khả năng áp dụng rộng rãi cho nhiều lĩnh vực, nhưng có thể hữu ích trong sinh thái học hoặc kinh tế lượng.

Cho đến gần đây trong cộng đồng người mẫu khí hậu, các mô hình phần lớn chỉ bị đập vỡ với nhau ở mức trung bình không có trọng số (thường là sau khi hiệu chỉnh sai lệch liên quan đến việc loại bỏ mô hình có nghĩa là một phần hoặc toàn bộ giai đoạn mẫu). Về cơ bản, đây là những gì IPCC đã làm cho báo cáo đánh giá thứ 4 (4AR) và các báo cáo trước đó.

Đây ít nhiều là một ví dụ về trường hợp " sự thật cộng với lỗi " của sự kết hợp đồng bộ, trong đó nó được ngầm định hoặc rõ ràng giả định rằng chuỗi quan sát (ví dụ: nhiệt độ toàn cầu, lượng mưa cục bộ, v.v.) là đúng và nếu bạn lấy đủ mẫu (ví dụ: mô hình chạy), tiếng ồn trong mô hình chạy sẽ hủy (xem (1)).

Gần đây, các phương pháp kết hợp các mô hình dựa trên trọng số hiệu suất đã được sử dụng. Bởi vì các mô hình khí hậu rất ồn ào và có rất nhiều biến số và tham số, nên cách duy nhất để đánh giá hiệu suất (mà tôi biết) là bằng cách lấy hiệp phương sai, hoặc lấy MSE giữa đầu ra mô hình và chuỗi thời gian quan sát được. Các mô hình sau đó có thể được kết hợp bằng cách cân trọng số trung bình dựa trên thước đo đó. Có một cái nhìn tổng quan về điều này trong (2).

Một giả định đằng sau phương pháp kết hợp mô phỏng này là giả định rằng các mô hình hoàn toàn độc lập - nếu một số phụ thuộc cao, chúng sẽ sai lệch trung bình. Giả định này khá hợp lý cho bộ dữ liệu được sử dụng cho 4AR ( CMIP3 , vì bộ dữ liệu này được tạo thành từ một vài mô hình chạy từ nhiều nhóm mô hình (mặt khác, mã được chia sẻ trong cộng đồng người mẫu, do đó vẫn có thể có một số phụ thuộc lẫn nhau Để có cái nhìn thú vị về điều này, hãy xem (3)). Bộ dữ liệu cho báo cáo đánh giá tiếp theo, CMIP5, không có thuộc tính hơi tình cờ này - một số nhóm mô hình sẽ gửi một vài lần chạy, trong khi một số sẽ gửi hàng trăm. Các tập hợp đến từ các đội khác nhau có thể được tạo ra bởi sự thay đổi điều kiện ban đầu, hoặc bằng cách thay đổi vật lý mô hình và tham số hóa. Ngoài ra, siêu tập hợp này không được lấy mẫu theo bất kỳ cách có hệ thống nào - chỉ là ai đã từng mang dữ liệu được chấp nhận (theo lý do). Điều này được biết đến trong lĩnh vực này như là một " tập hợp cơ hội ". Có một cơ hội công bằng rằng việc sử dụng một giá trị trung bình không có trọng số trên một bản hòa tấu như vậy sẽ mang đến cho bạn một số thành kiến ​​lớn đối với các mô hình có nhiều lần chạy hơn (vì mặc dù có hàng trăm lần chạy, có khả năng số lần chạy thực sự độc lập nhỏ hơn rất nhiều).

Giám sát viên của tôi có một bài báo đánh giá tại thời điểm này mô tả một quá trình kết hợp mô hình liên quan đến hiệu suất VÀ trọng số độc lập . Có một bản tóm tắt về hội thảo (4), tôi sẽ đăng liên kết đến bài báo khi nó được xuất bản (quá trình chậm, đừng nín thở). Về cơ bản, bài viết này mô tả một quá trình liên quan đến việc lấy hiệp phương sai của mô hình (mô hình quan sát) và giảm các mô hình có hiệp phương sai cao với tất cả các mô hình khác, (ví dụ: các mô hình có lỗi phụ thuộc cao). Phương sai lỗi mô hình cũng được tính toán và được sử dụng làm thành phần trọng số hiệu năng.

Cũng đáng lưu ý rằng mô hình khí hậu rõ ràng bị ảnh hưởng nặng nề bởi sự mơ hồ của mô hình số nói chung. Có một thứ gọi là "thử nghiệm cười" - nếu bạn kết thúc với một cuộc chạy mô hình ngụ ý rằng nhiệt độ trung bình toàn cầu sẽ là + 20 ° C vào năm 2050, bạn chỉ cần ném nó ra, bởi vì nó rõ ràng không liên quan đến thể chất. Rõ ràng loại thử nghiệm này là khá chủ quan. Tôi chưa yêu cầu nó, nhưng tôi hy vọng trong tương lai gần.

Đó là sự hiểu biết của tôi về sự kết hợp mô hình nhà nước trong lĩnh vực của tôi tại thời điểm này. Rõ ràng là tôi vẫn đang học, vì vậy nếu tôi nhấn vào bất cứ điều gì đặc biệt, tôi sẽ quay lại và cập nhật câu trả lời này.

(1) Tebaldi, C. & Knutti, R., 2007 Việc sử dụng quần thể đa mô hình trong các dự báo khí hậu xác suất. Các giao dịch triết học của Hiệp hội Hoàng gia A: Khoa học toán học, vật lý và kỹ thuật, 365 (1857), tr.2053 Phản2075.

(2) Knutti, R. và cộng sự, 2010. Hội nghị chuyên gia IPCC về đánh giá và kết hợp các dự báo khí hậu đa mô hình.

(3) Masson, D. & Knutti, R., 2011. Gia phả mô hình khí hậu. Công viên địa chất. Độ phân giải Lett, 38 (8), tr.

(4) Abramowitz, G. & Giám mục, C., 2010. Xác định và tính trọng số cho sự phụ thuộc mô hình trong dự đoán tổng thể. Trong bản tóm tắt cuộc họp mùa thu của AGU. tr. 07.