Các kỹ thuật thúc đẩy có sử dụng biểu quyết như bất kỳ phương pháp hòa tấu nào khác không?

Chúng ta có thể khái quát tất cả các phương pháp tập hợp bằng cách sử dụng bỏ phiếu không? Các phương pháp thúc đẩy cũng sử dụng bỏ phiếu để đưa những người học yếu vào mô hình cuối cùng?

Hiểu biết của tôi về kỹ thuật:

• Tăng cường: Liên tục thêm vào người học yếu để tăng các điểm dữ liệu không được phân loại chính xác.
• Kỹ thuật tập hợp: Sử dụng nhiều người học để có được một dự đoán tốt hơn so với từ một mình. Điều này được giải thích trong wikipedia.

Tăng cường nói chung có thể được hiểu là bỏ phiếu (có trọng số)

Trong trường hợp thúc đẩy, một trong những nhà phát minh của nó đưa ra câu trả lời khẳng định trong phần giới thiệu này về AdaBoost (nhấn mạnh của tôi):

Các thức hoặc kết hợp giả thuyết tính toán dấu hiệu của một sự kết hợp có trọng số giả thuyết yếu này tương đương với nói rằng được tính như một đa số phiếu có trọng số các giả thuyết yếu trong đó mỗi cái được gán trọng số . (Trong chương này, chúng tôi sử dụng thuật ngữ Giả thuyết giả định và phân loại trực tiếp có thể hoán đổi cho nhau.)F ( x ) = T ∑ t = 1 α t h t ( x ) H h t α $H$

$$F(x) = \sum_{t=1}^T\alpha_th_t(x)$$ $H$ $h_t$$\alpha_t$

Vì vậy, có, mô hình cuối cùng được trả về là một cuộc bỏ phiếu có trọng số của tất cả những người học yếu được đào tạo để lặp lại. Tương tự như vậy, bạn sẽ tìm thấy đoạn trích này trên Wikipedia về việc tăng cường nói chung:

Mặc dù việc tăng tốc không bị hạn chế về mặt thuật toán, hầu hết các thuật toán tăng cường bao gồm việc học lặp lại các phân loại yếu liên quan đến phân phối và thêm chúng vào một phân loại mạnh cuối cùng. Khi chúng được thêm vào, chúng thường có trọng số theo một cách nào đó thường liên quan đến độ chính xác của người học yếu.

Cũng lưu ý rằng trong đó các thuật toán tăng cường ban đầu đã sử dụng "đa số". Khái niệm bỏ phiếu khá vững chắc trong việc thúc đẩy: Nguyên tắc hướng dẫn của nó là cải thiện một bản hòa tấu ở mỗi lần lặp bằng cách thêm một cử tri mới, sau đó quyết định cân nặng bao nhiêu cho mỗi phiếu.

$m$$h_m$$\gamma_m$$h_m$

Mở rộng cho tất cả các phương thức tập hợp chạy vào phản mẫu

Như nó là, một số người sẽ thấy rằng ngay cả khái niệm trọng số cũng kéo dài ẩn dụ bỏ phiếu. Khi xem xét liệu có nên mở rộng trực giác này cho tất cả các phương pháp học tập chung hay không , hãy xem xét đoạn trích này:

Tập hợp kết hợp nhiều giả thuyết để tạo thành một giả thuyết (hy vọng) tốt hơn. Thuật ngữ tập hợp thường được dành riêng cho các phương pháp tạo ra nhiều giả thuyết sử dụng cùng một người học cơ sở.

Và cái này trong ví dụ về phương pháp xếp chồng :

Xếp chồng (đôi khi được gọi là khái quát hóa xếp chồng) liên quan đến việc đào tạo một thuật toán học tập để kết hợp các dự đoán của một số thuật toán học tập khác. Đầu tiên, tất cả các thuật toán khác được đào tạo bằng cách sử dụng dữ liệu có sẵn, sau đó thuật toán kết hợp được đào tạo để đưa ra dự đoán cuối cùng sử dụng tất cả các dự đoán của các thuật toán khác làm đầu vào bổ sung. Nếu sử dụng thuật toán kết hợp tùy ý, thì về mặt lý thuyết có thể biểu diễn bất kỳ kỹ thuật tập hợp nào được mô tả trong bài viết này, mặc dù trong thực tế, mô hình hồi quy logistic một lớp thường được sử dụng làm công cụ kết hợp.

Nếu bạn đang xác định các phương thức tập hợp để bao gồm các phương thức xếp chồng với một bộ kết hợp tùy ý, bạn có thể xây dựng các phương thức mà theo quan điểm của tôi, sẽ kéo dài khái niệm bỏ phiếu vượt quá giới hạn của nó. Thật khó để thấy làm thế nào một tập hợp những người học yếu kết hợp thông qua cây quyết định hoặc mạng lưới thần kinh có thể được xem là "biểu quyết". (Bỏ qua một bên câu hỏi khó khi phương pháp đó có thể thực sự hữu ích.)

Một số giới thiệu mô tả các bản hòa tấu và bỏ phiếu là đồng nghĩa; Tôi không đủ quen thuộc với các tài liệu gần đây về các phương pháp này để nói rằng các thuật ngữ này thường được áp dụng gần đây như thế nào, nhưng tôi hy vọng câu trả lời này đưa ra ý tưởng về khái niệm bỏ phiếu kéo dài đến đâu.

Tăng cường khác với đóng bao (bỏ phiếu). Tôi không thấy một cách để diễn giải việc tăng cường là "bỏ phiếu" (xem phần chỉnh sửa của tôi để biết thêm chi tiết).

• Bỏ phiếu (đặc biệt là đa số phiếu) thường có nghĩa là quyết định kết hợp từ các phân loại tuần "riêng biệt / ít tương quan".

• Để thúc đẩy, chúng tôi đang xây dựng một phân loại trên một phân loại khác. Vì vậy, họ không phải là "đồng nghiệp riêng biệt" mà là một người "yếu hơn người khác".

Câu trả lời của tôi ở đây giúp thúc đẩy phá vỡ bởi các lần lặp.

Làm thế nào để cơ sở tuyến tính cơ học hoạt động trong việc thúc đẩy? Và làm thế nào nó hoạt động trong thư viện xgboost?

Ví dụ này đang cố gắng xấp xỉ một hàm bậc hai bằng cách tăng cường gốc quyết định.

• Hai lô đầu tiên là sự thật nền tảng và mô hình thúc đẩy sau nhiều lần lặp lại. Chúng là những đường viền. Trục X và Y là hai tính năng và giá trị hàm được thể hiện bằng màu.

• Sau đó, tôi đang hiển thị 4 lần lặp đầu tiên. Bạn có thể thấy chúng tôi không lấy trung bình / biểu quyết 4 mô hình, nhưng nâng cao mô hình qua mỗi lần lặp.

Sau khi thấy một câu trả lời khác, tôi cảm thấy câu trả lời cho câu hỏi này phụ thuộc vào cách chúng ta định nghĩa "bỏ phiếu". Chúng ta có coi tổng số có trọng số là bỏ phiếu không? Nếu có, thì tôi nghĩ chúng ta vẫn có thể nói việc tăng cường có thể được khái quát bằng bỏ phiếu.