Trên sức mạnh của người Viking, những người học yếu

Tôi có một số câu hỏi liên quan chặt chẽ liên quan đến những người học yếu trong việc học tập (ví dụ như thúc đẩy).

1. Điều này nghe có vẻ ngu ngốc, nhưng lợi ích của việc sử dụng yếu so với người học mạnh là gì? (ví dụ tại sao không tăng cường với các phương pháp học tập "mạnh mẽ"?)
2. Có một số loại sức mạnh "tối ưu" cho những người học yếu (ví dụ như trong khi giữ tất cả các tham số đồng bộ khác cố định)? Có một "điểm ngọt" khi nói đến sức mạnh của họ?
3. Làm thế nào chúng ta có thể đo lường sức mạnh của một người học yếu đối với phương pháp tập hợp kết quả. Làm thế nào để chúng ta đo lường một cách định lượng những lợi ích cận biên của việc sử dụng một bản hòa tấu?
4. Làm thế nào để chúng ta so sánh một số thuật toán học tập yếu để quyết định sử dụng thuật toán nào cho một phương pháp tập hợp nhất định?
5. Nếu một phương pháp tập hợp nhất định giúp phân loại yếu hơn so với phương pháp mạnh, làm thế nào để chúng ta nói một trình phân loại nhất định đã "quá mạnh" để mang lại bất kỳ lợi ích đáng kể nào khi tăng với nó?

Điều này có thể nhiều hơn trong tinh thần đóng bao, nhưng tuy nhiên:

• Nếu bạn thực sự có một người học mạnh mẽ, không cần phải cải thiện nó bằng bất kỳ công cụ nào.
• Tôi sẽ nói ... không liên quan. Trong pha trộn và đóng gói một cách tầm thường, trong việc tăng cường phân loại quá mạnh có thể dẫn đến một số vi phạm trong hội tụ (nghĩa là một dự đoán may mắn có thể thực hiện lần lặp tiếp theo để dự đoán tiếng ồn thuần túy và do đó làm giảm hiệu suất trong quá trình lặp lại.

• Một lần nữa, đây không phải là vấn đề thực sự. Cốt lõi của những phương pháp đó là

  1. buộc các phân loại một phần nhìn sâu hơn vào vấn đề.
  2. tham gia dự đoán của họ để giảm nhiễu và khuếch đại tín hiệu.

  1) cần một số chú ý trong việc tăng cường (tức là chương trình tăng cường tốt, ứng xử tốt với người học một phần - nhưng điều này chủ yếu được đánh giá bằng các thí nghiệm trên toàn bộ tăng), 2) trong việc đóng gói và pha trộn (chủ yếu là làm thế nào để đảm bảo thiếu sự tương quan giữa người học và đừng bỏ qua quá trình hòa tấu). Miễn là điều này ổn, độ chính xác của phân loại một phần là vấn đề thứ ba.

Đầu tiên, các khái niệm "yếu" và "mạnh" chỉ được định nghĩa yếu. Theo quan điểm của tôi, chúng phải được xác định liên quan đến trình phân loại Bayes tối ưu, là mục tiêu của bất kỳ thuật toán đào tạo nào. Với suy nghĩ này, câu trả lời của tôi cho ba trong số các điểm như sau.

1. Tính toán như tôi thấy. Hầu hết những người học yếu mà tôi biết là tính toán nhanh (và nếu không thì không đáng để xem xét). Một điểm quan trọng trong việc học tập chính là chúng ta có thể kết hợp đơn giản và nhanh chóng, nhưng không tốt lắm, người học và cải thiện tỷ lệ lỗi. Nếu chúng ta sử dụng những người học mạnh hơn (và đòi hỏi nhiều tính toán hơn), căn phòng để cải tiến trở nên nhỏ hơn nhưng chi phí tính toán trở nên lớn hơn, điều này khiến cho việc sử dụng các phương pháp tập hợp trở nên ít thú vị hơn. Hơn nữa, một người học mạnh mẽ duy nhất có thể dễ dàng để giải thích. Tuy nhiên, cái gì yếu và cái gì mạnh đều phụ thuộc vào vấn đề và tốc độ Bay tối ưu mà chúng ta cố gắng đạt được. Do đó, nếu một người học thường được coi là mạnh vẫn dành chỗ cho những cải tiến khi tăng nó và tăng thì khả thi về mặt tính toán, thì hãy tăng ...
2. Điều này sẽ phụ thuộc vào các tiêu chí bạn sử dụng để đo lường "tối ưu". Về tỷ lệ lỗi tôi sẽ nói không (Tôi hoan nghênh mọi sửa đổi nếu người khác có trải nghiệm khác). Về tốc độ, có thể, nhưng tôi sẽ tưởng tượng rằng điều này phụ thuộc rất nhiều vào vấn đề. Tôi không biết bất kỳ tài liệu nào đề cập đến điều này, xin lỗi.
3. ?
4. Xác nhận chéo, xác nhận chéo, xác nhận chéo. Giống như bất kỳ phương pháp so sánh nào khác để đào tạo với mục tiêu đưa ra dự đoán, chúng tôi cần các ước tính không thiên vị về lỗi tổng quát hóa để so sánh, có thể đạt được bằng cách đặt một bộ dữ liệu thử nghiệm hoặc xấp xỉ bằng cách xác thực chéo.