Vì vậy, tôi đã tự hỏi làm thế nào để một người, ví dụ, có thể tối ưu hóa tốt nhất mô hình mà họ đang cố gắng xây dựng khi đối mặt với các vấn đề được đưa ra bởi độ lệch cao hoặc phương sai cao. Bây giờ, tất nhiên, bạn có thể chơi với tham số chính quy để đi đến kết thúc thỏa mãn, nhưng tôi đã tự hỏi liệu có thể làm điều này mà không cần dựa vào chính quy.
Nếu b là công cụ ước tính sai lệch của một mô hình và v của phương sai của nó, thì việc cố gắng giảm thiểu b * v có hợp lý không?
Câu trả lời:
Có rất nhiều cách mà sự thiên vị và phương sai có thể được giảm thiểu và mặc dù phổ biến nói rằng nó không phải luôn luôn là một sự đánh đổi.
Hai lý do chính cho sự thiên vị cao là không đủ năng lực mô hình và thiếu hụt vì giai đoạn đào tạo chưa hoàn thành. Ví dụ: nếu bạn có một vấn đề rất phức tạp cần giải quyết (ví dụ như nhận dạng hình ảnh) và bạn sử dụng một mô hình có công suất thấp (ví dụ hồi quy tuyến tính) thì mô hình này sẽ có độ lệch cao do mô hình không thể nắm bắt được độ phức tạp của vấn đề.
Lý do chính cho phương sai cao là quá mức trên tập huấn luyện.
Điều đó đang được nói có nhiều cách để giảm cả sai lệch và phương sai trên mô hình ML. Ví dụ, cách dễ nhất để đạt được điều này là nhận thêm dữ liệu (trong một số trường hợp thậm chí trợ giúp dữ liệu tổng hợp).
Những gì chúng ta có xu hướng làm trong thực tế là:
Đầu tiên, chúng tôi tăng công suất của mô hình để giảm phương sai trên tập huấn luyện càng nhiều càng tốt. Nói cách khác, chúng tôi muốn làm cho mô hình phù hợp hơn (thậm chí mất 0 trên tập huấn luyện). Điều này được thực hiện bởi vì chúng tôi muốn đảm bảo mô hình có khả năng hiểu đủ dữ liệu.
Sau đó, chúng tôi cố gắng để giảm sự thiên vị . Điều này được thực hiện thông qua chính quy hóa ( dừng sớm , hình phạt định mức , bỏ học , v.v.)