Mô hình sáng tạo và phân biệt đối xử (trong bối cảnh Bayes)

Sự khác biệt giữa các mô hình khái quát và phân biệt đối xử (phân biệt đối xử) (trong bối cảnh học tập và suy luận Bayes) là gì?

và những gì nó liên quan đến dự đoán, lý thuyết quyết định hoặc học tập không giám sát?

Cả hai đều được sử dụng trong học tập có giám sát trong đó bạn muốn học một quy tắc ánh xạ đầu vào x thành đầu ra y, đưa ra một số ví dụ đào tạo có dạng . Một mô hình thế hệ (ví dụ, Bayes ngây thơ) mô hình rõ ràng phân phối xác suất chung p ( x , y ) và sau đó sử dụng quy tắc Bayes để tính p ( y | x ) . Mặt khác, một mô hình phân biệt đối xử (ví dụ: hồi quy logistic) trực tiếp mô hình p ( y | x ) .$\{(x_i,y_i)\}$$p(x,y)$$p(y|x)$$p(y|x)$

Một số người cho rằng mô hình phân biệt đối xử tốt hơn theo nghĩa là mô hình trực tiếp mô hình số lượng bạn quan tâm , vì vậy bạn không phải dành những nỗ lực mô hình hóa của mình cho đầu vào x (bạn cần tính p ( x | y ) cũng như trong một mô hình thế hệ). Tuy nhiên, mô hình thế hệ có những ưu điểm riêng như khả năng xử lý dữ liệu bị thiếu, v.v ... Để so sánh, bạn có thể xem bài viết này: Về phân loại phân biệt so với phân loại tạo: So sánh hồi quy logistic và Bayes ngây thơ$(y)$$p(x|y)$

Có thể có trường hợp khi một mô hình tốt hơn mô hình kia (ví dụ: mô hình phân biệt đối xử thường có xu hướng làm tốt hơn nếu bạn có nhiều dữ liệu; mô hình thế hệ có thể tốt hơn nếu bạn có thêm một số dữ liệu không được gắn nhãn). Trong thực tế, có những mô hình hybird cũng cố gắng mang lại những điều tốt nhất của cả hai thế giới. Xem bài viết này để biết ví dụ: Nguyên tắc lai của các mô hình phân biệt và phân biệt đối xử

Một bổ sung cho câu trả lời trên:

Vì phân biệt đối xử chỉ quan tâm đến P (Y | X), trong khi thế hệ quan tâm P (X, Y) và P (X) cùng một lúc, để dự đoán tốt P (Y | X), mô hình thế hệ có mức độ tự do ít hơn trong mô hình so với mô hình phân biệt đối xử. Vì vậy, mô hình thế hệ mạnh mẽ hơn , ít bị quá mức trong khi phân biệt đối xử là cách khác.

Điều đó giải thích câu trả lời trên

Có thể có trường hợp khi một mô hình tốt hơn mô hình kia (ví dụ: mô hình phân biệt đối xử thường có xu hướng làm tốt hơn nếu bạn có nhiều dữ liệu; mô hình thế hệ có thể tốt hơn nếu bạn có thêm một số dữ liệu không được gắn nhãn).