Sự khác biệt giữa Khả năng tối đa hóa có điều kiện (Nhật ký) hoặc Khả năng chung (Nhật ký) trong khi ước tính các tham số của mô hình là gì?

Hãy xem xét một phản ứng y và ma trận dữ liệu X . Giả sử tôi đang tạo một mô hình của biểu mẫu -

y ~ g (X, )$\theta$

(g () có thể là bất kỳ chức năng nào của X và )$\theta$

Bây giờ, để ước tính bằng phương pháp Khả năng tối đa (ML), tôi có thể tiếp tục với ML có điều kiện (giả sử tôi biết dạng mật độ có điều kiện f (y | X) ) hoặc với ML chung (giả sử tôi biết dạng khớp mật độ f (y, X) hoặc tương đương, f (X | y) * f (y) )$\theta$

Tôi đã tự hỏi nếu có bất kỳ cân nhắc nào trong việc tiếp tục với một trong hai phương pháp trên ngoài việc giả định về mật độ. Ngoài ra, có bất kỳ trường hợp nào (các loại dữ liệu cụ thể) trong đó một phương thức áp đảo hầu hết thời gian không?

Nó phụ thuộc vào những gì bạn muốn làm với mô hình của bạn sau này.

Các mô hình chung cố gắng dự đoán toàn bộ phân phối trên và . Nó có một số thuộc tính hữu ích:$X$$y$

• Phát hiện ngoại vi. Các mẫu rất không giống với mẫu đào tạo của bạn có thể được xác định vì chúng sẽ có xác suất cận biên thấp. Một mô hình có điều kiện sẽ không nhất thiết phải là bale để nói với bạn điều này.
• Đôi khi nó dễ dàng hơn để tối ưu hóa. Nếu mô hình của bạn là mô hình hỗn hợp gaussian, có nhiều cách được chứng minh bằng tài liệu phù hợp với mật độ khớp mà bạn có thể cắm vào (tối đa hóa kỳ vọng, các vịnh biến thiên), nhưng mọi thứ trở nên phức tạp hơn khi bạn muốn huấn luyện nó một cách có điều kiện.
• Tùy thuộc vào mô hình , việc đào tạo có thể có khả năng song song bằng cách tận dụng các độc lập có điều kiện và bạn cũng có thể tránh việc phải đào tạo lại sau này nếu có dữ liệu mới. EG nếu mỗi phân phối biên được tham số riêng và bạn quan sát một mẫu mới , thì phân phối cận biên duy nhất bạn cần giữ lại là . Các phân phối biên khác không bị ảnh hưởng. Khách sạn này ít phổ biến hơn với các mô hình có điều kiện.$f(X|y)$$(X=x_1,y=y_1)$$f(X|y=y_1)$$f(X|y=y_2), f(X|y=y_3), \ldots$
• Tôi nhớ rằng đã đọc một bài báo chỉ ra các mô hình chung có một số thuộc tính tốt khác trong trường hợp có rất nhiều dữ liệu, nhưng không thể nhớ chính xác yêu cầu hoặc tìm thấy nó trong thư mục lớn của các bài báo thú vị. Nếu tôi tìm thấy nó sau này tôi sẽ đưa vào một tài liệu tham khảo.

Các mô hình có điều kiện tuy nhiên cũng có một số tính chất thú vị

• Họ có thể làm việc thực sự tốt.
• Một số người đã nỗ lực tìm kiếm các chiến lược tối ưu hóa hợp lý (ví dụ: máy vectơ hỗ trợ)
• Phân phối có điều kiện rất thường là 'đơn giản' để mô hình hóa hơn khớp - để mô hình hóa cái sau, bạn phải mô hình hóa cái trước cũng như mô hình hóa phân phối biên. Nếu bạn chỉ quan tâm đến việc có được các dự đoán chính xác về giá trị của một nhất định , việc tập trung năng lực mô hình của bạn vào việc đại diện cho điều này là điều hợp lý hơn.$y$$X$