Không có nghĩa là gì

Có phải việc sử dụng "variational" luôn đề cập đến tối ưu hóa thông qua suy luận đa dạng?

Ví dụ:

• "Bộ mã hóa tự động biến đổi"
• "Phương pháp Bayesian"
• "Nhóm tái chuẩn hóa biến thể"

Nó có nghĩa là sử dụng suy luận đa dạng (ít nhất là cho hai cái đầu tiên).

Nói tóm lại, đây là một phương pháp để ước tính khả năng tối đa khi mật độ xác suất phức tạp (và do đó MLE khó).

Nó sử dụng Evidence Lower Bound (ELBO) làm proxy cho ML:

$log(p(x)) \geq \mathbb{E}_q[log(p, Z)] - \mathbb{E}_q[log(q(Z))]$

Trong đó là phân phối đơn giản hơn trên các biến ẩn (ký hiệu là ) - ví dụ: bộ biến đổi tự động biến đổi sử dụng phân phối bình thường trên đầu ra của bộ mã hóa.$q$$Z$

Tên 'variational' rất có thể xuất phát từ thực tế là nó tìm kiếm phân phối tối ưu hóa ELBO và thiết lập này giống như tính toán các biến thể , một lĩnh vực nghiên cứu tối ưu hóa các chức năng (ví dụ: các vấn đề như: đưa ra một gia đình các đường cong trong 2D giữa hai điểm, tìm một điểm có độ dài nhỏ nhất).$q$

Có một hướng dẫn hay về suy luận đa dạng của David Blei mà bạn có thể kiểm tra nếu bạn muốn mô tả cụ thể hơn.

BIÊN TẬP:

Trên thực tế những gì tôi mô tả là một loại VI: nói chung bạn có thể sử dụng các phân kỳ khác nhau (loại tôi mô tả tương ứng với việc sử dụng phân kỳ ). Để biết chi tiết, xem bài viết này , phần 5.2 (VI với các phân kỳ thay thế).$KL(q, p)$