Ví dụ về ước lượng posteriori tối đa

Tôi đã đọc về ước tính khả năng tối đa và tối đa ước tính hậu sinh và cho đến nay tôi đã gặp các ví dụ cụ thể chỉ với ước tính khả năng tối đa. Tôi đã tìm thấy một số ví dụ trừu tượng về ước lượng posteriori tối đa, nhưng chưa có gì cụ thể với các con số trên đó: S

Nó có thể rất áp đảo, chỉ hoạt động với các biến và hàm trừu tượng, và để không bị chìm trong sự trừu tượng này, thật tốt khi liên hệ mọi thứ với thế giới thực theo thời gian. Nhưng tất nhiên, đây chỉ là quan sát của tôi (và một số người khác) :)

Do đó, bất cứ ai cũng có thể cho tôi một ví dụ đơn giản, nhưng cụ thể về ước tính Maximum A Posteriori với các số trên đó? Điều đó sẽ giúp rất nhiều :)

Cảm ơn bạn!

Ban đầu tôi đã đăng câu hỏi này lên MSE, nhưng không thể có câu trả lời ở đó:

/math/449386/example-of-maximum-a-posteriori-estimation

Tôi đã làm theo các hướng dẫn được đưa ra ở đây trên bài đăng chéo:

http://meta.math.stackexchange.com/questions/5028/how-do-i-move-a-post-to-another-forum-like-cv-stats

Ví dụ 1

Một trường hợp điển hình là gắn thẻ trong bối cảnh xử lý ngôn ngữ tự nhiên. Xem ở đây để giải thích chi tiết. Ý tưởng về cơ bản là để có thể xác định danh mục từ vựng của một từ trong câu (nó có phải là danh từ, tính từ, ...). Ý tưởng cơ bản là bạn có một mô hình ngôn ngữ của bạn bao gồm một mô hình markov ẩn ( HMM ). Trong mô hình này, các trạng thái ẩn tương ứng với các loại từ vựng và trạng thái quan sát với các từ thực tế.

Mô hình đồ họa tương ứng có dạng,

trong đó là chuỗi các từ trong câu và là chuỗi của các thẻ.$\mathbf{y} = (y1,...,y_{N})$$\mathbf{x} = (x1,...,x_{N})$

Sau khi được đào tạo, mục tiêu là tìm ra chuỗi chính xác các danh mục từ vựng tương ứng với một câu đầu vào nhất định. Điều này được xây dựng như là tìm chuỗi các thẻ tương thích nhất / rất có thể đã được tạo bởi mô hình ngôn ngữ, nghĩa là

$$f(y) = \mathbf{argmax}_{\mathbf{x} \in Y}p(\mathbf{x})p(\mathbf{y}|\mathbf{x})$$

Ví dụ thứ 2

Trên thực tế, một ví dụ tốt hơn sẽ là hồi quy. Không chỉ bởi vì nó dễ hiểu hơn, mà còn bởi vì làm cho sự khác biệt giữa khả năng tối đa (ML) và tối đa một posteriori (MAP) rõ ràng.

Về cơ bản, vấn đề là sự phù hợp của một số chức năng được đưa ra bởi các mẫu với sự kết hợp tuyến tính của một tập hợp các hàm cơ bản, trong đó là các hàm cơ bản và là các trọng số. Người ta thường cho rằng các mẫu bị hỏng bởi nhiễu Gaussian. Do đó, nếu chúng ta giả sử rằng hàm mục tiêu có thể được viết chính xác như một tổ hợp tuyến tính như vậy, thì chúng ta có,$t$

$$y(\mathbf{x};\mathbf{w}) = \sum_{i}w_{i}\phi_{i}(\mathbf{x})$$ $\phi(\mathbf{x})$$\mathbf{w}$

$$t = y(\mathbf{x};\mathbf{w}) + \epsilon$$

vì vậy chúng ta có Giải pháp ML của vấn đề này tương đương với việc giảm thiểu,$p(t|\mathbf{w}) = \mathcal{N}(t|y(\mathbf{x};\mathbf{w}))$

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2}$$

trong đó mang lại giải pháp lỗi vuông ít nổi tiếng nhất. Bây giờ, ML bị ảnh hưởng bởi tiếng ồn và trong một số trường hợp không ổn định. MAP cho phép bạn chọn giải pháp tốt hơn bằng cách đặt các ràng buộc về trọng lượng. Ví dụ, một trường hợp điển hình là hồi quy sườn, trong đó bạn yêu cầu các trọng số phải có một chỉ tiêu càng nhỏ càng tốt,

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2} + \lambda \sum_{k}w_{k}^{2}$$

tương đương với việc đặt Gaussian trước các trọng số . Trong tất cả, các trọng lượng ước tính là$\mathcal{N}(\mathbf{w}|\mathbf{0},\lambda^{-1}\mathbf{I})$

$$\mathbf{w} = \mathbf{argmin}_{w}p(\mathbf{w};\lambda)p(t|\mathbf{w};\phi)$$

Lưu ý rằng trong MAP, các trọng số không phải là tham số như trong ML, mà là các biến ngẫu nhiên. Tuy nhiên, cả ML và MAP đều là các công cụ ước tính điểm (chúng trả về một tập các trọng số tối ưu, thay vì phân phối các trọng số tối ưu).