Các tham số so với các biến tiềm ẩn

Tôi đã hỏi về điều này trước đây và đã thực sự vật lộn với việc xác định điều gì tạo ra một tham số mô hình và điều gì làm cho nó trở thành một biến tiềm ẩn. Vì vậy, nhìn vào các chủ đề khác nhau về chủ đề này trên trang web này, sự khác biệt chính dường như là:

Các biến tiềm ẩn không được quan sát nhưng có phân phối xác suất liên quan với chúng vì chúng là các biến và tham số cũng không được quan sát và không có phân phối liên quan đến chúng mà tôi hiểu rằng đây là các hằng số và có một giá trị cố định nhưng không xác định mà chúng ta đang cố gắng tìm thấy. Ngoài ra, chúng ta có thể đặt các mục sư vào các tham số để thể hiện sự không chắc chắn của chúng ta về các tham số này mặc dù chỉ có một giá trị thực liên quan đến chúng hoặc ít nhất đó là những gì chúng ta giả định. Tôi hy vọng tôi chính xác cho đến nay?

Bây giờ, tôi đã xem xét ví dụ này cho hồi quy tuyến tính có trọng số Bayes từ một bài báo và thực sự đấu tranh để hiểu thế nào là tham số và biến là gì:

y_{Tôi} = = β^{T} x_{Tôi} + ε_{y_{Tôi}}

$y_i = \beta^T x_i + \epsilon_{y_i}$

Ở đây và được quan sát nhưng chỉ được coi là một biến tức là có phân phối liên quan đến nó. $x$ $y$ $y$

Bây giờ, các giả định mô hình là:

y ~ N (β^{T} x_{Tôi}, σ^{2} / w_{Tôi})

$y \sim N(\beta^Tx_i, \sigma^2/w_i)$

Vì vậy, phương sai của là trọng số. $y$

Ngoài ra còn có một bản phân phối trước trên và , đó là phân phối chuẩn và gamma tương ứng. $\beta$ $w$

Vì vậy, khả năng đăng nhập đầy đủ được đưa ra bởi:

đăng nhập p (y, w, β | x) = = Σ đăng nhập P (y_{Tôi} | w, β, x_{Tôi}) + đăng nhập P (β) + Σ đăng nhập P (w_{Tôi})

$\log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i)$

Bây giờ, như tôi hiểu nó cả và là các thông số mô hình. Tuy nhiên, trong bài báo họ cứ gọi chúng là các biến tiềm ẩn. Lý luận của tôi là và là cả một phần của sự phân bố xác suất của biến và họ là các thông số mô hình. Tuy nhiên, các tác giả coi chúng là các biến ngẫu nhiên tiềm ẩn. Đúng không? Nếu vậy, các tham số mô hình sẽ là gì? $\beta$ $w$ $\beta$ $w$ $y$

Bài viết có thể được tìm thấy ở đây ( http://www.jting.net/pub/2007/ting-ICRA2007.pdf ).

Bài viết là Phát hiện ngoại lệ tự động: Cách tiếp cận Bayes của Ting et al.

— Luca
nguồn

Nó có thể giúp liệt kê một trích dẫn vào bài báo (& có thể là một liên kết). Một phần của vấn đề là những gì chính xác là khác nhau b / t quan điểm của Thường xuyên & Bayes. Từ quan điểm Bayesian, một tham số không có một phân phối - nó không chỉ là một cái gì đó thêm vào để đại diện cho sự không chắc chắn.

— gung - Tái lập Monica

Tôi nghĩ rằng nó sẽ không công bằng vì mọi người sẽ nghĩ rằng tôi mong họ đọc bài báo mà không giải thích mọi thứ nhưng tôi đã đặt nó ngay bây giờ.

— Luca

Tại sao bạn không thể đặt ưu tiên cho một biến tiềm ẩn? Tôi là một người mới Bayes, nhưng có vẻ như bạn sẽ có thể làm điều đó.

— robin.datadrivers 24/2/2015

w

$w$

β

$\beta$

w

$w$

Cảm ơn, @Luca. Sẽ không tốt nếu bạn yêu cầu mọi người đọc bài báo, nhưng có nó ở đó cho bối cảnh là tốt. Tôi nghĩ bạn đã làm điều này đúng.

— gung - Tái lập Monica

$y$ $\beta$

Mặt khác, một tham số là cố định, ngay cả khi bạn không biết giá trị của nó. Chẳng hạn, Ước tính khả năng tối đa, cung cấp cho bạn giá trị rất có thể của tham số. Nhưng nó mang lại cho bạn một điểm chứ không phải phân phối đầy đủ vì những thứ cố định không có phân phối! (Bạn có thể đặt phân phối về mức độ chắc chắn của bạn về giá trị này hoặc trong phạm vi bạn coi giá trị này là bao nhiêu, nhưng điều này không giống với phân phối của chính giá trị, chỉ tồn tại nếu giá trị thực sự là ngẫu nhiên Biến đổi)

$y$ $\beta$ $w$ $y$ $\beta$ $w$ $y$

$\beta$ $w$

Trong câu này:

Các phương trình cập nhật này cần được chạy lặp đi lặp lại cho đến khi tất cả các tham số và khả năng nhật ký hoàn chỉnh hội tụ đến các giá trị ổn định

về lý thuyết họ nói về hai tham số, không phải là tham số ngẫu nhiên, vì trong EM đây là những gì bạn làm, tối ưu hóa các tham số.

— alberto
nguồn

Câu hỏi là về các biến tiềm ẩn .

— Tim

Đã sửa, tôi hy vọng nó rõ ràng hơn bây giờ.

— alberto