Cách chọn trước trong ước lượng tham số Bayes

Tôi biết 3 phương pháp để thực hiện ước lượng tham số, phương pháp ML, MAP và Bayes. Và đối với cách tiếp cận MAP và Bayes, chúng ta cần chọn các linh mục cho các tham số, phải không?

Giả sử tôi có mô hình này , trong đó là các tham số, để thực hiện ước tính bằng MAP hoặc Bayes, tôi đọc trong cuốn sách rằng chúng ta nên chọn liên hợp trước , đó là xác suất chung của , phải không? $p(x|\alpha,\beta)$ $\alpha,\beta$ $p(\alpha,\beta)$ $\alpha,\beta$

Tôi có 2 câu hỏi:

Chúng ta có lựa chọn nào khác chọn trước không phải là liên hợp này không?
Chúng ta có thể chọn các mục sư cho và tương ứng như và , ngoài việc đặt chúng cùng nhau trong một liên kết không? $\alpha$ $\beta$ $p(\alpha)$ $p(\beta)$

bayesian estimation prior

— trái bơ
nguồn

Tùy thuộc vào phần mềm nào bạn sẽ sử dụng, các linh mục chắc chắn không phải liên hợp với chức năng khả năng ... trước hết, bạn nên đảm bảo rằng các linh mục của bạn đại diện cho niềm tin trước đây của bạn về việc phân phối các tham số

— Patrick Coulombe

Vì vậy, tôi chỉ có thể chọn linh mục tương ứng cho các tham số, phải không? HOẠT ĐỘNG Tôi chỉ cố gắng hiểu hồi quy tuyến tính Baysian, không có phần mềm cụ thể nào được xem xét

— bơ

Tra cứu trước khi khơi gợi , ví dụ ở đây

— Scortchi - Tái lập Monica

Câu trả lời:

Như đã nêu trong nhận xét, phân phối trước đại diện cho niềm tin trước về phân phối các tham số.

Khi niềm tin trước đó thực sự có sẵn, bạn có thể:

chuyển đổi chúng theo các khoảnh khắc (ví dụ: trung bình và phương sai) để phù hợp với phân phối chung cho các khoảnh khắc này (ví dụ: Gaussian nếu tham số của bạn nằm trên dòng thực, Gamma nếu nằm ở ). $R^+$
sử dụng sự hiểu biết trực quan của bạn về những niềm tin này để đề xuất phân phối trước và kiểm tra xem nó có thực sự phù hợp với mục đích của bạn không và nó không nhạy cảm với các lựa chọn tùy ý (thực hiện phân tích độ nhạy hoặc độ nhạy)

Khi không có niềm tin trước rõ ràng, bạn có thể:

lấy được (hoặc đơn giản là sử dụng nếu đã có sẵn, một nguồn tài nguyên tuyệt vời là http://www.stats.org.uk/priors/noninformative/YangBerger1998.pdf ) một Jeffreys (ví dụ: đồng phục cho tham số vị trí) hoặc tham chiếu trước (đặc biệt là trong trường hợp tham số đa biến).
đôi khi những lựa chọn như vậy là không thể hoặc khá khó để rút ra và trong trường hợp này, bạn có thể thử chọn một trong nhiều thông tin yếu "chung" trước (ví dụ phân phối co rút đồng đều cho các tham số tỷ lệ của mô hình phân cấp hoặc -pancer cho hồi quy gaussian) . $g$

Có nói rằng, không có hạn chế sử dụng một phần hoặc một trước độc lập ( Vs ). Để bổ sung, tôi sẽ nói rằng theo quan điểm khiêm tốn của tôi, có ba điều quan trọng cần quan tâm khi lựa chọn trước: $p(a,b)$ $p(a) \cdot p(b)$

lưu ý rằng hậu thế của bạn có thể tích hợp gần như ở mọi nơi (hoặc phù hợp), điều này luôn đúng nếu bạn sử dụng trước có thể tích hợp được (xem phần sau của Bayes có cần phải là một bản phân phối phù hợp không? để biết thêm chi tiết),
giới hạn sự hỗ trợ của bạn trước chỉ khi bạn rất tự tin vào giới hạn hỗ trợ (vì vậy hãy tránh làm điều đó).
và cuối cùng nhưng không kém phần quan trọng, hãy chắc chắn (hầu hết thời gian thử nghiệm) rằng lựa chọn trước của bạn có nghĩa là những gì bạn muốn bày tỏ. Theo tôi, nhiệm vụ này đôi khi còn quan trọng hơn. Không bao giờ quên, rằng khi thực hiện suy luận trước có nghĩa là không có gì, bạn phải xem xét hậu thế (đó là sự kết hợp của trước và khả năng).

— peuhp
nguồn

Cảm ơn bạn rất nhiều, bạn có thể vui lòng giới thiệu cho tôi một số công cụ hướng dẫn về cách thực hiện loại suy luận Bayes này không?

— bơ

@loganecolss Xin chào mừng, tôi đã bị mất một vài tháng trước và bài đăng này chỉ đơn giản là tóm tắt về việc tự học của tôi và tôi rất vui nếu nó có thể giúp đỡ người khác. Liên quan đến câu hỏi của bạn, bạn có ý nghĩa gì bởi "loại suy luận bayes" này?

— peuhp

Tôi cũng tự học máy học, tôi biết ML, nhưng cách tiếp cận ước lượng tham số này là mới đối với tôi, hy vọng bạn có thể chỉ cho tôi một số tài liệu để học ước lượng và suy luận bayes, ;-)

— bơ

@loganecolss, Đây là một bản tóm tắt tốt về suy luận MLE, MAP và Bayes. Và liên kết này đưa ra một bản tóm tắt tốt về cách kết hợp một suy luận trước Bayes cho phân phối nhị thức.

— Zhubarb

Một chi tiết nhỏ: Một ưu tiên thích hợp đại diện cho một tập hợp niềm tin nhất quán về các tham số. Họ không phải là niềm tin của bạn . Thật vậy, các mô hình thường có sức thuyết phục hơn khi họ là một số người khác.

— liên hợp chiến

Ngoài ra còn có Bayes theo kinh nghiệm. Ý tưởng là điều chỉnh trước dữ liệu:

{max}_{p (z)} \int p (D | z) p (z) d z

$\text{max}_{p(z)} \int p(\mathcal{D}|z)p(z) dz$

Mặc dù điều này có vẻ khó xử lúc đầu, nhưng thực sự có mối quan hệ với độ dài mô tả tối thiểu. Đây cũng là cách điển hình để ước tính các tham số kernel của các quy trình Gaussian.

— bayerj
nguồn

Để trả lời trực tiếp hai câu hỏi trên:

Bạn có những lựa chọn khác để chọn các linh mục không liên hợp khác với các linh mục liên hợp. Vấn đề là nếu bạn chọn các linh mục không liên hợp, bạn không thể đưa ra suy luận Bayes chính xác (nói một cách đơn giản, bạn không thể rút ra được một hậu thế gần gũi). Thay vào đó, bạn cần thực hiện suy luận gần đúng hoặc sử dụng các phương pháp lấy mẫu như lấy mẫu Gibbs, lấy mẫu từ chối, MCMC, v.v. để lấy được bạn sau. Vấn đề với các phương pháp lấy mẫu là bằng trực giác, nó giống như vẽ một bức tranh về con voi trong bóng tối bằng cách chạm vào nó lặp đi lặp lại ---- bạn có thể bị sai lệch và không đầy đủ. Lý do mọi người chọn không liên hợp trước là vì trong một khả năng nhất định, tùy chọn trước liên hợp là khá hạn chế, hoặc có thể nói, hầu hết là không liên hợp.
Vâng, bạn chắc chắn có thể. Nếu α và independent độc lập, đó là điều kiện lý tưởng, bạn có thể rút ra phân phối chung của chúng bằng p (α) p (β). Nếu chúng không độc lập, bạn có thể cần phải tìm ra xác suất có điều kiện và thực hiện tích phân để rút ra phân phối chung.

— tài năng
nguồn