So sánh ước lượng khả năng tối đa (MLE) và Định lý Bayes

12

Trong định lý Bayes, , và từ cuốn sách tôi đang đọc, được gọi là có khả năng , nhưng tôi cho rằng đó chỉ là xác suất có điều kiện của cho , phải không?

p (y | x) = \frac{p (x | y) p (y)}{p (x)}

$p(y|x) = \frac{p(x|y)p(y)}{p(x)}$

p (x | y)

$p(x|y)$

x

$x$

y

$y$

Các tối đa ước tính khả năng cố gắng để tối đa hóa , phải không? Nếu vậy, tôi rất bối rối, bởi vì đều là biến ngẫu nhiên, phải không? Để tối đa hóa chỉ là để tìm hiểu các ? Một vấn đề nữa, nếu 2 biến ngẫu nhiên này độc lập, thì chỉ là , phải không? Sau đó tối đa hóa là tối đa hóa . $p(x|y)$ $x,y$ $p(x|y)$ $\hat y$ $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

Hoặc có thể, là một hàm của một số tham số , đó là và MLE cố gắng tìm có thể tối đa hóa ? Hoặc thậm chí thực sự là các tham số của mô hình, không phải là biến ngẫu nhiên, tối đa hóa khả năng là tìm ? $p(x|y)$ $\theta$ $p(x|y; \theta)$ $\theta$ $p(x|y)$ $y$ $\hat y$

CẬP NHẬT

Tôi là người mới trong học máy, và vấn đề này là một sự nhầm lẫn từ những thứ tôi đọc được từ một hướng dẫn học máy. Đây là một bộ dữ liệu được quan sát , các giá trị đích là và tôi cố gắng điều chỉnh mô hình trên tập dữ liệu này , vì vậy tôi giả sử rằng, với , có một dạng phân phối có tên tham số hóa bởi , đó là , và tôi cho rằng đây là xác suất sau , phải không? $\{x_1,x_2,...,x_n\}$ $\{y_1,y_2,...,y_n\}$ $x$ $y$ $W$ $\theta$ $p(y|x; \theta)$

Bây giờ để ước tính giá trị của , tôi sử dụng MLE. OK, đây là vấn đề của tôi, tôi nghĩ khả năng là , phải không? Tối đa hóa khả năng có nghĩa là tôi nên chọn đúng và ? $\theta$ $p(x|y;\theta)$ $\theta$ $y$

Nếu sự hiểu biết của tôi về khả năng là sai, xin vui lòng chỉ cho tôi cách đúng.

bayesian maximum-likelihood

— trái bơ
nguồn

Tôi nghĩ rằng sự nhầm lẫn là thế này: định lý của Bayes chỉ là sự thao túng các xác suất có điều kiện như bạn đưa ra khi bắt đầu câu hỏi của bạn. Các Bayesian Ước làm cho việc sử dụng định lý Bayes để làm cho ước tính tham số. Nó chỉ là trong phần sau, ước tính khả năng tối đa (MLE) và tham số theta, vv đi vào hoạt động.

— Zhubarb

@Berkan, tôi cũng thực sự cố gắng để tìm ra những gì khả năng là, cho

.

x, y, θ

$x,y,\theta$

— bơ

1

Tôi thấy, tôi muốn khuyên bạn nên xem bộ slide bài giảng giới thiệu tuyệt vời này trong ước tính tham số.

— Zhubarb

1

Một chủ đề tuyệt vời khác để đọc là Ước tính của Empirical Bayes. Chúng tôi vừa tìm hiểu về những người trong lớp của tôi :) biostat.jhsph.edu/~fdominic/teaching/bio656/labs/labs09/ù

— bdeonovic

16

Tôi nghĩ rằng sự hiểu lầm cốt lõi bắt nguồn từ những câu hỏi bạn hỏi trong nửa đầu câu hỏi của bạn. Tôi tiếp cận câu trả lời này khi các mô hình suy luận MLE và Bayes tương phản. Một cuộc thảo luận rất dễ tiếp cận về MLE có thể được tìm thấy trong chương 1 của Gary King, Thống nhất phương pháp chính trị. Phân tích dữ liệu Bayes của Gelman có thể cung cấp chi tiết về phía Bayes.

Trong định lý Bayes, và từ cuốn sách tôi đang đọc,được gọi là khả năng, nhưng tôi cho rằng đó chỉ là xác suất có điều kiện củacho, phải không?
$p (y | x) = \frac{p (x | y) p (y)}{p (x)}$ $p(y|x)=\frac{p(x|y)p(y)}{p(x)}$ $p(x|y)$ $x$ $y$

Khả năng là một xác suất có điều kiện. Đối với một Bayes, công thức này mô tả phân phối tham số cho dữ liệu và . Nhưng kể từ khi ký hiệu này không phản ánh ý định của bạn, từ đó trở đi tôi sẽ sử dụng ( , ) cho các thông số và cho dữ liệu của bạn. $y$ $x$ $p(y)$ $\theta$ $y$ $x$

Nhưng cập nhật của bạn chỉ ra rằng được quan sát từ một số phân phối . Nếu chúng ta đặt dữ liệu và các thông số của chúng tôi ở các vị trí thích hợp trong quy tắc Bayes, chúng tôi thấy rằng các tham số bổ sung không gây khó khăn cho Bayesians: $x$ $p(x|\theta,y)$

p (θ | x, y) = \frac{p (x, y | θ) p (θ)}{p (x, y)}

$p(\theta|x,y)=\frac{p(x,y|\theta)p(\theta)}{p(x,y)}$

Tôi tin rằng biểu hiện này là những gì bạn có sau khi cập nhật.

Ước tính khả năng tối đa cố gắng tối đa hóa , phải không? $p(x,y|\theta)$

Đúng. MLE thừa nhận rằng Nghĩa là, nó xử lý các hạn

p (x, y | θ) \propto p (θ | x, y)

$p(x,y|\theta) \propto p(\theta|x,y)$

là hằng số chưa biết (và không thể biết). Ngược lại, Bayesian xử lý suy luận

là một hằng số bình thường (do đó xác suất tổng / integrate để thống nhất) và

như là một phần quan trọng của thông tin: trước. Chúng ta có thể nghĩ

như một cách để phát sinh một hình phạt đối với quy trình tối ưu hóa cho việc "đi lang thang quá xa" khỏi khu vực mà chúng ta cho là hợp lý nhất.

\frac{p (θ, y)}{p (x)}

$\frac{p(\theta,y)}{p(x)}$

p (x)

$p(x)$

p (θ, y)

$p(\theta,y)$

p (θ, y)

$p(\theta,y)$

Nếu vậy, tôi rất bối rối, bởi vì là các biến ngẫu nhiên, phải không? Để tối đa hóa là chỉ để tìm ra ? $x,y,\theta$ $p(x,y|\theta)$ $\hat{\theta}$

Trong được giả định là một cố định số lượng chưa được biết nhưng có thể được suy ra, không một biến ngẫu nhiên. Xử lý suy luận Bayes như là một biến ngẫu nhiên. Suy luận Bayes đặt các hàm mật độ xác suất vào và lấy các hàm mật độ xác suất ra , thay vì tóm tắt điểm của mô hình, như trong MLE. Đó là, suy luận Bayes xem xét đầy đủ các giá trị tham số và xác suất của từng giá trị. MLE thừa nhận rằng là một bản tóm tắt đầy đủ các dữ liệu cho mô hình. $\hat{\theta}$ $\theta$ $\hat{\theta}$

— Sycorax nói phục hồi Monica
nguồn

1

Cảm ơn câu trả lời của bạn, tôi cập nhật bài viết của tôi, xin vui lòng xem cập nhật của tôi.

— bơ

Bản cập nhật này đã thay đổi hoàn toàn sự hiểu biết của tôi về câu hỏi. Ban đầu, tôi nghĩ bạn liên quan đến

như một tham số và

là dữ liệu của bạn. Bây giờ có vẻ như

là dữ liệu và bạn quan tâm đến việc xây dựng một mô hình mô tả mối quan hệ giữa

và

. Tôi sẽ sửa đổi phản ứng của mình khi tôi có thời gian.

y

$y$

x

$x$

(x, y)

$(x,y)$

x

$x$

y

$y$

— Sycorax nói Phục hồi Monica

+1 Đây vẫn là một câu trả lời tuyệt vời: Tôi hy vọng bạn giữ nó phần lớn nguyên vẹn ngay cả khi bạn sửa đổi nó để phù hợp với những thay đổi trong câu hỏi.

— whuber

Tôi đã cập nhật câu trả lời của tôi để phản ánh câu hỏi cập nhật của bạn. Tôi hy vọng những chi tiết này sẽ giúp. Tôi thực sự khuyên bạn nên tham khảo các tài liệu tham khảo mà tôi đề cập. Và tôi hy vọng @whuber vẫn chấp thuận. ;-)

— Sycorax nói Phục hồi lại

p (y | x)

$p(y|x)$

x, y

$x,y$

θ

$\theta$

3

$p(x|y)$ $y$

p (θ | x) = \frac{p (x | θ) p (θ)}{p (x)}

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

Hoặc thậm chí rõ ràng hơn (liên quan đến khái niệm khả năng):

p (θ | x) = \frac{L (θ; x) p (θ)}{p (x)}

$p(\theta|x) = \frac{L(\theta;x)p(\theta)}{p(x)}$

Để có một ví dụ cụ thể, hãy xem xét mô hình

X | θ \sim B i n o m i a l (θ) θ \sim B e t a (α, β)

$X|\theta \sim Binomial(\theta) \\ \theta \sim Beta(\alpha,\beta)$

— David Marx
nguồn

y

$y$

x

$x$

Y thường là một tham số trên pdf của X. Trong cài đặt thường xuyên, y thường là một giá trị cố định. Trong một thiết lập Bayes, Y tự nó là một biến ngẫu nhiên (như trong ví dụ tôi đã đưa ra). X | Y cũng có thể là một xác suất có điều kiện theo nghĩa của bạn, tôi đã cố gắng cung cấp cho bạn động lực đằng sau lý do tại sao số lượng đó được gọi là khả năng.

— David Marx

θ

$\theta$

X

$X$

Chỉ vì một cái gì đó là một biến ngẫu nhiên không có nghĩa nó không thể là một tham số. Chào mừng bạn đến với thế giới tuyệt vời của xác suất bayes :)

— David Marx

0

$p(x|y)$

$p(x|y)$ $x$ $y$

$p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

$p(x|y) = p(x)$ $p(x)$ $y$ $y$

$p(x|y)$ $\theta$ $p(x|y;\theta)$ $\theta$ $p(x|y)$ $\hat{y}$

$\theta$ $y$ $p(x|y;\theta)$ $\theta$

— Pat
nguồn

θ

$\theta$

x

$x$

y

$y$

θ

$\theta$

0

Từ tài liệu tham khảo STAN:

Nếu ưu tiên là đồng nhất, chế độ sau sẽ tương ứng với ước tính khả năng tối đa (MLE) của các tham số. Nếu trước đó không đồng nhất, chế độ sau đôi khi được gọi là ước tính tối đa (MAP) tối đa.

— Neerav
nguồn