Chính xác thì mô hình Bayes là gì?

34

Tôi có thể gọi một mô hình trong đó Định lý Bayes được sử dụng là "mô hình Bayes" không? Tôi sợ một định nghĩa như vậy có thể quá rộng.

Vậy chính xác mô hình Bayes là gì?

machine-learning bayesian

— Đánh bạc Sibbs
nguồn

9

Một mô hình Bayes là một mô hình thống kê được tạo thành từ cặp trước x khả năng = sau đó x cận biên. Định lý Bayes có phần thứ yếu so với khái niệm trước.

— Tây An

18

Về bản chất, người ta suy luận dựa trên việc sử dụng định lý Bayes để có được phân phối sau cho một số lượng hoặc số lượng lợi ích từ một số mô hình (như giá trị tham số) dựa trên một số phân phối trước cho các tham số chưa biết có liên quan và khả năng từ mô hình.

tức là từ một mô hình phân phối của một số hình thức, , và trước , ai đó có thể tìm kiếm để có được những sau . $f(X_i|\mathbf{\theta})$ $p(\mathbf{\theta})$ $p(\mathbf{\theta}|\mathbf{X})$

Một ví dụ đơn giản về mô hình Bayes được thảo luận trong câu hỏi này , và trong các bình luận của câu hỏi này - hồi quy tuyến tính Bayes, đã thảo luận chi tiết hơn trong Wikipedia ở đây . Tìm kiếm lần lượt thảo luận về một số mô hình Bayes ở đây.

Nhưng có những điều khác người ta có thể cố gắng thực hiện với phân tích Bayes bên cạnh việc chỉ phù hợp với một mô hình - xem, ví dụ, lý thuyết quyết định Bayes.

— Glen_b -Reinstate Monica
nguồn

Trong hồi quy tuyến tính, là

đây tương đương với vector

? Nếu không, nó là gì?

θ

$\theta$

[β_{0}, β_{1}, . . ., β_{n}]

$[\beta_0, \beta_1, ..., \beta_n]$

— BCLC

1

@BCLC Nó thường sẽ bao gồm

là tốt.

σ

$\sigma$

— Glen_b -Reinstate Monica

1

@BCLC Bạn dường như bị nhầm lẫn thường xuyên và suy luận Bayes. Suy luận Bayes tập trung vào bất kỳ số lượng nào bạn quan tâm. Nếu bạn quan tâm đến các tham số (ví dụ suy luận về các hệ số cụ thể), ý tưởng sẽ là tìm kiếm các phân phối sau [tham số | dữ liệu]. Nếu bạn quan tâm đến hàm trung bình (

), thì bạn sẽ tìm phân phối sau cho hàm đó (tất nhiên là hàm của phân phối (đa biến) của

). Bạn có thể sử dụng OLS trong ước tính của mình, nhưng các tham số của hậu thế sẽ được thay đổi trước ...

μ_{Y} | X

$\mu_Y|X$

β

$\mathbb{\beta}$

— Glen_b -Reinstate Monica

1

... xem trang wikipedia về hồi quy Bayes và một số cuộc thảo luận ở đây trên CV

— Glen_b -Reinstate Monica

1

Tính mà đôi khi đi lên (cho dù bạn gọi nó là

hoặc

), vì nhiều lý do. Nhận xét trước đây của tôi không có bất kỳ cách nào mâu thuẫn với tính toán đó.

(hoặc tương đương

hoặc

) là một tham số, và bạn phải đối phó với nó cùng với các thông số khác. Tuy nhiên, trong khi nó sẽ là hiếm hoi mà bạn biết

; ví dụ nếu bạn đang thực hiện lấy mẫu Gibbs, điều kiện sẽ có liên quan. Nếu bạn chỉ muốn suy luận trên

, bạn muốn tích hợp

(hoặc

vv) ra từ

chứ không phải là tình trạng trên

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

β

$\beta$

σ

$\sigma$

σ^{2}

$\sigma^2$

θ | y

$\theta|y$

σ

$\sigma$ .

— Glen_b -Reinstate Monica

11

Một mô hình Bayes chỉ là một mô hình rút ra các suy luận của nó từ phân phối sau, tức là sử dụng phân phối trước và khả năng liên quan đến định lý của Bayes.

— Sycorax nói phục hồi Monica
nguồn

7

Tôi có thể gọi một mô hình trong đó Định lý Bayes được sử dụng là "mô hình Bayes" không?

Không

Tôi sợ một định nghĩa như vậy có thể quá rộng.

Bạn đúng rồi. Định lý Bayes là một mối quan hệ hợp pháp giữa xác suất sự kiện cận biên và xác suất có điều kiện. Nó giữ bất kể giải thích của bạn về xác suất.

Vậy chính xác mô hình Bayes là gì?

Nếu bạn đang sử dụng các khái niệm trước và sau ở bất cứ đâu trong giải trình bày hoặc giải thích của bạn, thì có khả năng bạn đang sử dụng mô hình Bayesian, nhưng đây không phải là quy tắc tuyệt đối, bởi vì các khái niệm này cũng được sử dụng trong các phương pháp không thuộc Bayes.

Theo nghĩa rộng hơn mặc dù bạn phải đăng ký giải thích xác suất Bayes như một niềm tin chủ quan. Định lý nhỏ này về Bayes đã được một số người mở rộng và kéo dài vào toàn bộ thế giới quan này và thậm chí, theo tôi, triết học . Nếu bạn thuộc về trại này thì bạn là Bayes. Bayes không biết điều này sẽ xảy ra với định lý của mình. Anh ấy sẽ kinh hoàng, tôi nghĩ thế.

— Aksakal
nguồn

4

Đây dường như là câu trả lời đầu tiên để giới thiệu điểm quan trọng được đưa ra trong dòng đầu tiên của nó: việc sử dụng đơn thuần Định lý Bayes không biến điều gì thành mô hình Bayes. Tôi muốn khuyến khích bạn đi xa hơn với suy nghĩ này. Bạn dường như lùi lại nơi bạn nói rằng "sử dụng các khái niệm trước và sau" tạo nên một mô hình Bayes. Không phải điều đó chỉ đơn giản là áp dụng lại Định lý Bayes sao? Nếu không, bạn có thể giải thích ý của bạn về "khái niệm" trong đoạn văn này không? Rốt cuộc, thống kê cổ điển (không phải Bayes) sử dụng các linh mục và hậu thế để chứng minh sự chấp nhận của nhiều thủ tục.

— whuber

@whuber, nó giống như một quy tắc đơn giản. Bất cứ khi nào tôi thấy "trước" trong bài báo, nó sẽ xuất hiện hoặc được cho là theo quan điểm của Bayes. Tôi sẽ làm rõ quan điểm của tôi mặc dù.

— Aksakal

5

Một mô hình thống kê có thể được xem như là một thủ tục / câu chuyện mô tả cách thức một số dữ liệu được đưa ra. Mô hình Bayes là mô hình thống kê trong đó bạn sử dụng xác suất để biểu thị tất cả độ không đảm bảo trong mô hình, cả độ không đảm bảo về đầu ra mà cả độ không đảm bảo về đầu vào (còn gọi là tham số) cho mô hình. Toàn bộ định lý trước / sau / Bayes về điều này, nhưng theo tôi, sử dụng xác suất cho tất cả mọi thứ là điều làm cho Bayesian (và thực sự là một từ tốt hơn có lẽ sẽ giống như mô hình xác suất ).

Điều đó có nghĩa là hầu hết các mô hình thống kê khác có thể được "đúc" thành mô hình Bayes bằng cách sửa đổi chúng thành sử dụng xác suất ở mọi nơi. Điều này đặc biệt đúng đối với các mô hình dựa trên khả năng tối đa, vì khả năng phù hợp mô hình tối đa là một tập hợp con nghiêm ngặt đối với mô hình Bayesian.

— Rasmus Bååth
nguồn

MLE được sử dụng và được phát triển bên ngoài mô hình Bayes, vì vậy nó không rõ ý của bạn là gì vì nó là "tập hợp nghiêm ngặt để phù hợp với mô hình Bayes".

— Aksakal

Từ quan điểm của Bayes, MLE là những gì bạn nhận được khi giả định các linh mục phẳng, phù hợp với mô hình và sử dụng cấu hình tham số có thể xảy ra nhất làm ước tính điểm. Cho dù đây là trường hợp đặc biệt của "triết lý thống kê" Bayesian tôi để người khác thảo luận, nhưng đó chắc chắn là trường hợp đặc biệt của mô hình Bayes phù hợp.

— Rasmus Bååth

Vấn đề với tuyên bố này là nó để lại ấn tượng rằng bạn cần phải đăng ký một số loại suy nghĩ Bayes để sử dụng MLE.

— Aksakal

1

Tôi không chắc ý của bạn là gì. IMO bạn không cần đăng ký tư duy Bayes khi sử dụng số liệu thống kê Bayes nhiều hơn bạn cần đăng ký suy nghĩ ma trận khi thực hiện đại số tuyến tính hoặc suy nghĩ Gaussian khi sử dụng phân phối bình thường. Tôi cũng không nói rằng MLE có được hiểu như là một tập hợp con của Bayesian mô hình phù hợp (mặc dù nó rơi khá tự nhiên với tôi).

— Rasmus Bååth

3

Câu hỏi của bạn là nhiều hơn về mặt ngữ nghĩa: khi nào tôi có thể gọi một mô hình "Bayesian"?

Rút ra kết luận từ bài báo xuất sắc này:

Fienberg, SE (2006). Khi nào suy luận Bayes trở thành "bayesian"? Phân tích Bayes, 1 (1): 1-40.

Có 2 câu trả lời:

Mô hình của bạn là Bayes đầu tiên nếu nó sử dụng quy tắc của Bayes (đó là "thuật toán").
Rộng hơn, nếu bạn suy ra (ẩn) nguyên nhân từ một mô hình tổng quát của hệ thống, thì bạn là Bayesian (đó là "chức năng").

Đáng ngạc nhiên, thuật ngữ "mô hình Bayes" được sử dụng trên tất cả các lĩnh vực chỉ ổn định trong khoảng những năm 60. Có rất nhiều điều để tìm hiểu về học máy chỉ bằng cách nhìn vào lịch sử của nó!

— meduz
nguồn

Bạn dường như chỉ đề cập đến một trong hai "câu trả lời". Có lẽ viết một cái gì đó về cả hai?

— Tim

cảm ơn vì ghi chú, tôi đã chỉnh sửa câu trả lời của mình để tách 2 phần trong câu.

— meduz