Tại sao tôi phải là Bayes khi mô hình của tôi sai?

Chỉnh sửa: Tôi đã thêm một ví dụ đơn giản: suy luận về giá trị trung bình của $X_i$ . Tôi cũng đã làm rõ một chút tại sao các khoảng tin cậy không khớp với các khoảng tin cậy là xấu.

Tôi, một người Bayes khá sùng đạo, đang ở giữa một cuộc khủng hoảng về đức tin.

Vấn đề của tôi là như sau. Giả sử rằng tôi muốn phân tích một số dữ liệu IID . Những gì tôi sẽ làm là:$X_i$

• đầu tiên, đề xuất một mô hình có điều kiện:

  $$p(X|\theta)$$

• Sau đó, chọn ưu tiên trên : p ( θ $\theta$

  $$p(\theta)$$

• Cuối cùng, áp dụng quy tắc của Bayes, tính toán sau: (hoặc một số phép tính gần đúng với nó nếu không thể tính toán được) và trả lời tất cả các câu hỏi tôi có về$p(\theta | X_1 \dots X_n )$$\theta$

Đây là một cách tiếp cận hợp lý: nếu mô hình thực sự của dữ liệu thực sự là "bên trong" điều kiện của tôi (nó tương ứng với một số giá trị ), thì tôi có thể gọi lý thuyết quyết định thống kê để nói rằng phương pháp của tôi được chấp nhận (xem Robert "Sự lựa chọn Bayes" để biết chi tiết; "Tất cả các số liệu thống kê" cũng cung cấp một tài khoản rõ ràng trong chương liên quan).θ $X_i$$\theta_0$

Tuy nhiên, như mọi người đều biết, giả sử rằng mô hình của tôi là chính xác thì khá kiêu ngạo: tại sao thiên nhiên phải nằm gọn trong hộp của các mô hình mà tôi đã xem xét? Thực tế hơn nhiều khi giả định rằng mô hình thực của dữ liệu khác với cho tất cả các giá trị của . Đây thường được gọi là mô hình "sai chính tả".p ( X | θ ) $p_{true}(X)$$p(X|\theta)$$\theta$

Vấn đề của tôi là, trong trường hợp sai chính tả thực tế hơn này, tôi không có bất kỳ lý lẽ tốt nào để trở thành Bayesian (tức là: tính toán phân phối sau) so với chỉ đơn giản là tính toán Công cụ ước tính khả năng tối đa (MLE):

Thật vậy, theo Kleijn, vd Vaart (2012) , trong trường hợp sai chính tả, phân phối sau:

• hội tụ dưới dạng với phân phối dirac tập trung tại mộtq M $n\rightarrow \infty$$\hat \theta_{ML}$

• không có phương sai chính xác (trừ khi hai giá trị chỉ xảy ra giống nhau) để đảm bảo rằng khoảng tin cậy của khoảng tin cậy khớp sau cho . (Lưu ý rằng, mặc dù khoảng tin cậy rõ ràng là điều mà người Bayes không quan tâm quá mức, nhưng về mặt chất lượng này có nghĩa là phân phối sau về bản chất là sai, vì nó ngụ ý rằng khoảng tin cậy của nó không có phạm vi bảo hiểm chính xác)$\theta$

Do đó, chúng tôi đang trả phí bảo hiểm tính toán (suy luận Bayes, nói chung, đắt hơn MLE) vì không có thuộc tính bổ sung

Vì vậy, cuối cùng, câu hỏi của tôi : có bất kỳ đối số nào, dù là lý thuyết hay thực nghiệm, cho việc sử dụng suy luận Bayes so với phương án MLE đơn giản hơn khi mô hình bị sai?

(Vì tôi biết rằng các câu hỏi của tôi thường không rõ ràng, vui lòng cho tôi biết nếu bạn không hiểu điều gì đó: Tôi sẽ cố gắng viết lại nó)

Chỉnh sửa: hãy xem xét một ví dụ đơn giản: suy ra giá trị trung bình của theo mô hình Gaussian (với phương sai đã biết để đơn giản hóa hơn nữa). Chúng tôi xem xét một Gaussian trước: chúng tôi biểu thị giá trị trung bình trước, phương sai nghịch đảo của trước. Đặt là giá trị trung bình theo kinh nghiệm của . Cuối cùng, lưu ý: . σ L 0 β 0 ˉ X X i L = ( β 0 μ 0 + $X_i$$\sigma$$\mu_0$$\beta_0$$\bar X$$X_i$$\mu = (\beta_0 \mu_0 + \frac{n}{\sigma^2} \bar X) / (\beta_0 + \frac{n}{\sigma^2} )$

Phân phối sau là:

Trong trường hợp được chỉ định chính xác (khi thực sự có phân phối Gaussian), hậu thế này có các thuộc tính đẹp sau đây$X_i$

• Nếu được tạo từ một mô hình phân cấp trong đó giá trị trung bình được chia sẻ của chúng được chọn từ phân phối trước, thì khoảng tin cậy sau có độ bao phủ chính xác. Có điều kiện trên dữ liệu, xác suất ở bất kỳ khoảng nào đều bằng với xác suất mà hậu thế quy định cho khoảng này$X_i$$\theta$

• Ngay cả khi điều trước không đúng, các khoảng tin cậy có phạm vi bảo hiểm chính xác trong giới hạn trong đó ảnh hưởng trước đó đối với hậu thế sẽ biến mất$n\rightarrow \infty$

• phía sau có các đặc tính thường xuyên tốt: bất kỳ công cụ ước lượng Bayes nào được xây dựng từ phía sau đều được đảm bảo là có thể chấp nhận được, trung bình sau là một công cụ ước tính hiệu quả (theo nghĩa Cramer-Rao) của các khoảng tin cậy, không đáng tin cậy, là không có triệu chứng, khoảng tin cậy.

Trong trường hợp sai chính tả, hầu hết các tính chất này không được đảm bảo bởi lý thuyết. Để khắc phục các ý tưởng, hãy giả sử rằng mô hình thực sự cho là chúng thay vào đó là các bản phân phối của Sinh viên. Thuộc tính duy nhất mà chúng tôi có thể đảm bảo (Kleijn et al) là phân phối sau tập trung vào giá trị trung bình thực của trong giới hạn . Nói chung, tất cả các thuộc tính bảo hiểm sẽ biến mất. Tồi tệ hơn, nói chung, chúng ta có thể đảm bảo rằng, trong giới hạn đó, các thuộc tính bảo hiểm sai về cơ bản: phân phối sau sẽ quy định xác suất sai cho các vùng không gian khác nhau.X i n → $X_i$$X_i$$n \rightarrow \infty$

Tôi xem xét phương pháp Bayes khi tập dữ liệu của tôi không phải là tất cả những gì được biết về chủ đề này và muốn bằng cách nào đó kết hợp kiến ​​thức ngoại sinh đó vào dự báo của tôi.

Chẳng hạn, khách hàng của tôi muốn dự báo về các khoản vay mặc định trong danh mục đầu tư của họ. Họ có 100 khoản vay với một vài năm dữ liệu lịch sử hàng quý. Có một vài sự cố xảy ra (trả chậm) và chỉ một vài mặc định. Nếu tôi cố gắng ước tính mô hình sống sót trên tập dữ liệu này, nó sẽ có rất ít dữ liệu để ước tính và quá nhiều sự không chắc chắn để dự báo.

Mặt khác, các nhà quản lý danh mục đầu tư là những người có kinh nghiệm, một số người trong số họ có thể đã dành hàng thập kỷ để quản lý mối quan hệ với người vay. Họ có những ý tưởng xung quanh mức giá mặc định sẽ như thế nào. Vì vậy, họ có khả năng đến với các linh mục hợp lý. Lưu ý, không phải các linh mục có thuộc tính toán học tốt và trông hấp dẫn về mặt trí tuệ đối với tôi . Tôi sẽ trò chuyện với họ và rút kinh nghiệm và kiến ​​thức của họ dưới dạng những linh mục đó.

Bây giờ, khung Bayes sẽ cung cấp cho tôi cơ học để kết hôn với kiến ​​thức ngoại sinh dưới dạng linh mục với dữ liệu, và có được hậu thế vượt trội hơn cả phán đoán định tính thuần túy và dự báo theo định hướng dữ liệu thuần túy, theo ý kiến ​​của tôi. Đây không phải là một triết lý và tôi không phải là người Bayes. Tôi chỉ đang sử dụng các công cụ Bayes để kết hợp nhất quán kiến ​​thức chuyên môn vào việc ước tính dựa trên dữ liệu.

Một câu hỏi rất thú vị ... có thể không có câu trả lời (nhưng điều đó không làm cho nó bớt thú vị hơn!)

Một vài suy nghĩ (và nhiều liên kết đến các mục blog của tôi!) Về meme đó rằng tất cả các mô hình đều sai :

1. Trong khi mô hình giả thực sự là hầu như luôn và irremediably sai , nó vẫn làm cho tinh thần để hành động một cách hiệu quả hay chặt chẽ liên quan đến mô hình này nếu điều này là tốt nhất người ta có thể làm. Suy luận kết quả tạo ra một đánh giá về mô hình chính thức là "gần nhất" với mô hình tạo dữ liệu thực tế (nếu có);
2. Có những cách tiếp cận Bayes có thể làm mà không cần mô hình , một ví dụ gần đây nhất là các bài báo của Bissiri et al. (với ý kiến ​​của tôi ) và bởi Watson và Holmes (mà tôi đã thảo luận với Judith Rousseau );
3. Theo cách kết nối, tồn tại cả một nhánh thống kê Bayes liên quan đến suy luận mở M ;
4. Và một hướng khác mà tôi rất thích là cách tiếp cận SafeBayes của Peter Grünwald , người đã tính đến lỗi chính tả mô hình để thay thế khả năng bằng một phiên bản giảm cấp được thể hiện như một sức mạnh của khả năng ban đầu.
5. Bài đọc gần đây của Gelman và Hennig đề cập đến vấn đề này, mặc dù theo cách thức bao vây (và tôi đã thêm một số bình luận trên blog của mình ). Tôi đoán bạn có thể thu thập tài liệu cho một cuộc thảo luận từ các mục về câu hỏi của bạn.
6. Theo một nghĩa nào đó, Bayes nên ít quan tâm nhất trong số các nhà thống kê và người điều hành về khía cạnh này vì mô hình lấy mẫu sẽ được coi là một trong một số giả định trước và kết quả là có điều kiện hoặc liên quan đến tất cả các giả định trước đó.

Chỉnh sửa: Đã thêm tài liệu tham khảo vào bài viết này trong phần thân, theo yêu cầu của OP.

Tôi đang đưa ra một câu trả lời như một Bayesian thực nghiệm ngây thơ ở đây.

Đầu tiên, phân phối sau cho phép bạn thực hiện các tính toán mà bạn đơn giản không thể thực hiện với MLE đơn giản. Trường hợp đơn giản nhất là ngày hôm sau là ngày mai . Suy luận Bayes đương nhiên cho phép cập nhật tuần tự, hoặc nhiều hơn trong sự kết hợp trực tuyến hoặc trì hoãn của nhiều nguồn thông tin (kết hợp trước đó chỉ là một ví dụ trong sách giáo khoa của sự kết hợp đó). Lý thuyết quyết định Bayes với chức năng mất không cần thiết là một ví dụ khác. Tôi không biết phải làm gì khác.

Thứ hai, với câu trả lời này, tôi sẽ cố gắng và lập luận rằng câu thần chú rằng lượng hóa độ không chắc chắn nói chung tốt hơn không có sự không chắc chắn thực sự là một câu hỏi thực nghiệm, vì các định lý (như bạn đã đề cập, và theo như tôi biết) không bảo đảm.

Tối ưu hóa như một mô hình đồ chơi của nỗ lực khoa học

Một miền mà tôi cảm thấy hoàn toàn nắm bắt được sự phức tạp của vấn đề là rất thiết thực, thẳng thắn nhất, tối ưu hóa của một hộp đen chức năng . Chúng tôi cho rằng chúng tôi liên tục có thể truy vấn một điểm x ∈ X và nhận được một sự quan sát có thể ồn ào y = f ( x ) + ε , với ε ~ N ( 0 , σ 2 ) . Mục tiêu của chúng tôi là đến càng gần càng tốt với x ∗ = arg min $f: \mathcal{X} \subset \mathbb{R}^D \rightarrow \mathbb{R}$$x \in \mathcal{X}$$y = f(x) + \varepsilon$$\varepsilon \sim \mathcal{N}(0,\sigma^2)$ với số lượng đánh giá hàm tối thiểu.$x^* = \arg\min_x f(x)$

Một cách đặc biệt hiệu quả để tiếp tục, như bạn có thể mong đợi, là xây dựng một mô hình tiên đoán về những gì sẽ xảy ra nếu tôi truy vấn bất kỳ , và sử dụng thông tin này để quyết định làm gì tiếp theo (hoặc cục bộ hoặc toàn cầu). Xem Rios và Sahinidis (2013) để xem xét các phương pháp tối ưu hóa toàn cầu không có nguồn gốc. Khi mô hình đủ phức tạp, điều này được gọi là mô hình meta hoặc hàm thay thế hoặc phương pháp tiếp cận bề mặt đáp ứng . Điều quan trọng, mô hình có thể là ước tính điểm của f (ví dụ, sự phù hợp của chức năng mạng cơ sở xuyên tâm đối với các quan sát của chúng tôi), hoặc chúng ta có thể là Bayes và bằng cách nào đó có được phân phối sau đầy đủ$x^\prime \in \mathcal{X}$$f$ (ví dụ, thông qua một quá trình Gaussian).$f$

Tối ưu hóa Bayes sử dụng hậu tố trên (đặc biệt là trung bình và phương sai sau có điều kiện chung tại bất kỳ thời điểm nào) để hướng dẫn tìm kiếm tối ưu (toàn cầu) thông qua một số heuristic nguyên tắc. Sự lựa chọn cổ điển là tối đa hóa sự cải thiện dự kiến so với điểm tốt nhất hiện tại, nhưng thậm chí còn có các phương pháp dễ hiểu hơn, như giảm thiểu entropy dự kiến ​​trên vị trí tối thiểu (xem thêm tại đây ).$f$

Kết quả thực nghiệm ở đây là việc có quyền truy cập vào một hậu thế, ngay cả khi bị sai một phần, thường tạo ra kết quả tốt hơn so với các phương pháp khác. (Có những cảnh báo và tình huống trong đó tối ưu hóa Bayes không tốt hơn tìm kiếm ngẫu nhiên, chẳng hạn như ở kích thước cao.) Trong bài viết này , chúng tôi thực hiện đánh giá thực nghiệm về phương pháp BO mới so với các thuật toán tối ưu hóa khác, kiểm tra xem sử dụng BO có thuận tiện không trong thực tế, với kết quả đầy hứa hẹn.

Vì bạn đã hỏi - điều này có chi phí tính toán cao hơn nhiều so với các phương pháp phi Bayes khác, và bạn đã tự hỏi tại sao chúng ta nên là Bayes. Giả định ở đây là chi phí liên quan đến việc đánh giá thực (ví dụ, trong một kịch bản thực, một thí nghiệm kỹ thuật phức tạp hoặc máy học) lớn hơn nhiều so với chi phí tính toán cho phân tích Bayes, do đó Bayesian phải trả giá .$f$

Chúng ta có thể học được gì từ ví dụ này?

Đầu tiên, tại sao tối ưu hóa Bayes lại hoạt động? Tôi đoán rằng mô hình là sai, nhưng không phải là sai, và như thường lệ sai quấy phụ thuộc vào những gì mô hình của bạn là dành cho. Ví dụ, hình dạng chính xác của không liên quan để tối ưu hóa, vì chúng ta có thể tối ưu hóa bất kỳ chuyển đổi đơn điệu nào của chúng. Tôi đoán bản chất là đầy bất biến như vậy. Vì vậy, tìm kiếm chúng tôi đang thực hiện có thể không tối ưu (nghĩa là chúng tôi đang bỏ đi thông tin tốt), nhưng vẫn tốt hơn so với không có thông tin không chắc chắn.$f$

Thứ hai, ví dụ của chúng tôi nhấn mạnh rằng có thể là sự hữu ích của việc Bayes hay không phụ thuộc vào bối cảnh , ví dụ như chi phí tương đối và lượng tài nguyên có sẵn (tính toán). (Tất nhiên nếu bạn là một người Bayes khó tính, bạn tin rằng mọi tính toán đều là suy luận Bayes theo một số phép tính trước và / hoặc gần đúng.)

Cuối cùng, câu hỏi lớn là - tại sao các mô hình mà chúng ta sử dụng không quá tệ , theo nghĩa là các hậu thế vẫn hữu ích và không phải là rác thống kê? Nếu chúng ta sử dụng định lý Không ăn trưa miễn phí, rõ ràng chúng ta không thể nói nhiều, nhưng may mắn là chúng ta không sống trong một thế giới của các chức năng hoàn toàn ngẫu nhiên (hoặc được chọn bất lợi ).

Nói chung, vì bạn đặt thẻ "triết học" ... Tôi đoán rằng chúng ta đang đi vào cõi của cảm ứng, hoặc hiệu quả vô lý của toán học trong các ngành khoa học thống kê (cụ thể là về trực giác toán học & khả năng xác định mô hình của chúng ta hoạt động trong thực tế) - theo nghĩa là từ quan điểm hoàn toàn tiên nghiệm, không có lý do nào để dự đoán của chúng ta tốt hoặc có bất kỳ sự đảm bảo nào (và chắc chắn rằng bạn có thể xây dựng các phản biện toán học trong đó mọi thứ trở nên tồi tệ), nhưng chúng biến ra ngoài để làm việc tốt trong thực tế.

Tôi chỉ thấy điều này ngày hôm nay nhưng tôi vẫn nghĩ rằng tôi nên nói rằng tôi là một chuyên gia và có ít nhất hai câu trả lời (số 3 và 20 (cảm ơn vì đã đề cập đến công việc của tôi Xi'an!)) Đề cập đến công việc của tôi SafeBayes - đặc biệt là G. và van Ommen, "Sự không nhất quán của suy luận Bayes cho các mô hình tuyến tính bị sai, và một đề xuất sửa chữa nó" (2014). Và tôi cũng muốn thêm một cái gì đó để bình luận 2:

2 nói: (một lợi thế của Bayes theo lỗi chính tả là ...) "Chà, Bayesian tiếp cận thường xuyên. Đó là một cái gì đó, để giúp chống lại quá mức - liệu mô hình của bạn có bị sai hay không. Tất nhiên, điều đó chỉ dẫn đến câu hỏi liên quan về lập luận cho suy luận Bayes chống lại các phương pháp cổ điển thường xuyên (lasso, v.v.) "

Điều này là đúng, nhưng điều quan trọng là phải thêm rằng các cách tiếp cận Bayes có thể không đủ thường xuyên nếu mô hình sai. Đây là điểm chính của công việc với Van Ommen - chúng ta thấy ở đó trang phục Bayes tiêu chuẩn khá khủng khiếp trong một số bối cảnh hồi quy với các mô hình sai nhưng rất hữu ích. Không tệ như MLE, nhưng vẫn còn quá nhiều để có ích. Có cả một chuỗi công việc trong học máy lý thuyết (thường xuyên và lý thuyết trò chơi) trong đó họ sử dụng các phương pháp tương tự Bayes, nhưng với 'tỷ lệ học tập' nhỏ hơn nhiều - làm cho việc ưu tiên nhiều hơn và dữ liệu ít quan trọng hơn, do đó thường xuyên hóa hơn. Các phương pháp này được thiết kế để hoạt động tốt trong các tình huống xấu nhất (sai chính tả và thậm chí tệ hơn, dữ liệu đối nghịch) - phương pháp SafeBayes được thiết kế để 'tìm hiểu tốc độ học tối ưu' từ chính dữ liệu - và tốc độ tối ưu hóa tối ưu này, tức là mức tối ưu chính quy

Liên quan, có một định lý dân gian (được đề cập bởi một số người ở trên) nói rằng Bayes sẽ tập trung sau vào phân phối gần nhất trong phân kỳ KL với 'sự thật'. Nhưng điều này chỉ giữ trong các điều kiện rất nghiêm ngặt - NHIỀU nghiêm ngặt hơn các điều kiện cần để hội tụ trong trường hợp được chỉ định rõ. Nếu bạn đang xử lý các mô hình tham số và dữ liệu chiều thấp tiêu chuẩn theo một số phân phối (không phải trong mô hình) thì hậu thế sẽ thực sự tập trung xung quanh điểm trong mô hình gần nhất với sự thật trong phân kỳ KL. Bây giờ nếu bạn đang xử lý các mô hình không tham số lớn và mô hình là chính xác, thì (về cơ bản), hậu thế của bạn sẽ vẫn tập trung xung quanh phân phối thực sự được cung cấp đủ dữ liệu, miễn là trước đó của bạn đặt đủ khối lượng trong các quả bóng KL nhỏ xung quanh phân phối thực sự. Đây làđiều kiện yếu cần thiết cho sự hội tụ trong trường hợp không tham số nếu mô hình đúng.

Nhưng nếu mô hình của bạn không theo tỷ lệ nhưng không chính xác, thì hậu thế có thể đơn giản là không tập trung xung quanh điểm KL gần nhất, ngay cả khi trước đó bạn đặt khối lượng gần 1 (!) Ở đó - hậu thế của bạn có thể vẫn bị nhầm lẫn, tập trung vào các phân phối khác nhau như thời gian tiến hành nhưng không bao giờ xung quanh một trong những tốt nhất. Trong các bài báo của tôi, tôi có một vài ví dụ về điều này xảy ra. Các giấy tờ thể hiện sự hội tụ theo lỗi chính tả (ví dụ Kleijn và van der Vaart) đòi hỏi rất nhiều điều kiện bổ sung, ví dụ mô hình phải lồi hoặc trước đó phải tuân theo các thuộc tính (phức tạp) nhất định. Đây là những gì tôi muốn nói bởi các điều kiện 'nghiêm ngặt'.

Trong thực tế, chúng ta thường xử lý các mô hình tham số nhưng có chiều rất cao (nghĩ hồi quy sườn núi Bayes, v.v.). Sau đó, nếu mô hình sai, cuối cùng , hậu thế của bạn sẽ tập trung vào phân phối KL tốt nhất trong mô hình nhưng một phiên bản nhỏ của sự không nhất quán không theo quy tắc vẫn giữ: nó có thể nhận các đơn đặt hàng dữ liệu lớn hơn trước khi hội tụ xảy ra - một lần nữa, bài báo của tôi với Van Ommen đưa ra ví dụ.

Cách tiếp cận SafeBayes sửa đổi các vịnh tiêu chuẩn theo cách đảm bảo sự hội tụ trong các mô hình không tham số theo (về cơ bản) các điều kiện giống như trong trường hợp được chỉ định rõ, nghĩa là đủ khối lượng trước phân phối tối ưu KL trong mô hình (G. và Mehta, 2014 ).

Sau đó, có câu hỏi liệu Bayes thậm chí có biện minh dưới sự sai sót. IMHO (và cũng được đề cập bởi một số người ở trên), các biện minh tiêu chuẩn của Bayes (sự chấp nhận, Savage, De Finetti, Cox, v.v.) không được giữ ở đây (vì nếu bạn nhận ra mô hình của mình bị sai, thì xác suất của bạn không thể hiện niềm tin thực sự của bạn !). TUY NHIÊN nhiều phương pháp Bayes cũng có thể được hiểu là 'phương pháp mô tả độ dài tối thiểu (MDL)' - MDL là phương pháp lý thuyết thông tin tương đương với 'học từ dữ liệu' với 'cố gắng nén dữ liệu càng nhiều càng tốt'. Giải thích nén dữ liệu này của (một số) phương pháp Bayes vẫn còn hiệu lực theo lỗi chính tả. Vì vậy, vẫn còn một sốgiải thích cơ bản giữ sai chính tả - tuy nhiên, có vấn đề, như bài báo của tôi với van Ommen (và vấn đề khoảng tin cậy / bộ tin cậy được đề cập trong bài viết gốc) hiển thị.

Và sau đó là một nhận xét cuối cùng về bài viết gốc: bạn đề cập đến sự biện minh 'sự chấp nhận' của Bayes (quay trở lại lớp hoàn chỉnh của Wald vào những năm 1940/50). Việc đây có thực sự là một lời biện minh của Bayes hay không thực sự phụ thuộc rất nhiều vào định nghĩa chính xác của một người về 'suy luận Bayes' (khác với nhà nghiên cứu đến nhà nghiên cứu ...). Lý do là những kết quả có thể chấp nhận này cho phép khả năng người ta sử dụng mức độ ưu tiên phụ thuộc vào các khía cạnh của vấn đề, chẳng hạn như kích thước mẫu và chức năng mất lãi, v.v. Hầu hết người Bayes thực sự sẽ không muốn thay đổi trước nếu số lượng dữ liệu họ phải xử lý các thay đổi hoặc nếu chức năng mất lãi đột ngột bị thay đổi. Ví dụ, với các hàm mất lồi nghiêm ngặt, công cụ ước tính minimax cũng được chấp nhận - mặc dù thường không được coi là Bayes! Lý do là đối với mỗi kích thước mẫu cố định, chúng tương đương với Bayes với một ưu tiên cụ thể, nhưng trước đó là khác nhau đối với từng kích thước mẫu.

Hy vọng điều này là hữu ích!

Có sự đánh đổi sai lệch thông thường. Suy luận Bayes giả sử trường hợp đóng M [1,2], có phương sai nhỏ hơn [3] nhưng trong trường hợp mô hình sai chính tả, sai lệch tăng nhanh hơn [4]. Cũng có thể thực hiện suy luận Bayes giả sử trường hợp mở M [1,2], có phương sai cao hơn [3] nhưng trong trường hợp mô hình sai chính tả thì độ lệch nhỏ hơn [4]. Sự khác biệt của sự đánh đổi sai lệch giữa các trường hợp đóng M và đóng M của Bayes cũng xuất hiện trong một số tài liệu tham khảo trong các tài liệu tham khảo dưới đây, nhưng rõ ràng cần nhiều hơn nữa.

[1] Bernardo và Smith (1994). Lý thuyết Bayes. John Wiley \ & Con trai.

[2] Vehtari và Ojanen (2012). Một cuộc khảo sát về các phương pháp dự đoán Bayes để đánh giá, lựa chọn và so sánh mô hình. Khảo sát thống kê, 6: 142-228. http://dx.doi.org/10.1214/12-SS102

[3] Juho Piironen và Aki Vehtari (2017). So sánh các phương pháp dự đoán Bayes để lựa chọn mô hình. Thống kê và tính toán, 27 (3): 711-735. http://dx.doi.org/10.1007/s11222-016-9649-y .

[4] Yao, Vehtari, Simpson và Andrew Gelman (2017). Sử dụng xếp chồng để phân phối dự báo Bayes trung bình. bản in sẵn arXiv arXiv: 1704.02030 arxiv.org/abs/1704.02030

Dưới đây là một vài cách khác để chứng minh suy luận Bayes trong các mô hình sai chính tả.

• Bạn có thể xây dựng khoảng tin cậy trên trung bình sau, sử dụng công thức bánh sandwich (giống như cách bạn sẽ làm với MLE). Do đó, mặc dù các bộ đáng tin cậy không có phạm vi bảo hiểm, bạn vẫn có thể tạo khoảng tin cậy hợp lệ trên các công cụ ước tính điểm, nếu đó là điều bạn quan tâm.

• Bạn có thể hủy bỏ phân phối sau để đảm bảo rằng các bộ đáng tin cậy có phạm vi bảo hiểm, đó là cách tiếp cận được thực hiện trong:

Müller, Ulrich K. "Nguy cơ suy luận Bayes trong các mô hình sai chính tả và ma trận hiệp phương sai sandwich." Kinh tế lượng 81,5 (2013): 1805-1849.

• Có một sự biện minh không tiệm cận cho quy tắc Bayes: bỏ qua các điều kiện kỹ thuật, nếu trước là $p(\theta)$$\ell_n(\theta)$$-\int \ell_n(\theta) d\nu(\theta) + \int \log\!\Big(\frac{\nu(\theta)}{p(\theta)}\Big)d\nu(\theta)$$\nu(\theta)$

$p_{true}(X)$$p(X|\theta)$$\theta$

$\phi$$\phi_0$$\phi_0$$\int p(X|\theta,\phi=\phi_0) \mathrm{d}\theta =0$$p(\phi=\phi_0)\propto 1$$p(\phi\neq\phi_0)=0$$p(\theta|X,\phi=\phi_0)=0$

$A, \neg A \vdash \emptyset$$p(\theta|X,\phi=\phi_0)=0$

$p(B|E)$$E= (E_1,E_2,\dots,E_n)$$E$, chương trình máy tính sẽ sập. Chúng tôi đã phát hiện ra điều này ,, theo kinh nghiệm, '' và sau khi một số ý nghĩ nhận ra rằng đó không phải là lý do cho sự mất tinh thần, mà là một công cụ chẩn đoán có giá trị cảnh báo chúng tôi về các trường hợp đặc biệt không lường trước được trong đó việc xây dựng vấn đề của chúng tôi có thể bị phá vỡ.

Nói cách khác, nếu việc xây dựng vấn đề của bạn không chính xác - nếu mô hình của bạn sai, thống kê bayes có thể giúp bạn phát hiện ra rằng đây là trường hợp và có thể giúp bạn tìm ra khía cạnh nào của mô hình là nguồn gốc của vấn đề.

Trong thực tế, có thể không hoàn toàn rõ ràng những kiến ​​thức nào có liên quan và liệu nó có nên được đưa vào đạo hàm hay không. Các kỹ thuật kiểm tra mô hình khác nhau (Chương 6 & 7 trong Gelman và cộng sự, 2013, cung cấp tổng quan) sau đó được sử dụng để tìm hiểu và xác định một công thức vấn đề không chính xác.

Gelman, A., Carlin, JB, Stern, HS, Dunson, DB, Vehtari, A., & Rubin, DB (2013). Phân tích dữ liệu Bayes, ấn bản thứ ba. Chapman & Hội trường / CRC.

Jaynes, ET (2003). Lý thuyết xác suất: Logic của khoa học. Báo chí đại học Cambridge.

MLE vẫn là một công cụ ước tính cho một tham số trong mô hình bạn chỉ định và giả sử là chính xác. Các hệ số hồi quy trong OLS thường xuyên có thể được ước tính bằng MLE và tất cả các thuộc tính bạn muốn đính kèm với nó (không thiên vị, một phương sai tiệm cận cụ thể) vẫn cho rằng mô hình tuyến tính rất cụ thể của bạn là chính xác.

Tôi sẽ tiến thêm một bước này và nói rằng mỗi khi bạn muốn gán ý nghĩa và tính chất cho một công cụ ước tính, bạn phải giả sử một mô hình. Ngay cả khi bạn lấy một mẫu đơn giản, bạn vẫn cho rằng dữ liệu có thể trao đổi và thường là IID.

Bây giờ, các công cụ ước tính Bayes có nhiều đặc tính mong muốn mà một MLE có thể không có. Ví dụ, gộp chung một phần, chính quy hóa và khả năng diễn giải của một hậu thế khiến nó trở nên hấp dẫn trong nhiều tình huống.

Tôi đề nghị Triết lý của Gelman & Shalizi và thực hành thống kê Bayes . Họ có câu trả lời mạch lạc, chi tiết và thực tế cho những câu hỏi này.

Chúng tôi nghĩ rằng hầu hết quan điểm nhận được về suy luận Bayes này là sai. Các phương pháp Bayes không quy nạp hơn bất kỳ phương thức suy luận thống kê nào khác. Phân tích dữ liệu Bayes được hiểu rõ hơn nhiều từ góc độ suy diễn giả thuyết . Ẩn ý trong thực tiễn Bayes tốt nhất là một lập trường có nhiều điểm tương đồng với phương pháp thống kê lỗi của Mayo (1996), mặc dù định hướng thường xuyên sau này. Thật vậy, các phần quan trọng của phân tích dữ liệu Bayes, như kiểm tra mô hình, có thể được hiểu là "các đầu dò lỗi" theo nghĩa của Mayo.

Chúng tôi tiến hành bằng cách kết hợp kiểm tra các trường hợp cụ thể của phân tích dữ liệu Bayes trong nghiên cứu khoa học xã hội thực nghiệm và kết quả lý thuyết về tính nhất quán và hội tụ của cập nhật Bayes. Phân tích dữ liệu khoa học xã hội đặc biệt nổi bật cho các mục đích của chúng tôi bởi vì có sự đồng ý chung rằng, trong lĩnh vực này, tất cả các mô hình được sử dụng đều sai - không chỉ sai lệch, mà thực sự là sai. Với đủ dữ liệu - và thường chỉ là một lượng khá vừa phải - bất kỳ nhà phân tích nào cũng có thể từ chối bất kỳ mô hình nào hiện đang được sử dụng với bất kỳ mức độ tin cậy mong muốn nào . Sự phù hợp mô hình dù sao cũng là một hoạt động có giá trị và thực sự là mấu chốt của phân tích dữ liệu. Để hiểu lý do tại sao lại như vậy, chúng ta cần kiểm tra cách các mô hình được xây dựng, trang bị, sử dụng và kiểm tra và ảnh hưởng của lỗi chính tả đến các mô hình.

...

Theo quan điểm của chúng tôi, tài khoản của đoạn cuối [của chế độ xem Bayes chuẩn] bị nhầm lẫn rất nhiều. Quá trình phân tích dữ liệu - Bayes hay nói cách khác - không kết thúc bằng việc tính toán các ước tính tham số hoặc phân phối sau. Thay vào đó, mô hình sau đó có thể được kiểm tra, bằng cách so sánh ý nghĩa của mô hình được trang bị với bằng chứng thực nghiệm. Người ta đặt ra các câu hỏi như liệu các mô phỏng từ mô hình được trang bị có giống với dữ liệu gốc hay không, liệu mô hình được trang bị có phù hợp với dữ liệu khác không được sử dụng trong sự phù hợp của mô hình hay không và liệu các biến mà mô hình nói có bị nhiễu không ('thuật ngữ lỗi') trong hiển thị thực tế các mẫu dễ phát hiện. Sự khác biệt giữa mô hình và dữ liệu có thể được sử dụng để tìm hiểu về các cách thức mà mô hình không phù hợp với mục đích khoa học, và do đó để thúc đẩy mở rộng và thay đổi mô hình (Phần 4.).

$x$$d$$m$

$x$$m$$x$$m$

Làm thế nào để bạn xác định mô hình "xác định sai" là gì? Điều này có nghĩa là mô hình ...

• đưa ra dự đoán "xấu"?
• $p_{T}(x)$
• thiếu một tham số?
• dẫn đến kết luận "xấu"?

Nếu bạn nghĩ về những cách mà một mô hình nhất định có thể được chỉ định sai, về cơ bản bạn sẽ trích xuất thông tin về cách tạo ra một mô hình tốt hơn. Bao gồm thông tin bổ sung trong mô hình của bạn!

Nếu bạn nghĩ về "mô hình" trong khung bayes, bạn luôn có thể tạo một mô hình không thể xác định sai. Một cách để làm điều này là bằng cách thêm nhiều tham số vào mô hình hiện tại của bạn. Bằng cách thêm nhiều tham số, bạn làm cho mô hình của mình linh hoạt và dễ thích nghi hơn. Phương pháp Machine Learning tận dụng triệt để ý tưởng này. Điều này làm cơ sở cho những thứ như "mạng lưới" và "cây hồi quy". Bạn cần phải suy nghĩ về các linh mục mặc dù (tương tự như thường xuyên cho ML).

$w_i\sim N (0,1)$