Có đúng là các phương pháp Bayes không phù hợp?


25

Có đúng là các phương pháp Bayes không phù hợp? (Tôi đã thấy một số giấy tờ và hướng dẫn đưa ra yêu cầu này)

Ví dụ: nếu chúng ta áp dụng Quy trình Gaussian cho MNIST (phân loại chữ số viết tay), nhưng chỉ hiển thị cho nó một mẫu duy nhất, liệu nó có trở lại phân phối trước cho bất kỳ đầu vào nào khác với mẫu đơn đó không, tuy nhiên có khác biệt nhỏ không?


chỉ là suy nghĩ - có một cách chính xác về mặt toán học mà bạn có thể định nghĩa "phù hợp hơn"? nếu bạn có thể, có khả năng bạn cũng có thể xây dựng các tính năng thành một chức năng khả năng hoặc trước đó để tránh điều đó xảy ra. suy nghĩ của tôi là khái niệm này nghe có vẻ giống như "ngoại lệ".
xác suất

Câu trả lời:


25

Không, nó không đúng. Phương pháp Bayes chắc chắn sẽ phù hợp với dữ liệu. Có một vài điều làm cho các phương pháp Bayes mạnh mẽ hơn chống lại quá mức và bạn cũng có thể làm cho chúng trở nên mỏng manh hơn.

Bản chất kết hợp của các giả thuyết Bayes, thay vì các giả thuyết nhị phân cho phép so sánh nhiều khi ai đó thiếu mô hình "đúng" cho các phương pháp giả thuyết null. Một hậu thế Bayes xử phạt một cách hiệu quả sự gia tăng cấu trúc mô hình như thêm các biến trong khi thưởng cho các cải tiến phù hợp. Các hình phạt và lợi ích không phải là tối ưu hóa như trường hợp của các phương pháp phi Bayes, nhưng thay đổi xác suất từ ​​thông tin mới.

Trong khi điều này thường mang lại một phương pháp mạnh mẽ hơn, có một hạn chế quan trọng và đó là sử dụng các phân phối trước thích hợp. Mặc dù có xu hướng muốn bắt chước các phương pháp Thường xuyên bằng cách sử dụng các linh mục phẳng, nhưng điều này không đảm bảo một giải pháp thích hợp. Có những bài viết về việc quá mức trong các phương pháp Bayes và đối với tôi, tội lỗi dường như là cố gắng "công bằng" với các phương pháp phi Bayes bằng cách bắt đầu với các linh mục hoàn toàn bằng phẳng. Khó khăn là ưu tiên là quan trọng trong việc bình thường hóa khả năng.

Các mô hình Bayes về bản chất là các mô hình tối ưu theo nghĩa dễ chấp nhận của Wald, nhưng có một bogeyman ẩn trong đó. Wald cho rằng ưu tiên là ưu tiên thực sự của bạn và không phải là một số ưu tiên bạn đang sử dụng để các biên tập viên sẽ không khiến bạn phải đưa quá nhiều thông tin vào đó. Chúng không tối ưu theo cùng nghĩa với các mô hình Thường xuyên. Các phương pháp thường xuyên bắt đầu với việc tối ưu hóa tối thiểu hóa phương sai trong khi vẫn không thiên vị.

Đây là một tối ưu hóa tốn kém ở chỗ nó loại bỏ thông tin và về bản chất không được chấp nhận theo nghĩa Wald, mặc dù nó thường được chấp nhận. Vì vậy, các mô hình tần số cung cấp một sự phù hợp tối ưu cho dữ liệu, không thiên vị. Các mô hình Bayes không thiên vị cũng không phù hợp tối ưu với dữ liệu. Đây là giao dịch bạn đang thực hiện để giảm thiểu quá mức.

Các mô hình Bayes là các mô hình thiên về bản chất, trừ khi các bước đặc biệt được thực hiện để làm cho chúng không thiên vị, thường là phù hợp với dữ liệu. Ưu điểm của họ là họ không bao giờ sử dụng ít thông tin hơn một phương pháp thay thế để tìm "mô hình thực" và thông tin bổ sung này làm cho các mô hình Bayes không bao giờ ít rủi ro hơn các mô hình thay thế, đặc biệt là khi làm việc ngoài mẫu. Điều đó nói rằng, sẽ luôn tồn tại một mẫu có thể được rút ngẫu nhiên sẽ "đánh lừa" một cách có hệ thống phương pháp Bayes.

Đối với phần thứ hai của câu hỏi của bạn, nếu bạn phân tích một mẫu duy nhất, phần sau sẽ bị thay đổi mãi mãi trong tất cả các phần của nó và sẽ không trở lại phần trước trừ khi có mẫu thứ hai hủy bỏ chính xác tất cả thông tin trong mẫu đầu tiên. Ít nhất về mặt lý thuyết thì điều này là đúng. Trong thực tế, nếu ưu tiên đủ thông tin và quan sát đủ không chính xác, thì tác động có thể nhỏ đến mức một máy tính không thể đo được sự khác biệt do giới hạn về số lượng chữ số có nghĩa. Có thể một hiệu ứng quá nhỏ để máy tính xử lý sự thay đổi ở phía sau.

Vì vậy, câu trả lời là "có", bạn có thể điều chỉnh quá mức một mẫu bằng phương pháp Bayes, đặc biệt nếu bạn có cỡ mẫu nhỏ và các linh mục không phù hợp. Câu trả lời thứ hai là "không" Định lý Bayes không bao giờ quên tác động của dữ liệu trước đó, mặc dù hiệu ứng có thể nhỏ đến mức bạn bỏ lỡ nó một cách tính toán.


2
Trong Họ bắt đầu với việc tối ưu hóa tối thiểu hóa phương sai trong khi vẫn không thiên vị. Họ là gì?
Richard Hardy

Chỉ có một vài mô hình (về cơ bản là một tập hợp có số đo bằng 0) cho phép hình thành các công cụ ước tính không thiên vị. Ví dụ: trong một mô hình bình thường , không có công cụ ước tính không thiên vị của . Thật vậy, hầu hết các lần chúng tôi tối đa hóa khả năng, chúng tôi kết thúc với một công cụ ước tính thiên vị. N(θ,σ2)σ
Andrew M

1
@AndrewM: Có một ước lượng không thiên vị của trong một mô hình bình thường - stats.stackexchange.com/a/251128/17230 . σ
Scortchi - Phục hồi Monica

11

Một điều cần lưu ý là giống như thực tế ở mọi nơi khác, một vấn đề quan trọng trong phương pháp Bayes có thể là lỗi chính tả mô hình.

Đây là một điểm rõ ràng, nhưng tôi nghĩ tôi vẫn sẽ chia sẻ một câu chuyện.

Một họa tiết từ trở lại trong ...

Một ứng dụng cổ điển của lọc hạt Bayes là theo dõi vị trí của robot khi nó di chuyển xung quanh một căn phòng. Chuyển động mở rộng độ không chắc chắn trong khi đọc cảm biến làm giảm độ không chắc chắn.

Tôi nhớ mã hóa một số thói quen để làm điều này. Tôi đã viết ra một mô hình hợp lý, có động lực về mặt lý thuyết cho khả năng quan sát các bài đọc sonar khác nhau cho các giá trị thực. Tất cả mọi thứ đã được bắt nguồn chính xác và mã hóa đẹp. Sau đó tôi đi kiểm tra nó ...

Chuyện gì đã xảy ra? Thất bại hoàn toàn! Tại sao? Bộ lọc hạt của tôi nhanh chóng nghĩ rằng các bài đọc cảm biến đã loại bỏ gần như tất cả sự không chắc chắn. Đám mây điểm của tôi sụp đổ đến một điểm, nhưng robot của tôi không nhất thiết phải ở điểm đó!

Về cơ bản, chức năng khả năng của tôi là xấu; bài đọc cảm biến của tôi không nhiều thông tin như tôi nghĩ. Tôi đã quá mức. Một giải pháp? Tôi đã trộn lẫn trong tiếng ồn Gaussian nhiều hơn (theo kiểu khá đặc biệt), đám mây điểm đã ngừng sụp đổ, và sau đó bộ lọc hoạt động khá đẹp.

Đạo đức?

Như Box nổi tiếng đã nói, "tất cả các mô hình đều sai, nhưng một số là hữu ích." Gần như chắc chắn, bạn sẽ không có chức năng khả năng thực sự, và nếu nó hoàn toàn tắt, phương pháp Bayes của bạn có thể trở nên khủng khiếp và quá sức.

Thêm một ưu tiên không giải quyết một cách kỳ diệu các vấn đề xuất phát từ việc giả định các quan sát là IID khi chúng không tồn tại, giả sử khả năng có nhiều độ cong hơn so với ...


3
"Một họa tiết từ trở lại dưới đại học ... Một ứng dụng cổ điển của lọc hạt Bayes là theo dõi vị trí của robot khi nó di chuyển quanh phòng" ... whoa, học sinh của bạn đang ở đâu? :)
Cliff AB
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.