Không, nó không đúng. Phương pháp Bayes chắc chắn sẽ phù hợp với dữ liệu. Có một vài điều làm cho các phương pháp Bayes mạnh mẽ hơn chống lại quá mức và bạn cũng có thể làm cho chúng trở nên mỏng manh hơn.
Bản chất kết hợp của các giả thuyết Bayes, thay vì các giả thuyết nhị phân cho phép so sánh nhiều khi ai đó thiếu mô hình "đúng" cho các phương pháp giả thuyết null. Một hậu thế Bayes xử phạt một cách hiệu quả sự gia tăng cấu trúc mô hình như thêm các biến trong khi thưởng cho các cải tiến phù hợp. Các hình phạt và lợi ích không phải là tối ưu hóa như trường hợp của các phương pháp phi Bayes, nhưng thay đổi xác suất từ thông tin mới.
Trong khi điều này thường mang lại một phương pháp mạnh mẽ hơn, có một hạn chế quan trọng và đó là sử dụng các phân phối trước thích hợp. Mặc dù có xu hướng muốn bắt chước các phương pháp Thường xuyên bằng cách sử dụng các linh mục phẳng, nhưng điều này không đảm bảo một giải pháp thích hợp. Có những bài viết về việc quá mức trong các phương pháp Bayes và đối với tôi, tội lỗi dường như là cố gắng "công bằng" với các phương pháp phi Bayes bằng cách bắt đầu với các linh mục hoàn toàn bằng phẳng. Khó khăn là ưu tiên là quan trọng trong việc bình thường hóa khả năng.
Các mô hình Bayes về bản chất là các mô hình tối ưu theo nghĩa dễ chấp nhận của Wald, nhưng có một bogeyman ẩn trong đó. Wald cho rằng ưu tiên là ưu tiên thực sự của bạn và không phải là một số ưu tiên bạn đang sử dụng để các biên tập viên sẽ không khiến bạn phải đưa quá nhiều thông tin vào đó. Chúng không tối ưu theo cùng nghĩa với các mô hình Thường xuyên. Các phương pháp thường xuyên bắt đầu với việc tối ưu hóa tối thiểu hóa phương sai trong khi vẫn không thiên vị.
Đây là một tối ưu hóa tốn kém ở chỗ nó loại bỏ thông tin và về bản chất không được chấp nhận theo nghĩa Wald, mặc dù nó thường được chấp nhận. Vì vậy, các mô hình tần số cung cấp một sự phù hợp tối ưu cho dữ liệu, không thiên vị. Các mô hình Bayes không thiên vị cũng không phù hợp tối ưu với dữ liệu. Đây là giao dịch bạn đang thực hiện để giảm thiểu quá mức.
Các mô hình Bayes là các mô hình thiên về bản chất, trừ khi các bước đặc biệt được thực hiện để làm cho chúng không thiên vị, thường là phù hợp với dữ liệu. Ưu điểm của họ là họ không bao giờ sử dụng ít thông tin hơn một phương pháp thay thế để tìm "mô hình thực" và thông tin bổ sung này làm cho các mô hình Bayes không bao giờ ít rủi ro hơn các mô hình thay thế, đặc biệt là khi làm việc ngoài mẫu. Điều đó nói rằng, sẽ luôn tồn tại một mẫu có thể được rút ngẫu nhiên sẽ "đánh lừa" một cách có hệ thống phương pháp Bayes.
Đối với phần thứ hai của câu hỏi của bạn, nếu bạn phân tích một mẫu duy nhất, phần sau sẽ bị thay đổi mãi mãi trong tất cả các phần của nó và sẽ không trở lại phần trước trừ khi có mẫu thứ hai hủy bỏ chính xác tất cả thông tin trong mẫu đầu tiên. Ít nhất về mặt lý thuyết thì điều này là đúng. Trong thực tế, nếu ưu tiên đủ thông tin và quan sát đủ không chính xác, thì tác động có thể nhỏ đến mức một máy tính không thể đo được sự khác biệt do giới hạn về số lượng chữ số có nghĩa. Có thể một hiệu ứng quá nhỏ để máy tính xử lý sự thay đổi ở phía sau.
Vì vậy, câu trả lời là "có", bạn có thể điều chỉnh quá mức một mẫu bằng phương pháp Bayes, đặc biệt nếu bạn có cỡ mẫu nhỏ và các linh mục không phù hợp. Câu trả lời thứ hai là "không" Định lý Bayes không bao giờ quên tác động của dữ liệu trước đó, mặc dù hiệu ứng có thể nhỏ đến mức bạn bỏ lỡ nó một cách tính toán.