Có thể phù hợp với một mô hình Bayes trước, sau đó bắt đầu suy yếu các linh mục?

Khi thực hiện thống kê thường xuyên, có một danh sách dài các số không lớn, như xem kết quả kiểm tra thống kê trước khi quyết định thu thập thêm dữ liệu. Nói chung, tôi tự hỏi liệu có một danh sách no-nos tương tự cho các phương pháp liên quan đến thống kê Bayes hay không, và cụ thể liệu sau đây có phải là một trong số chúng không.

Gần đây tôi đã nhận ra rằng đối với một số mô hình mà tôi đã phù hợp, quy trình của tôi trước tiên là phù hợp với mô hình với các linh mục thông tin để xem liệu nó hoạt động hay nổ tung, và sau đó làm suy yếu các linh mục hoặc không thông tin hoặc yếu kém về thông tin và hoàn thiện mô hình.

Động lực của tôi cho việc này thực sự có liên quan đến thực tế là tôi đang viết các mô hình này trong JAGS / Stan, và trong tâm trí tôi đã coi nó giống như một nhiệm vụ lập trình hơn là một nhiệm vụ thống kê. Vì vậy, tôi thực hiện lần chạy đầu tiên, sắp xếp nó để hội tụ nhanh chóng bằng cách sử dụng các mục sư thông tin, giúp dễ dàng bắt lỗi hơn trong mô hình tôi đã viết. Sau đó, sau khi gỡ lỗi mô hình, tôi chỉnh lại nó với các linh mục không thông tin, hoặc thông tin yếu.

Câu hỏi của tôi là liệu tôi có vi phạm một số quy tắc nghiêm trọng với quy trình này hay không. Ví dụ, để suy luận của tôi có giá trị và để tránh khai thác mức độ tự do của các nhà nghiên cứu, tôi có cần phải cam kết với các linh mục cụ thể trước khi bắt đầu phù hợp với bất kỳ mô hình nào không?

Bayes chủ quan có thể không đồng ý, nhưng theo quan điểm của tôi, trước đó chỉ là một phần của mô hình, giống như khả năng. Thay đổi ưu tiên đáp ứng với hành vi mô hình không tốt hơn hoặc tệ hơn thay đổi chức năng khả năng của bạn (ví dụ: thử các phân phối lỗi khác nhau hoặc các công thức mô hình khác nhau).

Nó có thể nguy hiểm nếu nó cho phép bạn đi thám hiểm câu cá, nhưng các lựa chọn thay thế có thể tồi tệ hơn. Ví dụ, trong trường hợp bạn đã đề cập, khi mô hình của bạn nổ tung và bạn nhận được các hệ số vô nghĩa, thì bạn không có nhiều sự lựa chọn ngoài việc thử lại.

Ngoài ra, có một số bước bạn có thể thực hiện để giảm thiểu những nguy hiểm của chuyến thám hiểm câu cá:

• Quyết định trước mà bạn sẽ sử dụng trước trong phân tích cuối cùng
• Luôn thẳng thắn khi bạn xuất bản hoặc mô tả phân tích về toàn bộ quy trình của bạn
• Làm càng nhiều càng tốt với dữ liệu mô phỏng và / hoặc giữ dữ liệu để phân tích cuối cùng. Bằng cách đó, bạn sẽ không làm ô nhiễm phân tích của bạn quá nhiều.

Nếu bạn thử nghiệm với các linh mục và chọn một trong các điều khoản về hiệu suất của nó trên dữ liệu trong tay, thì đó không còn là "ưu tiên" nữa. Nó không chỉ phụ thuộc vào dữ liệu (như trong phân tích Bayes theo kinh nghiệm), mà còn phụ thuộc vào những gì bạn muốn thấy (điều tồi tệ hơn). Cuối cùng, bạn sử dụng các công cụ Bayes, nhưng điều này không thể được gọi là phân tích Bayes.

Tôi nghĩ rằng bạn ổn trong trường hợp này vì ba lý do:

1. Bạn không thực sự điều chỉnh các linh mục của bạn để đáp ứng với kết quả của bạn. Nếu bạn nói điều gì đó như: "Tôi sử dụng các linh mục XYZ và tùy thuộc vào tốc độ hội tụ và kết quả DIC của tôi, thì tôi sẽ sửa đổi trước ABC của mình", thì tôi sẽ nói rằng bạn đã cam kết không, nhưng trong trường hợp này Có vẻ như bạn thực sự không làm điều đó.

2. Trong một bối cảnh Bayes, các linh mục là rõ ràng. Vì vậy, bạn có thể điều chỉnh linh mục của mình không đúng cách, nhưng các linh mục kết quả sẽ luôn được nhìn thấy để kiểm tra bởi những người khác có thể đặt câu hỏi tại sao bạn có những linh mục cụ thể đó. Có lẽ tôi ngây thơ ở đây, vì thật dễ dàng để liếc nhìn thứ gì đó như trước và nói, "Hmm, có vẻ hợp lý" chỉ đơn giản vì ai đó đã cung cấp nó, nhưng ...

3. Tôi nghĩ những gì bạn đang làm có liên quan đến lời khuyên của Gelman (và những người khác) để xây dựng từng mảnh mô hình JAGS, trước tiên làm việc với dữ liệu tổng hợp, sau đó là dữ liệu thực, để đảm bảo bạn không có lỗi đặc tả . Đó không thực sự là một yếu tố trong phương pháp luận thường xuyên và nó không thực sự là một phương pháp thực nghiệm.

Sau đó, một lần nữa, tôi vẫn đang tự học thứ này.

Tái bút: Khi bạn nói ban đầu bạn cố gắng hội tụ nhanh chóng với "các linh mục thông tin", bạn có nghĩa là các linh mục thông tin thực sự bị thúc đẩy bởi vấn đề trong tay, hay chỉ là các linh mục vì lý do tùy tiện đẩy mạnh / hạn chế hậu thế để tăng tốc "hội tụ" "Đến một số điểm tùy ý? Nếu đó là trường hợp đầu tiên, tại sao bạn lại rời xa những linh mục (có động lực) này?

Tôi nghĩ rằng đây có thể là không độc lập với trường Bayes. Jeffreys muốn sử dụng các linh mục không thông tin. Lindley có thể muốn bạn sử dụng các linh mục thông tin. Bayesian theo kinh nghiệm sẽ yêu cầu bạn để dữ liệu ảnh hưởng đến trước. Nhưng tôi nghĩ mặc dù mỗi trường đưa ra một gợi ý khác nhau về lựa chọn trước, tất cả họ đều có một cách tiếp cận không có nghĩa là bạn có thể thực hiện trước và tiếp tục điều chỉnh cho đến khi bạn nhận được kết quả bạn muốn. Điều đó chắc chắn sẽ giống như việc xem xét dữ liệu và tiếp tục thu thập dữ liệu và kiểm tra cho đến khi bạn đạt được khái niệm định sẵn của mình về câu trả lời nên là gì.

Người thường xuyên hoặc Bayes không thành vấn đề, tôi không nghĩ có ai muốn bạn chơi trò lừa đảo với (hoặc xoa bóp) dữ liệu. Có lẽ đây là điều mà tất cả chúng ta đều có thể đồng ý và bài thơ vui của Peter thực sự là apropo.

Tôi sẽ nói không, bạn không phải cam kết với các linh mục cụ thể. Nói chung trong bất kỳ phân tích dữ liệu Bayes nào, bạn nên thực hiện phân tích độ nhạy của mô hình so với trước. Điều đó sẽ bao gồm thử nhiều linh mục khác để xem điều gì xảy ra với kết quả. Điều này có thể tiết lộ một ưu tiên tốt hơn hoặc mạnh mẽ hơn nên được sử dụng.

Hai "không-không" rõ ràng là: chơi xung quanh với quá nhiều trước để có được sự phù hợp tốt hơn, dẫn đến sự phù hợp quá mức và thay đổi các thông số khác của mô hình để có được sự phù hợp tốt hơn. Như một ví dụ đầu tiên: thay đổi giá trị ban đầu trước giá trị trung bình để nó gần với giá trị trung bình mẫu hơn. Đối với lần thứ hai: thay đổi các biến / tính năng giải thích của bạn theo hồi quy để có sự phù hợp tốt hơn. Đây là một vấn đề trong bất kỳ phiên bản hồi quy nào và về cơ bản làm mất hiệu lực mức độ tự do của bạn.