Làm thế nào để trả lời các nhà đánh giá yêu cầu giá trị p trong mô hình đa cấp bayesian?


15

Chúng tôi đã được một nhà phê bình yêu cầu cung cấp các giá trị p để hiểu rõ hơn các ước tính mô hình trong mô hình đa cấp bayes của chúng tôi. Mô hình này là một mô hình điển hình của nhiều quan sát cho mỗi người tham gia trong một thử nghiệm. Chúng tôi ước tính mô hình với Stan, vì vậy chúng tôi có thể dễ dàng tính toán số liệu thống kê sau. Hiện tại, chúng tôi đang báo cáo (trực quan và trong bảng) ước tính trung bình và các lượng tử 0,025 và 0,975.

Phản hồi của tôi cho đến nay sẽ bao gồm:

  1. P-giá trị không phù hợp với mô hình Bayes, tức là P(X|θ)P(θ|X).
  2. Dựa trên hậu thế, chúng ta có thể tính xác suất của các tham số lớn hơn (nhỏ hơn) bằng 0. Điều này trông hơi giống với giá trị p truyền thống.

Câu hỏi của tôi là liệu đây có phải là một phản hồi có thể làm hài lòng người đánh giá hay nó sẽ chỉ gây ra nhiều nhầm lẫn?


Cập nhật ngày 10 tháng 10: Chúng tôi viết lại bài báo với lời khuyên trong câu trả lời. Bài viết được chấp nhận vì vậy tôi sẽ nhắc lại nhận xét trước đó của tôi rằng đây thực sự là lời khuyên hữu ích!


2
Có lẽ người đánh giá đang yêu cầu các giá trị p thường xuyên, độc lập với mô hình Bayes của bạn?
Stéphane Laurent

1
Đó là quá rõ ràng tôi thậm chí đã không nghĩ về nó. Mô hình này có một số phức tạp (các linh mục thông tin yếu, một số giá trị bị thiếu trên các biến giải thích) khiến việc chạy phiên bản thường xuyên trở nên khá khó khăn nhưng tôi sẽ nghĩ về việc báo cáo mô hình bị loại bỏ với các giá trị p thường xuyên.
stijn

Câu trả lời:


13

Đầu tiên, làm rõ nhanh chóng: Mặc dù khả năng thực sự không phải là hậu thế, nhưng giá trị p không quá mâu thuẫn với suy luận Bayes thường chỉ là một điều khác biệt, vì tất cả các lý do mà khoảng tin cậy có thể hoặc không thể phù hợp với các khoảng tin cậy. (Mặc dù không nhất thiết phải là một điều hoàn toàn khác, như được thể hiện bằng kiểm tra dự đoán sau, thực sự liên quan đến giá trị p.)

Tuy nhiên, tôi đoán rằng mức độ tinh vi này không phải là những gì người đánh giá có trong tâm trí. Tôi đoán họ chỉ 'biết' rằng các mô hình thống kê có nghĩa là có giá trị p, vì vậy họ đã yêu cầu chúng. Vì vậy, câu hỏi vẫn còn: làm thế nào để trả lời?

Khi 'người đánh giá muốn có X', tôi thấy thật hữu ích khi tự hỏi mình hai câu hỏi liên quan:

  1. Động lực: Họ muốn X làm gì cho họ?

  2. Tái cấu trúc hợp lý: Điều gì hợp lý nhất nghe có vẻ hợp lý mà họ có thể đã yêu cầu thay vì X nếu họ muốn làm điều đó?

Sau đó cung cấp cho họ mà thay vào đó.

Ưu điểm của một nhà phê bình thiếu hiểu biết (người có thể thông minh và đúng về bài viết) là họ hiếm khi có ý tưởng rõ ràng về ý nghĩa của họ khi họ hỏi X. Điều này có nghĩa là nếu bạn xây dựng lại họ hỏi họ một câu hỏi hay hơn, họ ' thay vào đó sẽ hài lòng khi thấy bạn trả lời nó.

Trong trường hợp của bạn, rất có thể người đánh giá muốn phân tích thường xuyên song song, mặc dù tôi nghi ngờ điều đó. Điều tôi nghĩ rằng bạn muốn làm việc với gợi ý của người đánh giá rằng họ muốn giá trị p để 'hiểu rõ hơn về mô hình'. Công việc của bạn, tôi nghĩ, là phân tích điều này theo cách làm cho người đánh giá nghe có vẻ khôn ngoan. Có lẽ có một vài câu sau đây ghi nhận những gì không rõ ràng từ bài báo. Có lẽ có một số hiệu ứng đáng quan tâm đối với người đánh giá không thể được xây dựng lại từ lề tham số của bạn hoặc một số đại lượng sẽ làm sáng tỏ những gì mô hình sẽ nói về các trường hợp họ quan tâm hoặc thiếu tóm tắt số đơn lẻ ...

Nếu bạn có thể xác định những mối quan tâm này thì bạn có thể kết thúc câu trả lời của mình trong các biểu mẫu sau (yêu cầu ban đầu trong ngoặc vuông):

"người đánh giá [yêu cầu giá trị p cho thuật ngữ tương tác] lo ngại rằng không rõ từ cách trình bày của chúng tôi về cách A biến đổi với B, vì vậy trong Hình 2 chúng tôi hiển thị ..." hoặc "người đánh giá tự hỏi [liệu chúng tôi có thể từ chối Giả thuyết rằng hiệu ứng của A bằng 0] về hướng tác động của A. Bảng 3 cho thấy mô hình này đưa ra xác suất 99% rằng đây là âm tính "hoặc" người đánh giá tự hỏi [liệu mô hình của chúng tôi có phù hợp hơn đáng kể so với mô hình không chỉ chứa A] làm thế nào mô hình của chúng tôi so với mô hình chỉ chứa A. Chúng tôi giải quyết câu hỏi này bằng cách so sánh nó với ... bằng cách sử dụng DIC / tính toán Yếu tố Bayes / cho thấy suy luận của chúng tôi về A rất mạnh mẽ khi đưa vào B ", v.v.

Trong mỗi trường hợp có một bản dịch chặt chẽ của yêu cầu ban đầu và một câu trả lời.

Hãy cẩn thận: chiến lược này dường như hoạt động tốt nhất khi người đánh giá là một chuyên gia về chủ đề với sự hiểu biết tương đối yếu về thống kê. Nó không hoạt động với người đánh giá tinh vi thống kê tự xác định, người thực sự muốn có X vì họ thích X hoặc đọc về chúng ở đâu đó gần đây. Tôi không có đề xuất cho sau này.

Cuối cùng, tôi thực sự khuyên bạn không nên nói bất cứ điều gì ngay cả tôn giáo mờ nhạt về Bayes là một mô hình khác nhau và các câu hỏi của các nhà phê bình không có ý nghĩa gì trong đó. Ngay cả khi điều này là đúng, nó khiến mọi người cằn nhằn vì không có lợi ích thực sự.


1
Có lẽ sẽ rất hấp dẫn khi lưu ý rằng giá trị p hơi khó xác định trong các mô hình đa cấp thường xuyên. Đừng làm điều đó ;-)
liên hợp chiến

4
PP

Vậy là chúng ta đang ở cùng một trang. Hoặc đây là phản hồi cho @ stéphane-laurent
liên hợp

Vâng xin lỗi tôi đã không làm rõ điều đó
Frank Harrell

@conjugatep Warrior Cảm ơn! Giúp đỡ rất nhiều. Tôi đã nhận ra rằng việc đề cập đến các giá trị p trong bài toán mô hình đa cấp sẽ là điều đáng ghét. Nhưng quan điểm 1 của tôi cũng có thể bắt gặp "tôn giáo mờ nhạt" như bạn nói.
stijn
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.