Sự biện minh Bayes cho các phân tích đặc quyền được tiến hành sớm hơn các phân tích khác là gì?

Bối cảnh và ví dụ thực nghiệm

Tôi có hai nghiên cứu; Tôi đã chạy thử nghiệm (Nghiên cứu 1) và sau đó nhân rộng nó (Nghiên cứu 2). Trong nghiên cứu 1, tôi đã tìm thấy một sự tương tác giữa hai biến; trong nghiên cứu 2, sự tương tác này theo cùng một hướng nhưng không đáng kể. Dưới đây là tóm tắt cho mô hình của Nghiên cứu 1:

Coefficients:
                        Estimate Std. Error t value Pr(>|t|)    
(Intercept)              5.75882    0.26368  21.840  < 2e-16 ***
condSuppression         -1.69598    0.34549  -4.909 1.94e-06 ***
prej                    -0.01981    0.08474  -0.234  0.81542    
condSuppression:prej     0.36342    0.11513   3.157  0.00185 ** 

Và mô hình học tập 2:

Coefficients:
                     Estimate Std. Error t value Pr(>|t|)    
(Intercept)           5.24493    0.24459  21.444   <2e-16 ***
prej                  0.13817    0.07984   1.731   0.0851 .  
condSuppression      -0.59510    0.34168  -1.742   0.0831 .  
prej:condSuppression  0.13588    0.11889   1.143   0.2545  

Thay vì nói: "Tôi đoán tôi không có gì cả, vì tôi đã thất bại trong việc sao chép", những gì tôi đã làm là kết hợp hai bộ dữ liệu, tạo ra một biến giả cho nghiên cứu dữ liệu đến từ đâu, và sau đó chạy tương tác một lần nữa sau khi kiểm soát biến giả nghiên cứu. Sự tương tác này rất có ý nghĩa ngay cả sau khi kiểm soát nó và tôi thấy rằng sự tương tác hai chiều giữa điều kiện và không thích / prej này không đủ điều kiện bởi sự tương tác ba chiều với biến giả trong nghiên cứu.

Giới thiệu Phân tích Bayes

Tôi đã có người gợi ý rằng đây là một cơ hội tuyệt vời để sử dụng phân tích Bayes: Trong nghiên cứu 2, tôi có thông tin từ nghiên cứu 1 mà tôi có thể sử dụng làm thông tin trước đó! Theo cách này, Nghiên cứu 2 đang thực hiện cập nhật Bayes từ kết quả bình thường, bình phương nhỏ nhất trong Nghiên cứu 1. Vì vậy, tôi quay lại và phân tích lại mô hình Nghiên cứu 2, bây giờ sử dụng các mục sư thông tin về các hệ số: Tất cả các hệ số đều có bình thường trước khi giá trị trung bình là ước tính trong nghiên cứu 1 và độ lệch chuẩn là sai số chuẩn trong nghiên cứu 1.

Đây là một bản tóm tắt của kết quả:

Estimates:
                       mean    sd      2.5%    25%     50%     75%     97.5%
(Intercept)             5.63    0.17    5.30    5.52    5.63    5.74    5.96
condSuppression        -1.20    0.20   -1.60   -1.34   -1.21   -1.07   -0.80
prej                    0.02    0.05   -0.08   -0.01    0.02    0.05    0.11
condSuppression:prej    0.34    0.06    0.21    0.30    0.34    0.38    0.46
sigma                   1.14    0.06    1.03    1.10    1.13    1.17    1.26
mean_PPD                5.49    0.11    5.27    5.41    5.49    5.56    5.72
log-posterior        -316.40    1.63 -320.25 -317.25 -316.03 -315.23 -314.29

Có vẻ như bây giờ chúng ta có bằng chứng khá chắc chắn cho sự tương tác từ phân tích Nghiên cứu 2. Điều này đồng ý với những gì tôi đã làm khi tôi đơn giản xếp chồng dữ liệu lên nhau và chạy mô hình với số nghiên cứu là một biến giả.

Phản tác dụng: Điều gì sẽ xảy ra nếu tôi học 2 đầu tiên?

Điều đó khiến tôi suy nghĩ: Điều gì sẽ xảy ra nếu tôi đã chạy Nghiên cứu 2 trước và sau đó sử dụng dữ liệu từ Nghiên cứu 1 để cập nhật niềm tin của mình vào Nghiên cứu 2? Tôi đã làm điều tương tự như trên, nhưng ngược lại: Tôi đã phân tích lại dữ liệu Nghiên cứu 1 bằng cách sử dụng ước lượng hệ số bình phương nhỏ nhất bình thường và độ lệch chuẩn so với Nghiên cứu 2 làm phương tiện trước và độ lệch chuẩn cho phân tích dữ liệu Nghiên cứu 1 của tôi. Các kết quả tóm tắt là:

Estimates:
                          mean    sd      2.5%    25%     50%     75%     97.5%
(Intercept)                5.35    0.17    5.01    5.23    5.35    5.46    5.69
condSuppression           -1.09    0.20   -1.47   -1.22   -1.09   -0.96   -0.69
prej                       0.11    0.05    0.01    0.08    0.11    0.14    0.21
condSuppression:prej       0.17    0.06    0.05    0.13    0.17    0.21    0.28
sigma                      1.10    0.06    0.99    1.06    1.09    1.13    1.21
mean_PPD                   5.33    0.11    5.11    5.25    5.33    5.40    5.54
log-posterior           -303.89    1.61 -307.96 -304.67 -303.53 -302.74 -301.83

Một lần nữa, chúng ta thấy bằng chứng cho sự tương tác, tuy nhiên điều này có thể không nhất thiết phải như vậy. Lưu ý rằng ước tính điểm cho cả hai phân tích Bayes thậm chí không nằm trong khoảng tin cậy 95% cho nhau; hai khoảng đáng tin cậy từ các phân tích Bayes có nhiều điểm không trùng lặp hơn so với chúng.

Bayesian biện minh cho ưu tiên thời gian là gì?

Vì vậy, câu hỏi của tôi là: những lời biện minh mà Bayes dành cho việc tôn trọng niên đại về cách dữ liệu được thu thập và phân tích là gì? Tôi nhận được kết quả từ Nghiên cứu 1 và sử dụng chúng như các linh mục thông tin trong Nghiên cứu 2 để tôi sử dụng Nghiên cứu 2 để "cập nhật" niềm tin của mình. Nhưng nếu chúng ta cho rằng kết quả tôi nhận được được lấy ngẫu nhiên từ một bản phân phối có hiệu ứng dân số thực sự ... thì tại sao tôi lại ưu tiên kết quả từ Nghiên cứu 1? Lý do nào cho việc sử dụng kết quả của Nghiên cứu 1 với tư cách là linh mục cho Nghiên cứu 2 thay vì lấy kết quả của Nghiên cứu 2 làm linh mục cho Nghiên cứu 1? Thứ tự mà tôi thu thập và tính toán các phân tích có thực sự quan trọng không? Đối với tôi, có vẻ như nó không phải là lý do để biện minh cho điều này? Tại sao tôi nên tin rằng ước tính điểm gần với 0,34 hơn so với 0,17 chỉ vì tôi đã chạy Nghiên cứu 1 trước?

Trả lời câu trả lời của Kodiologist

Nhà khoa học Kodi nhận xét:

Điểm thứ hai trong số những điểm này cho một sự khởi hành quan trọng mà bạn đã thực hiện từ hội nghị Bayes. Bạn đã không đặt trước trước và sau đó phù hợp với cả hai mô hình trong thời trang Bayes. Bạn phù hợp với một mô hình theo kiểu phi Bayes và sau đó sử dụng mô hình đó cho các linh mục cho mô hình khác. Nếu bạn đã sử dụng phương pháp thông thường, bạn sẽ không thấy sự phụ thuộc vào thứ tự mà bạn đã thấy ở đây.

Để giải quyết vấn đề này, tôi phù hợp với các mô hình cho Nghiên cứu 1 và Nghiên cứu 2 trong đó tất cả các hệ số hồi quy có trước . Các biến là một biến giả cho điều kiện thực nghiệm, mã hóa 0 hoặc 1; cả biến số, cũng như kết quả, đều được đo trên thang điểm 7 từ 1 đến 7. Vì vậy, tôi nghĩ rằng đó là một lựa chọn hợp lý của trước. Chỉ bằng cách dữ liệu được thu nhỏ, sẽ rất, rất hiếm khi thấy các hệ số lớn hơn nhiều so với những gì trước đó cho thấy.$\text{N}(0, 5)$condprej

Các ước tính trung bình và độ lệch chuẩn của các ước tính đó giống như trong hồi quy OLS. Nghiên cứu 1:

Estimates:
                       mean     sd       2.5%     25%      50%      75%      97.5% 
(Intercept)             5.756    0.270    5.236    5.573    5.751    5.940    6.289
condSuppression        -1.694    0.357   -2.403   -1.925   -1.688   -1.452   -0.986
prej                   -0.019    0.087   -0.191   -0.079   -0.017    0.040    0.150
condSuppression:prej    0.363    0.119    0.132    0.282    0.360    0.442    0.601
sigma                   1.091    0.057    0.987    1.054    1.088    1.126    1.213
mean_PPD                5.332    0.108    5.121    5.259    5.332    5.406    5.542
log-posterior        -304.764    1.589 -308.532 -305.551 -304.463 -303.595 -302.625

Và học 2:

Estimates:
                       mean     sd       2.5%     25%      50%      75%      97.5% 
(Intercept)             5.249    0.243    4.783    5.082    5.246    5.417    5.715
condSuppression        -0.599    0.342   -1.272   -0.823   -0.599   -0.374    0.098
prej                    0.137    0.079   -0.021    0.084    0.138    0.192    0.287
condSuppression:prej    0.135    0.120   -0.099    0.055    0.136    0.214    0.366
sigma                   1.132    0.056    1.034    1.092    1.128    1.169    1.253
mean_PPD                5.470    0.114    5.248    5.392    5.471    5.548    5.687
log-posterior        -316.699    1.583 -320.626 -317.454 -316.342 -315.561 -314.651

Vì các phương tiện và độ lệch chuẩn này ít nhiều giống với ước tính OLS, nên hiệu ứng thứ tự ở trên vẫn xảy ra. Nếu tôi cắm các số liệu thống kê tóm tắt sau từ Nghiên cứu 1 vào các linh mục khi phân tích Nghiên cứu 2, tôi quan sát thấy một hậu thế cuối cùng khác so với khi phân tích Nghiên cứu 2 trước và sau đó sử dụng các thống kê tóm tắt sau đó làm mục sư để phân tích Nghiên cứu 1.

Ngay cả khi tôi sử dụng các phương tiện Bayes và độ lệch chuẩn cho các hệ số hồi quy là các linh mục thay vì các ước tính thường xuyên, tôi vẫn sẽ quan sát hiệu ứng thứ tự tương tự. Vì vậy, câu hỏi vẫn còn: lý do Bayes cho đặc quyền nghiên cứu đến trước là gì?

Định lý của Bayes nói rằng posteriorbằng với prior * likelihoodsau khi thay đổi kích thước (vì vậy xác suất tính tổng bằng 1). Mỗi quan sát có một likelihoodcái có thể được sử dụng để cập nhật priorvà tạo một cái mới posterior:

posterior_1 = prior * likelihood_1
posterior_2 = posterior_1 * likelihood_2
...
posterior_n = posterior_{n-1} * likelihood_n

Vậy đó

posterior_n = prior * likelihood_1 * ... * likelihood_n

Tính giao hoán của phép nhân ngụ ý các cập nhật có thể được thực hiện theo bất kỳ thứ tự nào . Vì vậy, nếu bạn bắt đầu với một lần trước, bạn có thể kết hợp các quan sát từ Nghiên cứu 1 và Nghiên cứu 2 theo bất kỳ thứ tự nào, áp dụng công thức của Bayes và đi đến cùng một trận chung kết posterior.

Đầu tiên tôi nên chỉ ra rằng:

1. Trong phương pháp kiểm tra ý nghĩa của bạn, bạn đã theo dõi một kết quả âm tính với một mô hình khác mang lại cho bạn một cơ hội khác để có được kết quả khả quan. Chiến lược như vậy làm tăng tỷ lệ lỗi loại I theo dự án của bạn. Kiểm tra ý nghĩa đòi hỏi phải chọn chiến lược phân tích của bạn trước để giá trị là chính xác.$p$
2. Bạn đang đặt nhiều niềm tin vào kết quả của Nghiên cứu 1 bằng cách dịch những phát hiện của bạn từ mẫu đó trực tiếp sang các linh mục. Hãy nhớ rằng, một ưu tiên không chỉ là sự phản ánh của những phát hiện trong quá khứ. Nó cần phải mã hóa toàn bộ niềm tin từ trước của bạn, bao gồm cả niềm tin của bạn trước những phát hiện trước đó. Nếu bạn thừa nhận rằng Nghiên cứu 1 liên quan đến lỗi lấy mẫu cũng như các loại độ không đảm bảo dễ biến đổi khác, chẳng hạn như độ không đảm bảo của mô hình, bạn nên sử dụng phương pháp bảo thủ hơn trước.

Điểm thứ hai trong số những điểm này cho một sự khởi hành quan trọng mà bạn đã thực hiện từ hội nghị Bayes. Bạn đã không đặt trước trước và sau đó phù hợp với cả hai mô hình trong thời trang Bayes. Bạn phù hợp với một mô hình theo kiểu phi Bayes và sau đó sử dụng mô hình đó cho các linh mục cho mô hình khác. Nếu bạn đã sử dụng phương pháp thông thường, bạn sẽ không thấy sự phụ thuộc vào thứ tự mà bạn đã thấy ở đây.

Tôi nghĩ rằng tôi có thể tạo ra một loạt các biểu đồ với một vấn đề khác, nhưng được cách điệu hóa, để cho bạn thấy lý do tại sao có thể nguy hiểm khi chuyển từ phương pháp Thường xuyên sang phương pháp Bayes và tại sao sử dụng thống kê tóm tắt có thể tạo ra vấn đề.

Thay vì sử dụng ví dụ của bạn, đó là đa chiều, tôi sẽ cắt nó xuống một chiều với hai nghiên cứu có kích thước là ba quan sát và ba quan sát.

Dữ liệu tôi đang sử dụng là giả mạo. Cả hai mẫu đã bị buộc phải có trung vị -1. Điều này quan trọng bởi vì nó đến từ một hàm mật độ đơn giản mà tôi thường phải làm việc với. Mật độ thường xuyên và hàm Khả năng Bayes là Đây là phân phối Cauchy với trung vị chưa biết, nhưng với tham số tỷ lệ là một. Ở dạng rút gọn, nó được coi là trường hợp phổ biến nhất trong thị trường chứng khoán và xuất hiện trong các vấn đề vật lý với các vật thể quay như đá lăn xuống dốc hoặc trong "Vấn đề ngọn hải đăng nổi tiếng".

Tôi đang sử dụng nó bởi vì định lý giới hạn trung tâm không áp dụng, nó thiếu các số liệu thống kê đầy đủ, các quan sát cực đoan là phổ biến, bất bình đẳng của Ch Quachev không giữ được và một loạt các giải pháp khả thi thông thường bị phá vỡ. Tôi đang sử dụng nó bởi vì nó làm cho các ví dụ tuyệt vời mà không phải đặt quá nhiều công việc vào vấn đề.

Có hai mẫu. Trong nghiên cứu đầu tiên, dữ liệu là . Trong nghiên cứu thứ hai, dữ liệu là . Phân phối này là tốt vì các mẫu tập trung cao là phổ biến và các mẫu với phạm vi lớn là phổ biến. Khoảng tin cậy 99,99% thường là thay vì được sử dụng nhiều nhất.{ - 1,5 , - 1 , - .5 } ± 669 σ ± 3$\{-5,-1,4\}$$\{-1.5,-1,-.5\}$$\pm{669}\sigma$$\pm{3}\sigma$

Mật độ sau của hai nghiên cứu riêng biệt là

Như đã thấy rõ, việc lấy số liệu thống kê tóm tắt từ mẫu người ta có thể gây hiểu nhầm vô cùng. Nếu bạn đã quen nhìn thấy mật độ đẹp, không đồng đều, được xác định rõ và được đặt tên, thì điều đó có thể nhanh chóng đi ra khỏi cửa với các công cụ Bayesian. Không có phân phối được đặt tên như nó, nhưng bạn chắc chắn có thể mô tả nó với số liệu thống kê tóm tắt nếu bạn không nhìn trực quan vào nó. Sử dụng một thống kê tóm tắt có thể là một vấn đề nếu sau đó bạn sẽ sử dụng điều đó để xây dựng một ưu tiên mới.

Phân phối độ tin cậy thường xuyên cho cả hai mẫu là như nhau. Bởi vì thang đo được biết đến, tham số duy nhất chưa biết là trung vị. Đối với kích thước mẫu là ba, trung vị là MVUE. Trong khi phân phối Cauchy không có giá trị trung bình hoặc phương sai, phân phối lấy mẫu của trung vị thực hiện. Nó kém hiệu quả hơn công cụ ước tính khả năng tối đa, nhưng tôi không mất nhiều công sức để tính toán. Đối với các cỡ mẫu lớn, phương pháp của Rothenberg là MVUE và cũng có các giải pháp cỡ mẫu trung bình.

Đối với phân phối thường xuyên, bạn nhận được

Lưu ý rằng nếu bạn đã sử dụng số liệu thống kê tóm tắt, bạn sẽ nhận được cùng một số liệu cho cả hai mẫu. Phân phối tần số không phụ thuộc nhiều vào dữ liệu vì tham số tỷ lệ đã biết và chúng có cùng giá trị trung bình. Vì vậy, số liệu thống kê tóm tắt là bất biến đối với sự khác biệt trong các mẫu, bởi vì trung bình chung. Mặc dù bạn sẽ chỉ ra một cách đúng đắn rằng điều này là giả tạo và điều này sẽ không thực sự xảy ra, sự biến dạng vẫn còn. Sử dụng ngôn ngữ chính xác hơn cho suy nghĩ Bayes, mô hình tần số là chứ không phải .Pr ( q | x $\Pr(x|\theta)$$\Pr(\theta|x)$

Phân phối tần số giả định sự lặp lại vô hạn của kích thước mẫu ba lần rút và cho thấy phân phối giới hạn cho phân phối trung bình mẫu. Phân phối Bayes được cho nên nó chỉ phụ thuộc vào mẫu được quan sát và bỏ qua các thuộc tính tốt hay xấu mà mẫu này có thể có. Thật vậy, mẫu này không bình thường đối với các phương pháp Bayes và do đó người ta có thể được tạm dừng để hình thành một suy luận mạnh mẽ về nó. Đây là lý do tại sao phía sau rất rộng, mẫu là bất thường. Phương pháp Thường xuyên đang kiểm soát các mẫu bất thường, trong khi Bayes thì không. Điều này tạo ra trường hợp đồi trụy trong đó độ chắc chắn được thêm vào của tham số tỷ lệ thu hẹp giải pháp Thường xuyên, nhưng mở rộng Bayesian.$x$

Hậu thế chung là sản phẩm của cả hai hậu thế và bằng sự kết hợp của phép nhân, việc bạn sử dụng thứ tự nào không quan trọng. Trực quan, các khớp sau là .

Rõ ràng là bạn đã áp đặt một số phân phối đơn giản hóa cho các hậu thế và sử dụng số liệu thống kê tóm tắt của họ, bạn có thể sẽ nhận được một câu trả lời khác. Trong thực tế, nó có thể là một câu trả lời rất khác nhau. Nếu một khu vực đáng tin cậy 70% được sử dụng để nghiên cứu, nó sẽ dẫn đến một khu vực đáng tin cậy bị ngắt kết nối. Đôi khi sự tồn tại của các khoảng ngắt kết nối xảy ra trong các phương pháp Bayes. Đồ họa của khoảng mật độ cao nhất và khoảng mật độ thấp nhất cho nghiên cứu là

Bạn sẽ nhận thấy rằng HDR bị phá vỡ bởi một mảnh của khu vực nằm ngoài bộ đáng tin cậy.

Mặc dù nhiều vấn đề trong số này thường biến mất trong các tập hợp lớn với hồi quy, tôi xin đưa ra một ví dụ về sự khác biệt tự nhiên trong cách các phương thức Bayes và Thường xuyên sẽ xử lý các biến bị thiếu khác nhau trong hồi quy.

Xem xét một hồi quy được xây dựng tốt với một biến thiếu, thời tiết. Chúng ta hãy cho rằng khách hàng cư xử khác nhau vào những ngày mưa và những ngày nắng. Nếu sự khác biệt đó là đủ, có thể dễ dàng có hai chế độ sau Bayes. Một chế độ phản ánh hành vi nắng, bên kia mưa. Bạn không biết tại sao bạn có hai chế độ. Nó có thể là một lần chạy thống kê hoặc nó có thể là một điểm dữ liệu bị thiếu, nhưng mẫu của bạn không bình thường hoặc mô hình của bạn có một biến bị bỏ qua.

Giải pháp Thường xuyên sẽ tính trung bình hai trạng thái và có thể đặt đường hồi quy trong khu vực không có hành vi khách hàng thực sự xảy ra, nhưng tính trung bình của hai loại hành vi. Nó cũng sẽ được thiên vị đi xuống. Các vấn đề có thể bị bắt trong phân tích dư, đặc biệt nếu có sự khác biệt lớn trong phương sai thực sự, nhưng có thể không. Nó có thể là một trong những hình ảnh kỳ lạ của phần dư sẽ xuất hiện trên Cross-xác nhận theo thời gian.

Thực tế là bạn có hai hậu thế khác nhau từ cùng một dữ liệu ngụ ý rằng bạn đã không nhân hai số đó với nhau trực tiếp. Hoặc bạn đã tạo một hậu thế từ một giải pháp Thường xuyên không ánh xạ một-một với hậu thế Bayes hoặc bạn đã tạo một ưu tiên từ các thống kê tóm tắt và hàm khả năng không đối xứng hoàn toàn, là điều phổ biến.