Các khoảng tin cậy Bayes có coi tham số ước tính là một biến ngẫu nhiên không?

Tôi đã đọc đoạn văn sau trên Wikipedia gần đây:

Các khoảng Bayes coi giới hạn của chúng là cố định và tham số ước tính là một biến ngẫu nhiên , trong khi đó khoảng tin cậy thường xuyên coi giới hạn của chúng là các biến ngẫu nhiên và tham số là một giá trị cố định.

Tuy nhiên, tôi không chắc liệu điều này có đúng không. Giải thích của tôi về khoảng tin cậy là nó gói gọn sự không chắc chắn của chúng ta về giá trị thực của tham số ước tính nhưng bản thân tham số ước tính đã có một loại giá trị 'đúng'.

Điều này hơi khác khi nói rằng tham số ước tính là "biến ngẫu nhiên". Tôi có lầm không?

Hãy xem xét tình huống trong đó bạn có quan sát về quá trình nhị phân (2-coutcome). Thông thường, hai kết quả có thể có trên mỗi thử nghiệm được gọi là Thành công và Thất bại.$n = 20$

Khoảng tin cậy thường xuyên. Giả sử bạn quan sát thành công trong thử nghiệm. Xem số của Thành công dưới dạng một biến ngẫu nhiên trong đó xác suất thành công là một hằng số chưa biết. Khoảng tin cậy thường xuyên Wald 95% dựa trên ước tính của Sử dụng xấp xỉ bình thường, CI này có dạng$x = 15$$n = 20$$X$$X \sim \mathsf{Binom}(n=20; p),$$p$$\hat p = 15/20 = 0.75,$$p.$$\hat p \pm 1.96\sqrt{\hat p(1-\hat p)/n}$ hoặc là $(0.560, 0.940).$[ Phong cách 95% Agresti-Coull được cải thiện đôi chút là$(0.526, 0.890).]$

Một cách giải thích phổ biến là quy trình tạo ra một khoảng như vậy sẽ tạo ra giới hạn tin cậy thấp hơn và cao hơn bao gồm giá trị thực của $p$trong 95% trường hợp trong thời gian dài. [Ưu điểm của khoảng Agresti-Coull là tỷ lệ dài hạn của các vùi như vậy gần tới 95% so với khoảng Wald.]

Bayesian khoảng tin cậy. Cách tiếp cận Bayes bắt đầu bằng cách điều trị$p$như một biến ngẫu nhiên. Trước khi xem dữ liệu, nếu chúng tôi không có kinh nghiệm trước với thử nghiệm nhị thức loại đang được tiến hành hoặc không có ý kiến ​​cá nhân về việc phân phối$p,$ chúng tôi có thể chọn phân phối đồng phục 'phẳng' hoặc 'không phù hợp', cho biết $p \sim \mathsf{Unif}(0, 1) \equiv \mathsf{Beta}(1,1).$

Sau đó, đưa ra 15 thành công trong 20 thử nghiệm nhị thức, chúng tôi tìm thấy phân phối sau của $p$ là sản phẩm của phân phối trước và hàm khả năng nhị thức.

Ở đây chúng tôi nhận ra rằng hạt nhân của phân phối sau là phân phối $\mathsf{Beta}(16, 6).$Sau đó, một khoảng sau 95% Bayesian hoặc khoảng tin cậy được tìm thấy bằng cách cắt 2,5% từ mỗi đuôi của phân phối sau. Đây là kết quả từ R: $(0.528,0.887).$[Để biết thông tin về các bản phân phối beta, xem Wikipedia .]

qbeta(c(.025,.975), 16, 6)
[1] 0.5283402 0.8871906

Nếu chúng tôi tin rằng trước đó là hợp lý và tin rằng thử nghiệm nhị thức 20 thử nghiệm đã được tiến hành một cách công bằng, thì về mặt logic, chúng tôi phải mong đợi ước tính khoảng thời gian Bayes cung cấp thông tin hữu ích về thử nghiệm trong tay --- không liên quan đến giả thuyết dài- chạy trong tương lai.

Lưu ý rằng khoảng tin cậy Bayes này tương tự về mặt số với khoảng tin cậy Agresti-Coull. Tuy nhiên, như bạn chỉ ra, các diễn giải của hai loại ước tính khoảng (thường xuyên và Bayes) không giống nhau.

Thông tin trước. Trước khi chúng tôi xem dữ liệu, nếu chúng tôi có lý do để tin rằng$p \approx 2/3,$ sau đó chúng tôi có thể đã chọn phân phối $\mathsf{Beta}(8,4)$như phân phối trước. [Phân phối này có nghĩa là 2/3, độ lệch chuẩn khoảng 0,35 và đặt khoảng 95% xác suất của nó trong khoảng$(0.39, 0.89).$]

qbeta(c(.025,.975), 8,4)
[1] 0.3902574 0.8907366

Trong trường hợp đó, nhân số trước với khả năng cho hạt nhân sau $\mathsf{Beta}(23,7),$ sao cho khoảng tin cậy 95% Bayes là $(0.603, 0.897).$ Phân phối sau là một sự pha trộn thông tin trong phần trước và khả năng, đó là một thỏa thuận thô, do đó, ước tính khoảng thời gian Bayes ngắn hơn so với khoảng từ căn hộ trước.

qbeta(c(.025,.975), 23,7)
[1] 0.6027531 0.8970164

Lưu ý: (1) Hàm khả năng nhị phân trước và nhị thức là 'liên hợp', nghĩa là tương thích về mặt toán học theo cách cho phép chúng ta tìm phân phối sau mà không cần tính toán. Đôi khi, dường như không có phân phối trước mà liên hợp với khả năng. Sau đó, có thể cần phải sử dụng tích hợp số để tìm phân phối sau.

(2) Một khoảng đáng tin cậy Bayes từ một trước không chính xác phụ thuộc vào chức năng khả năng. Ngoài ra, phần lớn suy luận thường xuyên phụ thuộc vào chức năng khả năng. Do đó, không có gì ngạc nhiên khi một khoảng tin cậy Bayes từ căn hộ trước có thể giống nhau về mặt số lượng với khoảng tin cậy thường xuyên dựa trên cùng khả năng.

Giải thích của bạn là chính xác. Theo tôi, đoạn văn cụ thể trong bài viết Wikipedia làm xáo trộn một khái niệm đơn giản với ngôn ngữ kỹ thuật mờ đục. Đoạn văn ban đầu rõ ràng hơn nhiều: "là một khoảng trong đó một giá trị tham số không quan sát được nằm trong một xác suất chủ quan cụ thể".

Thuật ngữ "biến ngẫu nhiên" là sai lệch, đặc biệt là từ quan điểm Bayes. Nó vẫn được sử dụng ngoài truyền thống; hãy xem nghiên cứu lịch sử hấp dẫn của Shafer Khi gọi một biến ngẫu nhiên về nguồn gốc của nó. Theo quan điểm của người Bayes, "ngẫu nhiên" đơn giản có nghĩa là "không xác định" hoặc "không chắc chắn" (vì bất kỳ lý do gì) và "biến" là một cách gọi sai cho "số lượng" hoặc "giá trị". Ví dụ, khi chúng ta cố gắng đánh giá sự không chắc chắn của chúng ta về tốc độ ánh sáng$c$ từ một phép đo hoặc thí nghiệm, chúng ta nói về $c$như một "biến ngẫu nhiên"; nhưng rõ ràng nó không phải là "ngẫu nhiên" (và "ngẫu nhiên" nghĩa là gì?), cũng không phải là "biến" - thực tế, đó là một hằng số. Nó chỉ là một hằng số vật lý có giá trị chính xác mà chúng tôi không chắc chắn. Xem § 16.4 (và những nơi khác) trong cuốn sách của Jaynes để biết một cuộc thảo luận về chủ đề này.

Câu hỏi "khoảng thời gian Bayes cho 'tham số' nghĩa là gì?" xuất phát từ câu hỏi thậm chí quan trọng hơn "tham số này có ý nghĩa gì?". Có hai quan điểm chính - không loại trừ lẫn nhau - về ý nghĩa của "tham số" trong lý thuyết Bayes. Cả hai đều sử dụng định lý de Finetti . Chương 4 của Lý thuyết Bayes của Bernardo & Smith có một cuộc thảo luận sâu sắc về định lý; xem thêm Tóm tắt Trao đổi của Dawid và sự phân nhánh của nó .

Quan điểm đầu tiên là tham số và phân phối của nó chỉ là các đối tượng toán học tóm tắt hoàn toàn một tập hợp phân phối niềm tin chung vô hạn về các đại lượng thực sự có thể quan sát được$x_1, x_2, \dotsc$(giả sử, kết quả của việc tung đồng xu, hoặc sự hiện diện của một alen di truyền ở những cá nhân mắc một bệnh cụ thể). Vì vậy, trong trường hợp nhị thức, khi chúng ta nói "chúng ta có 95% niềm tin rằng giá trị tham số$p$ trong khoảng $I$", chúng tôi có nghĩa là" chúng tôi có một niềm tin giữa $b_1$% và $b_1'$% cái đó $x_1=1$"," chúng tôi có một niềm tin giữa $b_2$% và $b_2'$% cái đó $x_1=1$ và $x_2=1$"và tất cả các câu lệnh tương tự có thể có. Mối quan hệ số chính xác giữa $b_i$s và khoảng $I$ được đưa ra bởi công thức tích phân của de Finetti.

Quan điểm thứ hai là "các tham số" như vậy là các đại lượng quan sát được trong thời gian dài, do đó, thật hợp lý khi nói về niềm tin của chúng tôi vào các giá trị của chúng. Ví dụ: tham số nhị thức$p$là tần suất quan sát dài hạn của "thành công" (đuôi cho một đồng xu, alen nhỏ cho trường hợp di truyền, v.v.). Vì vậy, khi chúng tôi nói "chúng tôi có 95% niềm tin rằng giá trị tham số$p$ trong khoảng $I$"chúng tôi muốn nói" chúng tôi có 95% niềm tin rằng tần suất thành công tương đối dài hạn nằm trong khoảng $I$". Bối cảnh ở đây là, nếu một nhà tiên tri hay jinn nói với chúng tôi rằng tần số tương đối dài hạn là, 0,643, thì chúng tôi tin rằng quan sát tiếp theo là thành công, từ các lý do đối xứng, 64,3%; hai quan sát tiếp theo, 41,3449%, v.v. ("Từ lý do đối xứng" bởi vì chúng tôi tin tưởng như nhau trong tất cả các chuỗi thời gian có thể thành công và thất bại - đây là bối cảnh của định lý.) Những quan sát dài hạn này không cần phải là vô hạn, nhưng chỉ đủ lớn: trong trường hợp này, công thức khả năng trao đổi vô hạn của de Finetti có thể được coi là một xấp xỉ của một khả năng trao đổi hữu hạn (ví dụ, phân phối nhị thức là một xấp xỉ cho một phép đo siêu âm: "vẽ mà không cần thay thế"); xem Diaconis & Người tự dovề xấp xỉ như vậy. Thông thường các tham số như vậy có liên quan đến thống kê dài hạn (xem lại chương được trích dẫn trong Bernardo & Smith). Nói tóm lại, "tham số" là tần số dài hạn hoặc các số liệu thống kê thực nghiệm, có thể quan sát được khác.

Cá nhân tôi thích quan điểm thứ hai - cố gắng tìm ý nghĩa thực nghiệm của tham số là đại lượng vật lý - cũng bởi vì nó giúp tôi đánh giá phân phối niềm tin tiền dữ liệu của mình về đại lượng vật lý cụ thể đó, trong bối cảnh cụ thể của nó. Xem ví dụ bài viết của Diaconis & al Sai lệch động lực trong việc tung đồng xu để có một nghiên cứu tuyệt vời về mối quan hệ giữa các tham số dài hạn và các nguyên tắc vật lý. Ngày nay, thật không may, nhiều "mô hình" và tham số đến giống như các hộp đen: mọi người sử dụng chúng chỉ vì những người khác sử dụng chúng. Theo cách nói của Diaconis :

Báo động của de Finetti tại các nhà thống kê giới thiệu các dòng thông số không quan sát được đã liên tục được chứng minh trong các bài tập phù hợp với đường cong hiện đại của các mô hình lớn ngày nay. Chúng dường như mất hết liên lạc với thực tế khoa học tập trung chú ý vào chi tiết của các chương trình lớn và phù hợp thay vì quan sát và hiểu biết về cơ chế cơ bản.

Trong lý thuyết thường xuyên, thuật ngữ "biến ngẫu nhiên" có thể có một ý nghĩa khác. Tôi không phải là một chuyên gia trong lý thuyết này, vì vậy tôi sẽ không cố gắng định nghĩa nó ở đó. Tôi nghĩ rằng có một số tài liệu xung quanh cho thấy rằng khoảng tin cậy thường xuyên và khoảng Bayes có thể khá khác nhau; xem ví dụ: Khoảng tin cậy so với khoảng Bayes hoặc https://www.ncbi.nlm.nih.gov/pubmed/6830080 .

Giải thích của tôi về khoảng tin cậy là nó gói gọn sự không chắc chắn của chúng ta về giá trị thực của tham số ước tính nhưng bản thân tham số ước tính đã có một loại giá trị 'đúng'. Điều này hơi khác khi nói rằng tham số ước tính là "biến ngẫu nhiên". Tôi có lầm không?

Mặc dù bạn nói rằng bạn diễn giải khoảng tin cậy là đóng gói sự không chắc chắn của chúng ta, logic của kết luận của bạn xuất phát từ tiền đề rằng một đại lượng có giá trị thực không phải là một biến ngẫu nhiên. Đây là một quan điểm đầy đủ về xác suất (và "tính ngẫu nhiên" tiếp theo) quan niệm tính ngẫu nhiên là một tính chất vốn có trong tự nhiên. Về mặt toán học, một biến ngẫu nhiên chỉ là một đại lượng tương ứng với các kết quả có thể có trong một không gian mẫu, với một thước đo xác suất kèm theo. Do đó, cách tiếp cận của bạn sẽ chỉ có ý nghĩa nếu bạn lấy thước đo xác suất đó làm tài sản vốn có của tự nhiên, tạo ra xu hướng cho một sự kiện "ngẫu nhiên" siêu hình xảy ra. Sau đó, bạn kết luận rằng một tham số có giá trị thực không được siêu hình "ngẫu nhiên"

Cách tiếp cận đó là mâu thuẫn với cách giải thích xác thực thường được sử dụng trong lý thuyết Bayes. Theo cách tiếp cận thứ hai (là cách hiểu tiêu chuẩn), thước đo xác suất chỉ được hiểu là thước đo mức độ tin cậy (theo các yêu cầu kết hợp nhất định) của nhà phân tích (hoặc một số đối tượng khác). Theo cách hiểu epistemia, "biến ngẫu nhiên" đồng nghĩa với "đại lượng chưa biết", và do đó, không có vấn đề gì khi nói rằng một tham số có giá trị thực, nhưng vẫn là một biến ngẫu nhiên với thước đo xác suất (không suy biến). Trích dẫn mà bạn đang xem là sử dụng cách tiếp cận nhận thức này để xác suất, nhưng kết luận của bạn dường như đang sử dụng một tiền đề mâu thuẫn với cách giải thích này.