Một người Bayes sẽ thừa nhận rằng có một giá trị tham số cố định?

Trong phân tích dữ liệu Bayes, các tham số được coi là các biến ngẫu nhiên. Điều này bắt nguồn từ khái niệm chủ quan của Bayes về xác suất. Nhưng về mặt lý thuyết, Bayes có thừa nhận rằng có một giá trị tham số cố định thực sự trong 'thế giới thực?'

Có vẻ như câu trả lời rõ ràng là 'có', bởi vì sau đó cố gắng ước tính tham số sẽ gần như vô nghĩa. Một trích dẫn học thuật cho câu trả lời này sẽ được đánh giá rất cao.

IMHO "có"! Đây là một trong những trích dẫn yêu thích của tôi bởi Greenland (2006: 767):

Người ta thường nói (không chính xác) rằng 'các tham số được coi là cố định bởi người thường xuyên nhưng là ngẫu nhiên bởi Bayesian'. Đối với những người thường xuyên và Bayes như nhau, giá trị của một tham số có thể đã được cố định từ đầu hoặc có thể được tạo ra từ một cơ chế ngẫu nhiên vật lý. Trong cả hai trường hợp, cả hai đều cho rằng nó đã mang một số giá trị cố định mà chúng tôi muốn biết. Bayesian sử dụng các mô hình xác suất chính thức để thể hiện sự không chắc chắn cá nhân về giá trị đó. "Tính ngẫu nhiên" trong các mô hình này thể hiện sự không chắc chắn cá nhân về giá trị của tham số; nó không phải là một thuộc tính của tham số (mặc dù chúng ta nên hy vọng nó phản ánh chính xác các thuộc tính của các cơ chế tạo ra tham số).

Greenland, S. (2006). Quan điểm của Bayes cho nghiên cứu dịch tễ học: I. Cơ sở và phương pháp cơ bản. Tạp chí quốc tế về dịch tễ học , 35 (3), 765 bóng774.

Quan niệm của Bayes về một xác suất không nhất thiết là chủ quan (cf Jaynes). Sự khác biệt quan trọng ở đây là Bayes cố gắng xác định trạng thái hiểu biết của mình về giá trị của tham số bằng cách kết hợp phân phối trước cho giá trị hợp lý của nó với khả năng tóm tắt thông tin trong một số quan sát. Do đó, là một người Bayes, tôi nói rằng tôi rất vui với ý tưởng rằng tham số này có giá trị thực, không được biết chính xác và mục đích của phân phối sau là để tóm tắt những gì tôi biết về các giá trị hợp lý của nó, dựa trên các giả định trước đây của tôi và các quan sát.

Bây giờ, khi tôi làm một mô hình, mô hình không phải là thực tế. Vì vậy, trong một số trường hợp, tham số trong câu hỏi không tồn tại trong thực tế (ví dụ trọng lượng trung bình của tử cung) và trong một số câu hỏi thì không (ví dụ: giá trị thực của tham số hồi quy - mô hình hồi quy chỉ là mô hình kết quả của các định luật vật lý chi phối hệ thống, có thể không thực sự được nắm bắt hoàn toàn bằng mô hình hồi quy). Vì vậy, để nói rằng có một giá trị tham số cố định thực sự trong thế giới thực không nhất thiết phải đúng.

Mặt khác, tôi sẽ đề nghị rằng hầu hết những người thường xuyên sẽ nói rằng có một giá trị thực sự cho thống kê, nhưng họ không biết đó là gì, nhưng họ có những người ước tính cho nó và khoảng tin cậy vào ước tính của họ (theo nghĩa ) định lượng sự không chắc chắn của chúng liên quan đến tính hợp lý của các giá trị khác nhau (nhưng quan niệm thường xuyên về xác suất ngăn chúng thể hiện điều này như trực tiếp).

Theo ý chính của bạn, trong Phân tích dữ liệu Bayes (tái bản lần thứ 3, 93), Gelman cũng viết

Từ góc độ phân tích dữ liệu Bayes, chúng ta thường có thể hiểu các ước tính điểm cổ điển là các tóm tắt chính xác hoặc gần đúng dựa trên một số mô hình xác suất đầy đủ ẩn. Trong giới hạn của cỡ mẫu lớn, trên thực tế, chúng ta có thể sử dụng lý thuyết tiệm cận để xây dựng một lý lẽ Bayesian lý thuyết cho khả năng suy luận tối đa cổ điển.

Vì vậy, có lẽ không phải người Bayes nên "thừa nhận" rằng, trên thực tế, có các giá trị tham số thực duy nhất, nhưng những người thường xuyên nên thu hút các số liệu thống kê của Bayes để biện minh cho các thủ tục ước tính của họ! (Tôi nói điều này với lưỡi chắc chắn trong má.)

$\Pr(\theta|y)$

Nhưng ý tưởng rằng có các tham số duy nhất trong tự nhiên hoặc trong các hệ thống xã hội chỉ là một giả định đơn giản hóa. Có thể có một số quy trình trang trí công phu tạo ra kết quả quan sát được, nhưng phát hiện ra hệ thống đó cực kỳ phức tạp; giả sử rằng có một giá trị tham số cố định duy nhất đơn giản hóa vấn đề một cách đáng kể. Tôi nghĩ rằng điều này cắt giảm cốt lõi của câu hỏi của bạn: Bayes không nên "thừa nhận" để thực hiện đơn giản hóa này nhiều hơn những người thường xuyên nên làm.

Bạn có nghĩ rằng có một "thông số cố định thực sự" duy nhất cho một cái gì đó như sự đóng góp của việc uống sữa cho sự tăng trưởng của trẻ không? Hoặc cho việc giảm kích thước khối u dựa trên lượng hóa chất X bạn tiêm vào cơ thể bệnh nhân? Chọn bất kỳ mô hình nào bạn quen thuộc và tự hỏi mình nếu bạn thực sự tin rằng có một giá trị đúng, phổ quát, chính xác và cố định cho từng tham số, ngay cả trên lý thuyết.

Bỏ qua lỗi đo lường, chỉ cần nhìn vào mô hình của bạn như thể tất cả các phép đo là hoàn toàn chính xác và vô cùng chính xác. Đưa ra mô hình của bạn, bạn có nghĩ rằng mỗi tham số thực tế có một giá trị điểm cụ thể không?

Thực tế là bạn có một mô hình chỉ ra rằng bạn đang bỏ qua một số chi tiết. Mô hình của bạn sẽ có một số lượng không chính xác vì bạn đang tính trung bình trên các tham số / biến mà bạn đã bỏ qua để tạo mô hình - một đại diện đơn giản của thực tế. (Giống như bạn không tạo bản đồ hành tinh 1: 1, hoàn chỉnh với tất cả các chi tiết, mà thay vào đó là bản đồ 1: 10000000 hoặc một số đơn giản hóa như vậy. Bản đồ là một mô hình.)

Cho rằng bạn đang tính trung bình trên các biến số bên trái, các tham số cho các biến bạn đưa vào mô hình của bạn sẽ là phân phối, không phải giá trị điểm.

Đó chỉ là một phần của triết lý Bayes - Tôi bỏ qua sự không chắc chắn về mặt lý thuyết, độ không đảm bảo đo lường, linh mục, v.v. - nhưng đối với tôi, ý tưởng rằng các tham số của bạn có phân phối có ý nghĩa trực quan, giống như cách thống kê mô tả có phân phối.

Nhưng về mặt lý thuyết, Bayes có thừa nhận rằng có một giá trị tham số cố định thực sự trong 'thế giới thực?'

$\theta_0$$\theta_0$

Nếu chúng ta đi và kết hợp chủ nghĩa Bayes với một vũ trụ xác định (trước khi bạn nói bất cứ điều gì có từ 'lượng tử' trong đó, hãy hài hước với tôi và nhớ lại rằng đây không phải là vật lý.stackexchange) chúng ta sẽ nhận được một số kết quả thú vị.

Làm cho các giả định của chúng tôi rõ ràng:

1. Chúng ta có một đặc vụ Bayes là một phần và quan sát một vũ trụ xác định.
2. Các đại lý có nguồn lực tính toán hạn chế.

Bây giờ, vũ trụ xác định có thể là một trong đó các nguyên tử là những quả bóng bi-a nhỏ của người Newton. Nó có thể hoàn toàn không lượng tử. Hãy nói nó là.

Các đại lý bây giờ lật một đồng tiền công bằng. Hãy suy nghĩ về điều đó trong một giây, một đồng tiền công bằng cấu thành gì trong một vũ trụ xác định? Một đồng xu có tỷ lệ xác suất 50/50?

Nhưng nó mang tính quyết định! Với đủ sức mạnh tính toán, bạn có thể tính toán chính xác cách đồng xu sẽ hạ cánh, hoàn toàn bằng cách mô phỏng mô hình của một đồng xu được lật theo cách tương tự.

Trong một vũ trụ xác định, một đồng tiền công bằng sẽ là một đĩa kim loại có mật độ đồng đều. Không có lực lượng nào buộc nó phải dành nhiều thời gian hơn với một mặt xuống so với mặt kia (nghĩ về cách thức hoạt động của xúc xắc có trọng lượng.)

Vì vậy, các đại lý lật một đồng tiền công bằng. Tuy nhiên, tác nhân không đủ mạnh. Nó không có đôi mắt đủ sắc bén để đo cách đồng xu quay khi lật, nó nhìn thấy nhưng mờ.

Và do đó, nó nói "Đồng tiền này sẽ hạ cánh với xác suất 50%." Thiếu thông tin dẫn đến xác suất.

Chúng ta có thể nhìn vào không gian pha về cách ném đồng xu. Một hệ thống tọa độ đa chiều lớn với các trục liên quan đến hướng ném, lực ném, vòng quay của đồng xu, tốc độ và hướng gió, v.v. Một điểm duy nhất trong không gian này tương ứng với một coinflip có thể.

Nếu chúng ta yêu cầu tác nhân từ trước tô màu trong hệ tọa độ với độ dốc màu xám tương ứng với chỉ định xác suất đầu của tác nhân cho mỗi lần ném nhất định, thì nó sẽ tô màu toàn bộ màu xám đồng nhất.

Nếu chúng ta dần dần cung cấp cho nó các máy tính nội bộ mạnh hơn để tính toán xác suất của các đầu, nó sẽ có thể tạo ra nhiều màu sắc sành điệu hơn. Cuối cùng khi chúng ta cung cấp cho nó chiếc máy tính bên trong mạnh nhất, làm cho nó trở nên toàn diện, nó sẽ vẽ một tấm ván lạ một cách hiệu quả.

Tiền xu công bằng không được làm bằng xác suất, chúng được làm bằng kim loại. Xác suất chỉ tồn tại trong các cấu trúc tính toán. Bayes nói vậy.

Có những linh mục không phù hợp, ví dụ Jeffreys, có mối quan hệ nhất định với ma trận Thông tin Fishers. Thì nó không chủ quan.