Lịch sử của lý thuyết trước đây không thông tin

Tôi đang viết một bài luận lý thuyết ngắn cho một khóa học Thống kê Bayes (trong Kinh tế học Hoa Kỳ) về các linh mục không thông tin và tôi đang cố gắng hiểu đó là những bước trong sự phát triển của lý thuyết này.

Đến bây giờ, dòng thời gian của tôi được thực hiện ba bước chính: nguyên tắc thờ ơ của Laplace (1812), các linh mục không bất biến (Jeffreys (1946)), tham khảo Bernardo trước (1979).

Từ đánh giá tài liệu của tôi, tôi đã hiểu rằng nguyên tắc thờ ơ (Laplace) là công cụ đầu tiên được sử dụng để thể hiện sự thiếu thông tin trước đó nhưng yêu cầu thiếu bất biến đã dẫn đến việc từ bỏ cho đến những năm 40, khi Jeffreys giới thiệu phương pháp của mình, có tài sản mong muốn của bất biến. Sự phát sinh của những nghịch lý bên lề do việc sử dụng không đúng cách trước những năm 70 đã thúc đẩy Bernardo xây dựng lý thuyết tham khảo trước đây của ông để giải quyết vấn đề này.

Đọc tài liệu, mỗi tác giả đều trích dẫn những đóng góp khác nhau: entropy tối đa của Jaynes, khả năng dịch dữ liệu của Box và Tiao, Zellner, ...

Theo bạn, những bước quan trọng tôi đang thiếu là gì?

EDIT : Tôi thêm các tài liệu tham khảo (chính) của mình, nếu ai đó cần:

1) Việc lựa chọn trước theo quy tắc chính thức, Kass, Wasserman

2) Một danh mục của các linh mục không thông tin, Yang, Berger

3) Giải thích và giải quyết vấn đề Bayesian Bayesian với các ứng dụng và xây dựng

Những gì bạn dường như đang thiếu là lịch sử ban đầu. Bạn có thể kiểm tra bài báo của Fienberg (2006) Khi suy luận Bayes trở thành "Bayesian"? . Đầu tiên, ông lưu ý rằng Thomas Bayes là người đầu tiên đề nghị sử dụng đồng phục trước đó:

Trong ngôn ngữ thống kê hiện tại, bài báo của Bayes giới thiệu phân phối trước thống nhất về tham số nhị thức, , suy luận bằng cách tương tự với "bảng bi-a" và vẽ theo dạng phân phối biên của biến ngẫu nhiên nhị phân, và không theo nguyên tắc "không đủ lý do", như nhiều người khác đã tuyên bố.$\theta$

Pierre Simon Laplace là người tiếp theo thảo luận về nó:

Laplace cũng đã nói rõ hơn, rõ ràng hơn Bayes, lập luận của ông về việc lựa chọn phân phối trước thống nhất, cho rằng phân phối sau của tham số phải tỷ lệ thuận với khả năng của dữ liệu hiện nay, nghĩa là,$\theta$

$$f(\theta\mid x_1,x_2,\dots,x_n) \propto f(x_1,x_2,\dots,x_n\mid\theta)$$

$\theta$

Ngoài ra, Carl Friedrich Gauss cũng đã đề cập đến việc sử dụng một thông tin không chính xác trước đó, như được ghi nhận bởi David và Edwards (2001) trong cuốn sách của họ Chú thích các bài đọc trong Lịch sử Thống kê :

$h$

$$f(h|x) \propto f(x|h)$$

$h$$[0, \infty)$

và như Fienberg (2006) thông báo, "xác suất nghịch đảo" (và những gì tiếp theo, sử dụng các linh mục thống nhất) đã phổ biến vào đầu thế kỷ 19

$t$$\mu$$\mu$$h =\sigma^{-1}$

Lịch sử ban đầu của phương pháp Bayes cũng được Stigler (1986) xem xét trong cuốn sách Lịch sử thống kê: Đo lường sự không chắc chắn trước năm 1900 .

Trong bài đánh giá ngắn của bạn, bạn dường như không đề cập đến Ronald Aylmer Fisher (một lần nữa được trích dẫn sau Fienberg, 2006):

Fisher tránh xa các phương pháp nghịch đảo và hướng tới cách tiếp cận suy luận của riêng mình mà ông gọi là "khả năng", một khái niệm mà ông tuyên bố khác với xác suất. Nhưng sự tiến bộ của Fisher trong vấn đề này là chậm. Stigler (164) đã chỉ ra rằng, trong một bản thảo chưa xuất bản có từ năm 1916, Fisher đã không phân biệt giữa khả năng và xác suất nghịch đảo với một căn hộ trước đó, ngay cả khi sau đó ông đã đưa ra sự khác biệt mà ông tuyên bố đã hiểu về nó vào thời điểm này.

Jaynes (1986) đã cung cấp bài đánh giá ngắn của riêng mình Phương pháp Bayes: Bối cảnh chung. Một hướng dẫn giới thiệu mà bạn có thể kiểm tra, nhưng nó không tập trung vào các linh mục không thông tin. Hơn nữa, như AdamO đã lưu ý , bạn chắc chắn nên đọc Câu chuyện lịch sử về khả năng tối đa của Stigler (2007).

Một điều đáng nói nữa là không có thứ gọi là "trước đây không thông tin" , vì vậy nhiều tác giả thích nói về "các linh mục mơ hồ" , hay "các linh mục thông tin hàng tuần" .

Một đánh giá lý thuyết được cung cấp bởi Kass và Wasserman (1996) trong Việc lựa chọn các phân phối trước theo các quy tắc chính thức , người đi sâu vào chi tiết hơn về việc lựa chọn các linh mục, với thảo luận mở rộng về việc sử dụng các linh mục không thông tin.

Một vài ý kiến ​​về sai sót của các linh mục không thông tin (các linh mục không thông tin) có lẽ là một ý tưởng tốt vì việc điều tra các sai sót như vậy đã giúp phát triển khái niệm về không thông tin trước trong lịch sử.

Bạn có thể muốn thêm một số ý kiến ​​về những hạn chế / sai sót của việc áp dụng các linh mục không thông tin. Trong số nhiều lời chỉ trích tôi chỉ ra hai.

(1) Nói chung, việc áp dụng các linh mục không thông tin có vấn đề nhất quán, đặc biệt là khi phân phối mô hình có hành vi đa phương thức.

Vấn đề này không phải là duy nhất đối với các linh mục không thông tin nhưng được chia sẻ bởi nhiều thủ tục Bayes khác như được chỉ ra trong bài báo sau cùng với các cuộc thảo luận của nó.

Diaconis, Ba Tư và David Freedman. "Về tính nhất quán của ước tính Bayes." Biên niên sử thống kê (1986): 1-26.

Ngày nay, việc không thông tin trước đây không còn là trọng tâm nghiên cứu. Dường như có nhiều mối quan tâm hơn đối với các lựa chọn linh hoạt hơn trước trong các cài đặt không theo tỷ lệ. Ví dụ là quy trình Gaussian trước trong quy trình Bayes không định lượng hoặc mô hình linh hoạt như hỗn hợp của các linh mục Dirichlet, như trong

Antoniak, Charles E. "Hỗn hợp các quá trình Dirichlet với các ứng dụng cho các vấn đề không theo quy chuẩn Bayes." Biên niên sử thống kê (1974): 1152-1174.

Nhưng một lần nữa như vậy trước có vấn đề nhất quán riêng của nó.

(2) Hầu hết cái gọi là "linh mục không thông tin" không được xác định rõ.

Đây có lẽ là vấn đề rõ ràng nhất liên quan đến các linh mục không thông tin trong quá trình phát triển của họ.

Một ví dụ là định nghĩa giới hạn của việc không phù hợp trước khi là giới hạn của một chuỗi các linh mục phù hợp sẽ dẫn đến một nghịch lý ngoài lề. Như bạn đã đề cập, tham chiếu trước của Bernardo cũng có một vấn đề là Berger không bao giờ chứng minh rằng định nghĩa chính thức của nó là độc lập với cấu trúc / phân vùng của nó. Xem các cuộc thảo luận trong

Berger, James O., Jose M. Bernardo và Dongchu Sun. "Định nghĩa chính thức của các linh mục tham khảo." Biên niên sử thống kê (2009): 905-938.

Một định nghĩa tốt nhất về ưu tiên của Jeffreys được xác định rõ là nó được chọn là ưu tiên sao cho bất biến theo bản dịch song song nhất định trên đa tạp Riemannian được trang bị số liệu thông tin của Fisher, nhưng ngay cả điều đó không giải quyết được vấn đề đầu tiên.

Ngoài ra, bạn có thể muốn đọc lời giải thích của tôi về nghịch lý bên lề .

Tôi đã có thể đăng trong các ý kiến, nhưng tôi đoán tôi chưa có danh tiếng. Điều duy nhất còn thiếu, không có trong các bình luận đã được đánh dấu, là một trường hợp đặc biệt của các linh mục không thông tin có nguồn gốc mà tôi đã cố gắng săn lùng và không tìm thấy. Nó có thể đi trước giấy Jeffreys.

Đối với phân phối bình thường, tôi đã thấy phân phối Cauchy được sử dụng như một dữ liệu không phù hợp trước cho dữ liệu với khả năng bình thường. Lý do là độ chính xác của phân phối Cauchy bằng 0, trong đó độ chính xác được chia cho phương sai. Nó tạo ra một tập hợp khá đặc biệt của các khái niệm mâu thuẫn.

Tùy thuộc vào cách bạn xác định tích phân, không có phương sai xác định hoặc nó đi đến vô cùng về trung vị, hàm ý độ chính xác sẽ bằng không. Trong cập nhật liên hợp, không áp dụng ở đây, bạn thêm các phần có trọng số. Tôi nghĩ rằng đây là lý do tại sao ý tưởng về một sự phù hợp trước với mật độ không chính xác hoàn toàn hình thành. Nó cũng tương đương với Sinh viên với một bậc tự do, cũng có thể là nguồn.

$2\Gamma$

Hai tài liệu tham khảo sớm nhất về phân phối Cauchy là các hàm khả năng. Cái đầu tiên trong một lá thư từ Poisson gửi Laplace là một ngoại lệ đối với Định lý giới hạn trung tâm. Lần thứ hai là vào năm 1851 các bài báo trong một trận chiến giữa Bienayme 'và Cauchy về tính hợp lệ của các bình phương tối thiểu thông thường.

Tôi đã tìm thấy các tài liệu tham khảo về việc sử dụng nó như là một thông tin không phù hợp trước những năm 1980 nhưng tôi không thể tìm thấy một bài báo hay cuốn sách đầu tiên. Tôi cũng không tìm thấy một bằng chứng nào cho thấy nó không phù hợp. Tôi đã tìm thấy một trích dẫn cho cuốn sách năm 1961 của Jeffreys về lý thuyết xác suất, nhưng tôi chưa bao giờ yêu cầu cuốn sách thông qua việc mượn liên thư viện.

Nó có thể chỉ đơn giản là thông tin yếu. Vùng mật độ cao nhất 99,99% là 1272 phạm vi bán xen kẽ rộng.

Tôi hy vọng nó sẽ giúp. Đó là một trường hợp đặc biệt kỳ lạ, nhưng bạn thấy nó xuất hiện trong một số bài báo hồi quy. Nó đáp ứng các yêu cầu cho một hành động Bayes bằng cách là một ưu tiên thích hợp, trong khi ảnh hưởng tối thiểu đến vị trí và quy mô.