Vì vậy, tôi vừa đọc xong một cuốn sách tuyệt vời Giới thiệu về Empirical Bayes . Tôi nghĩ rằng cuốn sách là tuyệt vời, nhưng xây dựng các linh mục từ dữ liệu cảm thấy sai. Tôi được đào tạo rằng bạn đưa ra một kế hoạch phân tích sau đó bạn thu thập dữ liệu sau đó bạn kiểm tra giả thuyết mà bạn đã xác định trước đó trong kế hoạch phân tích của mình. Khi bạn thực hiện một phân tích về dữ liệu đã thu thập, điều này sẽ đưa bạn vào suy luận sau chọn lọc, trong đó bạn phải nghiêm ngặt hơn nhiều về những gì bạn gọi là "đáng kể", xem tại đây . Tôi nghĩ rằng học máy có một cái gì đó tương tự được gọi là "hái anh đào" có nghĩa là chọn các yếu tố dự đoán trước khi thiết lập các bộ kiểm tra và đào tạo ( Giới thiệu về Học thống kê ).

Với những gì tôi đã học trước đây dường như với tôi rằng Bayes theo kinh nghiệm dựa trên nền tảng yếu. Mọi người có sử dụng nó chỉ trong cài đặt nơi dữ liệu được tạo thụ động không? Nếu vậy, điều này có thể hợp lý, nhưng có vẻ không đúng khi sử dụng nó khi thực hiện thiết kế thử nghiệm nghiêm ngặt, nhưng tôi biết rằng Brad Efron sử dụng Bayes theo kinh nghiệm đặc biệt cho Biostatistic, nói chung là một lĩnh vực rất NHST.

Câu hỏi của tôi là:

1. Bayes theo kinh nghiệm có giá trị như thế nào?
2. Trong những tình huống nào nó được sử dụng?
3. Trong những tình huống bạn nên tránh sử dụng phương pháp Bayes theo kinh nghiệm và tại sao?
4. Có phải mọi người đang sử dụng nó trong các lĩnh vực khác ngoài Biostatistic và nếu vậy, trong những tình huống họ đang sử dụng nó?

Tôi nghĩ điều quan trọng cần nhớ là các phương pháp khác nhau tốt cho những thứ khác nhau và thử nghiệm ý nghĩa không phải là tất cả trong thế giới thống kê.

1 và 3) EB có thể không phải là một quy trình kiểm tra giả thuyết hợp lệ, nhưng nó cũng không có nghĩa.

Hiệu lực có thể là nhiều thứ, nhưng bạn đang nói về Thiết kế thử nghiệm nghiêm ngặt, vì vậy chúng tôi có thể thảo luận về một thử nghiệm giả thuyết được cho là giúp bạn đưa ra quyết định đúng đắn với tần suất dài hạn nhất định. Đây là một chế độ phân biệt có / không phân biệt rõ ràng, rất hữu ích cho những người phải đưa ra quyết định có / không có loại. Có rất nhiều tác phẩm cổ điển về điều này bởi những người rất thông minh thực sự. Các phương pháp này có giá trị lý thuyết tốt trong giới hạn giả định rằng tất cả các giả định của bạn đều được giữ, & c. Tuy nhiên, EB chắc chắn không có ý nghĩa cho việc này. Nếu bạn muốn máy móc của các phương pháp NHST cổ điển, hãy bám vào các phương pháp NHST cổ điển.

2) EB được áp dụng tốt nhất trong các vấn đề khi bạn ước tính nhiều đại lượng tương tự, có thể thay đổi.

Chính Efron mở cuốn sách Suy luận quy mô lớn liệt kê ba thời đại khác nhau của lịch sử thống kê, chỉ ra rằng chúng tôi hiện đang ở

[thời đại] sản xuất hàng loạt khoa học, trong đó các công nghệ mới được tiêu biểu hóa bởi microarray cho phép một nhóm các nhà khoa học tạo ra các tập dữ liệu có kích thước mà Quetelet sẽ ghen tị. Nhưng bây giờ, lũ dữ liệu đi kèm với một loạt các câu hỏi, có lẽ hàng ngàn ước tính hoặc kiểm tra giả thuyết mà nhà thống kê bị buộc tội trả lời cùng nhau; không phải tất cả những gì các bậc thầy cổ điển có trong tâm trí.

Anh tiếp tục:

Về bản chất, các lập luận Bayes theo kinh nghiệm kết hợp các yếu tố thường xuyên và Bayes trong việc phân tích các vấn đề về cấu trúc lặp đi lặp lại. Cấu trúc lặp đi lặp lại chỉ là những gì khoa học sản xuất hàng loạt vượt trội, ví dụ, mức độ biểu hiện so sánh các đối tượng ốm yếu và khỏe mạnh cho hàng ngàn gen cùng một lúc bằng phương pháp vi mô.

Có lẽ ứng dụng EB thành công gần đây nhất là limma, có sẵn trên Bioconductor . Đây là gói R với các phương pháp đánh giá biểu hiện khác biệt (tức là microarrays) giữa hai nhóm nghiên cứu trên hàng chục ngàn gen. Smyth cho thấy các phương pháp EB của họ mang lại một thống kê t với nhiều mức độ tự do hơn so với việc bạn tính toán thống kê t thông minh về gen thông thường. Việc sử dụng EB ở đây "tương đương với sự thu hẹp của phương sai mẫu ước tính đối với ước tính gộp, dẫn đến suy luận ổn định hơn nhiều khi số lượng mảng nhỏ", thường là như vậy.

Như Efron chỉ ra ở trên, đây không phải là bất cứ điều gì giống như NHST cổ điển đã được phát triển và cài đặt thường mang tính khám phá nhiều hơn là xác nhận.

4) Nói chung, bạn có thể xem EB là một phương pháp thu nhỏ và nó có thể hữu ích ở mọi nơi mà thu nhỏ là hữu ích

Các limmaví dụ trên đề cập đến co rút. Charles Stein đã cho chúng tôi một kết quả đáng kinh ngạc rằng khi ước tính phương tiện cho ba thứ trở lên, có một công cụ ước tính tốt hơn so với sử dụng các phương tiện quan sát được, . Công cụ ước tính James-Stein có dạng với và là hằng số. Công cụ ước tính này thu nhỏ các phương tiện quan sát được về 0 và tốt hơn là sử dụng theo nghĩa mạnh mẽ về rủi ro thấp hơn đồng đều.$X_1, ..., X_k$$\hat \theta^{JS}_i = (1- c/S^2)X_i,$$S^2=\sum_{j=1}^k X_j,$$c$$X_i$

Efron và Morris đã cho thấy một kết quả tương tự khi thu hẹp về phía trung bình gộp$\bar X,$

Các lượng tử càng được ước tính càng giống nhau thì khả năng co ngót càng hữu ích. Cuốn sách bạn đề cập đến sử dụng tỷ lệ trúng trong bóng chày. Morris (1983) chỉ ra một số ứng dụng khác:

• Chia sẻ doanh thu --- cục điều tra dân số. Ước tính thu nhập điều tra dân số trên đầu người cho một số lĩnh vực.
• Đảm bảo chất lượng --- Bell Labs. Ước tính số lượng thất bại cho các khoảng thời gian khác nhau.
• Bảo hiểm tỷ lệ. Ước tính rủi ro trên mỗi lần tiếp xúc đối với các nhóm được bảo hiểm hoặc cho các lãnh thổ khác nhau.
• Tuyển sinh trường luật. Ước tính trọng số cho điểm LSAT liên quan đến GPA cho các trường khác nhau.
• Chuông báo cháy --- NYC. Ước tính tỷ lệ báo động sai cho các vị trí hộp báo động khác nhau.

Đây là tất cả các vấn đề ước lượng song song và theo như tôi biết, chúng liên quan nhiều hơn đến việc đưa ra một dự đoán tốt về số lượng nhất định là gì so với việc chúng tìm ra quyết định có / không.

Một số tài liệu tham khảo

• Efron, B. (2012). Suy luận quy mô lớn: phương pháp Bayes theo kinh nghiệm để ước tính, kiểm tra và dự đoán (Quyển 1). Nhà xuất bản Đại học Cambridge. Chicago
• Efron, B., & Morris, C. (1973). Quy tắc ước tính của Stein và các đối thủ cạnh tranh của nó Một cách tiếp cận Bayes theo kinh nghiệm. Tạp chí của Hiệp hội Thống kê Hoa Kỳ, 68 (341), 117-130. Chicago
• James, W., & Stein, C. (1961, tháng 6). Ước tính với tổn thất bậc hai. Trong Kỷ yếu của hội nghị chuyên đề Berkeley lần thứ tư về thống kê và xác suất toán học (Tập 1, số 1961, trang 361-379). Chicago
• Morris, CN (1983). Tham số thực nghiệm Bayes suy luận: lý thuyết và ứng dụng. Tạp chí của Hiệp hội Thống kê Hoa Kỳ, 78 (381), 47-55.
• Smyth, GK (2004). Các mô hình tuyến tính và phương pháp Bayes theo kinh nghiệm để đánh giá biểu thức vi phân trong các thí nghiệm microarray. Các ứng dụng thống kê trong Di truyền học và Sinh học phân tử Tập 3, Số 1, Điều 3.