Chủ nghĩa thường xuyên và linh mục

Robby McKilliam nói trong một bình luận cho bài viết này :

Cần phải chỉ ra rằng, từ quan điểm của những người thường xuyên, không có lý do gì mà bạn không thể kết hợp kiến ​​thức trước đó vào mô hình. Theo nghĩa này, chế độ xem thường xuyên đơn giản hơn, bạn chỉ có một mô hình và một số dữ liệu. Không cần tách thông tin trước khỏi mô hình

Ngoài ra, ở đây , @jbowman nói rằng những người thường xuyên sử dụng chính quy hóa theo chức năng chi phí / hình phạt, trong khi người Bayes có thể thực hiện việc này trước:

Những người thường xuyên nhận ra rằng chính quy hóa là tốt, và sử dụng nó khá phổ biến trong những ngày này - và các linh mục Bayes có thể dễ dàng được hiểu là chính quy hóa.

Vì vậy, câu hỏi của tôi là, những người thường xuyên nói chung có thể kết hợp vào mô hình của họ những gì Bayes chỉ định là linh mục không? Lấy sự chính quy làm ví dụ, hàm chi phí / hình phạt có thực sự được tích hợp vào mô hình hay đây là một phương tiện hoàn toàn nhân tạo để điều chỉnh giải pháp (cũng như làm cho nó trở nên độc đáo)?

Đối với nhận xét của Robby McKilliam: Tôi nghĩ rằng khó khăn mà một người thường xuyên gặp phải với điều này nằm ở định nghĩa về "kiến thức trước", không quá nhiều với khả năng kết hợp kiến ​​thức trước vào một mô hình. Ví dụ, hãy xem xét ước tính xác suất mà một đồng tiền nhất định sẽ xuất hiện. Chúng ta hãy giả sử rằng kiến ​​thức trước đây của tôi về cơ bản là một thử nghiệm trong đó đồng xu đã được lật 10 lần và đưa ra 5 đầu, hoặc có lẽ là dạng "nhà máy đã tạo ra 1 triệu đồng tiền, và tiền lẻ của , như được xác định bởi các thí nghiệm lớn, là β ( a , b $p$$\beta(a,b)$". Mọi người đều sử dụng Quy tắc của Bayes khi bạn thực sự có thông tin trước về loại này (Quy tắc của Bayes chỉ xác định xác suất có điều kiện, đó không phải là điều duy nhất của Bayes) nên trong cuộc sống thực, người thường xuyên và Bayes sẽ sử dụng cùng một cách tiếp cận, và kết hợp thông tin vào mô hình thông qua Quy tắc của Bayes (Hãy cẩn thận: trừ khi kích thước mẫu của bạn đủ lớn để bạn chắc chắn rằng thông tin trước đó sẽ không ảnh hưởng đến kết quả.) Tuy nhiên, việc giải thích kết quả là Tất nhiên, khác nhau.

Khó khăn phát sinh, đặc biệt là từ quan điểm triết học, khi kiến ​​thức trở nên ít khách quan / thử nghiệm và chủ quan hơn. Khi điều này xảy ra, người thường xuyên sẽ ít có xu hướng kết hợp thông tin này vào mô hình, trong khi Bayesian vẫn có một số cơ chế chính thức ít nhiều để thực hiện điều đó, khó khăn trong việc khơi gợi sự chủ quan trước đó.

$l(\theta;x)$$p(\theta)$$\log p(\theta)$

$\tilde{\theta} = \max_{\theta} \{\log l(\theta;x) + \log p(\theta) \}$

$p(\theta)$$\theta$$\tilde{\theta}$

Một lần nữa, khó khăn phát sinh từ một quan điểm triết học. Tại sao chọn một chức năng chính quy hơn một chức năng khác? Một Bayes có thể làm như vậy - chuyển sang quan điểm dựa trên trước - bằng cách đánh giá thông tin trước. Một người thường xuyên sẽ có một thời gian khó khăn hơn (không thể?) Để biện minh cho sự lựa chọn dựa trên những lý do đó, nhưng thay vào đó có thể sẽ làm như vậy chủ yếu dựa trên các tính chất của chức năng chính quy như áp dụng cho loại vấn đề của anh ta, như đã học từ khớp công việc / kinh nghiệm của nhiều nhà thống kê. OTOH, Bayesian (thực dụng) cũng làm điều đó với các linh mục - nếu tôi có 100 đô la cho mỗi bài viết về các linh mục cho các phương sai tôi đã đọc ...

Những "suy nghĩ" khác: Tôi đã bỏ qua toàn bộ vấn đề chọn chức năng khả năng bằng cách cho rằng nó không bị ảnh hưởng bởi quan điểm thường xuyên / Bayes. Tôi chắc chắn trong hầu hết các trường hợp, nhưng tôi có thể tưởng tượng rằng trong các tình huống bất thường, ví dụ, vì lý do tính toán.

$\theta$$\theta$

Với mục đích trả lời câu hỏi này, việc xác định tính thường xuyên là "quan tâm đến các tính chất của phân phối lấy mẫu các chức năng của dữ liệu" rất hữu ích. Các chức năng này có thể là công cụ ước tính điểm, giá trị p của thống kê kiểm tra, khoảng tin cậy, kết quả kiểm tra Neyman-Pearson hoặc về cơ bản là bất cứ điều gì khác mà bạn có thể nghĩ tới. Thường xuyên không chỉ định cách xây dựng công cụ ước tính, giá trị p, v.v., nói chung, mặc dù một số nguyên tắc tồn tại, ví dụ: sử dụng đủ số liệu thống kê nếu chúng có sẵn, sử dụng số liệu thống kê quan trọng nếu chúng có sẵn, v.v. phối cảnh, thông tin trước không được tích hợp vào mô hình mỗi lần , mà là vào dữ liệu ánh xạ hàm đến đầu ra của hàm.

"Lợi ích" được đề cập ở trên là trong các thuộc tính được coi là quan trọng đối với suy luận, như thiếu sai lệch, tính nhất quán tiệm cận, phương sai, lỗi bình phương trung bình, lỗi tuyệt đối trung bình, phạm vi tin cậy so với thực tế), kiểm soát lỗi Loại I và bất cứ điều gì khác với tầm quan trọng rõ ràng hoặc trực quan để học từ dữ liệu. Các tính chất này có thể được đánh giá (bằng cách mô phỏng, nếu không có gì khác) cho dù chức năng có kết hợp thông tin trước hay không.

Các trung tâm quan tâm đặc biệt về các thuộc tính có thể được biết là giữ bất kể giá trị tham số thực tế nằm dưới quy trình tạo dữ liệu. Ví dụ, trong mô hình iid bình thường với phương sai đã biết, giá trị trung bình của dữ liệu là không thiên vị và không nhất quán đối với phân phối có nghĩa là không có vấn đề gì. Ngược lại, một công cụ ước tính độ co ngót (trung bình có trọng số của trung bình dữ liệu và dự đoán trước cho trung bình phân phối) có lỗi bình phương trung bình thấp hơn nếu giá trị trung bình phân phối gần với dự đoán trước nhưng ngược lại là bình phương trung bình cao hơn. kế thừa "tính nhất quán tiệm cận từ dữ liệu có nghĩa.

Vì vậy, tôi sẽ nói rằng người ta có thể đưa thông tin trước vào phương pháp suy luận, nhưng nó không đi vào mô hình. Một minh họa thực sự hay về các khái niệm tôi đã vạch ra trong bối cảnh khoảng tin cậy đối với các tính chất vật lý không nhất thiết là không âm là Feldman và anh em họ, Cách tiếp cận thống nhất trong phân tích thống kê cổ điển về các tín hiệu nhỏ .