Làm thế nào để thống kê Bayes xử lý sự vắng mặt của các linh mục?

Câu hỏi này được lấy cảm hứng từ hai tương tác gần đây tôi có, một ở đây trong CV , một ở đây tại economics.se.

Ở đó, tôi đã đăng một câu trả lời để nổi tiếng "Envelope Nghịch lý" (tâm trí bạn, không phải là những "câu trả lời đúng" nhưng là câu trả lời chảy từ các giả định cụ thể về cơ cấu của tình hình). Sau một thời gian, một người dùng đã đăng một bình luận quan trọng và tôi đã tham gia vào cuộc trò chuyện để cố gắng hiểu quan điểm của anh ấy. Rõ ràng là anh ta đang nghĩ theo cách của Bayes, và tiếp tục nói về các linh mục - và rồi nó chợt nhận ra tôi, và tôi tự nhủ: "Đợi một chút, ai nói gì về bất kỳ điều gì trước đây? Theo cách tôi đã hình thành vấn đề, không có linh mục ở đây, họ chỉ không nhập vào hình ảnh, và không cần phải ".

Gần đây, tôi thấy câu trả lời này ở đây trong CV, về ý nghĩa của Độc lập thống kê. Tôi đã bình luận với tác giả rằng câu của anh ấy

"... nếu các sự kiện độc lập thống kê thì (theo định nghĩa) chúng ta không thể tìm hiểu về cái này từ việc quan sát cái kia."

đã sai một cách trắng trợn. Trong một cuộc trao đổi bình luận, anh ấy tiếp tục quay trở lại vấn đề (lời nói của anh ấy)

"Không" học "có nghĩa là thay đổi niềm tin của chúng ta về một thứ dựa trên sự quan sát của người khác? Nếu vậy, không độc lập (theo định nghĩa) có loại trừ điều này không?

Một lần nữa, rõ ràng là anh ta đang nghĩ theo cách của Bayes, và anh ta tự coi mình là hiển nhiên rằng chúng ta bắt đầu bằng một số niềm tin (tức là trước) , và vấn đề là làm thế nào chúng ta có thể thay đổi / cập nhật chúng. Nhưng làm thế nào niềm tin đầu tiên được tạo ra?

Vì khoa học phải phù hợp với thực tế, tôi lưu ý rằng các tình huống tồn tại là con người tham gia không có linh mục (tôi, vì một điều, đi vào tình huống mà không có bất kỳ thời gian nào trước đó - và xin đừng tranh luận rằng tôi có linh mục nhưng tôi chỉ cần không nhận ra điều đó, hãy để bản thân phân tích tâm lý không có thật ở đây).

Vì tôi tình cờ nghe thấy thuật ngữ "linh mục không thông tin", tôi chia câu hỏi của mình thành hai phần và tôi khá chắc chắn rằng những người dùng ở đây hiểu biết về lý thuyết Bayes, biết chính xác những gì tôi sắp hỏi:

Câu 1: Có phải sự vắng mặt của một tương đương trước (theo nghĩa lý thuyết nghiêm ngặt) để có một trước không chính xác?

Nếu câu trả lời cho Q1 là "Có" (với một số chi tiết xin vui lòng), thì điều đó có nghĩa là cách tiếp cận Bayes được áp dụng phổ biến và ngay từ đầu , vì trong mọi trường hợp, con người có liên quan đều tuyên bố "Tôi không có linh mục" chúng ta có thể bổ sung nó đặt một ưu tiên không phù hợp với trường hợp hiện tại.

Nhưng nếu câu trả lời cho Q1 là "Không", thì Q2 xuất hiện:

Câu 2: Nếu câu trả lời cho Q1 là "Không", thì điều này có nghĩa là, trong trường hợp không có linh mục, cách tiếp cận Bayes không được áp dụng ngay từ đầu, và trước tiên chúng ta phải hình thành trước một cách không theo Bayes, để sau đó chúng ta có thể áp dụng phương pháp Bayes?

Câu 1: Có phải sự vắng mặt của một tương đương trước (theo nghĩa lý thuyết nghiêm ngặt) để có một trước không chính xác?

Không.

Đầu tiên, không có định nghĩa toán học cho một "trước đây không thông tin". Từ này chỉ được sử dụng không chính thức để mô tả một số linh mục.

Ví dụ, ưu tiên của Jeffrey thường được gọi là "không thông tin". Điều này ưu tiên khái quát hóa đồng phục trước cho các vấn đề bất biến dịch. Trước đây, Jeffrey thích nghi với hình học Riemannian (lý thuyết thông tin) của mô hình và do đó không phụ thuộc vào tham số, chỉ phụ thuộc vào hình dạng của đa tạp (trong không gian phân phối) là mô hình. Nó có thể được coi là kinh điển, nhưng đó chỉ là một sự lựa chọn. Nó chỉ là đồng phục trước theo cấu trúc Riemannian. Không có gì vô lý khi định nghĩa "uninformative = thống nhất" là một cách đơn giản hóa của câu hỏi. Điều này áp dụng cho nhiều trường hợp và giúp đặt một câu hỏi rõ ràng và đơn giản.

$E(X)$$X$$X$$[0;1]$

Cách tiếp cận Bayes và thường xuyên chỉ đơn giản là trả lời các câu hỏi khác nhau. Ví dụ: về các công cụ ước tính có thể là đơn giản nhất:

• $\theta$$x$$\theta$

• $\theta$$\theta$

Bằng cách nào đó, người thường xuyên nhắm đến việc kiểm soát trường hợp xấu nhất và không cần trước. Bayesian nhằm mục đích kiểm soát trung bình và yêu cầu trước khi nói "trung bình theo nghĩa nào?".

Câu 2: Nếu câu trả lời cho Q1 là "Không", thì điều này có nghĩa là, trong trường hợp không có linh mục, cách tiếp cận Bayes không được áp dụng ngay từ đầu, và trước tiên chúng ta phải hình thành trước một cách không theo Bayes, để sau đó chúng ta có thể áp dụng phương pháp Bayes?

Đúng.

$X\sim N(\mu,1)$$\mu$

Theo tôi, các vấn đề thực sự với đặc điểm kỹ thuật xảy ra trong các vấn đề phức tạp hơn. Điều quan trọng ở đây là hiểu những gì trước đó nói.

Trước hết, phương pháp Bayes thường được sử dụng vì bạn muốn đưa kiến ​​thức trước vào mô hình của mình để làm phong phú nó. Nếu bạn không có bất kỳ kiến ​​thức nào trước đó, thì bạn sẽ dính vào cái gọi là "linh mục không thông tin" hoặc các linh mục thông tin hàng tuần. Lưu ý rằng định nghĩa đồng phục trước không "không chính xác" theo định nghĩa, vì giả định về tính đồng nhất là một giả định. Không có thứ gọi là thực sự không thông tin trước. Có những trường hợp "nó có thể là bất cứ điều gì" là một giả định trước "không hợp lý", nhưng cũng có những trường hợp nói rằng "tất cả các giá trị đều có khả năng như nhau" là một giả định rất mạnh mẽ và không hợp lý. Ví dụ: nếu bạn cho rằng chiều cao của tôi có thể là bất cứ thứ gì trong khoảng từ 0 cm đến 3 mét, với tất cả các giá trị đều có khả năng như nhau, thì đây sẽ không phải là một giả định hợp lý và nó sẽ quá nặng đối với các giá trị cực đoan, vì vậy nó có thể làm biến dạng hậu thế của bạn

Mặt khác, Bayesian sẽ lập luận rằng thực sự không có tình huống nào mà bạn không có kiến ​​thức hay niềm tin nào trước đó. Bạn luôn có thể giả định một cái gì đó và là một con người, bạn đang làm điều đó mọi lúc (các nhà tâm lý học và kinh tế học hành vi đã thực hiện hàng tấn nghiên cứu về chủ đề này). Toàn bộ sự ồn ào của Bayes với các linh mục là về việc định lượng những định kiến ​​đó và nêu rõ chúng trong mô hình của bạn, vì suy luận Bayes là về việc cập nhật niềm tin của bạn .

Thật dễ dàng để đưa ra các lập luận "không có giả định trước", hoặc các linh mục thống nhất, cho các vấn đề trừu tượng, nhưng đối với các vấn đề thực tế mà bạn có kiến ​​thức trước. Nếu bạn cần đặt cược về số tiền trong một phong bì, bạn sẽ biết rằng số tiền đó không phải là âm và hữu hạn. Bạn cũng có thể đưa ra dự đoán có giáo dục về giới hạn trên đối với số tiền có thể có được do kiến ​​thức của bạn về các quy tắc của cuộc thi, quỹ dành cho đối thủ của bạn, kiến ​​thức về kích thước vật lý của phong bì và số tiền có thể phù hợp với thể chất trong đó, v.v. Bạn cũng có thể đoán một số tiền về số tiền mà đối thủ của bạn có thể sẵn sàng bỏ vào phong bì và có thể bị mất. Có rất nhiều điều mà bạn sẽ biết như là một cơ sở cho trước của bạn.

Câu hỏi 1 Tôi nghĩ rằng câu trả lời có lẽ là không. Lý do của tôi là chúng tôi không thực sự có một định nghĩa cho "không chính xác" ngoại trừ bằng cách nào đó đo lường câu trả lời cuối cùng là bao xa từ một số mô hình / khả năng thông tin tùy tiện. Nhiều linh mục không thông tin được xác nhận chống lại các ví dụ "trực quan" trong đó chúng ta đã có "mô hình / khả năng" và "câu trả lời" trong tâm trí. Sau đó, chúng tôi yêu cầu không thông tin trước để cho chúng tôi câu trả lời chúng tôi muốn.

Vấn đề của tôi với điều này là tôi đấu tranh với việc tin rằng ai đó có thể có một mô hình hoặc cấu trúc mô hình thực sự tốt, được thông tin tốt cho dân số của họ và đồng thời "không có thông tin" về các giá trị tham số có khả năng và không có khả năng cho mô hình đó. Ví dụ: bằng cách sử dụng hồi quy logistic, hãy xem "PHÂN PHỐI TRƯỚC KHAI THÁC THÔNG TIN TUYỆT VỜI. CHO CÁC MÔ HÌNH ĐĂNG KÝ VÀ ĐĂNG KÝ KHÁC"

Tôi nghĩ rằng đồng phục rời rạc trước là thứ duy nhất chúng ta có thể nói một cách hợp lý là "trước hết" trước. Nhưng bạn gặp phải vấn đề khi sử dụng nó, nghĩ rằng mình "không có thông tin", nhưng sau đó đột nhiên có phản ứng với câu trả lời "không trực quan" (gợi ý: nếu bạn không thích câu trả lời bay bổng - bạn có thể đã bỏ thông tin trước hoặc khả năng!). Một vấn đề khác mà bạn gặp phải là nhận được sự phân biệt đối xử cho vấn đề của bạn. Và thậm chí nghĩ về điều này, bạn cần biết số lượng giá trị rời rạc để áp dụng đồng phục riêng biệt trước đó.

Một tài sản khác cần xem xét trước là "hành vi đuôi" liên quan đến khả năng bạn đang sử dụng.

vào câu hỏi 2

Về mặt khái niệm, tôi không thấy có gì sai khi chỉ định phân phối mà không sử dụng ưu tiên hoặc khả năng. Bạn có thể bắt đầu một vấn đề bằng cách nói "pdf của tôi là ... và tôi muốn tính ... viết pdf này". Sau đó, bạn đang tạo ra một ràng buộc cho trước, dự đoán trước và khả năng. Phương pháp bayes dành cho khi bạn có trước và có khả năng, và bạn muốn kết hợp chúng thành phân phối sau.

Đây có thể là một vấn đề rõ ràng về xác suất của bạn là gì. Sau đó, đối số chuyển sang "pdf / pmf này có đại diện cho những gì tôi nói nó đại diện không?" - đó là không gian bạn muốn ở trong tôi nghĩ. Từ ví dụ của bạn, bạn đang nói rằng phân phối duy nhất phản ánh tất cả các thông tin có sẵn - không có "trước" bởi vì nó đã được chứa (ngầm) trong phân phối bạn đang sử dụng.

$U (0,1)$$Bin(n,p)$$Beta (0,0)$$2$$1$

về cái gọi là bình luận sai lầm trắng trợn

Thành thật mà nói, tôi sẽ rất thích thú khi thấy bất kỳ sự tê liệt nào của quan sát có thể được sử dụng để dự đoán một quan sát "độc lập thống kê". Ví dụ, nếu tôi nói với bạn tôi sẽ tạo ra 100 biến thông thường tiêu chuẩn. Tôi đưa cho bạn 99 và để bạn đưa cho tôi dự đoán tốt nhất của bạn cho lần thứ 100. Tôi nói rằng bạn không thể đưa ra dự đoán tốt hơn cho lần thứ 100 hơn 0. Nhưng đây là điều tương tự bạn sẽ dự đoán cho lần thứ 100 nếu tôi không cung cấp cho bạn dữ liệu. Do đó bạn không học được gì từ 99 điểm dữ liệu.

Tuy nhiên, nếu tôi nói với bạn rằng đó là "một số phân phối bình thường", bạn có thể sử dụng 99 điểm dữ liệu để ước tính các tham số. Sau đó, dữ liệu bây giờ không còn "độc lập thống kê", bởi vì chúng tôi tìm hiểu thêm về cấu trúc phổ biến khi chúng tôi quan sát nhiều dữ liệu hơn. Dự đoán tốt nhất của bạn hiện sử dụng tất cả 99 điểm dữ liệu

Đây chỉ là một nhận xét ngắn khi thêm vào các câu trả lời xuất sắc khác. Thông thường, hoặc ít nhất là đôi khi, có phần tùy ý (hoặc thông thường) phần nào của thông tin nhập vào phân tích thống kê được gọi là dữ liệu và phần nào được gọi là trước . Hay nói chung hơn, chúng ta có thể nói rằng thông tin trong phân tích thống kê đến từ ba nguồn: mô hình , dữ liệu và trước đó . Trong một số trường hợp, chẳng hạn như mô hình tuyến tính hoặc glm's, sự phân tách khá rõ ràng, ít nhất là theo quy ước.

Tôi sẽ sử dụng lại một ví dụ từ Ước tính khả năng tối đa (MLE) theo thuật ngữ cư sĩ để minh họa quan điểm của tôi. Nói rằng một bệnh nhân vào văn phòng của bác sĩ, với một số vấn đề y tế hóa ra rất khó chẩn đoán. Bác sĩ này đã không nhìn thấy một cái gì đó khá giống nhau trước đây. Sau đó, nói chuyện với bệnh nhân, nó xuất hiện một số thông tin mới: bệnh nhân này đã đến thăm châu Phi nhiệt đới khá gần đây. Sau đó, bác sĩ cho biết đây có thể là sốt rét hoặc một số bệnh nhiệt đới khác. Nhưng lưu ý rằng thông tin này rõ ràng là dữ liệu cho chúng tôi, nhưng ít nhất trong nhiều mô hình thống kê có thể được sử dụng, nó sẽ đưa vào phân tích dưới dạng phân phối trước, phân phối trước cho xác suất cao hơn đối với một số bệnh nhiệt đới. Nhưng chúng ta có thể, có thể, tạo ra một số mô hình (lớn hơn), đầy đủ hơn, nơi thông tin này được nhập dưới dạng dữ liệu. Vì vậy, ít nhất là một phần, dữ liệu phân biệt / trước là thông thường.

Chúng tôi đã quen và chấp nhận quy ước này vì chúng tôi nhấn mạnh vào một số loại mô hình thông thường. Nhưng, trong sơ đồ lớn hơn, bên ngoài thế giới của các mô hình thống kê cách điệu, tình hình ít rõ ràng hơn.