Bayesian vs thường xuyên diễn giải xác suất

Ai đó có thể đưa ra một danh sách tốt về sự khác biệt giữa Bayesian và cách tiếp cận thường xuyên để xác suất?

Từ những gì tôi hiểu:

Quan điểm của những người thường xuyên là dữ liệu là một mẫu ngẫu nhiên có thể lặp lại (biến ngẫu nhiên) với tần suất / xác suất cụ thể (được định nghĩa là tần số tương đối của một sự kiện khi số lượng thử nghiệm tiến tới vô cùng). Các thông số cơ bản và xác suất không thay đổi trong suốt quá trình lặp lại này và rằng sự thay đổi là do sự biến đổi trong và không phân phối xác suất (được cố định cho một sự kiện / quá trình nhất định).$X_n$

Quan điểm bayes là dữ liệu được cố định trong khi tần số / xác suất cho một sự kiện nhất định có thể thay đổi có nghĩa là các tham số của phân phối thay đổi. Trong thực tế, dữ liệu mà bạn nhận được sẽ thay đổi phân phối trước đó của một tham số được cập nhật cho từng bộ dữ liệu.

Đối với tôi có vẻ như cách tiếp cận thường xuyên là thực tế / logic hơn vì có vẻ hợp lý rằng các sự kiện có xác suất cụ thể và sự khác biệt là trong mẫu của chúng tôi.

Hơn nữa, hầu hết các phân tích dữ liệu từ các nghiên cứu thường được thực hiện bằng cách sử dụng phương pháp thường xuyên (ví dụ: khoảng tin cậy, kiểm tra giả thuyết với giá trị p, v.v.) vì nó dễ hiểu.

Tôi chỉ tự hỏi liệu có ai có thể cho tôi một bản tóm tắt nhanh chóng về cách giải thích của họ về cách tiếp cận Bayesian và người thường xuyên bao gồm các tương đương thống kê bayes của giá trị p thường xuyên và khoảng tin cậy hay không. Ngoài ra, các ví dụ cụ thể về nơi 1 phương pháp sẽ thích hợp hơn phương pháp kia được đánh giá cao.

Theo cách tiếp cận thường xuyên , người ta khẳng định rằng ý nghĩa duy nhất trong đó xác suất có ý nghĩa là giá trị giới hạn của số lần thành công trong một chuỗi các thử nghiệm, nghĩa là

Trong đó là số lần thành công và là số lần thử. Cụ thể, không có ý nghĩa gì khi liên kết phân phối xác suất với một tham số .$k$$n$

Ví dụ: hãy xem xét các mẫu từ phân phối Bernoulli với tham số (nghĩa là chúng có giá trị 1 với xác suất và 0 với xác suất ). Chúng ta có thể định nghĩa tỷ lệ thành công mẫu là p p 1 - $X_1, \dots, X_n$$p$$p$$1-p$

và nói về việc phân phối điều kiện dựa trên giá trị của , nhưng không có nghĩa là đảo ngược câu hỏi và bắt đầu nói về phân phối xác suất của điều kiện trên giá trị quan sát của . Cụ thể, điều này có nghĩa là khi chúng ta tính toán khoảng tin cậy, chúng ta hiểu các đầu của khoảng tin cậy là các biến ngẫu nhiên và chúng ta nói về "xác suất khoảng đó bao gồm tham số thực", chứ không phải là "xác suất của tham số đó là trong khoảng tin cậy ". pp$\hat{p}$$p$$p$$\hat{p}$

Theo cách tiếp cận Bayes , chúng tôi giải thích các phân phối xác suất là định lượng sự không chắc chắn của chúng tôi về thế giới. Cụ thể, điều này có nghĩa là bây giờ chúng ta có thể nói một cách có ý nghĩa về phân phối xác suất của các tham số, vì mặc dù tham số đã được cố định, kiến ​​thức về giá trị thực của nó có thể bị hạn chế. Trong ví dụ trên, chúng ta có thể đảo ngược phân phối xác suất bằng luật Bayes, để đưa ra$f(\hat{p}\mid p)$

Điều khó khăn là chúng tôi phải đưa phân phối trước vào phân tích của mình - điều này phản ánh niềm tin của chúng tôi về giá trị của trước khi nhìn thấy các giá trị thực tế của . Vai trò của ưu tiên thường bị chỉ trích trong cách tiếp cận thường xuyên, vì người ta cho rằng nó đưa tính chủ quan vào thế giới xác suất khắc khổ và đối tượng khác.$p$$X_i$

Theo cách tiếp cận Bayes, người ta không còn nói về các khoảng tin cậy, mà thay vào đó là các khoảng tin cậy, có cách giải thích tự nhiên hơn - với khoảng tin cậy 95%, chúng ta có thể chỉ định xác suất 95% rằng tham số nằm trong khoảng.

Bạn nói đúng về cách giải thích của bạn về xác suất thường xuyên: tính ngẫu nhiên trong thiết lập này chỉ là do lấy mẫu không đầy đủ. Từ quan điểm của Bayes, xác suất của chủ quan là "chủ quan", theo đó chúng phản ánh sự không chắc chắn của một tác nhân về thế giới. Thật không đúng khi nói rằng các tham số của bản phân phối "thay đổi". Vì chúng tôi không có thông tin đầy đủ về các tham số, sự không chắc chắn của chúng tôi sẽ thay đổi khi chúng tôi thu thập thêm thông tin.

Cả hai cách hiểu đều hữu ích trong các ứng dụng, và cái nào hữu ích hơn tùy thuộc vào tình huống. Bạn có thể xem blog của Andrew Gelman để biết ý tưởng về các ứng dụng Bayes. Trong nhiều tình huống mà người Bayes gọi là "linh mục" Những người thường xuyên gọi là "chính quy hóa", và vì vậy (theo quan điểm của tôi), sự phấn khích có thể rời khỏi phòng khá nhanh. Trên thực tế, theo định lý Bernstein-von Mises, suy luận Bayes và Thường xuyên thực sự tương đương với nhau theo các giả định khá yếu (mặc dù đáng chú ý là định lý thất bại đối với các phân phối vô hạn). Bạn có thể tìm thấy một loạt các tài liệu tham khảo về điều này ở đây .

Vì bạn đã yêu cầu giải thích: Tôi nghĩ rằng quan điểm Thường xuyên có ý nghĩa rất lớn khi mô hình hóa các thí nghiệm khoa học như nó được thiết kế để làm. Đối với một số ứng dụng trong học máy hoặc để mô hình hóa lý luận quy nạp (hoặc học tập), xác suất Bayes có ý nghĩa hơn đối với tôi. Có nhiều tình huống trong đó mô hình hóa một sự kiện với xác suất "đúng" cố định có vẻ không hợp lý.

Đối với một ví dụ về đồ chơi quay trở lại Laplace , hãy xem xét khả năng mặt trời mọc vào ngày mai. Từ quan điểm Thường xuyên, chúng ta phải đặt ra một cái gì đó giống như vô tận - nhiều vũ trụ để xác định xác suất. Là người Bayes, chỉ có một vũ trụ (hoặc ít nhất, không cần nhiều). Sự không chắc chắn của chúng ta về mặt trời mọc bị đè bẹp bởi niềm tin rất mạnh mẽ trước đó của chúng ta rằng nó sẽ mọc lại vào ngày mai.

Giải thích xác suất Bayes là một cách giải thích mức độ niềm tin.

Một người Bayes có thể nói rằng xác suất có sự sống trên Sao Hỏa một tỷ năm trước là .$1/2$

Một người thường xuyên sẽ từ chối gán một xác suất cho đề xuất đó. Đó không phải là điều có thể nói là đúng trong một nửa số trường hợp, vì vậy người ta không thể gán xác suất .$1/2$

Chris đưa ra một lời giải thích đơn giản tốt đẹp phân biệt chính xác hai cách tiếp cận xác suất. Nhưng lý thuyết xác suất thường xuyên không chỉ đơn thuần là nhìn vào tỷ lệ thành công dài. Chúng tôi cũng xem xét dữ liệu được lấy mẫu ngẫu nhiên từ một tham số phân phối và ước tính của phân phối, chẳng hạn như giá trị trung bình và phương sai bằng cách lấy một số loại trung bình nhất định của dữ liệu (ví dụ: đó là trung bình số học của các quan sát. với ước tính được gọi là phân phối mẫu.

Trong lý thuyết tần số, chúng tôi có thể hiển thị cho các tham số như giá trị trung bình được lấy bằng cách lấy trung bình từ các mẫu mà ước tính sẽ hội tụ đến tham số thực. Phân phối lấy mẫu được sử dụng để mô tả mức độ gần đúng của tham số đối với bất kỳ cỡ mẫu cố định n. Đóng được xác định bằng thước đo độ chính xác (ví dụ: lỗi bình phương trung bình).

Tại Chris chỉ ra cho bất kỳ tham số nào, chẳng hạn như Bayesian đính kèm phân phối xác suất trước đó trên đó. Sau đó, đưa ra quy tắc Bayes dữ liệu được sử dụng để tính toán phân phối sau cho tham số. Đối với Bayes, mọi suy luận về tham số đều dựa trên phân phối sau này.

Những người thường xuyên xây dựng các khoảng tin cậy là các khoảng của các giá trị hợp lý cho tham số. Cấu trúc của chúng dựa trên xác suất thường xuyên rằng nếu quy trình được sử dụng để tạo khoảng được lặp lại nhiều lần cho các mẫu độc lập, tỷ lệ các khoảng thực sự sẽ bao gồm giá trị thực của tham số sẽ ít nhất là ở mức độ tin cậy được xác định trước (ví dụ 95% ).

Bayes sử dụng phân phối posteriori cho tham số để xây dựng các khu vực đáng tin cậy. Đây chỉ là các vùng trong không gian tham số mà trên đó phân tích sau được tích hợp để có xác suất được chỉ định trước (ví dụ 0,95). Các khu vực đáng tin cậy được Bayesian hiểu là các khu vực có xác suất cao (ví dụ: xác định 0,95) được xác định trước bao gồm giá trị thực của tham số.

Từ quan điểm "thế giới thực", tôi tìm thấy một sự khác biệt lớn giữa "giải pháp" thường xuyên và cổ điển hoặc Bayes áp dụng cho ít nhất ba kịch bản chính. Sự khác biệt trong việc lựa chọn một phương pháp phụ thuộc vào việc bạn cần một giải pháp bị ảnh hưởng bởi xác suất dân số hay một giải pháp bị ảnh hưởng bởi xác suất cá nhân. Ví dụ dưới đây:

1. Nếu có xác suất 5% rằng nam giới trên 40 tuổi sẽ chết trong một năm nhất định và yêu cầu thanh toán bảo hiểm nhân thọ, một công ty bảo hiểm có thể sử dụng tỷ lệ 5% DÂN SỐ để ước tính chi phí của mình, nhưng để nói rằng mỗi cá nhân nam trên 40 tuổi chỉ có 5% cơ hội tử vong ... là vô nghĩa ... Bởi vì 5% có xác suất chết 100% - đó là một cách tiếp cận thường xuyên. Ở cấp độ cá nhân, sự kiện xảy ra (xác suất 100%) hoặc không xảy ra (xác suất 0%) Tuy nhiên, dựa trên thông tin hạn chế này, không thể dự đoán các cá nhân có xác suất chết 100% và 5 % xác suất dân số "trung bình" là vô dụng ở cấp độ cá nhân.

2. Lập luận trên cũng áp dụng như nhau đối với các vụ cháy trong các tòa nhà, đó là lý do tại sao các vòi phun nước được yêu cầu trong tất cả các tòa nhà trong dân cư.

3. Cả hai đối số trên đều áp dụng như nhau đối với các lỗi hệ thống thông tin, thiệt hại hoặc "hack". Tỷ lệ dân số là vô dụng nên tất cả các hệ thống phải được bảo vệ.

Sự lựa chọn giải thích phụ thuộc vào câu hỏi. Nếu bạn muốn biết tỷ lệ cược trong trò chơi may rủi, giải thích cổ điển sẽ giải quyết vấn đề của bạn, nhưng dữ liệu thống kê là vô ích vì súc sắc công bằng không có bộ nhớ.

Nếu bạn muốn dự đoán một sự kiện trong tương lai dựa trên kinh nghiệm trong quá khứ, việc giải thích thường xuyên là chính xác và đầy đủ.

Nếu bạn không biết nếu một sự kiện trong quá khứ đã xảy ra và muốn đánh giá xác suất xảy ra, bạn phải lấy niềm tin trước đó, tức là những gì bạn đã biết về cơ hội sự kiện xảy ra và cập nhật niềm tin của bạn khi bạn có được dữ liệu mới.

Vì câu hỏi là về một mức độ niềm tin, và mỗi người có thể có một ý tưởng khác nhau về các linh mục, nên việc giải thích nhất thiết phải chủ quan, hay còn gọi là Bayes.