Điều gì tuyệt vời về định lý đại diện của de Finetti?

Từ Lý thuyết Thống kê của Mark J. Schervish (trang 12):

Mặc dù định lý đại diện 1.49 của DeFinetti là trọng tâm để thúc đẩy các mô hình tham số, nhưng nó không thực sự được sử dụng trong việc thực hiện chúng.

Làm thế nào là định lý trung tâm cho các mô hình tham số?

— gui11aume
nguồn

Tôi nghĩ rằng nó là trung tâm của các mô hình Bayes. Tôi chỉ đang thảo luận điều này với singleton. Điều quan trọng trong thống kê Bayes bị bỏ qua ngoại trừ những người Bayes là tín đồ của deFinetti. Xem tài liệu tham khảo này của Diaconis và Freedman từ năm 1980

— Michael Chernick

@cardinal: trang 12 (Tôi đã cập nhật câu hỏi).

— gui11aume

Lưu ý rằng Schervish đã nói "... trung tâm để

motivating

$\textbf{motivating}$ các mô hình tham số ...".

— Thiền

Tôi thường tự hỏi bao nhiêu đại diện là "thực" và bao nhiêu dựa trên những diễn giải cụ thể của định lý. Nó có thể dễ dàng được sử dụng để mô tả phân phối trước như mô tả một mô hình.

— xác suất

Câu trả lời:

Đại diện Định lý De Finetti của cho trong một mất duy nhất, trong việc giải thích subjectivistic của xác suất, các raison d'être của mô hình thống kê và ý nghĩa của các thông số và phân phối trước của họ.

Giả sử rằng các biến ngẫu nhiên đại diện cho kết quả tung liên tiếp của một đồng xu, với giá trị và tương ứng với kết quả "đứng đầu" và "đuôi", tương ứng. Phân tích, trong bối cảnh diễn giải chủ quan của phép tính xác suất, ý nghĩa của mô hình thường xuyên thông thường mà theo đó là độc lập và phân phối giống hệt nhau, ví dụ, De Finetti nhận thấy rằng điều kiện độc lập sẽ ngụ ý rằng $X_1,\dots,X_n$ $1$ $0$ $X_i$ Và, do đó, kết quả của những người đầu tiên tung sẽ không thay đổi bất ổn của tôi về kết quả của -thứ quăng. Ví dụ, nếu tôi tin rằng rằng đây là một đồng tiền cân bằng, thì sau khi nhận được thông tin rằng lầnnémđầu tiênhóa ra là "Thủ trưởng", tôi vẫn tin rằng, có điều kiện là thông tin đó có xác suất nhận được " Thủ trưởng" trên toss 1000 là tương đương với . Thực tế, giả thuyết về tính độc lập của sẽ ngụ ý rằng không thể học được gì về đồng xu bằng cách quan sát kết quả của các lần tung của nó.

P {X_{n} = x_{n} ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}} = P {X_{n} = x_{n}},

$P\{X_n=x_n\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\} = P\{X_n=x_n\} \, ,$

n - 1

$n-1$

n

$n$

a priori

$\textit{a priori}$

999

$999$

1 / 2

$1/2$

X_{i}

$X_i$

Quan sát này đã khiến De Finetti đưa ra một điều kiện yếu hơn độc lập để giải quyết mâu thuẫn rõ ràng này. Chìa khóa cho giải pháp của De Finetti là một loại đối xứng phân phối được gọi là khả năng trao đổi.

Đối với một tập hữu hạn cho đối tượng ngẫu nhiên, chúng ta hãy biểu thị phân phối chung của họ. Tập hợp hữu hạn Đây là trao đổi nếu , cho mỗi hoán vị $\textbf{Definition.}$ $\{X_i\}_{i=1}^n$ $\mu_{X_1,\dots,X_n}$ $\mu_{X_1,\dots,X_n} = \mu_{X_{\pi(1)},\dots,X_{\pi(n)}}$ . Một chuỗi đối tượng ngẫu nhiên là trao đổi nếu mỗi tập con hữu hạn của nó là trao đổi. $\pi:\{1,\dots,n\}\to\{1,\dots,n\}$ $\{X_i\}_{i=1}^\infty$

$\{X_i\}_{i=1}^\infty$ $X_i$ $0$ $1$ $\{X_i\}_{i=1}^\infty$ $\Theta:\Omega\to[0,1]$ $\mu_\Theta$

P {X_{1} = x_{1}, \dots, X_{n} = x_{n}} = \int_{[0, 1]} θ^{s} (1 - θ)^{n - s} d μ_{Θ} (θ),

$P\{X_1=x_1,\dots,X_n=x_n\} = \int_{[0,1]} \theta^s(1-\theta)^{n-s}\,d\mu_\Theta(\theta) \, ,$

s = \sum_{i = 1}^{n} x_{i}

$s=\sum_{i=1}^n x_i$

{\bar{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} \to_{n \to \infty}^{} Θ almost surely,

$\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i \xrightarrow[n\to\infty]{} \Theta \qquad \textrm{almost surely},$

$\{X_i\}_{i=1}^\infty$ $\textbf{there is}$ $\textit{parameter}$ $\Theta$ $\Theta$ $\textit{conditionally}$ $\Theta$ $\mu_\Theta$ $\bar{X}_n$ $X_i$ $\Theta$

P {X_{n} = 1 ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}} = E [Θ ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}] .

$P\{X_n=1\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\} = \mathrm{E}\left[\Theta\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\right] \, .$

— thiền học
nguồn

Cảm ơn bạn cho câu trả lời sâu sắc này! Quan điểm của bạn về sự độc lập là một điều rất quan trọng mà lần đầu tiên tôi nhận ra.

— gui11aume

("hữu ích" là tốt hơn :))

— Neil G

Θ

$\Theta$

Θ

$\Theta$

X_{i}

$X_i$

E [θ^{s} (1 - θ)^{s}] = E [P (X_{i} = x_{i} \forall i | θ)]

$E [\theta^s (1-\theta)^s] = E[P(X_i = x_i \, \forall \, i | \theta) ]$

θ

$\theta$

Pr {X_{1} = x_{1}, \dots, X_{n} = x_{n} ∣ Θ = θ}

$\Pr\{X_1=x_1,\dots,X_n=x_n\mid\Theta=\theta\}$

\prod_{i = 1}^{n} Pr {X_{i} = x_{i} ∣ Θ = θ} = \prod_{i = 1}^{n} θ^{x_{i}} (1 - θ)^{1 - x_{i}}

$\prod_{i=1}^n \Pr\{X_i=x_i\mid\Theta=\theta\}=\prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i}$

X_{i}

$X_i$

Θ = θ

$\Theta=\theta$

@Zen Cảm ơn! Tôi hiểu câu đầu tiên, tuy nhiên phần "vì nó có yếu tố là "vẫn chưa rõ ràng với tôi. Làm thế nào để bạn biết nó yếu tố theo cách đó? Có vẻ như bạn đang giảm giá trị mong đợi từ danh tính tôi đã viết trong nhận xét trước đây của mình, nhưng tôi không chắc điều đó hợp lý như thế nào.

\prod_{i = 1}^{n} Pr {X_{i} = x_{i} ∣ Θ = θ} = \prod_{i = 1}^{n} θ^{x_{i}} (1 - θ)^{1 - x_{i}}

$\prod_{i=1}^n \Pr\{X_i=x_i\mid\Theta=\theta\}=\prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i}$

— dùng795305

Mọi thứ đều đúng về mặt toán học trong câu trả lời của Zen. Tuy nhiên tôi không đồng ý ở một số điểm. Xin lưu ý rằng tôi không yêu cầu / tin rằng quan điểm của tôi là quan điểm tốt; ngược lại tôi cảm thấy những điểm này chưa hoàn toàn rõ ràng đối với tôi. Đây là những câu hỏi mang tính triết học mà tôi muốn thảo luận (và một bài tập tiếng Anh tốt cho tôi), và tôi cũng quan tâm đến bất kỳ lời khuyên nào.

Về ví dụ với "Người đứng đầu", Zen nhận xét: "giả thuyết về sự độc lập của sẽ ám chỉ rằng không thể tìm hiểu bất cứ điều gì về đồng xu bằng cách quan sát kết quả của việc tung nó." Điều này không đúng theo quan điểm thường xuyên: tìm hiểu về đồng tiền có nghĩa là tìm hiểu về , điều này có thể bằng cách ước tính (ước tính điểm hoặc khoảng tin cậy) từ kết quả trước đó . Nếu người thường xuyên quan sát "Người đứng đầu" thì anh ta / cô ta kết luận rằng có khả năng gần bằng và do đó . $999$ $X_i$ $\theta$ $\theta$ $999$ $999$ $\theta$ $1$ $\Pr(X_n=1)$
Nhân tiện, trong ví dụ tung đồng xu này, ngẫu nhiên là gì? Tưởng tượng mỗi hai người chơi một trò chơi tung đồng xu với số lần vô hạn với cùng một đồng tiền, tại sao họ lại tìm thấy một ? Tôi nhớ rằng đặc điểm của việc tung đồng xu là cố định , là giá trị chung của cho bất kỳ game thủ nào ("gần như bất kỳ game thủ nào" vì lý do toán học kỹ thuật). Một ví dụ cụ thể hơn mà không có ngẫu nhiên có thể giải thích được là trường hợp lấy mẫu ngẫu nhiên với sự thay thế trong một quần thể hữu hạn là và . $\Theta$ $\theta = \bar X_\infty$ $\theta$ $\bar X_\infty$ $\Theta$ $0$ $1$
Về cuốn sách của Schervish và câu hỏi được đặt ra bởi OP Tôi nghĩ (nói nhanh) Schervish có nghĩa là khả năng trao đổi là một giả định "tuyệt vời" và sau đó định lý của deFinetti là "tuyệt vời" bởi vì nó nói rằng mọi mô hình trao đổi đều có đại diện tham số. Tất nhiên tôi hoàn toàn đồng ý. Tuy nhiên, nếu tôi giả sử một mô hình có thể trao đổi, chẳng hạn như và sau đó tôi sẽ quan tâm đến việc thực hiện suy luận về và , chứ không phải về việc hiện thực hóa . Nếu tôi chỉ quan tâm đến việc nhận ra thì tôi sẽ không thấy bất kỳ mối quan tâm nào trong việc giả định khả năng trao đổi. $(X_i\mid\Theta=\theta)\sim_\text{iid} \text{Bernoulli}(\theta)$ $\Theta \sim \text{Beta}(a,b)$ $a$ $b$ $\Theta$ $\Theta$

Trễ rồi...

— Stéphane Laurent
nguồn

Xin chào Stéphane! Cảm ơn bạn đã bình luận về câu trả lời của tôi. Về điểm đầu tiên của bạn rằng , trong câu trả lời của tôi, mọi thứ đều được nêu trong ngữ cảnh Bayes. Không có nỗ lực thực sự để thiết lập một sự tương phản với các mô hình suy luận khác. Nói tóm lại, tôi đã cố gắng diễn tả định lý của De Finetti đối với tôi, với tư cách là một người Bayes.

"this is not true from the frequentist perspective"

$\textbf{"this is not true from the frequentist perspective"}$

— Thiền

Về viên đạn thứ hai của bạn: ngẫu nhiên là (như) giới hạn của , như đã nêu trong LLN của De Finetti. Vì vậy, khi một số Bayes nói rằng ưu tiên của tôi cho là , anh ta có nghĩa là bản phân phối này thể hiện sự không chắc chắn của anh ta về giới hạn này, trước khi có quyền truy cập vào dữ liệu. Những người Bayes khác nhau có thể có các linh mục khác nhau, nhưng, với điều kiện đều đặn phù hợp, họ sẽ có thỏa thuận về (các hậu thế tương tự), vì họ nhận được ngày càng nhiều thông tin về kết quả của các cú ném.

Θ

$\Theta$

{\bar{X}}_{n}

$\bar{X}_n$

Θ

$\Theta$

μ_{Θ}

$\mu_\Theta$

a posteriori

$\textit{a posteriori}$

Θ

$\Theta$

— Thiền

cố định nhưng không xác định không phải là một khái niệm Bayes.

θ

$\theta$

— Thiền

Về viên đạn thứ ba của bạn, được đưa ra: 1) Schervish là một nhà thống kê Bayes; 2) Kho tàng thời gian và năng lượng mà anh dành để thảo luận về khả năng trao đổi trong cuốn sách của mình; Tôi tin rằng với anh ta vai trò của định lý De Finetti rất sâu sắc, vượt xa sự lạnh lùng. Nhưng tôi đồng ý rằng dù sao thì nó cũng rất tuyệt!

— Zen

Để làm rõ quan điểm của tôi: Tôi không tin có một ngẫu nhiên trong mô hình Bayes "cơ bản" (không phân cấp). Có một ẩn số cố định và phân phối trước mô tả niềm tin về nó. Vai trò của biến ngẫu nhiên chỉ là cách xử lý toán học của suy luận Bayes, nó không có bất kỳ sự giải thích nào trong thí nghiệm. Nếu bạn thực sự giả định các quan sát có thể trao đổi nhưng không độc lập, chẳng hạn như ví dụ về viên đạn thứ ba của tôi, thì bạn phải đặt các siêu nhân lên và .

θ

$\theta$

θ

$\theta$

Θ

$\Theta$

a

$a$

b

$b$

— Stéphane Laurent

Các bạn có thể quan tâm đến một bài báo về chủ đề này (đăng ký tạp chí cần thiết để truy cập - hãy thử truy cập nó từ trường đại học của bạn):

O'Neill, B. (2011) Khả năng trao đổi, tương quan và hiệu ứng của Bayes. Tạp chí thống kê quốc tế 77 (2), trang 241-250.

Bài viết này thảo luận về định lý biểu diễn làm cơ sở cho cả hai mô hình IID Bayes và thường xuyên, và cũng áp dụng nó cho một ví dụ tung đồng xu. Nó sẽ làm sáng tỏ các cuộc thảo luận về các giả định của mô hình thường xuyên. Nó thực sự sử dụng một phần mở rộng rộng hơn cho định lý biểu diễn vượt ra ngoài mô hình nhị thức, nhưng nó vẫn hữu ích.

— Số liệu thống kê
nguồn

Có thể có một phiên bản giấy làm việc này bạn có? Tôi không có quyền truy cập atm :-(

— IMA

@Stats Tôi đã đọc bài báo đó sau khi thấy câu trả lời của bạn. Tôi phải nói rằng, đó là bài báo hay nhất minh họa Bayesian và Người thường xuyên về vấn đề đó tôi từng thấy. Tôi ước tôi đã đọc bài báo này sớm hơn nhiều. (+1)

— KevinKim