Ước tính tham số của một phân phối thống nhất: không đúng trước?

Chúng tôi có N mẫu, , từ phân phối đồng đều trong đó không xác định. Ước tính từ dữ liệu. $X_i$ $[0,\theta]$ $\theta$ $\theta$

Vì vậy, quy tắc của Bayes ...

$f(\theta | {X_i}) = \frac{f({X_i}|\theta)f(\theta)}{f({X_i})}$

và khả năng là:

$f({X_i}|\theta) = \prod_{i=1}^N \frac{1}{\theta}$ (chỉnh sửa: khi cho tất cả và 0 khác - cảm ơn người bán hàng) $0 \le X_i \le \theta$ $i$

nhưng không có thông tin nào khác về , có vẻ như phần trước phải tỷ lệ với (tức là đồng phục) hoặc (Jeffreys trước?) trên nhưng sau đó các tích phân của tôi không không hội tụ và tôi không biết phải tiến hành như thế nào. Có ý kiến gì không? $\theta$ $1$ $\frac{1}{L}$ $[0,\infty]$

— Sẽ
nguồn

Khả năng của bạn là không chính xác: nó sẽ bằng 0 bất cứ khi nào nhỏ hơn lớn nhất .

θ

$\theta$

X_{i}

$X_i$

— whuber

Bạn có thể hiển thị những gì tích hợp bạn đang dùng?

Phải, vì vậy, tôi đoán tôi chỉ không biết làm thế nào để đối phó với những điều không đúng trước đó. Ví dụ: tôi muốn viết

f [X_{i}] = \int_{Θ} f (X_{i} | θ) f (θ) d θ

$f[X_i] = \int_\Theta f(X_i|\theta)f(\theta)d\theta$

— Sẽ

Đối với trước không đúng, = = và đối với bạn tương tự có đượcVì gần như chắc chắn, nên chắc chắn các tích phân sẽ hội tụ.

f [X_{i}] = \int_{Θ} f (X_{i} | θ) f (θ) d θ

$f[X_i] = \int_\Theta f(X_i|\theta)f(\theta)d\theta$

\int_{max (X_{i})}^{\infty} θ^{- N} d θ

$\int_{\max(X_i)}^\infty \theta^{-N}d\theta$

max (X_{i})^{1 - N} / (N - 1)

$\max(X_i)^{1-N}/(N-1)$

f (θ) \propto 1 / θ

$f(\theta)\propto 1/\theta$

max (X_{i})^{- N} / N .

$\max(X_i)^{-N}/N.$

max X_{i} > 0

$\max{X_i}\gt 0$

— whuber

Các hậu thế tham chiếu Bernardo là Pareto - xem danh mục của các linh mục không thông tin .

— Stéphane Laurent

Câu trả lời:

Điều này đã tạo ra một số cuộc tranh luận thú vị, nhưng lưu ý rằng nó thực sự không tạo ra nhiều khác biệt cho câu hỏi quan tâm. Cá nhân tôi nghĩ rằng vì là một tham số tỷ lệ, nên đối số nhóm biến đổi là phù hợp, dẫn đến trước $\theta$

\begin{matrix} p (θ | I) = \frac{θ^{- 1}}{\log (\frac{U}{L})} \propto θ^{- 1} & L < θ < U \end{matrix}

$\begin{array}& p(\theta|I)=\frac{\theta^{-1}}{\log\left(\frac{U}{L}\right)}\propto\theta^{-1} & L<\theta<U\end{array}$

Phân phối này có dạng tương tự dưới sự thay đổi kích thước của vấn đề (khả năng cũng vẫn là "bất biến" khi thay đổi kích thước). Hạt nhân trước này, có thể được suy ra bằng cách giải phương trình hàm . Các giá trị phụ thuộc vào vấn đề và thực sự chỉ quan trọng nếu kích thước mẫu rất nhỏ (như 1 hoặc 2). Các hậu thế là một pareto cắt ngắn, được đưa ra bởi: $f(y)=y^{-1}$ $af(ay)=f(y)$ $L,U$

\begin{matrix} p (θ | D I) = \frac{N θ^{- N - 1}}{(L^{*})^{- N} - U^{- N}} & L^{*} < θ < U & where & L^{*} = m a x (L, X_{(N)}) \end{matrix}

$\begin{array}\\ p(\theta|DI)=\frac{N\theta^{-N-1}}{ (L^{*})^{-N}-U^{-N}} & L^{*}<\theta<U & \text{where} & L^{*}=max(L,X_{(N)}) \end{array}$ Trong đó là Nth thống kê thứ tự, hoặc giá trị tối đa của mẫu. Chúng ta lấy trung bình sau của Nếu chúng ta đặt và , chúng ta sẽ có được mức giảm áp đơn giản hơn .

X_{(N)}

$X_{(N)}$

E (θ | D I) = \frac{N ((L^{*})^{1 - N} - U^{1 - N})}{(N - 1) ((L^{*})^{- N} - U^{- N})} = \frac{N}{N - 1} L^{*} (\frac{1 - {[\frac{L^{*}}{U}]}^{N - 1}}{1 - {[\frac{L^{*}}{U}]}^{N}})

$E(\theta|DI)= \frac{ N((L^{*})^{1-N}-U^{1-N}) }{ (N-1)((L^{*})^{-N}-U^{-N}) }=\frac{N}{N-1}L^{*}\left(\frac{ 1-\left[\frac{L^{*}}{U}\right]^{N-1} }{ 1-\left[\frac{L^{*}}{U}\right]^{N} }\right)$

U \to \infty

$U\to\infty$

L \to 0

$L\to 0$

E (θ | D I) = \frac{N}{N - 1} X_{(N)}

$E(\theta|DI)=\frac{N}{N-1}X_{(N)}$

Nhưng bây giờ, giả sử chúng ta sử dụng một tổng quát hơn trước, được đưa ra bởi (lưu ý rằng chúng tôi giữ các giới hạn để đảm bảo mọi thứ đều đúng - sau đó không có toán học số ít ). Các hậu thế sau đó giống như trên, nhưng với thay thế bằng - với điều kiện . Lặp lại các tính toán trên, chúng tôi có nghĩa là đơn giản hóa sau $p(\theta|cI)\propto\theta^{-c-1}$ $L,U$ $N$ $c+N$ $c+N\geq 0$

E (θ | D I) = \frac{N + c}{N + c - 1} X_{(N)}

$E(\theta|DI)=\frac{N+c}{N+c-1}X_{(N)}$

Vì vậy, đồng phục trước ( ) sẽ đưa ra ước tính với điều kiện (có nghĩa là vô hạn đối với ). Điều này cho thấy cuộc tranh luận ở đây hơi giống với việc nên sử dụng hay làm ước số trong ước tính phương sai. $c=-1$ $\frac{N-1}{N-2}X_{(N)}$ $N\geq 2$ $N=2$ $N$ $N-1$

Một lập luận chống lại việc sử dụng đồng phục không phù hợp trước đó trong trường hợp này là hậu thế không phù hợp khi , vì nó tỷ lệ thuận với . Nhưng điều này chỉ quan trọng nếu hoặc rất nhỏ. $N=1$ $\theta^{-1}$ $N=1$

— xác suất
nguồn

Vì mục đích ở đây có lẽ là để có được một số ước tính hợp lệ và hữu ích của , nên phân phối trước phải phù hợp với đặc điểm phân bố dân số mà mẫu xuất phát. Điều này KHÔNG theo bất kỳ cách nào có nghĩa là chúng tôi "tính toán" việc sử dụng mẫu trước đó - điều này sẽ vô hiệu hóa tính hợp lệ của toàn bộ quy trình. Chúng tôi biết rằng dân số mà mẫu xuất phát là một quần thể gồm các biến ngẫu nhiên thống nhất iid mỗi biến trong . Đây là một giả định được duy trì và là một phần của thông tin trước đó mà chúng tôi có (và nó không liên quan gì đến mẫu , tức là với việc thực hiện cụ thể một tập hợp con của các biến ngẫu nhiên này). $\theta$ $[0,\theta]$

Bây giờ giả sử rằng dân số này bao gồm biến ngẫu nhiên, (trong khi mẫu của chúng tôi bao gồm hiện thực hóa biến ngẫu nhiên). Giả định được duy trì cho chúng ta biết rằng $m$ $n<m$ $n$

max_{i = 1, . . ., n} {X_{i}} \leq max_{j = 1, . . ., m} {X_{j}} \leq θ

$\max_{i=1,...,n}\{X_i\}\le \max_{j=1,...,m}\{X_j\} \le \theta$

Biểu thị cho sự gọn nhẹ . Sau đó, chúng ta có cũng có thể được viết $\max_{i=1,...,n}\{X_i\} \equiv X^*$ $\theta \ge X^*$

θ = c X^{*} c \geq 1

$\theta = cX^*\qquad c\ge 1$

Hàm mật độ của của iid Đồng phục rv nằm trong là $\max$ $N$ $[0,\theta]$

f_{X^{*}} (x^{*}) = N \frac{(x^{*})^{N - 1}}{θ^{N}}

$f_{X^*}(x^*) = N\frac {(x^*)^{N-1}}{\theta^N}$

cho hỗ trợ và 0 ở nơi khác. Sau đó, bằng cách sử dụng và áp dụng công thức thay đổi biến, chúng tôi có được phân phối trước cho phù hợp với giả định được duy trì: $[0,\theta]$ $\theta = cX^*$ $\theta$

f_{p} (θ) = N \frac{(\frac{θ}{c})^{N - 1}}{θ^{N}} \frac{1}{c} = \frac{N}{c^{N}} θ^{- 1} θ \in [x^{*}, \infty]

$f_p(\theta) = N\frac {(\frac{\theta}{c})^{N-1}}{\theta^N}\frac 1c = \frac {N}{c^N} \theta^{-1}\qquad \theta \in [x^*, \infty]$

có thể không phù hợp nếu chúng ta không chỉ định hằng số phù hợp. Nhưng mối quan tâm của chúng tôi nằm ở việc có một hậu thế thích hợp cho , và đồng thời, chúng tôi không muốn hạn chế các giá trị có thể có của (ngoài giới hạn được ngụ ý bởi giả định được duy trì). Vì vậy, chúng tôi để lại không xác định. Sau đó viết phía sau là $c$ $\theta$ $\theta$ $c$
$\mathbf X = \{x_1,..,x_n\}$

f (θ ∣ X) \propto θ^{- N} \frac{N}{c^{N}} θ^{- 1} \Rightarrow f (θ ∣ X) = A \frac{N}{c^{N}} θ^{- (N + 1)}

$f(\theta \mid \mathbf X)\; \propto\; \theta^{-N}\frac {N}{c^N} \theta^{-1} \Rightarrow f(\theta \mid \mathbf X) = A\frac {N}{c^N} \theta^{-(N+1)}$

đối với một số hằng số chuẩn hóa A. Chúng tôi muốn

\int_{S_{θ}} f (θ ∣ X) d θ = 1 \Rightarrow \int_{x^{*}}^{\infty} A \frac{N}{c^{N}} θ^{- (N + 1)} d θ = 1

$\int_{S_{\theta}}f(\theta \mid \mathbf X)d\theta =1 \Rightarrow \int_{x^*}^{\infty}A\frac {N}{c^N} \theta^{-(N+1)}d\theta =1$

\Rightarrow A \frac{N}{c^{N}} \frac{1}{- N} θ^{- N} |_{x^{*}}^{\infty} = 1 \Rightarrow A = (c x^{*})^{N}

$\Rightarrow A\frac {N}{c^N}\frac {1}{-N}\theta^{-N}\Big |_{x^*}^{\infty} = 1 \Rightarrow A = (cx^*)^N$

Chèn vào sau

f (θ ∣ X) = (c x^{*})^{N} \frac{N}{c^{N}} θ^{- (N + 1)} = N (x^{*})^{N} θ^{- (N + 1)}

$f(\theta \mid \mathbf X) = (cx^*)^N\frac {N}{c^N} \theta^{-(N+1)} = N(x^*)^N\theta^{-(N+1)}$

Lưu ý rằng hằng số không xác định của phân phối trước đã hủy bỏ một cách thuận tiện. $c$

Hậu thế tóm tắt tất cả thông tin mà mẫu cụ thể có thể cung cấp cho chúng tôi về giá trị của . Nếu chúng ta muốn có được một giá trị cụ thể cho chúng ta có thể dễ dàng tính giá trị mong đợi của hậu thế, $\theta$ $\theta$

E (θ ∣ X) = \int_{x^{*}}^{\infty} θ N (x^{*})^{N} θ^{- (N + 1)} d θ = - \frac{N}{N - 1} (x^{*})^{N} θ^{- N + 1} |_{x^{*}}^{\infty} = \frac{N}{N - 1} x^{*}

$E(\theta\mid \mathbf X) = \int_{x^*}^{\infty}\theta N(x^*)^N\theta^{-(N+1)}d\theta = -\frac{N}{N-1}(x^*)^N\theta^{-N+1}\Big |_{x^*}^{\infty} = \frac{N}{N-1}x^*$

Có trực giác nào trong kết quả này không? Chà, khi số lượng tăng lên, nhiều khả năng là nhận thức tối đa trong số chúng sẽ càng ngày càng gần với giới hạn trên của chúng, - đó chính xác là giá trị trung bình sau của phản ánh: nếu, nói , , nhưng nếu . Điều này cho thấy chiến thuật của chúng tôi về việc lựa chọn trước là hợp lý và phù hợp với vấn đề hiện tại, nhưng không nhất thiết là "tối ưu" theo một nghĩa nào đó. $X$ $\theta$ $\theta$ $N=2 \Rightarrow E(\theta\mid \mathbf X) = 2x^*$ $N=10 \Rightarrow E(\theta\mid \mathbf X) = \frac{10}{9}x^*$

— Alecos Papadopoulos
nguồn

Căn cứ trước các dữ liệu nghe có vẻ tanh với tôi. Làm thế nào để bạn biện minh cho phương pháp này?

— whuber

Tôi không có gì chống lại thực tế rằng trước đó của bạn không phải là "tốt nhất". Tôi đã nói điều gì như thế ở đâu? Tôi chỉ đang cố gắng để hiểu cách tiếp cận của bạn. Tôi chưa hiểu sự bình đẳng này. Nếu không đổi trong đẳng thức , điều đó có nghĩa là cả và đều không hợp lệ? Bằng cách này, bạn không sử dụng thực tế là trong đạo hàm trước, phải không? (cc @whuber)

c

$c$

θ = c X^{*}

$\theta=cX^*$

X^{*}

$X^*$

θ

$\theta$

c \geq 1

$c \geq 1$

— Stéphane Laurent

Và sự hỗ trợ của bạn trước phụ thuộc vào dữ liệu? ( )

θ \in [x^{*}, \infty [

$\theta \in [x^*, \infty[$

— Stéphane Laurent

Tùy thuộc trước (ngay cả khi điều này chỉ thông qua hỗ trợ) trên dữ liệu nghe có vẻ sai: bạn không thể biết tối đa của mẫu trước khi mẫu được tạo . Hơn nữa, bạn cho rằng là một đẳng thức gần như chắc chắn, với cả và ngẫu nhiên (do đó có tương quan ). Nhưng điều này ngụ ý rằng phân phối sau của (là phân phối có điều kiện của cho mẫu) là khối Dirac tại . Và điều này mâu thuẫn với sự phát sinh của bạn về phân phối sau. ... (Không còn ký tự nào nữa ...)

θ = c X^{*}

$\theta = cX^*$

θ

$\theta$

X^{*}

$X^*$

1

$1$

θ

$\theta$

θ

$\theta$

c x^{*}

$cx^*$

— Stéphane Laurent

Phân phối sau của là Dirac tại có nghĩa là là . Định lý Bayes không phải là nguyên nhân. Bạn phá hủy mọi thứ bằng cách giả sử . Điều này hàm ý , do đó phân phối có điều kiện của cho là khối Dirac tại , trong khi giả định ban đầu là phân phối này là phân phối đồng đều trên .

θ

$\theta$

c x^{*}

$cx^*$

θ

$\theta$

c x^{*}

$cx^*$

θ = c X^{*}

$\theta = cX^*$

X^{*} = θ / c

$X^*=\theta/c$

X^{*}

$X^*$

θ

$\theta$

θ / c

$\theta/c$

(0, θ)

$(0,\theta)$

— Stéphane Laurent

Định lý phân phối trước thống nhất (trường hợp khoảng):

"Nếu toàn bộ thông tin của bạn về bên ngoài dữ liệu được ghi lại bởi mệnh đề duy nhất sau đó Đặc điểm kỹ thuật trước nhất quán nhất có thể có của bạn là $\theta$ $D$

B = {{Possible values for θ} = {the interval (a, b)}, a < b}

$B=\{\{\text{Possible values for } \theta\}=\{\text{the interval } (a,b)\},a<b\}$

f (θ) = Uniform (a, b)

$f(\theta)=\text{Uniform}(a,b)$

Do đó, đặc điểm kỹ thuật trước của bạn phải tương ứng với ưu tiên của Jeffrey nếu bạn thực sự tin vào định lý trên. "

Không phải là một phần của Định lý phân phối trước thống nhất:

Ngoài ra, bạn có thể chỉ định phân phối trước dưới dạng phân phối Pareto, là phân phối liên hợp cho đồng phục, biết rằng phân phối sau của bạn sẽ phải là phân phối đồng đều khác theo cách chia. Tuy nhiên, nếu bạn sử dụng phân phối Pareto, thì bạn sẽ cần chỉ định các tham số của phân phối Pareto theo một cách nào đó. $f(\theta)$

Trước tiên, bạn nói câu trả lời "chỉ có thể có trong nội bộ nhất quán" là phân phối thống nhất và sau đó bạn tiến hành đề xuất một giải pháp thay thế. Điều đó nghe có vẻ phi logic và không phù hợp với tôi :-).

— whuber

Tôi không thể đồng ý. Chẳng hạn, cũng là tậpKhi PDF của là cho . Nhưng theo "định lý", có pdf là trong khoảng đó. Nói tóm lại, mặc dù mệnh đề không phụ thuộc vào cách vấn đề được tham số hóa, kết luận của "định lý" không phụ thuộc vào tham số hóa, vì nó không rõ ràng.

B

$B$

{θ | θ^{3} \in (a^{3}, b^{3})} .

$\{\theta | \theta^3\in(a^3, b^3)\}.$

Θ \sim Uniform (a, b),

$\Theta\sim\text{Uniform}(a,b),$

Ψ = Θ^{3}

$\Psi=\Theta^3$

1 / (3 ψ^{2 / 3} (b - a))

$1/(3\psi^{2/3}(b-a))$

a^{3} < ψ < b^{3}

$a^3\lt \psi\lt b^3$

Ψ \sim Uniform (a^{3}, b^{3})

$\Psi\sim\text{Uniform}(a^3,b^3)$

1 / (b^{3} - a^{3})

$1/(b^3-a^3)$

— whuber

BabakP: Làm thế nào người ta có thể nói đây là một định lý ? Một định lý là một yêu cầu toán học với một bằng chứng toán học. "Định lý" này sẽ được gọi là "nguyên tắc" một cách thích hợp hơn, nhưng nó không hợp lý vì nó mâu thuẫn, như được thể hiện bởi @whuber.

— Stéphane Laurent

Cảm ơn đã tham khảo BabakP. Tôi muốn chỉ ra rằng "bản phác thảo bằng chứng" là không có thật. Draper chia khoảng thời gian thành một số hữu hạn các giá trị cách đều nhau và "vượt qua giới hạn". Bất kỳ ai cũng có thể chia khoảng thời gian thành các giá trị cách nhau để xấp xỉ bất kỳ mật độ nào họ thích và tương tự vượt qua giới hạn, tạo ra hoàn toàn tùy ý "chỉ có thể có các thông số kỹ thuật trước nhất quán về mặt logic." Loại công cụ này - cụ thể là sử dụng toán học tồi trong một nỗ lực để chỉ ra rằng những người không phải là người Bayes là phi logic - mang lại cho phân tích Bayes một cái tên xấu (không đáng tin). (cc @ Stéphane.)

— whuber

@ Stéphane Xin hãy tha thứ cho sự vô cảm của tôi ( insensibilité ) - Tôi ngưỡng mộ kỹ năng của bạn khi tương tác ở đây bằng ngôn ngữ thứ hai và không cố ý sử dụng các thuật ngữ tối nghĩa! Bogus là một tính từ xuất phát từ một từ lóng 200 năm tuổi của Hoa Kỳ đề cập đến một cỗ máy làm tiền giả. Trong trường hợp này, nó là một máy toán học cho các định lý giả :-).

— whuber