xác minh một hậu thế là đúng

Có một vấn đề bài tập về nhà trong một cuốn sách giáo khoa yêu cầu xác minh quyền sở hữu của một bản phân phối sau, và tôi gặp một chút rắc rối với nó. Thiết lập là bạn có mô hình hồi quy logistic với một yếu tố dự đoán và bạn có một bộ đồng phục không phù hợp trước . $\mathbb{R}^2$

Cụ thể, chúng tôi giả sử cho rằng vì vậy khả năng là Vấn đề là tôi nghi ngờ rằng hậu thế này thực sự không phù hợp. $i=1,\ldots,k$

y_{i} ∣ α, β, x_{i} \sim Binomial (n, invlogit (α + β x_{i})),

$y_i \mid \alpha, \beta,x_i \sim \text{Binomial}(n,\text{invlogit}(\alpha + \beta x_i)),$

p (y ∣ α, β, x) = \prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{y_{i}} [1 - invlogit (α + β x_{i})]^{n - y_{i}} .

$p(y \mid \alpha, \beta, x ) = \prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^{y_i}[1-\text{invlogit}(\alpha + \beta x_i)]^{n-y_i}.$

Đối với tình huống cụ thể trong đó , nếu chúng ta sử dụng thay đổi biến và , thì chúng ta có thể thấy rằng Trong dòng có dấu hoa thị, chúng ta giả sử rằng , nhưng nếu không, thì chúng ta sẽ có cùng một thứ. $k=1$ $s_1 = \text{invlogit}(\alpha + \beta x)$ $s_2 = \beta$

\begin{aligned} \iint_{R^{2}} p (y ∣ α, β, x) d α d β & = \iint_{R^{2}} [invlogit (α + β x)]^{y} [1 - invlogit (α + β x)]^{n - y} d α d β \\ = \int_{- \infty}^{\infty} \int_{0}^{1} s_{1}^{y - 1} (1 - s_{1})^{n - y - 1} d s_{1} d s_{2} \\ (*) & = B (y, n - y) \int_{- \infty}^{\infty} 1 d s_{2} \\ = \infty . \end{aligned}

$\begin{align*} \iint_{\mathbb{R}^2}p(y \mid \alpha, \beta, x ) \text{d}\alpha \text{d}\beta &= \iint_{\mathbb{R}^2}[\text{invlogit}(\alpha + \beta x)]^{y}[1-\text{invlogit}(\alpha + \beta x)]^{n-y} \text{d}\alpha \text{d}\beta \\ &= \int_{-\infty}^{\infty}\int_0^1 s_1^{y-1}(1-s_1)^{n-y-1} \text{d}s_1 \text{d}s_2 \\ &= B(y,n-y) \int_{-\infty}^{\infty} 1 \text{d}s_2 \tag{*}\\ &= \infty. \end{align*}$

0 < y < n

$0 < y < n$

Tôi đang làm điều gì đó ngớ ngẩn ở đây? Hay đây là một hậu thế không đúng?

— Taylor
nguồn

Nhìn thoáng qua - không cần xem xét các chi tiết - tôi thấy thật kỳ lạ khi (a) bạn tích hợp trên cả hai giá trị dương và âm của

β

$\beta$ và (b) một yếu tố

1 / β

$1/\beta$ không xuất hiện khi bạn thay đổi biến. Có lẽ, sau đó, một chút chú ý đến các cơ chế tích hợp sẽ giải quyết vấn đề của bạn.

— whuber

Tôi chưa thực hiện bất kỳ phép toán nào để sao lưu điều này, nhưng cả trực giác và trí nhớ của tôi đều nói rằng bạn đúng và rằng hậu thế không cần phải đúng. Bằng cách tương tự, nếu bạn sửa , căn hộ trước là Haldane trước, điều này không phải lúc nào cũng dẫn đến hậu thế thích hợp.

β = 0

$\beta = 0$

α

$\alpha$

— anh chàng

Với , bạn có thể thấy trực tiếp từ phương trình của mình về khả năng mật độ sau sẽ không đổi dọc theo các kết hợp tham số mà lấy các giá trị không đổi. Vì vậy, hậu thế thực sự không phù hợp và có hình dạng một sườn núi cho . Về cơ bản, bất kỳ đường hồi quy nào phù hợp với phản hồi quan sát tại sẽ phù hợp với dữ liệu. Nhưng với , tôi sẽ ngạc nhiên nếu hậu thế không phù hợp ngoại trừ trong các trường hợp suy biến như hoặc các trường hợp phân tách tuyến tính.

k = 1

$k=1$

p (α, β | y_{1}, x_{1})

$p(\alpha,\beta|y_1,x_1)$

α + β x_{i}

$\alpha + \beta x_i$

k = 1

$k=1$

x_{1}

$x_1$

k > 1

$k>1$

x_{1} = x_{2}

$x_1=x_2$

— Jarle Tufto

@ Xi'an đó là nơi s đến từ

- 1

$-1$

— Taylor

Giải thích của @JarleTufto là hoàn toàn chính xác: việc phân phối chỉ phụ thuộc vào , do đó không thể mang thông tin về và . Do đó một hậu thế không đúng. Ngoài ra còn có một vấn đề cho nhiều quan sát hơn nếu tất cả các đều bằng hoặc tất cả bằng .

Y

$Y$

α + β x

$\alpha+\beta x$

α

$\alpha$

β

$\beta$

y_{i}

$y_i$

0

$0$

n

$n$

— Tây An

Câu trả lời:

Với , bạn có thể thấy trực tiếp từ phương trình của mình về khả năng mật độ sau sẽ không đổi dọc theo các đường parallell mà tại đó lấy các giá trị không đổi. Vì vậy, hậu thế thực sự không phù hợp và có hình dạng một sườn núi cho . Về cơ bản, bất kỳ đường hồi quy nào phù hợp với phản hồi quan sát ở cũng sẽ hoạt động tốt như nhau. $𝑘=1$ $𝑝(𝛼,𝛽|𝑦_1,𝑥_1)$ $𝛼+𝛽𝑥_𝑖$ $𝑘=1$ $𝑥_1$

Tiếp theo, giả sử chúng ta có quan sát. Hãy xem xét việc xác định lại thông số được đưa ra bởi started Vì đây là một phép biến đổi tuyến tính của với một yếu tố quyết định không đổi trước cũng đồng nhất trên , với điều kiện là . Hãy xem xét việc tái tham số hóa thêm, phép biến đổi logit nghịch đảo cho . Rõ ràng, cũng là một tiên nghiệm độc lập với mật độ được đưa ra bởi $k=2$

\begin{aligned} η_{1} & = α + β x_{1} \\ η_{2} & = α + β x_{2} \end{aligned}

$\begin{align} \eta_1 &= \alpha + \beta x_1 \\ \eta_2 &= \alpha + \beta x_2 \end{align}$

α, β

$\alpha,\beta$

η_{1}, η_{2}

$\eta_1,\eta_2$

R^{2}

$\mathbb{R}^2$

x_{1} \neq x_{2}

$x_1\neq x_2$

\begin{aligned} p_{i} = \frac{1}{1 + e^{- η_{i}}}, \end{aligned}

$\begin{align} p_i = \frac1{1+e^{-\eta_i}}, \end{align}$

i = 1, 2

$i=1,2$

p_{1}, p_{2}

$p_1,p_2$

π (p_{i}) = π (η_{i}) | \frac{d η_{i}}{d p_{i}} | \propto \frac{d}{d p_{i}} \ln \frac{p_{i}}{1 - p_{i}} = \frac{1}{(1 - p_{i}) p_{i}}

$\pi(p_i)=\pi(\eta_i)\Big|\frac{d\eta_i}{dp_i}\Big|\propto \frac d{dp_i}\ln\frac{p_i}{1-p_i} = \frac1{(1-p_i)p_i}$ Đây được gọi là các linh mục Haldane không đúng , có thể được hiểu là một dạng giới hạn nhất định của mật độ phân phối Beta với cả hai tham số gần bằng 0. Có điều kiện trên dữ liệu , với điều kiện , mật độ biên sau cho mỗi là các bản phân phối Beta phù hợp với các tham số . Định dạng lại, phân phối sau của và cũng phải phù hợp. Điều này giữ ngoại trừ trong các trường hợp đặc biệt như một

y_{1}, y_{2}

$y_1,y_2$

0 < y_{i} < n

$0<y_i<n$

p_{i}

$p_i$

y_{i}, n - y_{i}

$y_i,n-y_i$

(η_{1}, η_{2})

$(\eta_1,\eta_2)$

(α, β)

$(\alpha,\beta)$

y_{i}

$y_i$ lấy giá trị 0 hoặc trong trường hợp hàm beta bình thường hóa là vô hạn và hậu thế của (và do đó, hậu thế của và ) là không chính xác.

n

$n$

B (y_{i}, n - y_{i})

$B(y_i,n-y_i)$

p_{i}

$p_i$

α

$\alpha$

β

$\beta$

Đối với các quan sát , hậu thế cũng phải phù hợp vì mật độ sau không chuẩn hóa của được giới hạn bởi hậu nghiệm dựa trên các quan sát đầu tiên . $k>2$ $\alpha,\beta$ $k=2$

— Tuleo
nguồn

Tôi không chắc hai câu trả lời của chúng tôi có bất đồng về mặt toán học. Tôi đang nói tích phân là vô hạn khi mỗi và bạn đang nói tích phân là hữu hạn bất cứ khi nào tất cả nằm giữa các điểm cuối một cách nghiêm ngặt. Ngoài ra, đây có thể là một điều phụ thuộc vào người bạn hỏi, nhưng tôi có ấn tượng rằng nếu một hậu thế không phù hợp với tất cả các điểm dữ liệu có thể, thì nó được định nghĩa là "không phù hợp". Ưu tiên của Haldane là một ví dụ nơi điều này xảy ra.

y_{i} = n

$y_i=n$

y_{i}

$y_i$

— Taylor

Nhưng bất đẳng thức của bạn nói rằng tích phân của hậu thế không chuẩn hóa (đối với bất kỳ nào ) (phía bên trái của bất đẳng thức đầu tiên) là vô hạn nên có sự bất đồng. Tôi không chắc nhưng bước cuối cùng kết hợp hai tích phân dường như không chỉ liên quan đến những gì bạn đã xác định là và mà còn cả v.v. Đó là lỗi.

y_{i}

$y_i$

s_{1}

$s_1$

s_{2}

$s_2$

invlogit (α + β x_{(n)})

$\mbox{invlogit}(\alpha + \beta x_{(n)})$

— Jarle Tufto

Vâng bạn đã đúng. Các thương hiệu khác nhau ở hai nơi đó vì vậy bạn không thể kết hợp chúng.

— Taylor

Thật không may, điều này giả sử là trường hợp phổ biến nhất.

n > 1

$n>1$

— Taylor

Điều đó không đúng, tôi tin. Tôi chỉ cần chứng minh rằng Hàm biểu thị Bây giờ là một hàm tăng đơn điệu, khi , chúng ta có

\int_{α \in R β > 0} p (y ∣ α, β, x) = + \infty .

$\int\limits_{\alpha \in \mathbb{R} \\ \beta>0} p(y \mid \alpha, \beta, x) = +\infty.$

σ = i n v l o g i t

$\sigma = \mathrm{invlogit}$

σ

$\sigma$

β > 0

$\beta > 0$

σ (α + β x_{i}) > σ (α - β max | x_{i} |) > 0,

$\mathrm{\sigma}(\alpha + \beta x_i) > \mathrm{\sigma}(\alpha - \beta \max |x_i|) > 0,$

1 - σ (α + β x_{i}) > 1 - σ (α + β max | x_{i} |) > 0.

$1 - \mathrm{\sigma}(\alpha + \beta x_i) > 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) > 0.$

Do đó, tích phân

\begin{aligned} \int_{α \in R β > 0} p (y ∣ α, β, x) > & \int_{α \in R β > 0} \prod {[σ (α - β max | x_{i} |)]}^{y_{i}} {[1 - σ (α + β max | x_{i} |)]}^{n_{i} - y_{i}} \\ > & \int_{α \in R β > 0} \prod {[σ (α - β max | x_{i} |)]}^{max n_{i}} {[1 - σ (α + β max | x_{i} |)]}^{max n_{i}} \\ > & \int_{α \in R β > 0} {[σ (α - β max | x_{i} |)]}^{k max n_{i}} {[1 - σ (α + β max | x_{i} |)]}^{k max n_{i}} \end{aligned}

$\begin{aligned} \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} p(y \mid \alpha, \beta, x) >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \prod \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{y_i} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{n_i - y_i} \\ >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \prod \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{\max n_i} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{\max n_i} \\ >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{k\max n_i} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{k\max n_i} \\ \end{aligned}$

Cần thêm các thuộc tính về : $\sigma$

{(σ (x))}^{N} = \frac{1}{(1 + e^{- x})^{N}} > \frac{1}{2^{N} (max {1, e^{- x}})^{N}} = \frac{1}{2^{N} (max {1, e^{- N x}})} > \frac{1}{2^{N}} σ (N x)

$\left( \sigma(x) \right)^N = \frac{1}{(1+e^{-x})^N} > \dfrac{1}{2^N (\max\{1,e^{-x}\}) ^N} = \dfrac{1}{2^N (\max\{1,e^{-Nx}\})} > \dfrac{1}{2^N}\sigma(Nx)$

Đặt, , sau đó $\xi = \alpha - \beta \max |x_i|$ $\eta = \alpha + \beta \max |x_i|, N=k\max n_i$

\begin{aligned} \int_{α \in R β > 0} p (y ∣ α, β, x) > & \int_{α \in R β > 0} {[σ (α - β max | x_{i} |)]}^{N} {[1 - σ (α + β max | x_{i} |)]}^{N} \\ \propto & \int_{- \infty < ξ < η < + \infty} {[σ (ξ)]}^{N} {[σ (- η)]}^{N} \\ > & \frac{1}{2^{2 N}} \int_{ξ}^{+ \infty} (\int_{- \infty}^{+ \infty} σ (N ξ) d ξ) σ (- N η) d η \\ = & + \infty \end{aligned}

$\begin{aligned} \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} p(y \mid \alpha, \beta, x) >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{N} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{N} \\ \propto& \int\limits_{-\infty < \xi < \eta < +\infty} \left[ \mathrm{\sigma}(\xi) \right]^{N} \left[ \mathrm{\sigma}(-\eta) \right]^{N}\\ >& \frac{1}{2^{2N}}\int\limits_{\xi}^{+\infty} \Big( \int\limits_{-\infty}^{+\infty} \mathrm{\sigma}(N\xi) \mathrm{d}\xi \Big) ~ \mathrm{\sigma}(- N\eta) \mathrm{d}\eta \\ =& +\infty \end{aligned}$

— Bài hát ngớ ngẩn
nguồn

Tôi đã thực hiện một số phiên bản. Hy vọng nó đúng.

— Bài hát ngớ ngẩn

Trong bước cuối cùng thứ hai, tôi nghĩ rằng các giới hạn của tích phân kép là sai. Thay vào đó, tôi nhận được Sử dụng Maple, tôi thấy rằng tích phân kép này là hữu hạn và bằng . Vì vậy, tất cả những gì bạn có thể nói dựa trên đạo hàm của bạn là hằng số chuẩn hóa của hậu thế của lớn hơn một cái gì đó hữu hạn.

\begin{aligned} \int_{- \infty}^{\infty} σ (- N η) \int_{- \infty}^{η} σ (N ξ) d ξ d η \end{aligned}

$\begin{align} \int_{-\infty}^\infty\sigma(-N\eta)\int_{-\infty}^\eta\sigma(N\xi) d\xi d\eta \end{align}$

π / (6 N^{2})

$\pi/(6N^2)$

α, β

$\alpha,\beta$

— Jarle Tufto

Tôi đã chấp nhận một câu trả lời, nhưng tôi muốn chỉ ra rằng hậu thế không phù hợp với tất cả các tập dữ liệu có thể. Hậu thế tỷ lệ thuận với khả năng, đó là Nếu , thì điều này đơn giản hóa thành

\prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{y_{i}} [1 - invlogit (α + β x_{i})]^{n - y_{i}} .

$\prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^{y_i}[1-\text{invlogit}(\alpha + \beta x_i)]^{n-y_i}.$

y_{1} = y_{2} = \dots = y_{k} = n

$y_1 = y_2 = \cdots = y_k = n$

\prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{n},

$\prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^n,$

và chúng ta có thể thấy rằng

\begin{aligned} \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} \prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{n} d α d β \\ \geq \int_{0}^{\infty} \int_{- \infty}^{\infty} \prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{n} d α d β \\ \geq \int_{0}^{\infty} \int_{- \infty}^{\infty} [invlogit (α + β x_{(1)})]^{n k} d α d β \\ \geq \int_{0}^{\infty} \int_{- \infty}^{\infty} [invlogit (r_{1})]^{n k} d r_{1} d r_{2} \\ = \infty . \end{aligned}

$\begin{align*} &\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} \prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^n \text{d}\alpha \text{d}\beta\\ &\ge \int_0^{\infty}\int_{-\infty}^{\infty} \prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^n \text{d}\alpha \text{d}\beta \\ &\ge \int_0^{\infty}\int_{-\infty}^{\infty} [\text{invlogit}(\alpha + \beta x_{(1)})]^{nk} \text{d}\alpha \text{d}\beta \\ &\ge \int_0^{\infty}\int_{-\infty}^{\infty} [\text{invlogit}(r_1)]^{nk} \text{d}r_1 \text{d}r_2 \\ &= \infty. \end{align*}$

— Taylor
nguồn