Tại sao GLM khác với LM có biến được chuyển đổi

16

Như đã giải thích trong tài liệu hướng dẫn khóa học này (trang 1) , một mô hình tuyến tính có thể được viết dưới dạng:

y = β_{1} x_{1} + \dots + β_{p} x_{p} + ε_{i},

$y = \beta_1 x_{1} + \cdots + \beta_p x_{p} + \varepsilon_i,$

Trong đó $y$ là biến trả lời và $x_{i}$ là biến giải thích $i^{th}$ .

Thông thường với mục tiêu đáp ứng các giả định kiểm tra, người ta có thể biến đổi biến trả lời. Ví dụ, chúng tôi áp dụng chức năng đăng nhập trên mỗi $y_i$ . Chuyển đổi một biến trả lời KHÔNG đồng nghĩa với việc thực hiện GLM.

Một GLM có thể được viết theo mẫu sau (từ bản hướng dẫn khóa học một lần nữa (trang 3) )

g (u) = β_{1} x_{1} + \dots + β_{p} x_{p} + ε_{i},

$g(u) = \beta_1 x_{1} + \cdots + \beta_p x_{p} + \varepsilon_i,$

trong đó $u$ chỉ là một biểu tượng khác cho $y$ như tôi hiểu từ trang 2 trong tài liệu hướng dẫn khóa học. $g()$ được gọi là hàm liên kết.

Tôi không thực sự hiểu sự khác biệt giữa GLM và LM với biến được chuyển đổi từ các slide trong khóa học. Bạn có thể giúp tôi với đó?

— Còn lại
nguồn

2

Bạn có thể thấy nó được chiếu sáng để xem xét thực tế rằng tất cả các biến đổi của một kết quả nhị phân là affine, do đó sẽ giới hạn bạn trong hồi quy bình phương nhỏ nhất bình thường. Đây rõ ràng không phải là điều mà hồi quy logistic (GLM tiêu chuẩn cho phản hồi nhị phân) đang thực hiện. (Chứng minh: hãy để các giá trị kết quả được mã hóa như

và

và để cho

được bất kỳ chuyển đổi Viết.

và

, chúng ta thấy

đồng ý về

y_{0}

$y_0$

y_{1}

$y_1$

ϕ

$\phi$

z_{0} = ϕ (y_{0})

$z_0=\phi(y_0)$

z_{1} = ϕ (y_{1})

$z_1=\phi(y_1)$

ϕ

$\phi$

với

(mà là một biến đổi afin của

), nơi

và

).

{y_{0}, y_{1}}

$\{y_0,y_1\}$

y \to λ y + μ

$y\to \lambda y + \mu$

y

$y$

λ = (z_{1} - z_{0}) / (y_{1} - y_{0})

$\lambda=(z_1-z_0)/(y_1-y_0)$

μ = z_{0} - λ y_{0}

$\mu=z_0-\lambda y_0$

— whuber

15

Chuyển đổi đáp ứng trước khi thực hiện hồi quy tuyến tính đang thực hiện việc này:

E (g (Y)) \sim β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p}

$E(g(Y)) \sim \beta_0 + \beta_1x_1 + \ldots + \beta_px_p$

Trong đó là một hàm đã cho và chúng ta giả sử rằng có phân phối cho trước (thường là bình thường). $g$ $g(Y)$

Một mô hình tuyến tính tổng quát đang làm điều này:

g (E (Y)) \sim β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p}

$g(E(Y)) \sim \beta_0 + \beta_1x_1 + \ldots + \beta_px_p$

trong đó giống như trước đây và chúng tôi giả sử rằng có phân phối cho trước (thường không bình thường). $g$ $Y$

— Hồng Ooi
nguồn

E trong phương trình của bạn là gì?

— dùng1406647

1

là ký hiệu chuẩn cho giá trị kỳ vọng của

.

E (X)

$E(X)$

X

$X$

— Marcus PS

Tôi cũng thấy điều này hữu ích: christoph-scherber.de/content/PDF%20Files/iêu

— Aditya

22

Tôi không chắc chắn nếu điều này sẽ tạo thành một câu trả lời hoàn chỉnh cho bạn, nhưng nó có thể giúp giải phóng logjam khái niệm.

Dường như có hai quan niệm sai lầm trong tài khoản của bạn:

Hãy nhớ rằng hồi quy bình phương nhỏ nhất bình phương (OLS - 'tuyến tính') là trường hợp đặc biệt của mô hình tuyến tính tổng quát. Do đó, khi bạn nói "[t] định dạng lại biến trả lời KHÔNG đồng nghĩa với thực hiện GLM", điều này không chính xác. Lắp mô hình tuyến tính hoặc biến đổi biến trả lời và sau đó khớp mô hình tuyến tính cả hai cấu thành 'thực hiện GLM'.
Trong việc xây dựng tiêu chuẩn của GLMs, những gì bạn gọi là " " (thường được biểu diễn bằng , nhưng điều này chỉ là vấn đề ưu tiên) là giá trị trung bình của phân phối phản ứng có điều kiện tại một địa điểm cụ thể trong không gian covariate (ví dụ, ). Do đó, khi bạn nói "trong đó chỉ là một biểu tượng khác cho ", điều này cũng không chính xác. Trong công thức OLS, là một biến ngẫu nhiên và / hoặc là giá trị nhận ra của cho đơn vị quan sát / nghiên cứu . Đó là, (tổng quát hơn) đại diện cho dữ liệu , không phải là một tham số . $u$ $\mu$ $X$ $u$ $y$ $Y$ $y_i$ $Y$ $i$ $y$

(Tôi không có ý định gây ra lỗi lầm. Tôi chỉ nghi ngờ rằng những điều này có thể gây ra sự nhầm lẫn của bạn.)
Ngoài ra còn có một khía cạnh khác của mô hình tuyến tính tổng quát mà tôi không thấy bạn đề cập đến. Đó là chúng tôi chỉ định một phân phối đáp ứng. Trong trường hợp hồi quy OLS, phân phối đáp ứng là Gaussian (bình thường) và hàm liên kết là hàm nhận dạng. Trong trường hợp, giả sử, hồi quy logistic (có thể là những gì mọi người nghĩ đến đầu tiên khi họ nghĩ về GLM), phân phối phản hồi là Bernoulli (/ binomial) và chức năng liên kết là logit. Khi sử dụng các phép biến đổi để đảm bảo các giả định cho OLS được đáp ứng, chúng ta thường cố gắng làm cho phân phối đáp ứng có điều kiện trở nên bình thường. Tuy nhiên, không có sự chuyển đổi nào như vậy sẽ khiến việc phân phối Bernoulli trở nên bình thường.

— gung - Phục hồi Monica
nguồn