Sự khác biệt giữa chức năng liên kết của Tiếng vang là gì và chức năng liên kết chính thức của người Viking cho GLM

65

Sự khác biệt giữa các thuật ngữ 'chức năng liên kết' và 'chức năng liên kết chính tắc' là gì? Ngoài ra, có bất kỳ lợi thế (lý thuyết) của việc sử dụng cái này hơn cái kia không?

Ví dụ, một biến phản ứng nhị phân có thể được mô hình hóa bằng nhiều hàm liên kết như logit , probit , v.v. Nhưng, logit ở đây được coi là hàm liên kết "chính tắc".

logistic generalized-linear-model link-function

— cá ổn định
nguồn

10

Tôi thảo luận về các hàm liên kết rộng rãi ở đây: Sự khác biệt giữa mô hình logit và probit , tập trung vào hồi quy cho biến phản ứng nhị phân. Mặc dù chỉ có một chút trong cuộc thảo luận đó tập trung vào ý nghĩa của chức năng liên kết là 'chính tắc', nhưng dù sao cũng có thể hữu ích để đọc. Lưu ý rằng để hiểu sự khác biệt b / t & lợi thế của chức năng liên kết chính tắc và không chính tắc đòi hỏi phải đi sâu vào toán học bên dưới GLiM.

— gung - Phục hồi Monica

68

Các câu trả lời trên là trực quan hơn, vì vậy tôi cố gắng nghiêm ngặt hơn.

GLM là gì?

Đặt biểu thị một tập hợp một vectơ và -dimensional vectơ với giá trị mong đợi . Đối với quan sát độc lập, sự phân bố của mỗi là một gia đình theo cấp số nhân với mật độ $Y=(y,\mathbf{x})$ $y$ $p$ $\mathbf{x}=(x_1,\dots,x_p)$ $E(y)=\mu$ $i=1,\dots,n$ $y_i$ Ở đây, tham số quan tâm (tự nhiên hay kinh điển parameter) là , là một tham số quy mô (được biết đến hoặc được coi là một mối phiền toái) và và là chức năng được biết đến. Cácvectơ chiều của các giá trị đầu vào cố định cho

f (y_{i}; θ_{i}, ϕ) = \exp {[y_{i} θ_{i} - γ (θ_{i})] / ϕ + τ (y_{i}, ϕ)}

$f(y_i;\theta_i,\phi)=\exp\{[y_i\theta_i-\gamma(\theta_i)]/\phi+\tau(y_i,\phi)\}$

θ_{i}

$\theta_i$

ϕ

$\phi$

γ

$\gamma$

τ

$\tau$

n

$n$

p

$p$ biến giải thích được biểu thị bằng

. Chúng tôi giả định rằng các đầu vào vector ảnh hưởng (1) chỉ qua một hàm tuyến tính, các dự đoán tuyến tính,

trên đó

phụ thuộc. Vì nó có thể được hiển thị mà

x_{1}, \dots, x_{p}

$\mathbf{x}_1,\dots,\mathbf{x}_p$

η_{i} = β_{0} + β_{1} x_{i 1} + \dots + β_{p} x_{i p}

$\eta_i=\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip}$

θ_{i}

$\theta_i$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$ , sự phụ thuộc này được thiết lập bằng cách kết nối bộ dự báo tuyến tính

và

thông qua giá trị trung bình. Cụ thể hơn, giá trị trung bình

được xem như là một chức năng nghịch và trơn tru của các dự đoán tuyến tính, tức là

Bây giờ để trả lời câu hỏi của bạn:

η

$\eta$

θ

$\theta$

μ

$\mu$

g (μ) = η or μ = g^{- 1} (η)

$g(\mu)=\eta\ \textrm{or}\ \mu=g^{-1}(\eta)$

$g(\cdot)$ $\mu$ $\eta$ $\theta$ $\eta \equiv\theta$ $g=(\gamma')^{-1}$

$X'y$ $\sum_i x_{ij} y_i$ $j = 1, \dots, p$ $\mu$

Do đó chúng có xu hướng được sử dụng theo mặc định. Tuy nhiên, lưu ý rằng không có lý do tiên nghiệm tại sao các hiệu ứng trong mô hình phải là phụ gia theo thang đo được đưa ra bởi liên kết này hoặc bất kỳ liên kết nào khác.

— Mẹ ơi
nguồn

5

+1, đây là một câu trả lời thực sự hay, @Momo. Tôi đã tìm thấy một số phương trình khó đọc hơn khi chúng bị chôn vùi trong các đoạn văn, vì vậy tôi đã 'chặn' chúng bằng cách sử dụng các ký hiệu đô la kép (ví dụ $ $). Tôi hy vọng điều đó ổn (nếu không, bạn có thể quay lại, xin lỗi tôi).

— gung - Phục hồi Monica

1

@Momo câu hỏi ban đầu ở đây, tuy nhiên, bao gồm những gì Wei hỏi về, vì vậy thật đáng để chỉ ra rằng chưa được trả lời rõ ràng.

— Glen_b

1

θ

$\theta$

η = θ

$\eta=\theta$

g (μ) = θ

$g(\mu)=\theta$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

θ

$\theta$

θ \equiv μ

$\theta \equiv \mu$

g (.) = (γ^{'})^{- 1} (.)

$g(.)=(\gamma')^{-1}(.)$

1

γ^{'} (θ) = π = \frac{e x p (θ)}{1 + e x p (θ)}

$\gamma'(\theta) = \pi = \frac{exp(\theta)}{1+exp(\theta)}$

(γ^{'})^{- 1} (.) = logit(.)

$(\gamma')^{-1}(.) = \text{logit(.)}$

η = θ

$\eta = \theta$

g (.)

$g(.)$

θ = l o g i t (π) = η

$\theta = logit(\pi) = \eta$

θ

$\theta$

η

$\eta$ chỉ tồn tại, nếu chúng ta sử dụng chức năng liên kết chính tắc.

— Druss2k

2

μ

$\mu$

θ

$\theta$

η \equiv θ

$\eta \equiv \theta$

16

gung's trích dẫn một lời giải thích tốt: liên kết kinh điển sở hữu các tính chất lý thuyết đặc biệt của sự đầy đủ tối thiểu. Điều này có nghĩa là bạn có thể xác định mô hình logit có điều kiện (mà các nhà kinh tế gọi là mô hình hiệu ứng cố định) bằng cách điều chỉnh số lượng kết quả, nhưng bạn không thể xác định mô hình probit có điều kiện, vì không có số liệu thống kê đủ để sử dụng với liên kết probit.

— StasK
nguồn

Bạn có thể xây dựng một chút về sự đầy đủ tối thiểu? Bằng cách giải thích ở trên, chúng ta vẫn có thể định nghĩa một mô hình probit, phải không? Chắc chắn đó không phải là chức năng liên kết chính tắc nhưng có hại gì khi sử dụng chức năng liên kết không chính tắc.

— pikachuchameleon

9

Đây là một sơ đồ nhỏ lấy cảm hứng từ lớp 18.650 của MIT mà tôi thấy khá hữu ích vì nó giúp hình dung các mối quan hệ giữa các chức năng này. Tôi đã sử dụng ký hiệu tương tự như trong bài đăng của @ momo:

$\gamma(\theta)$
$g(\mu)$

$g$

Sơ đồ cho phép dễ dàng đi từ hướng này sang hướng khác, ví dụ:

η = = g (γ (θ))

$\eta = g \left( \gamma(\theta)\right)$

θ = = γ^{' - 1} (g^{- 1} (η))

$\theta = \gamma'^{-1}\left( g^{-1}(\eta)\right)$

Chức năng liên kết Canonical

$g$

γ^{- 1} \circ g^{- 1} = = {(g \circ γ^{'})}^{- 1} = = Tôi

$\gamma^{-1} \circ g^{-1}= \left( g \circ \gamma' \right)^{-1} = I$

θ = = η

$\theta = \eta$

— Xavier Bourret Sicotte
nguồn

1

Các câu trả lời ở trên đã bao gồm những gì tôi muốn nói. Chỉ cần làm rõ một vài điểm như một nhà nghiên cứu về học máy:

chức năng liên kết không là gì ngoài nghịch đảo của chức năng kích hoạt. Ví dụ, logit là nghịch đảo của sigmoid, probit là nghịch đảo của hàm phân phối tích lũy của Gaussian.
$w^T x$ $w$ $x$

Cuộc thảo luận ở trên không liên quan gì đến gia đình theo cấp số nhân, nhưng một cuộc thảo luận tốt đẹp có thể được tìm thấy trong cuốn sách PRML của Christopher Bishop Chương 4.3.6.

— Trương Bá Chi
nguồn