Có giả định iid về hồi quy logistic?

Có giả định iid về biến phản ứng của hồi quy logistic không?

Ví dụ: giả sử chúng ta có điểm dữ liệu. Có vẻ như phản hồi đến từ bản phân phối Bernoulli với . Do đó, chúng ta nên có phân phối Bernoulli, với tham số khác nhau . $1000$ $Y_i$ $p_i=\text{logit}(\beta_0+\beta_1 x_i)$ $1000$ $p$

Vì vậy, chúng "độc lập", nhưng không "giống hệt".

Tôi có đúng không

Tái bút Tôi đã học hồi quy logistic từ tài liệu "học máy", trong đó chúng tôi tối ưu hóa chức năng mục tiêu và kiểm tra xem nó có tốt trong việc kiểm tra dữ liệu hay không mà không nói quá nhiều về các giả định.

Câu hỏi của tôi bắt đầu với bài đăng này Hiểu chức năng liên kết trong Mô hình tuyến tính tổng quát Nơi tôi cố gắng tìm hiểu thêm về các giả định thống kê.

— Haitao Du
nguồn

Một "giả định" là một cái gì đó mà một định lý có thể có. Hồi quy tuyến tính có một "giả định" lỗi iid (nó không phải s được "giả" là iid trong hồi quy tuyến tính! Đó là lỗi) theo nghĩa rằng Gauss-Markov lý có giả định này. Bây giờ, có bất kỳ định lý nào mà người ta có một tâm trí cho hồi quy logistic không? Nếu không, thì không có "giả định".

y

$y$

— amip nói rằng Phục hồi lại

@Amoeba, hxd là chính xác khi lưu ý các bản phân phối không giống nhau: "iid" không áp dụng. Nếu một người đang sử dụng hồi quy logistic chỉ cho phù hợp với nó, thì (như bạn viết) có lẽ cần vài giả định; nhưng ngay khi người ta sử dụng ma trận hiệp phương sai ước tính của các hệ số hoặc mong muốn xây dựng các khoảng dự đoán (hoặc, đối với vấn đề đó, xác thực chéo các giá trị dự đoán), thì điều đó đòi hỏi các giả định xác suất. Một trong những thông thường là các phản ứng là độc lập.

— whuber

@amoeba một khi bạn muốn thực hiện suy luận (kiểm tra giả thuyết, khoảng tin cậy, v.v.) chứ không chỉ đơn giản là tính toán các ước tính của các tham số, bạn sẽ tạo ra một loạt các giả định (một số quan trọng hơn các giả định khác) để có thể rút ra phân phối null có liên quan của kiểm tra thống kê hoặc các tính toán cần thiết cho một khoảng với phạm vi bảo hiểm mong muốn. Ngay cả các thủ tục giả định tương đối thấp vẫn có các giả định và nếu chúng ta quan tâm đến các suy luận của mình, chúng ta sẽ quan tâm đến việc liệu chúng có khả năng có thứ gì đó gần các đặc tính danh nghĩa của chúng hay không.

— Glen_b -Reinstate Monica

@amoeba, tôi thích một định lý cho thấy tính quy luật tiệm cận của MLE. Tôi cũng thích thử nghiệm tỷ lệ khả năng.

— game thủ

Phân phối biên của chúng không giống nhau trừ khi tất cả chúng có cùng giá trị dự đoán, trong trường hợp đó bạn chỉ cần dùng thử IID bernoulli. Các bản phân phối có điều kiện của họ (được đưa ra dự đoán) đều giống nhau, nhưng tôi không nghĩ bạn thường nói

trong trường hợp này là IID.

Y_{i}

$Y_i$

— game thủ

Câu trả lời:

Từ câu hỏi trước của bạn, bạn đã học được rằng GLM được mô tả theo phân phối xác suất, bộ dự báo tuyến tính và hàm liên kết và được mô tả là $\eta$ $g$

\begin{aligned} η & = X β \\ E (Y | X) & = μ = g^{- 1} (η) \end{aligned}

$\begin{align} \eta &= X\beta \\ E(Y|X) &= \mu = g^{-1}(\eta) \end{align}$

Trong đó là hàm liên kết logit và được giả sử tuân theo phân phối Bernoulli $g$ $Y$

Y_{i} \sim B (μ_{i})

$Y_i \sim \mathcal{B}(\mu_i)$

mỗi sau phân phối với Bernoulli bình riêng của nó có nghĩa là có điều kiện trên . Chúng tôi không giả định rằng mỗi đến từ cùng một phân phối, với cùng một giá trị trung bình (đây sẽ là mô hình chỉ đánh chặn ), nhưng tất cả chúng đều có các phương tiện khác nhau. Chúng tôi giả định rằng là độc lập , tức là chúng tôi không phải lo lắng về những điều như tự động tương quan giữa các giá trị tiếp theo, v.v. $Y_i$ $\mu_i$ $X$ $Y_i$ $Y_i = g^{-1}(\mu)$ $Y_i$ $Y_i$

Các iid giả định có liên quan đến sai sót trong hồi quy tuyến tính (tức là Gaussian GLM), nơi mà các mô hình là

y_{i} = β_{0} + β_{1} x_{i} + ε_{i} = μ_{i} + ε_{i}

$y_i = \beta_0 + \beta_1 x_i + \varepsilon_i = \mu_i + \varepsilon_i$

nơi , vì vậy chúng tôi có iid tiếng ồn xung quanh . Đây là lý do tại sao quan tâm đến chẩn đoán dư và chú ý đến phần dư so với âm mưu được trang bị . Bây giờ, trong trường hợp hồi quy logistic của GLM, điều đó không đơn giản vì không có thuật ngữ nhiễu phụ gia như với mô hình Gaussian (xem tại đây , đây và đây $\varepsilon_i \sim \mathcal{N}(0, \sigma^2)$ $\mu_i$ ). Chúng tôi vẫn muốn số dư là "ngẫu nhiên" quanh 0 và chúng tôi không muốn thấy bất kỳ xu hướng nào trong chúng vì chúng sẽ gợi ý rằng có một số hiệu ứng không được tính trong mô hình, nhưng chúng tôi không cho rằng chúng là bình thường và / hoặc iid . Xem thêm về tầm quan trọng của giả định iid trong chủ đề học thống kê .

Là một sidenote, lưu ý rằng chúng ta thậm chí có thể loại bỏ giả định rằng mỗi đến từ cùng một loại phân phối. Có (không GLM) mô hình đó cho rằng khác nhau 's có thể có các bản phân phối khác nhau với các thông số khác nhau, tức là dữ liệu của bạn xuất phát từ một hỗn hợp của các bản phân phối khác nhau . Trong trường hợp như vậy, chúng tôi cũng cho rằng các giá trị là độc lập , vì các giá trị phụ thuộc, đến từ các phân phối khác nhau với các tham số khác nhau (tức là dữ liệu trong thế giới thực điển hình) là điều mà trong hầu hết các trường hợp sẽ quá phức tạp để mô hình hóa (thường là không thể) . $Y_i$ $Y_i$ $Y_i$

— Tim
nguồn

Như đã nêu, trong khi chúng ta thường xem xét trường hợp lỗi iid trong hồi quy tuyến tính, thì điều này không có tương đương trực tiếp trong hầu hết các mô hình tuyến tính tổng quát (bao gồm cả hồi quy logistic). Trong hồi quy logistic, chúng tôi thường sử dụng giả định về tính độc lập của các kết quả mà tất cả đều có mối quan hệ rất nghiêm ngặt (nghĩa là ảnh hưởng tuyến tính đến xác suất đăng nhập). Nhưng những kết quả này trong các biến ngẫu nhiên không giống nhau, cũng không thể phân tách thành một thuật ngữ không đổi cộng với lỗi iid như trường hợp với hồi quy tuyến tính.

Nếu bạn thực sự muốn chỉ ra rằng các phản hồi có một số loại quan hệ iid, thì hãy theo dõi tôi cho đoạn tiếp theo. Chỉ biết rằng ý tưởng này là một chút ra khỏi con đường bị đánh đập; bạn có thể không nhận được tín dụng đầy đủ cho phản hồi này trong trận chung kết nếu giáo sư của bạn thiếu kiên nhẫn.

$X$ $F_X$ $X$ $q \sim \text{uniform(0,1)}$ $X = F_X^{-1}(q)$ $p = \text{expit}(\beta_o + \beta_1 x)$ $F_Y( y | p)$ $p$ $Y_i$

$p_i = \text{expit}(\beta_o + \beta_1 x_i)$

$q_i \sim\text{uniform(0,1)}$

$Y_i = F^{-1}(q_i | p_i)$

$q_i$

— Vách đá AB
nguồn

q_{i}

$q_i$

Y_{i} \sim B (p_{i})

$Y_i \sim \mathcal{B}(p_i)$

Y_{i}

$Y_i$

p_{i}

$p_i$

q_{i}

$q_i$

@Tim: vâng, phần thứ hai của câu trả lời là một ghi chú bên lề thú vị hơn là một câu trả lời súc tích. Nhưng nó có thể là một cách hữu ích để xem xét nó; xét cho cùng, về cơ bản, đó là cách máy tính của bạn mô phỏng dữ liệu từ các mô hình này!

— Vách đá AB