Phân phối lỗi cho hồi quy tuyến tính và logistic

Với dữ liệu liên tục, hồi quy tuyến tính giả định rằng thuật ngữ lỗi được phân phối N (0, ) $Y=\beta_1+\beta_2X_2+u$ $\sigma^2$

1) Chúng ta có cho rằng Var (Y | x) tương tự như vậy ~ N (0, ) không? $\sigma^2$

2) Phân phối lỗi này trong hồi quy logistic là gì? Khi dữ liệu ở dạng 1 bản ghi cho mỗi trường hợp, trong đó "Y" là 1 hoặc 0, là thuật ngữ lỗi được phân phối Bernoulli (tức là phương sai là p (1-p))) và khi dữ liệu ở dạng # thành công trong số các thử nghiệm #of, có phải là nhị thức giả định (tức là phương sai là np (1-p)), trong đó p là xác suất mà Y là 1?

logistic generalized-linear-model

— B_Miner
nguồn

Bạn không chính xác. Giả định mô hình là các thuật ngữ lỗi là độc lập và được phân phối giống hệt với phân phối là N (0, σ ) và không liên quan đến COVARIATE. Var (Y | x) là gì? Bạn có điều hòa trên X = x không? Liệu mô hình giả định hiệp phương sai là ngẫu nhiên theo cách nào đó hay chúng ta giả sử rằng hiệp phương sai được cố định theo một ma trận thiết kế? Tôi nghĩ đó là cái sau và do đó Var (Y | X = x) được ngụ ý bởi các giả định và không cần phải giả định.

^{2}

$^2$

_{2}

$_2$

_{2}

$_2$

— Michael R. Chernick

@MichaelCécick Tại sao mô hình cho rằng là cố định? Nó chắc chắn có thể là trường hợp nó được cố định, nhưng nó cũng có thể là ngẫu nhiên. Không có gì trong câu hỏi ngụ ý một trong hai cho tôi.

X_{2}

$X_2$

— Peter Flom

@PeterFlom Tôi đọc được câu hỏi rằng hồi quy tuyến tính với phân phối lỗi giả định đó có nghĩa là OLS yêu cầu X phải được sửa và biết. Nếu ai đó có hồi quy Deming (nghĩa là lỗi trong hồi quy biến) thì nó sẽ được chỉ định trong câu hỏi. Nhìn vào câu trả lời mà Stat đưa ra cho thấy anh ta cũng đặt câu hỏi theo cách đó.

_{2}

$_2$

— Michael R. Chernick

@Michael, tôi đã giả sử X.

— B_Miner

1) Nếu có phân phối bình thường tức là thì , kể từ không phải là một biến ngẫu nhiên. $u$ $N(0,σ^2)$ $Var(Y|X_2)=Var(β_1+β_2X_2)+Var(u)=0+σ^2=σ^2$ $β_1+β_2X_2$

2) Trong hồi quy logistic, người ta cho rằng các lỗi tuân theo phân phối nhị thức như đã đề cập ở đây . Tốt hơn là viết nó dưới dạng , vì các xác suất đó phụ thuộc vào , như được tham chiếu ở đây hoặc trong Hồi quy logistic ứng dụng . $Var(Y_j|X_j)=m_j.E[Y_j|X_j].(1-E[Y_j|X_j])=m_j\pi(X_j).(1-\pi(X_j))$ $X_j$

— Thống kê
nguồn

Vì vậy, thật đúng khi nói rằng phương sai của lỗi riêng thứ i, , là (1- ) tương đương với những gì bạn đã chỉ ra khi giả sử rằng có nhiều hơn 1 quan sát trong cùng một dữ liệu với cùng một biến số. mẫu (tức là = 1 khác cho tất cả j)?

e_{i}

$e_i$

p_{i}

$p_i$

p_{i}

$p_i$

m_{j}

$m_j$

— B_Miner

Vâng cái này đúng rồi. Nếu với , thì với xác suất hoặc với xác suất . Do đó có phân phối với giá trị trung bình và phương sai bằng .

Y_{i} = p_{i} + e_{i}

$Y_i=p_i+e_i$

P (Y_{i} = 1) = 1 - P (Y_{i} = 0) = p_{i}

$P(Y_i=1)=1-P(Y_i=0)=p_i$

e_{i} = 1 - p_{i}

$e_i=1-p_i$

p_{i}

$p_i$

e_{i} = - p_{i}

$e_i=-p_i$

1 - p_{i}

$1-p_i$

e_{i}

$e_i$

0

$0$

p_{i} (1 - p_{i})

$p_i(1-p_i)$

— Stat

Một điểm bổ sung ở đây, Stat, chúng ta CÓ phải giả sử rằng X là cố định, không ngẫu nhiên cho Var (Y | X) = Var (e) cho cả hai trường hợp hồi quy tuyến tính và logistic đúng không?

— B_Miner

NB với xác suất hoặc với xác suất là không một phân phối nhị thức cho .

e_{i} = 1 - p_{i}

$e_i=1−p_i$

p_{i}

$p_i$

e_{i} = - p_{i}

$e_i=−p_i$

1 - p_{i}

$1−p_i$

e_{i}

$e_i$

— Scortchi - Phục hồi Monica

B_Miner: có nghĩa là phương sai của điều kiện trên biến ngẫu nhiên lấy giá trị quan sát . Vì vậy, việc dự đoán của bạn được cố định bằng một thử nghiệm hoặc được quan sát trong một mẫu là không quan trọng: những gì @ Stat nói là chúng không còn được coi là biến ngẫu nhiên cho mục đích hồi quy.

Var (Y | X) = Var (Y | X = x)

$\operatorname{Var}(Y|X)=\operatorname{Var}(Y|X=x)$

Y

$Y$

X

$X$

x

$x$

— Scortchi - Phục hồi Monica