Có thể mô phỏng hồi quy logistic mà không có sự ngẫu nhiên?

Chúng ta có thể mô phỏng hồi quy tuyến tính mà không có sự ngẫu nhiên, có nghĩa là chúng ta tạo ra thay vì . Sau đó, nếu chúng ta phù hợp với một mô hình tuyến tính, các hệ số sẽ giống hệt với "sự thật mặt đất". Đây là một ví dụ.y = X β + $y=X\beta$$y=X\beta+\epsilon$

set.seed(0)
n    <- 1e5
p    <- 3
X    <- matrix(rnorm(n*p), ncol=p)
beta <- runif(p)
# y  <- X %*% beta + rnorm(n)*0.5
# remove the randomness
y    <- X %*% beta
dat  <- data.frame(y=y, x=X)
lm.res = lm(y ~ .-1, data=dat)
norm(as.matrix(lm.res$coefficients - beta))
[1] 2.176037e-14

Câu hỏi của tôi là chúng ta có thể làm mô phỏng tương tự với hồi quy logistic không? Từ câu hỏi này, tôi nhận được điểm loại bỏ tính ngẫu nhiên có thể được thực hiện bằng cách sử dụng câu lệnh xác định thay vì mẫu từ phân phối nhị thức.

y <- ifelse(plogis(X %*% beta)>0.5,1,0) 

thay vì

y <- rbinom(n,1,prob=plogis(X %*% beta))

Nhưng nếu chúng ta làm điều đó, sự phân tách hoàn toàn sẽ xảy ra và chúng ta không thể có được các hệ số. Mặt khác, nếu chúng ta thêm chính quy, thì các hệ số sẽ không phải là dữ liệu được tạo.

Vậy, tôi có thể làm gì để "loại bỏ tính ngẫu nhiên trong hồi quy logistic" và giải quyết các hệ số "sự thật cơ bản" chính xác như trường hợp hồi quy tuyến tính?

Tôi cảm thấy tôi có một số hiểu lầm cơ bản về khái niệm này, tôi còn thiếu gì?

Hồi quy logistic không có thuật ngữ "lỗi" như với hồi quy tuyến tính cổ điển. Ngoại lệ cho điều này có thể là hồi quy tuyến tính ngưỡng với một thuật ngữ lỗi logistic, nhưng đây không phải là mô hình xác suất thường được chấp nhận dẫn đến mô hình hồi quy logistic. Điều này là do các mô hình logistic có mối quan hệ trung bình-phương sai. Tương tự như "thêm một thuật ngữ lỗi" vào mô hình hồi quy tuyến tính thực sự là một mô hình quasibinomial trong đó phương sai chỉ tỷ lệ thuận với p * (1-p).

Một câu hỏi liên quan có thể là làm thế nào để có được kết quả mô hình hồi quy giống hệt nhau trên các thiết kế hoặc sao chép khác nhau. Điều này có thể được thực hiện với một "mẹo" trong phần mềm mô hình hồi quy. Bạn có thể tạo không thể thiếu kết quả từ rủi ro dự đoán mà kết quả trong cùng một kết quả hồi quy logistic không phụ thuộc vào thiết kế của . Ví dụ: và như hai thiết kế khác nhau. Như trong trường hợp của bạn, và cả hai đều dẫn đến mô hình hồi quy logistic giống nhau dẫn đến 0,3 là tỷ lệ chênh lệch log và 0,0 là tỷ lệ cược log cho .X x = $Y$$X$x1 <- seq(-3, 3, 0.1)x2 <- rnorm(61)y1 <- plogis(0.3*x1)y2 <- plogis(0.3*x2)$x=0$

> glm(y1 ~ x1, family=binomial)

Call:  glm(formula = y1 ~ x1, family = binomial)

Coefficients:
(Intercept)           x1  
 -2.528e-16    3.000e-01  

Điều này liên quan đến câu hỏi của bạn vì các ước tính tham số chính xác như được xác định trong mô hình xác suất của bạn, không phụ thuộc vào thiết kế của và không tách biệt (ví dụ: tỷ lệ tỷ lệ cược log, ).β = ± $x$$\beta = \pm \infty$

Mô hình hóa kết quả phân đoạn trong mô hình logistic là một cách phân tích dữ liệu sinh thái được chấp nhận, trong đó kết quả thực sự có thể là phân số. Không phải ngẫu nhiên, đây cũng là một kiểu người mẫu khi các mô hình quasibinomial được sử dụng nhiều nhất. Cũng không phải ngẫu nhiên, tôi nghĩ rằng độ phân tán tỷ lệ thuận với một tham số tỷ lệ cho thuật ngữ lỗi logistic khi thực hiện "hồi quy logistic tiềm ẩn".

$$y = X\beta+\varepsilon$$ $X$$\beta$$\varepsilon$$y$ X ε 0 σ $$f(y) = \left\{\begin{matrix}0, ~\operatorname{if}~ y \operatorname{\leqslant \theta} \\1, ~\operatorname{if}~ y \operatorname{>\theta} \end{matrix}\right.$$ $\theta$là một ngưỡng. Xác suất mà hàm này trả về , với giá trị nhất định là bao nhiêu? Nếu chúng ta giả sử rằng thường được phân phối với giá trị trung bình và phương sai , thì chúng ta có thể tính xác suất này là:$1$$X$$\varepsilon$$0$$\sigma^2$

$$p(f(y)=1|X)=p(y>\theta|X)=\int_\theta^\infty N\left(y; X\beta, \sigma^2 \right)dy$$

Nói cách khác, đây là tính toán khu vực theo phân phối Bình thường ở bên phải ngưỡng. Lưu ý rằng xác suất này về cơ bản là những gì một mô hình hồi quy logistic cố gắng mô tả. Và thực tế, nếu bạn vẽ xác suất này là một hàm của , bạn sẽ có một hình dạng khá gần với hàm logistic (trên thực tế, hàm logistic thường được sử dụng như một xấp xỉ thuận tiện cho phân phối Bình thường tích lũy).$X$

Đối với các giá trị của gần ngưỡng, xác suất sẽ ở trên ngưỡng là gần , vì nhiễu có thể làm ảnh hưởng đến kết quả. Khi bạn tăng , sẽ càng rời xa và sẽ có nhiều khả năng hơn. Điều quan trọng là, tăng nhanh như thế nào với phụ thuộc vào hai điều: độ dốc và phương sai tạp âm . Chính xác hơn, nó phụ thuộc vào tỷ lệy $X\beta$$y$$0.5$$\varepsilon$$X$$X\beta$$\theta$$f(y)=1$$p(f(y)=1|X)$$X$$\beta$$\sigma^2$$\frac{\beta}{\sigma}$. Chính tỷ lệ (tín hiệu trên tạp âm) này sẽ quyết định hệ số (dự kiến) bạn có được từ hồi quy logistic. Nói cách khác, bạn có thể nghĩ về các hệ số trong hồi quy logistic khi kiểm soát mỗi biến độc lập cần thay đổi bao nhiêu so với nhiễu trong dữ liệu để tăng xác suất của một kết quả nhất định.

Bây giờ để đi đến câu hỏi của bạn: bạn đang hỏi liệu có thể loại bỏ tất cả sự ngẫu nhiên, tức là không có tiếng ồn. Điều này có nghĩa là bằng và do đó sẽ không được xác định (hoặc "vô hạn"). Điều này giải thích những gì bạn tìm thấy, rằng bạn không thể ước tính các hệ số khi không có tiếng ồn. Thật vậy, bạn có thể nghĩ đến sự phân tách hoàn hảo mà bạn đạt được mà không có nhiễu tương ứng với một hệ số vô hạn trên biến độc lập của bạn, vì (đối với gần ngưỡng ), bạn chỉ cần thay đổi một lượng vô hạn để có thể đi hết đường từ đến .0 $\sigma$$0$ XbetaqXp(y>q|X)=0p(y>q|X)=$\frac{\beta}{\sigma}$$X\beta$$\theta$$X$$p(y>\theta|X)=0$$p(y>\theta|X)=1$

Chỉnh sửa: thực sự một điều bạn có thể làm là thay vì vẽ các mẫu từ phân phối nhị thức để mô phỏng dữ liệu của bạn, thay thế các mẫu này theo kỳ vọng của chúng, tức là xác suất được dự đoán bởi hàm logistic mô phỏng. Bằng cách đó, bạn sẽ loại bỏ tính ngẫu nhiên xuất phát từ việc mô phỏng một mẫu giới hạn (nghĩa là độ biến thiên của mẫu), và do đó, ước tính hệ số của bạn sẽ bằng với sự thật nền tảng (vì có một hàm logistic phù hợp chính xác với các giá trị này).