Tôi có thể sử dụng một biến có mối quan hệ phi tuyến tính với biến phụ thuộc trong hồi quy logistic không?

Giả sử tôi đang xây dựng mô hình hồi quy logistic trong đó biến phụ thuộc là nhị phân và có thể lấy các giá trị hoặc . Đặt các biến độc lập là - có biến độc lập. Giả sử với biến độc lập thứ , phân tích bivariate cho thấy xu hướng hình chữ U - nghĩa là, nếu tôi nhóm thành thùng mỗi thùng chứa số lượng quan sát gần bằng nhau và tính 'tỷ lệ xấu' cho mỗi thùng - # quan sát trong đó y = 0 / tổng số quan sát trong mỗi thùng - sau đó tôi nhận được một đường cong hình chữ U. $0$ $1$ $x_1, x_2, ..., x_m$ $m$ $k$ $x_k$ $20$

Câu hỏi của tôi là:

Tôi có thể trực tiếp sử dụng làm đầu vào trong khi ước tính các tham số beta không? Có bất kỳ giả định thống kê nào bị vi phạm có thể gây ra lỗi đáng kể trong việc ước tính các tham số không? $x_k$
Có nhất thiết phải 'tuyến tính hóa' biến này thông qua một phép biến đổi (log, vuông, sản phẩm với chính nó, v.v.) không?

— Mozan Sykol
nguồn

phải là một trong những yếu tố dự đoán bạn muốn đưa vào mô hình không? Có vẻ như bạn đang nói rằng là hàm hình chữ U của . Một đường cong hình chữ U thường có thể được xấp xỉ bằng một hàm bậc hai (đặc biệt là gần thung lũng) - bạn đã xem xét bao gồm một thuật ngữ tuyến tính và bậc hai trong biến đó vào mô hình chưa?

X_{k}

$X_k$

P (Y = 1)

$P(Y=1)$

X_{k}

$X_k$

— Macro

@Macro cảm ơn lời đề nghị của bạn. Tôi đã thấy một số bộ điều biến phù hợp với hàm tuyến tính piecewise (giả sử hình chữ U sắc nét) - trong đó mỗi dòng được ước tính từ dữ liệu với các ngắt được xác định trực quan và sau đó đầu ra của phương trình tuyến tính được cung cấp làm đầu vào cho hồi quy logistic. Tôi không phải là một fan hâm mộ lớn của cách tiếp cận mặc dù.

— Mozan Sykol

Câu trả lời:

Bạn sẽ muốn sử dụng một công thức linh hoạt có thể tự động nắm bắt phi tuyến tính, ví dụ: một số phiên bản của mô hình phụ gia tổng quát . Sự lựa chọn của một người nghèo là đa thức , , ..., , nhưng các đa thức như vậy tạo ra sự bội thực khủng khiếp ở cuối phạm vi của các biến tương ứng. Một công thức tốt hơn nhiều sẽ là sử dụng B-splines (khối) (xem một ghi chú giới thiệu ngẫu nhiên từ trang đầu tiên của Google ở đây , và một cuốn sách hay ở đây ). B-splines là một chuỗi các bướu cục bộ: $x_k$ $x_k^2$ $x_k^{p_k}$

http://ars.scTHERirect.com/content/image/1-s2.0-S0169743911002292-gr2.jpg

Chiều cao của bướu được xác định từ hồi quy (tuyến tính, logistic, GLM khác) của bạn, vì chức năng bạn đang lắp chỉ đơn giản là

θ = = β_{0} + Σ_{k = = 1}^{K} β_{k} B (\frac{x - x_{k}}{h_{k}})

$\theta = \beta_0 + \sum_{k=1}^K \beta_k B\Bigl( \frac{x-x_k}{h_k} \Bigr)$

đối với hình thức chức năng theo quy định của bướu của bạn . Cho đến nay phiên bản phổ biến nhất là một spline hình khối trơn hình chuông: $B(\cdot)$

B (z) = = {\begin{cases} \frac{1}{4} (z + 2)^{3}, & - 2 \leq z \leq - 1 \\ \frac{1}{4} (3 | x |^{3} - 6 x^{2} + 4), & - 1 < x < 1 \\ \frac{1}{4} (2 - x)^{3}, & 1 \leq x \leq 2 \\ 0, & nếu không thì \end{cases}

$B(z) = \left\{ \begin{array}{ll} \frac14 (z+2)^3, & -2 \le z \le -1 \\ \frac14 (3|x|^3 - 6x^2 +4 ), & -1 < x < 1 \\ \frac14 (2-x)^3, & 1 \le x \le 2 \\ 0, & \mbox{otherwise} \end{array} \right.$

Về mặt triển khai, tất cả những gì bạn cần làm là thiết lập 3-5-10 - bất kỳ số nút nào sẽ hợp lý cho ứng dụng của bạn và tạo các biến 3-5-10 tương ứng trong tập dữ liệu với giá trị của $x_k$ . Thông thường, một lưới các giá trị đơn giản được chọn, vớigấp đôi kích thước của lưới, do đó tại mỗi điểm, có hai B-splines chồng chéo, như trong sơ đồ trên. $B\Bigl( \frac{x-x_k}{h_k} \Bigr)$ $h_k$

— StasK
nguồn

Làm thế nào bạn có thể nói rằng anh ấy cần một cái gì đó phức tạp? Chắc chắn một thuật ngữ bậc hai trong một hiệp phương trình x có vẻ như có hình dạng đó có thể được kết hợp trong mô hình hồi quy logistic theo cách mà OP dường như muốn nó.

— Michael R. Chernick

@MichaelCécick Có Tôi đã chấp nhận câu trả lời vì nó đã dạy cho tôi một khái niệm mới, nhưng tôi có thể sẽ không cần một giải pháp phức tạp như vậy.

— Mozan Sykol

@Michael Đó là một điểm quan trọng. Mặc dù vậy, tôi được khuyến khích bởi một bình luận của OP khi đề cập đến một quy trình lắp tuyến tính phù hợp với quảng cáo . Splining hoạt động trong cùng một tinh thần nhưng với sự linh hoạt và nghiêm ngặt hơn. Các thuật ngữ bậc hai có thể hoạt động nhưng có vẻ như rất nhiều hy vọng.

— whuber

Trông giống như hằng số piecewise đối với tôi: giá trị trung bình của phản hồi trong thùng tương đương với hồi quy trên biến / chỉ báo giả của thùng đó, và đó là hằng số piecewise ... nói chung, nhưng tôi không nói vẫn chưa thấy một ứng dụng trong đó B-splines sẽ kém hơn so với sự phù hợp đa thức.

— StasK

@StasK Nếu kém hơn có nghĩa là nó không phù hợp với dữ liệu thì tôi nghĩ rằng một cỡ mẫu nhỏ sẽ tạo ra một đa thức đơn giản.

— Michael R. Chernick

$^2$

— Michael R. Chernick
nguồn

Một lựa chọn khả thi khác mà cửa hàng mô hình mà tôi làm việc thường xuyên sử dụng, là tạo ra các biến độc lập liên tục và thay thế 'tỷ lệ xấu'. Điều này buộc một mối quan hệ tuyến tính.

— Zelazny7
nguồn

Tôi cũng đã thấy điều này. Làm thế nào để bạn chọn thùng?

— Adam Ryczkowski

Có nhiều phương pháp khác nhau mà bạn có thể sử dụng. R có discogói. Tôi đã tạo ra thuật toán của riêng mình để phân chia đệ quy một biến liên tục dựa trên giá trị thông tin. Tôi đặt nó trong gói R ở đây: github.com/Zelazny7/binnr (công việc đang tiến hành!). Tôi cũng sẽ thay thế trọng lượng của bằng chứng thay vì trung bình. Khi kết hợp với hồi quy LASSO, kết quả thật tuyệt vời!

— Zelazny7

Cảm ơn bạn! Bạn có thể so sánh binnrthuật toán với CRAN smbinningkhông?

— Adam Ryczkowski

'binnr' được viết bằng C và rất nhanh. Nó cũng hỗ trợ các điều kiện trong thế giới thực như ghi đè các giá trị và tính đơn điệu. Có thể nói 'binnr' chỉ thực hiện các vết cắt rời rạc khi tỷ lệ xấu là đơn điệu. 'smbinning' sử dụng cây suy luận có điều kiện, theo kinh nghiệm của tôi, mất nhiều thời gian trên các tập dữ liệu có kích thước phù hợp vì chúng dựa vào hoán vị. 'binnr' cũng cho phép bạn tương tác điều chỉnh các thùng bằng giao diện dòng lệnh

— Zelazny7

Bạn đã sử dụng nó trong sản xuất? Bạn có biết về bất kỳ lỗi ẩn hoặc trường hợp góc không được kiểm tra? Tôi nghĩ về việc sử dụng nó cho một khách hàng lớn và tôi sẽ chỉ có 1 ngày để kiểm tra nó trước khi áp dụng mã của bạn.

— Adam Ryczkowski