Tại sao không phải là hồi quy logistic gọi là phân loại logistic?

75

Vì hồi quy logistic là một mô hình phân loại thống kê xử lý các biến phụ thuộc phân loại, tại sao nó không được gọi là Phân loại logistic ? Không nên đặt tên "Hồi quy" cho các mô hình xử lý các biến phụ thuộc liên tục?

— Ismael Ghalimi
nguồn

5

Hồi quy logistic thuộc họ mô hình GLM.

— Stéphane Laurent

10

Bạn có thể sử dụng nó để hồi quy xác suất.

— Emre

25

Mặc dù hồi quy logistic chắc chắn có thể được sử dụng để phân loại bằng cách đưa ra một ngưỡng về xác suất mà nó trả về, đó hầu như không phải là cách sử dụng duy nhất - hoặc thậm chí là sử dụng chính. Nó được phát triển cho - và tiếp tục được sử dụng cho - mục đích hồi quy không liên quan gì đến phân loại. Tôi cho rằng điều này vẫn dễ dàng được sử dụng cho mục đích này, nhưng tôi cho rằng nó phụ thuộc vào những gì bạn nhìn vào.

— Glen_b

6

Bạn có thể thấy bài báo này về sự phát triển của hồi quy logistic rất thú vị, đặc biệt vì nó mang lại một số ý nghĩa về các loại vấn đề mà nó được sử dụng như một kỹ thuật hồi quy.

— Glen_b

102

Hồi quy logistic rõ ràng không phải là một thuật toán phân loại riêng. Nó chỉ là một thuật toán phân loại kết hợp với một quy tắc quyết định làm cho sự phân đôi các xác suất dự đoán của kết quả. Hồi quy logistic là một mô hình hồi quy vì nó ước tính xác suất thành viên của lớp là một (biến đổi của một) hàm đa tuyến của các tính năng.

Frank Harrell đã đăng một số câu trả lời trên trang web này liệt kê những cạm bẫy liên quan đến hồi quy logistic như một thuật toán phân loại. Trong số đó:

Phân loại là một quyết định . Để đưa ra quyết định tối ưu, bạn cần phải xác nhận một hàm tiện ích, hàm ý rằng bạn cần tính đến sự không chắc chắn trong kết quả, tức là một xác suất. ≈
Các chi phí phân loại sai không thống nhất trên tất cả các đơn vị.
Đừng sử dụng các điểm ngắt.
Sử dụng quy tắc tính điểm thích hợp.
Vấn đề thực sự là ước tính rủi ro, không phân loại.

Nếu tôi nhớ lại một cách chính xác, có lần ông đã chỉ cho tôi cuốn sách về các chiến lược hồi quy để giải thích chi tiết hơn về những điểm này (và hơn thế nữa!), Nhưng dường như tôi không thể tìm thấy bài đăng cụ thể đó.

— Sycorax
nguồn

1

Nếu đó là trường hợp, tất cả (hoặc hầu hết) các phân loại dự đoán xác suất sẽ thuộc về một lớp trước tiên (theo như tôi biết) và sau đó chuyển đổi thăm dò này thành các lớp .. Không phải chúng?

— Ngoại

9

@ Ví dụ mẫu: SVM hoàn toàn không tính toán xác suất của lớp, nó chỉ đo khoảng cách giữa một quan sát và siêu phẳng.

— Sycorax

@ Trước đó trong ML chúng được gọi là phân loại xác suất; cây và rừng ngẫu nhiên thì không, xgboost là - ít nhất là với logloss)

— seanv507

12

Tóm lại, hồi quy là vấn đề tính toán kỳ vọng có điều kiện . Hình thức được thực hiện bởi kỳ vọng này là khác nhau tùy thuộc vào các giả định về cách dữ liệu được tạo: $E[Y|X=x]$

Giả sử (Y | X = x) được phân phối năng suất bình thường với hồi quy tuyến tính cổ điển.
Giả sử một phân phối Poisson mang lại hồi quy Poisson.
Giả sử một phân phối Bernoulli mang lại hồi quy logistic.

Thuật ngữ "hồi quy" cũng đã được sử dụng phổ biến hơn so với điều này, bao gồm các phương pháp như hồi quy lượng tử, ước tính một lượng tử nhất định là . $(Y|X=x)$

— Chad Scherrer
nguồn

-3

Ngoài các câu trả lời tốt đã được cung cấp, một quan điểm khác là hồi quy Logistic dự đoán xác suất (là giá trị liên tục ) có phạm vi từ 0 đến 1.

— krish___na
nguồn