Là hồi quy logistic thực sự là một thuật toán hồi quy?

Định nghĩa thông thường về hồi quy (theo như tôi biết) là dự đoán một biến đầu ra liên tục từ một tập hợp các biến đầu vào đã cho .

Hồi quy logistic là một thuật toán phân loại nhị phân, do đó nó tạo ra một đầu ra phân loại.

Nó thực sự là một thuật toán hồi quy? Nếu vậy, tại sao?

Hồi quy logistic là hồi quy, đầu tiên và quan trọng nhất. Nó trở thành một phân loại bằng cách thêm một quy tắc quyết định. Tôi sẽ đưa ra một ví dụ đi ngược lại. Đó là, thay vì lấy dữ liệu và điều chỉnh mô hình, tôi sẽ bắt đầu với mô hình để cho thấy đây thực sự là một vấn đề hồi quy.

Trong hồi quy logistic, chúng tôi đang mô hình hóa tỷ lệ cược log, hoặc logit, rằng một sự kiện xảy ra, đó là một số lượng liên tục. Nếu xác suất xảy ra sự kiện là P ( A ) , tỷ lệ cược là:$A$$P(A)$

$$\frac{P(A)}{1 - P(A)}$$

Tỷ lệ cược đăng nhập, sau đó, là:

$$\log \left( \frac{P(A)}{1 - P(A)}\right)$$

Như trong hồi quy tuyến tính, chúng tôi mô hình hóa điều này với sự kết hợp tuyến tính của các hệ số và dự đoán:

$$\operatorname{logit} = b_0 + b_1x_1 + b_2x_2 + \cdots$$

Hãy tưởng tượng chúng ta được đưa ra một mô hình về việc một người có tóc màu xám. Mô hình của chúng tôi sử dụng tuổi như là dự đoán duy nhất. Ở đây, sự kiện của chúng tôi A = một người có mái tóc màu xám:

tỷ lệ đăng nhập của tóc bạc = -10 + 0,25 * tuổi

...Hồi quy! Đây là một số mã Python và một âm mưu:

%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns

x = np.linspace(0, 100, 100)

def log_odds(x):
    return -10 + .25 * x

plt.plot(x, log_odds(x))
plt.xlabel("age")
plt.ylabel("log odds of gray hair")

$P(A)$

$$P(A) = \frac1{1 + \exp(-\text{log odds}))}$$

Đây là mã:

plt.plot(x, 1 / (1 + np.exp(-log_odds(x))))
plt.xlabel("age")
plt.ylabel("probability of gray hair")

$P(A) > 0.5$

Hồi quy logistic hoạt động tuyệt vời như một trình phân loại trong các ví dụ thực tế hơn, nhưng trước khi nó có thể là một trình phân loại, nó phải là một kỹ thuật hồi quy!

Câu trả lời ngắn

Đúng, hồi quy logistic là một thuật toán hồi quy và nó dự đoán một kết quả liên tục: xác suất của một sự kiện. Việc chúng tôi sử dụng nó như là một phân loại nhị phân là do sự giải thích kết quả.

Chi tiết

Hồi quy logistic là một loại mô hình hồi quy tuyến tính tổng quát.

Trong một mô hình hồi quy tuyến tính thông thường, một kết quả liên tục y, được mô hình hóa thành tổng của sản phẩm của các yếu tố dự đoán và tác dụng của chúng:

y = b_0 + b_1 * x_1 + b_2 * x_2 + ... b_n * x_n + e

nơi elà lỗi.

Mô hình tuyến tính tổng quát không mô hình ytrực tiếp. Thay vào đó, họ sử dụng các phép biến đổi để mở rộng miền của ytất cả các số thực. Phép biến đổi này được gọi là hàm liên kết. Đối với hồi quy logistic, hàm liên kết là hàm logit (thông thường, xem ghi chú bên dưới).

Hàm logit được định nghĩa là

ln(y/(1 + y))

Do đó, hình thức hồi quy logistic là:

ln(y/(1 + y)) = b_0 + b_1 * x_1 + b_2 * x_2 + ... b_n * x_n + e

nơi ylà xác suất của một sự kiện.

Việc chúng tôi sử dụng nó như là một phân loại nhị phân là do sự giải thích kết quả.

Lưu ý: probit là một hàm liên kết khác được sử dụng cho hồi quy logistic nhưng logit được sử dụng rộng rãi nhất.

Khi bạn thảo luận về định nghĩa hồi quy là dự đoán một biến liên tục. Hồi quy logistic là một phân loại nhị phân. Hồi quy logistic là ứng dụng của hàm logit trên đầu ra của phương pháp hồi quy thông thường. Hàm logit biến (-inf, + inf) thành [0,1]. Tôi nghĩ rằng đó chỉ là vì lý do lịch sử giữ tên đó.

Nói điều gì đó như "Tôi đã thực hiện một số hồi quy để phân loại hình ảnh. Đặc biệt tôi đã sử dụng hồi quy logistic." sai.

$f$$f:X\rightarrow \mathbb{R}$$P(Y=1|\lambda, x)=\dfrac{1}{1+e^{-\lambda^Tx}} \in [0,1]$$\lambda$$x$$sign(P(Y=1|\lambda, x))$