Tại sao hồi quy logistic là một phân loại tuyến tính?

Vì chúng ta đang sử dụng hàm logistic để biến đổi một tổ hợp tuyến tính của đầu vào thành đầu ra phi tuyến tính, làm thế nào có thể coi hồi quy logistic là một phân loại tuyến tính?

Hồi quy tuyến tính giống như một mạng thần kinh không có lớp ẩn, vậy tại sao các mạng thần kinh được coi là phân loại phi tuyến tính và hồi quy logistic là tuyến tính?

logistic classification neural-networks

— Jack Twain
nguồn

Chuyển đổi "sự kết hợp tuyến tính của đầu vào thành đầu ra phi tuyến tính" là một phần cơ bản của định nghĩa của Phân loại tuyến tính . Điều đó làm giảm câu hỏi này xuống phần thứ hai, điều này chứng tỏ rằng Mạng nơ-ron thường không thể được biểu thị dưới dạng phân loại tuyến tính.

— whuber

@whuber: Làm thế nào để bạn giải thích thực tế là một mô hình hồi quy logistic có thể mất biến dự báo đa thức (ví dụ

) để tạo ra một ranh giới quyết định phi tuyến tính? Có phải đó vẫn là một phân loại tuyến tính?

w_{1} \cdot x_{1}^{2} + w_{2} \cdot x_{2}^{3}

$w_1 \cdot x_1^2 + w_2 \cdot x_2^3$

— stackoverflowuser2010

@Stack Khái niệm "phân loại tuyến tính" dường như bắt nguồn từ khái niệm mô hình tuyến tính. "Tuyến tính" trong một mô hình có thể có một số dạng, như được mô tả tại stats.stackexchange.com/a/148713 . Nếu chúng tôi chấp nhận đặc tính Wikipedia của các phân loại tuyến tính , thì ví dụ đa thức của bạn sẽ được xem là phi tuyến theo các "tính năng" đã cho

và

nhưng nó sẽ là tuyến tính theo các tính năng

và

. Sự khác biệt này cung cấp một cách hữu ích để khai thác các thuộc tính của tuyến tính.

x_{1}

$x_1$

x_{2}

$x_2$

x_{1}^{2}

$x_1^2$

x_{2}^{3}

$x_2^3$

— whuber

Tôi vẫn còn một chút bối rối về câu hỏi là ranh giới quyết định của tuyến tính phân loại logistic? Tôi đã theo dõi khóa học máy Andrew Ng trên Coursera và anh ấy đã đề cập như sau : ! [ Nhập mô tả hình ảnh ở đây ] ( i.stack.imgur.com/gHxfr.png ) Vì vậy, thực sự tôi không có ai trả lời phụ thuộc vào độ tuyến tính hoặc phi tuyến tính của ranh giới quyết định, phụ thuộc vào hàm Giả thuyết được định nghĩa là Htheta (X) trong đó X là đầu vào và Theta là biến của vấn đề của chúng ta. Nó có ý nghĩa với bạn?

— brokensword

Câu trả lời:

\hat{p} = \frac{1}{1 + e^{- \hat{μ}}}, where \hat{μ} = \hat{θ} \cdot x .

$\hat{p} = \frac{1}{1 + e^{-\hat{\mu}}}, \text{ where } \hat{\mu} = \hat{\theta} \cdot x.$

\hat{μ}

$\hat{\mu}$

x

$x$

x

$x$

$\{x:\hat{p} = 0.5\}$ $\hat{\theta} \cdot x = 0$

— Đánh cuộc Stefan
nguồn

x

$x$

θ

$\theta$

sau đó cũng bằng lời giải thích của bạn. Chúng ta có thể nói rằng sự tiên đoán của mạng nơ ron là một hàm tuyến tính của các kích hoạt của lớp ẩn cuối cùng không?

— Jack Twain

\hat{θ} \cdot x

$\hat{\theta} \cdot x$

\hat{θ}

$\hat{\theta}$

x

$x$

x

$x$

x

$x$

x

$x$

x

$x$

@Pegah Tôi biết điều này đã cũ, nhưng: Hồi quy logistic có ranh giới quyết định tuyến tính. Tất nhiên, ouptut không phải là tuyến tính, logistic của nó. Tùy thuộc vào phía nào của một điểm rơi, tổng sản lượng sẽ tiếp cận (nhưng không bao giờ đạt được) 0 hoặc 1 tương ứng. Và để thêm vào câu trả lời của Stefan Wagners: Câu cuối cùng không hoàn toàn chính xác, một mạng lưới thần kinh là phi tuyến tính khi nó chứa các kích hoạt phi tuyến tính hoặc các hàm ouput. Nhưng nó cũng có thể là tuyến tính (trong trường hợp không có phi tuyến tính được thêm vào).

— Chris

Như Stefan Wagner lưu ý, ranh giới quyết định cho phân loại logistic là tuyến tính. (Trình phân loại cần các đầu vào có thể phân tách tuyến tính.) Tôi muốn mở rộng về toán học cho trường hợp này trong trường hợp không rõ ràng.

\frac{1}{1 + e^{- θ \cdot x}} = 0.5

${1 \over {1 + e^{-{\theta \cdot x}}}} = 0.5$

1 = e^{- θ \cdot x}

${1 = e^{-{\theta \cdot x}}}$

và, lấy nhật ký tự nhiên của cả hai bên,

0 = - θ \cdot x = - \sum_{i = 0}^{n} θ_{i} x_{i}

$0 = -\theta \cdot x = -\sum\limits_{i=0}^{n} \theta_i x_i$

do đó ranh giới quyết định là tuyến tính.

Lý do ranh giới quyết định cho mạng nơ-ron không phải là tuyến tính là do có hai lớp hàm sigmoid trong mạng nơ-ron: một trong mỗi nút đầu ra cộng với một hàm sigmoid bổ sung để kết hợp và ngưỡng kết quả của mỗi nút đầu ra.

— Phil Bogle
nguồn

Trên thực tế, bạn có thể nhận được một ranh giới quyết định phi tuyến tính chỉ với một lớp có kích hoạt. Xem ví dụ tiêu chuẩn của XOR với mạng chuyển tiếp cấp dữ liệu 2 lớp.

— James Hirschorn

$C_{0}$ $C_{1}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x)}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x)}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x | C_{0}) P (C_{0}) + P (x | C_{1}) P (C_{1})} = \frac{1}{1 + \exp (- \log \frac{P (x | C_{0})}{P (x | C_{1})} - \log \frac{P (C_{0})}{P (C_{1})})}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x|C_{0})P(C_{0})+P(x|C_{1})P(C_{1})} = \frac{1}{1+ \exp\left(-\log\frac{P(x|C_{0})}{P(x|C_{1})}-\log \frac{P(C_{0})}{P(C_{1})}\right)}$

1 + e^{ω x}

$1+e^{\omega x}$

P (x | C_{i}) = \exp (\frac{θ_{i} x - b (θ_{i})}{a (ϕ)} + c (x, ϕ))

$P(x|C_{i}) = \exp \left(\frac{\theta_{i} x -b(\theta_{i})}{a(\phi)}+c(x,\phi)\right)$

\log \frac{P (x | C_{0})}{P (x | C_{1})} = [(θ_{0} - θ_{1}) x - b (θ_{0}) + b (θ_{1})] / a (ϕ)

$\log\frac{P(x|C_{0})}{P(x|C_{1})} = \left[ (\theta_{0}-\theta_{1})x - b(\theta_{0})+b(\theta_{1}) \right]/a(\phi)$

Lưu ý rằng chúng tôi giả định rằng cả hai bản phân phối thuộc về cùng một họ và có cùng tham số phân tán. Nhưng, theo giả định đó, hồi quy logistic có thể mô hình hóa xác suất cho cả gia đình phân phối theo cấp số nhân.

— chiều
nguồn