Hồi quy logistic cho đa lớp

Tôi đã nhận được mô hình cho hồi quy logistic cho đa lớp được đưa ra bởi

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})}$

Trong đó k là số lớp theta là tham số được ước tính j là lớp thứ j Xi là dữ liệu đào tạo

Vâng, một điều tôi không nhận được là làm thế nào mà mẫu số bình thường hóa mô hình. Tôi có nghĩa là nó làm cho xác suất ở giữa 0 và 1.

1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})

$1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})$

Ý tôi là tôi đã quen với hồi quy logistic

P (Y = 1 | X^{(i)}) = 1 / (1 + \exp (- θ^{T} X^{(i)}))

$P(Y=1|X^{(i)}) = 1/ (1 + \exp(-\theta^T X^{(i)}))$

Trên thực tế, tôi bối rối với điều đề cử. Trong trường hợp này vì nó là hàm sigmoid, nó không bao giờ cho phép giá trị nhỏ hơn 0 hoặc lớn hơn 1. Nhưng tôi bị nhầm lẫn trong trường hợp đa lớp. Tại sao nó như vậy?

Đây là tài liệu tham khảo của tôi https://list.scms.waikato.ac.nz/pipermail/wekalist/2005-F/2/029738.html . Tôi nghĩ rằng nó đã được bình thường hóa

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{\sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^T X^{(i)})}{\sum_{m=1}^{k} \exp(\theta_m^T X^{(i)})}$

logistic multinomial

— người dùng34790
nguồn

Gợi ý: Trong hồi quy logistic, có hai xác suất để xử lý: xác suất và xác suất . Những xác suất phải tổng hợp thành .

Y = 1

$Y=1$

Y = 0

$Y=0$

1

$1$

— whuber

Dựa trên một số bài viết khác của bạn, bạn biết cách đánh dấu các phương trình. Các phương trình văn bản ở đây rất khó đọc và (các mục con?) Khó hiểu - bạn có thể đánh dấu chúng bằng không?

L A T E X

$\LaTeX$

— Macro

Vì bạn đang đăng rất nhiều câu hỏi ở đây, vui lòng tạm dừng và đọc Câu hỏi thường gặp của chúng tôi về cách đặt câu hỏi hay. Đọc trợ giúp cho đánh dấu để bạn có thể đọc phương trình của mình.

T E X

$\TeX$

— whuber

Tôi đã chỉnh sửa phương trình. @ Whuber Trên thực tế, tôi bối rối liên quan đến hồi quy logistic đa giác chứ không phải nhị phân. Tôi lo ngại làm thế nào khi tôi thêm tất cả các yếu tố trong bộ điều khiển đã bình thường hóa xác suất

— user34790

@ user34790, khi bạn chia mỗi số hạng cho tổng, thì xác suất của từng lớp sẽ bằng 1. Nhân tiện là gì?

X^{(i)}

$X^{(i)}$

— Macro

Câu trả lời:

Công thức của bạn sai (giới hạn trên của tổng). Trong hồi quy logistic với các lớp ( ) về cơ bản bạn tạo các mô hình hồi quy logistic nhị phân trong đó bạn chọn một lớp làm tham chiếu hoặc trục. Thông thường, lớp cuối cùng được chọn làm tài liệu tham khảo. Do đó, xác suất của lớp tham chiếu có thể được tính bằngDạng tổng quát của xác suất làVì là tham chiếu của bạn và do đó $K$ $K> 2$ $K-1$ $K$

P (y_{i} = K | x_{i}) = 1 - \sum_{k = 1}^{K - 1} P (y_{i} = k | x_{i}) .

$P(y_i = K | x_i) = 1 - \sum_{k=1}^{K-1} P(y_i = k | x_i) .$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i})} .

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{\sum_{i=1}^K \exp(\theta_i^T x_i)} .$

K

$K$

θ_{K} = (0, \dots, 0)^{T}

$\theta_K = (0, \ldots, 0)^T$

\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i}) = \exp (0) + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) = 1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) .

$\sum_{i=1}^K \exp(\theta_i^T x_i) = \exp(0) + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) = 1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) .$ Cuối cùng, bạn nhận được công thức sau cho tất cả :

k < K

$k < K$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i})}

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i)}$

— bã nhờn
nguồn

lưu ý rằng việc lựa chọn lớp tham chiếu không quan trọng, nếu bạn đang làm khả năng tối đa. Nhưng nếu bạn đang thực hiện khả năng bị phạt tối đa, hoặc suy luận bayes, thường có thể hữu ích hơn khi để các xác suất vượt quá tham số hóa và để hình phạt chọn cách xử lý tham số hóa quá mức. Điều này là do hầu hết các chức năng hình phạt / linh mục không phải là bất biến đối với sự lựa chọn của lớp tham chiếu

— xác suất

@sebp, có vẻ như hơi khó hiểu; nó sẽ tốt hơn để sử dụng để quan sát, và một số chữ cái khác cho việc lặp lại thể loại .

i

$i$

i

$i$

k

$k$

— garej

Tôi nghĩ rằng bạn đang bị nhầm lẫn bởi một lỗi đánh máy: của bạn nên là trong phương trình đầu tiên. Số 1 bạn thấy trong trường hợp logistic thực sự là s, ví dụ: khi có th . $k$ $k-1$ $\exp(0)$ $k$ $\theta=0$

Giả sử rằng . Bây giờ lưu ý rằng bạn có thể nhận được từ công thức cuối cùng đến phiên bản hồi quy logistic như Đối với nhiều lớp, chỉ cần thay mẫu số trong hai đại lượng đầu tiên bằng một tổng số trên các công cụ dự báo tuyến tính lũy thừa. $\theta_1 X=b$

\frac{\exp (b)}{\exp (0) + \exp (b)} = \frac{\exp (0)}{\exp (0) + \exp (- b)} = \frac{1}{1 + \exp (- b)}

$\frac{\exp(b)}{\exp(0)+\exp(b)} = \frac{\exp(0)}{\exp(0)+\exp(-b)} = \frac{1}{1+\exp(-b)}$

— liên hợp
nguồn