Phân tích phân biệt tuyến tính cho

Tôi đang học 'Giới thiệu về học thống kê' của James, Witten, Hastie, Tibshirani.

Trong trang 139, trong cuốn sách của họ, họ đã bắt đầu bằng cách giới thiệu Định lý của Bayes . không phải là hằng số toán học, nhưng biểu thị xác suất trước. Không có gì là lạ trong phương trình này. $p_k(X)=P(Y=k|X=x) = \dfrac{\pi_kf_k(x)}{\sum_{l=1}^k \pi_l f_l(x)}$ $\pi$

Cuốn sách tuyên bố rằng nó muốn có được ước tính cho rằng nó có thể cắm vào phương trình đã cho ở trên. Để ước tính , nó giả sử đó là bình thường. Trong cài đặt một chiều, $f_k(x)$ $f_k(x)$ , nơivà là giá trị trung bình và phương sai cholớp thứ. Người ta cho rằng . (Tôi bắt đầu bối rối từ tuyên bố cuối cùng.) $f_k(x)=\dfrac{1}{\sqrt{2\pi}\sigma}\exp(-\dfrac{1}{2\sigma^2}(x-\mu_k)^2)$ $\mu_k$ $\sigma^2_k$ $k$ $\sigma^2_1 = \sigma^2_2 = \cdots = \sigma^2_K$

Cắm vào , bạn có phương trình khá lộn xộn này (1): $f_k$ $p_x$

p_{x} (k) = \frac{π_{k} \frac{1}{\sqrt{2 π} σ} \exp (- \frac{1}{2 σ^{2}} (x - μ_{k})^{2})}{\sum_{l = 1}^{K} π_{l} \frac{1}{\sqrt{2 π} σ} \exp (- \frac{1}{2 σ^{2}} (x - μ_{l})^{2})} .

$p_x(k)=\dfrac{\pi_k \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu_k)^2)}{\sum_{l=1}^K \pi_l \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu_l)^2)}.$

Một lần nữa, không có gì ngạc nhiên ở đây vì nó chỉ là sự thay thế.

Trình phân loại của Bayes liên quan đến việc gán một quan sát cho lớp mà phương trình (1) là lớn nhất. Lấy nhật ký của phương trình (1) và sắp xếp lại các thuật ngữ, không khó để chỉ ra rằng điều này tương đương với việc gán quan sát cho lớp mà sau đây là lớn nhất:

δ_{k} (x) = x \cdot \frac{μ_{k}}{σ^{2}} - \frac{μ_{k}^{2}}{2 σ^{2}} + \log (π_{k})

$\delta_k(x)=x \cdot \dfrac{\mu_k}{\sigma^2} - \dfrac{\mu_k^2}{2\sigma^2} + \log(\pi_k)$

Câu hỏi: Tôi không hiểu điều này đến từ đâu và ý nghĩa của nó. Tôi đã thử làm nhật ký phương trình và nó không trở thành thế này. Có phải chúng ta đang lấy đạo hàm ở đâu đó ở đây, vì đây là quan sát lớn nhất?

self-study classification

— cái tôi
nguồn

Bạn có thể biểu thị phương trình (1) lên đến hằng số tỷ lệ,

p_{x} (k) \propto π_{k} \frac{1}{\sqrt{2 π} σ} \exp (- \frac{1}{2 σ^{2}} {(x - μ_{k})}^{2})

$p_x(k)\propto \pi_k \frac{1}{\sqrt{2\pi}\sigma}\exp \left(-\frac{1}{2\sigma^2}\left(x-\mu_k \right)^2 \right)$

vì vậy nếu bạn sau đó lấy nhật ký

\log p_{x} (k) \propto \log π_{k} - \log (\sqrt{2 π} σ) - \frac{1}{2 σ^{2}} {(x - μ_{k})}^{2}

$\log p_x(k) \propto \log \pi_k - \log (\sqrt{2\pi} \sigma) -\frac{1}{2\sigma^2}\left(x-\mu_k \right)^2$

$- \log (\sqrt{2\pi} \sigma)$ $k$ $\propto$

— Andy
nguồn

δ_{k} (x)

$\delta_k(x)$

δ_{k} (x)

$\delta_k (x)$

k

$k$

x

$x$

δ_{k} (x) = δ_{l} (x)

$\delta_k(x) = \delta_l(x)$

k

$k$

l

$l$

— Andy