Làm thế nào để tính trọng lượng tiêu chí Fisher?

Tôi đang nghiên cứu nhận dạng mẫu và học máy, và tôi gặp phải câu hỏi sau đây.

Xem xét một vấn đề phân loại hai lớp với xác suất lớp trước bằng nhau

$$P(D_1)=P(D_2)= \frac{1}{2}$$

và phân phối các thể hiện trong mỗi lớp được đưa ra bởi

$$p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right),$$

$$p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right).$$

Làm thế nào để tính trọng lượng tiêu chí Fisher?

Cập nhật 2: Trọng lượng tính toán được cung cấp bởi sách của tôi là: $W=\begin{bmatrix} \frac{-4}{3} \\ \frac{-2}{9} \end{bmatrix}$.

Cập nhật 3: Theo gợi ý của @xeon, tôi hiểu rằng tôi nên xác định đường chiếu cho phân biệt đối xử của Fisher.

Cập nhật 4: Gọi là hướng của đường chiếu, sau đó phương pháp phân biệt tuyến tính Fisher thấy rằng W tốt nhất là hướng mà hàm tiêu chí được tối đa hóa. Thách thức còn lại là làm thế nào chúng ta có thể có được vectơ W số ?$W$$W$$W$

Theo bài báo mà bạn liên kết đến (Mika et al., 1999) , chúng ta phải tìm ra tối đa hóa cái gọi là thương số Rayleigh tổng quát ,$\mathbf{w}$

$$\frac{\mathbf{w}^\top \mathbf{S}_B \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_W \mathbf{w}},$$

trong đó phương tiện và hiệp phương sai $\mathbf{m}_1, \mathbf{m}_2$ ,$\mathbf{C}_1, \mathbf{C}_2$

$$\begin{align} \mathbf{S}_B &= (\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}_2)^\top, & \mathbf{S}_W &= \mathbf{C}_1 + \mathbf{C}_2. \end{align}$$

Các giải pháp có thể được tìm thấy bằng cách giải quyết các vấn đề tổng quát eigenvalue bằng cách đầu tiên tính toán giá trị riêng bước sóng bằng cách giải det ( S B - λ S W ) = 0 và sau đó giải quyết cho eigenvector w . Trong trường hợp của bạn, S B - λ S W = ( 16 - 3 λ 16 16 16 - 2 λ )

$$\begin{align} \mathbf{S}_B\mathbf{w} = \lambda \mathbf{S}_W\mathbf{w}, \end{align}$$ $\lambda$ $$\begin{align} \det(\mathbf{S}_B - \lambda \mathbf{S}_W) = 0 \end{align}$$ $\mathbf{w}$ $$\mathbf{S}_B - \lambda \mathbf{S}_W = \begin{pmatrix}16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda\end{pmatrix}.$$ Yếu tố quyết định của ma trận 2x2 này có thể được tính bằng tay.

Trình xác định với giá trị riêng lớn nhất tối đa hóa thương số Rayleigh. Thay vì làm các tính toán bằng tay, tôi đã giải quyết được vấn đề eigenvalue khái quát hóa bằng Python sử dụng scipy.linalg.eigvà có

$$w_1 \approx 0.5547, w_2 \approx 0.8321,$$ đó là khác biệt so với các giải pháp mà bạn tìm thấy trong cuốn sách của mình. Dưới đây tôi vẽ sơ đồ siêu phẳng tối ưu của vectơ trọng lượng tôi tìm thấy (màu đen) và siêu phẳng của vectơ trọng lượng được tìm thấy trong sách của bạn (màu đỏ).

$\hskip1in$

$\mathbf{SOLUTION 1:}$

Theo Duda et al. (Mô hình hóa) có giải pháp thay thế cho @lucas và trong trường hợp này cung cấp giải pháp rất dễ dàng bằng tay. (Hy vọng giải pháp thay thế này sẽ giúp !! :))

Trong hai lớp LDA, mục tiêu là:

$\frac{w^TS_Bw}{w^TS_Ww}$

$S_B = (m_1-m_2)(m_1-m_2)^T$$S_W = S_1 + S_2$$S_1,S_2$$m_1,m_2$

Giải pháp của thương số raleigh tổng quát này là một mẫu thử giá trị bản địa tổng quát.

$S_Bw = \lambda S_Ww \rightarrow {S_W}^{-1}S_Bw = \lambda w$

$S_B$$m_1-m_2$$w \propto {S_W}^{-1}(m1-m2)$

$w$

${S_W}^{-1}(m1-m2) = {(S_1 + S_2)}^{-1}(m1 - m2) = {(\begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} + \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix})}^{-1}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) ={(\begin{bmatrix} 1/3 & 0 \\ 0 & 1/2 \end{bmatrix})}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) = \begin{bmatrix} -1.3333 \\ -2.0000 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

Tham chiếu: Phân loại mẫu theo Duda, Hart, Cò

$\mathbf{SOLUTION 2:}$

$S_Bw = \lambda S_Ww$

$determinant(S_B - \lambda S_W)$$S_Bw = \lambda S_Ww$$\lambda_1,\lambda_2, ..., \lambda_n,$$\lambda = \lambda_i, i \in \{1,2,..,n\}$$S_Bw_i = \lambda_i S_Ww_i$$\{w_i\}_{i=1}^{n}$ và nó là một tập hợp các vectơ riêng như là giải pháp.

$determinant(S_B - \lambda S_W) = \begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix} =6\lambda^2 - 80\lambda$, So eigen values are roots to polynomial $6\lambda^2 - 80\lambda$.

So $\lambda=$ 0 and 40/3 are the two solutions. For LDA, eigen vector corresponding to highest eigen value is the solution.

Solution to system of equation $(S_B - \lambda_i S_W)w_i = 0$ and $\lambda_i = 40/3$

which turns out to be $\begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix}w_i \propto \begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}w_i = 0$

Solution to the above system of equation is $\begin{bmatrix} -0.5547 \\ -0.8321 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$ which is same as previous solution.

Alternatively, we can say that $\begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$ lies in the null space of $\begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}$.

For two class LDA, eigen vector with highest eigen value is the solution. In general, for C class LDA, the first C - 1 eigen vectors to highest C - 1 eigen values constitute the solution.

This video explains how to compute eigen vectors for simple eigen value problem. ( https://www.khanacademy.org/math/linear-algebra/alternate_bases/eigen_everything/v/linear-algebra-finding-eigenvectors-and-eigenspaces-example )

Following is an example. http://www.sosmath.com/matrix/eigen2/eigen2.html

Multi-class LDA: http://en.wikipedia.org/wiki/Linear_discriminant_analysis#Multiclass_LDA

Calculating Null Space of a matrix: https://www.khanacademy.org/math/linear-algebra/vectors_and_spaces/null_column_space/v/null-space-2-calculating-the-null-space-of-a-matrix