Xuất phát ma trận phân tán tổng (trong lớp + giữa lớp)

Tôi đã loay hoay với các phương pháp PCA và LDA và tôi bị mắc kẹt tại một điểm, tôi có cảm giác rằng nó đơn giản đến mức tôi không thể nhìn thấy nó.

Ma trận phân tán trong lớp ( ) và giữa lớp ( ) được định nghĩa là: $S_W$ $S_B$

S_{W} = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i}) (x_{t}^{i} - μ_{i})^{T}

$S_W = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i)(x_t^i - \mu_i)^T$

S_{B} = \sum_{i = 1}^{C} N (μ_{i} - μ) (μ_{i} - μ)^{T}

$S_B = \sum_{i=1}^CN(\mu_i-\mu)(\mu_i-\mu)^T$

Tổng ma trận phân tán được đưa ra là: $S_T$

S_{T} = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ) (x_{t}^{i} - μ)^{T} = S_{W} + S_{B}

$S_T = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T = S_W + S_B$

Trong đó C là số lớp và N là số mẫu là mẫu, là trung bình của lớp, là trung bình tổng thể. $x$ $\mu_i$ $\mu$

Trong khi cố gắng rút ra tôi đã đi đến một điểm mà tôi có: $S_T$

(x - μ_{i}) (μ_{i} - μ)^{T} + (μ_{i} - μ) (x - μ_{i})^{T}

$(x-\mu_i)(\mu_i-\mu)^T + (\mu_i-\mu)(x-\mu_i)^T$

như một thuật ngữ. Điều này cần phải bằng không, nhưng tại sao?

Thật:

\begin{aligned} S_{T} & = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ) (x_{t}^{i} - μ)^{T} \\ = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i} + μ_{i} - μ) (x_{t}^{i} - μ_{i} + μ_{i} - μ)^{T} \\ = S_{W} + S_{B} + \sum_{i = 1}^{C} \sum_{t = 1}^{N} [(x_{t}^{i} - μ_{i}) (μ_{i} - μ)^{T} + (μ_{i} - μ) (x_{t}^{i} - μ_{i})^{T}] \end{aligned}

$\begin{align} S_T &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T \\ &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i + \mu_i - \mu)(x_t^i - \mu_i + \mu_i - \mu)^T \\ &= S_W + S_B + \sum_{i=1}^C\sum_{t=1}^N\big[(x_t^i - \mu_i)(\mu_i - \mu)^T + (\mu_i - \mu)(x_t^i - \mu_i)^T\big] \end{align}$

discriminant-analysis

— nimcap
nguồn

Câu trả lời là bạn đang tính tổng độ lệch của các giá trị xung quanh giá trị trung bình của chúng và tổng đó bằng không. Nhưng chính xác thì , và gì? Làm thế nào và liên quan đến và ? Chất lượng câu trả lời sẽ phụ thuộc vào cách chúng tôi đoán chính xác nhưng bạn đang buộc chúng tôi phải đoán rất nhiều!

x

$x$

m

$m$

m_{i}

$m_i$

m

$m$

m_{i}

$m_i$

μ

$\mu$

μ_{i}

$\mu_i$

— whuber

@whuber: Bạn hoàn toàn đúng, tôi đã sửa lại câu hỏi của mình.

— nimcap

Nếu bạn giả sử

\frac{1}{N} \sum_{t = 1}^{N} x_{t}^{i} = μ_{i}

$\frac{1}{N}\sum_{t=1}^Nx_t^{i}=\mu_i$

Sau đó

\sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i}) (μ_{i} - μ)^{T} = \sum_{i = 1}^{C} (\sum_{t = 1}^{N} (x_{t}^{i} - μ_{i})) (μ_{i} - μ)^{T} = 0

$\sum_{i=1}^C\sum_{t=1}^N(x_t^i-\mu_i)(\mu_i-\mu)^T=\sum_{i=1}^C\left(\sum_{t=1}^N(x_t^i-\mu_i)\right)(\mu_i-\mu)^T=0$

và công thức giữ. Bạn đối phó với thuật ngữ thứ hai theo cách tương tự.

— mpiktas
nguồn

(+1) Thuật ngữ thứ hai, là chuyển vị của từ thứ nhất, cũng phải bằng 0 :-).

— whuber

@whuber, vâng, cũng vậy :)

— mpiktas

Xin chào, tôi không hiểu tại sao giả định này? Ai đó có thể giải thích điều đó không?

— Mvkt

μ_{i}

$\mu_i$

μ_{i}

$\mu_i$

i

$i$

μ_{i}

$\mu_i$