Công cụ ước tính khả năng tối đa - Gaussian đa biến

Bối cảnh

Gaussian đa biến xuất hiện thường xuyên trong Machine Learning và các kết quả sau được sử dụng trong nhiều sách và khóa học ML mà không có đạo hàm.

Dữ liệu đã cho dưới dạng ma trận có kích thước , nếu chúng ta giả sử rằng dữ liệu tuân theo phân phối Gaussian với các tham số có nghĩa là ( ) và ma trận hiệp phương sai ( ) Công cụ ước tính khả năng tối đa được đưa ra bởi: $\mathbf{X}$ $m \times p$ $p$ $\mu$ $p \times 1$ $\Sigma$ $p \times p$

$\hat \mu = \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}}$

$\hat \Sigma = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T$

Tôi hiểu rằng kiến thức về Gaussian đa biến là điều kiện tiên quyết cho nhiều khóa học ML, nhưng sẽ rất hữu ích khi có được dẫn xuất đầy đủ trong một câu trả lời tự bao gồm một lần và cho tất cả vì tôi cảm thấy nhiều người tự học đang nảy qua các số liệu thống kê. trang web stackexchange và math.stackexchange tìm kiếm câu trả lời.

Câu hỏi

Nguồn gốc đầy đủ của Công cụ ước tính khả năng tối đa cho Gaussian đa biến là gì

Ví dụ:

Những bài giảng này (trang 11) về Phân tích phân biệt tuyến tính, hoặc những bài này sử dụng kết quả và thừa nhận kiến thức trước đó.

Cũng có một vài bài viết được trả lời hoặc đóng một phần:

— Xavier Bourret Sicotte
nguồn

Câu trả lời:

Lấy các công cụ ước tính khả năng tối đa

Giả sử rằng chúng ta có vectơ ngẫu nhiên, mỗi kích thước : trong đó mỗi vectơ ngẫu nhiên có thể được hiểu là một quan sát (điểm dữ liệu) trên các biến . Nếu mỗi là iid như các vectơ Gauss đa biến: $m$ $p$ $\mathbf{X^{(1)}, X^{(2)},...,X^{(m)}}$ $p$ $\mathbf{X}^{(i)}$

X^{(i)} \sim N_{p} (μ, Σ)

$\mathbf{X^{(i)}} \sim \mathcal{N}_p(\mu, \Sigma)$

Trong đó các tham số không xác định. Để có được ước tính của họ, chúng ta có thể sử dụng phương pháp khả năng tối đa và tối đa hóa chức năng khả năng đăng nhập. $\mu, \Sigma$

Lưu ý rằng do tính độc lập của các vectơ ngẫu nhiên, mật độ chung của dữ liệu là sản phẩm của mật độ riêng lẻ , đó là . Lấy logarit cho hàm khả năng log $\mathbf{ \{X^{(i)}}, i = 1,2,...,m\}$ $\prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} ; \mu , \Sigma })$

\begin{aligned} l (μ, Σ | x^{(i)}) & = \log \prod_{i = 1}^{m} f_{X^{(i)}} (x^{(i)} | μ, Σ) \\ = \log \prod_{i = 1}^{m} \frac{1}{(2 π)^{p / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)) \\ = \sum_{i = 1}^{m} (- \frac{p}{2} \log (2 π) - \frac{1}{2} \log | Σ | - \frac{1}{2} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)) \end{aligned}

$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \log \prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} | \mu , \Sigma }) \\ & = \log \ \prod_{i=1}^m \frac{1}{(2 \pi)^{p/2} |\Sigma|^{1/2}} \exp \left( - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \\ & = \sum_{i=1}^m \left( - \frac{p}{2} \log (2 \pi) - \frac{1}{2} \log |\Sigma| - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \end{aligned}$

\begin{aligned} l (μ, Σ;) & = - \frac{m p}{2} \log (2 π) - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ) \end{aligned}

$\begin{aligned} l(\mu, \Sigma ; ) & = - \frac{mp}{2} \log (2 \pi) - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \end{aligned}$

Xuất phát $\hat \mu$

Để lấy đạo hàm tương ứng với và bằng 0, chúng ta sẽ sử dụng danh tính phép tính ma trận sau: $\mu$

$\mathbf{ \frac{\partial w^T A w}{\partial w} = 2Aw}$ nếu không phụ thuộc vào và là đối xứng. $\mathbf{w}$ $\mathbf{A}$ $\mathbf{A}$

\begin{aligned} \frac{\partial}{\partial μ} tôi (μ, Σ | x^{(Tôi)}) & = = Σ_{Tôi = = 1}^{m} Σ^{- 1} (μ - x^{(Tôi)}) = = 0 \\ Kể từ khi Σ là xác định tích cực \\ 0 & = = m μ - Σ_{Tôi = = 1}^{m} x^{(Tôi)} \\ \hat{μ} & = = \frac{1}{m} Σ_{Tôi = = 1}^{m} x^{(Tôi)} = = \bar{x} \end{aligned}

$\begin{aligned} \frac{\partial }{\partial \mu} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \sum_{i=1}^m \mathbf{ \Sigma^{-1} ( \mu - x^{(i)} ) } = 0 \\ & \text{Since $\Sigma$ is positive definite} \\ 0 & = m \mu - \sum_{i=1}^m \mathbf{ x^{(i)} } \\ \hat \mu &= \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}} \end{aligned}$

Mà thường được gọi là vector trung bình mẫu .

Xuất phát $\hat \Sigma$

Xuất phát MLE cho ma trận hiệp phương sai đòi hỏi nhiều công việc hơn và sử dụng các thuộc tính đại số và tính toán tuyến tính sau:

Dấu vết là bất biến theo hoán vị tuần hoàn của các sản phẩm ma trận: $tr[ACB] = tr[CAB] = tr[BCA]$

Vì là vô hướng, chúng ta có thể lấy dấu vết của nó và nhận được cùng một giá trị: $x^TAx$ $x^tAx = tr[x^TAx] = tr[x^txA]$

$\frac{\partial}{\partial A} tr[AB] = B^T$

$\frac{\partial}{\partial A} \log |A| = A^{-T}$

Kết hợp các tính chất này cho phép chúng ta tính toán

\frac{\partial}{\partial Một} x^{t} Một x = = \frac{\partial}{\partial Một} t r [x^{T} x Một] = = [x x^{t}]^{T} = = x^{T T} x^{T} = = x x^{T}

$\frac{\partial}{\partial A} x^tAx =\frac{\partial}{\partial A} tr[x^TxA] = [xx^t]^T = x^{TT}x^T = xx^T$

Đó là sản phẩm bên ngoài của vectơ với chính nó. $x$

Bây giờ chúng ta có thể viết lại hàm khả năng đăng nhập và tính toán wrt phái sinh (lưu ý là hằng số) $\Sigma^{-1}$ $C$

\begin{aligned} tôi (μ, Σ | x^{(Tôi)}) & = = C - \frac{m}{2} đăng nhập | Σ | - \frac{1}{2} Σ_{Tôi = = 1}^{m} (x^{(Tôi)} - μ)^{T} Σ^{- 1} (x^{(Tôi)} - μ) \\ = = C + \frac{m}{2} đăng nhập | Σ^{- 1} | - \frac{1}{2} Σ_{Tôi = = 1}^{m} t r [(x^{(Tôi)} - μ) (x^{(Tôi)} - μ)^{T} Σ^{- 1}] \\ \frac{\partial}{\partial Σ^{- 1}} tôi (μ, Σ | x^{(Tôi)}) & = = \frac{m}{2} Σ - \frac{1}{2} Σ_{Tôi = = 1}^{m} {(x^{(Tôi)} - μ) (x^{(Tôi)} - μ)}^{T} Kể từ khi Σ^{T} = = Σ \end{aligned}

$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \text{C} - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \\ & = \text{C} + \frac{m}{2} \log |\Sigma^{-1}| - \frac{1}{2} \sum_{i=1}^m tr[ \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)^T \Sigma^{-1} } ] \\ \frac{\partial }{\partial \Sigma^{-1}} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \frac{m}{2} \Sigma - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \ \ \text{Since $\Sigma^T = \Sigma$} \end{aligned}$

Tương đương với 0 và giải cho $\Sigma$

\begin{aligned} 0 & = = m Σ - Σ_{Tôi = = 1}^{m} {(x^{(Tôi)} - μ) (x^{(Tôi)} - μ)}^{T} \\ \hat{Σ} & = = \frac{1}{m} Σ_{Tôi = = 1}^{m} {(x^{(Tôi)} - \hat{μ}) (x^{(Tôi)} - \hat{μ})}^{T} \end{aligned}

$\begin{aligned} 0 &= m \Sigma - \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \\ \hat \Sigma & = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T \end{aligned}$

Nguồn

— Xavier Bourret Sicotte
nguồn

Bằng chứng thay thế, hình thức nhỏ gọn hơn, hoặc giải thích trực quan đều được chào đón!

— Xavier Bourret Sicotte

Trong đạo hàm cho , tại sao cần phải xác định dương? Có vẻ như đủ rằng là không thể đảo ngược? Đối với ma trận khả nghịch , chỉ khi ?

μ

$\mu$

Σ

$\Sigma$

Σ

$\Sigma$

A

$A$

A x = 0

$Ax=0$

x = 0

$x=0$

— Tom Bennett

Để làm rõ, là ma trận có thể có các thành phần đường chéo hữu hạn và không chéo cho thấy mối tương quan giữa các vectơ, đúng không? Nếu đó là trường hợp, theo nghĩa nào thì các vectơ này độc lập? Ngoài ra, tại sao hàm xác suất chung bằng với khả năng? Không nên mật độ khớp, , bằng với khả năng nhân với trước, tức là ?

Σ

$\Sigma$

m \times m

$m \times m$

f (x, y)

$f(x,y)$

f (x | y) f (y)

$f(x|y)f(y)$

— Mathews24

@TomBennett ma trận sigma là xác định dương theo định nghĩa - xem stats.stackexchange.com/questions/52976/iêu để chứng minh. Nhận dạng tính toán ma trận đòi hỏi ma trận phải đối xứng, không xác định dương. Nhưng vì ma trận xác định dương luôn luôn đối xứng hoạt động

— Xavier Bourret Sicotte

Đúng vậy - sự độc lập giữa các quan sát cho phép có được khả năng - từ ngữ có thể không rõ ràng đủ - đây là phiên bản đa biến của khả năng. Ưu tiên vẫn không liên quan bất kể

— Xavier Bourret Sicotte

Một bằng chứng thay thế cho lấy đạo hàm liên quan trực tiếp đến : $\widehat{\Sigma}$ $\Sigma$

Chọn khả năng đăng nhập như trên: trong đó và chúng tôi đã sử dụng các thuộc tính tuần hoàn và tuyến tính của . Để tính toán trước tiên chúng ta quan sát rằng

\begin{array}{rcl} ℓ (μ, Σ) & = & C - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} tr [(x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)] \\ = & C - \frac{1}{2} (m \log | Σ | + \sum_{i = 1}^{m} tr [(x^{(i)} - μ) (x^{(i)} - μ)^{T} Σ^{- 1}]) \\ = & C - \frac{1}{2} (m \log | Σ | + tr [S_{μ} Σ^{- 1}]) \end{array}

$\begin{eqnarray} \ell(\mu, \Sigma) &=& C - \frac{m}{2}\log|\Sigma|-\frac{1}{2} \sum_{i=1}^m \text{tr}\left[(\mathbf{x}^{(i)}-\mu)^T \Sigma^{-1} (\mathbf{x}^{(i)}-\mu)\right]\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| + \sum_{i=1}^m\text{tr} \left[(\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T\Sigma^{-1} \right]\right)\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| +\text{tr}\left[ S_\mu \Sigma^{-1} \right] \right) \end{eqnarray}$

S_{μ} = \sum_{i = 1}^{m} (x^{(i)} - μ) (x^{(i)} - μ)^{T}

$S_\mu = \sum_{i=1}^m (\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T$

tr

$\text{tr}$

\partial ℓ / \partial Σ

$\partial \ell /\partial \Sigma$

\frac{\partial}{\partial Σ} đăng nhập | Σ | = = Σ^{- T} = = Σ^{- 1}

$\frac{\partial}{\partial \Sigma} \log |\Sigma| = \Sigma^{-T}=\Sigma^{-1}$

bởi thuộc tính thứ tư ở trên. Để lấy đạo hàm của số hạng thứ hai, chúng ta sẽ cần thuộc tính (từ The Matrix Cookbook , phương trình 63). Áp dụng điều này với nhận được vì cả và đều đối xứng. Sau đó

\frac{\partial}{\partial X} tr (Một X^{- 1} B) = = - (X^{- 1} B Một X^{- 1})^{T} .

$\frac{\partial}{\partial X}\text{tr}\left( A X^{-1} B\right) = -(X^{-1}BAX^{-1})^T.$

B = I

$B=I$

\frac{\partial}{\partial Σ} tr [S_{μ} Σ^{- 1}] = = - {(Σ^{- 1} S_{μ} Σ^{- 1})}^{T} = = - Σ^{- 1} S_{μ} Σ^{- 1}

$\frac{\partial}{\partial \Sigma}\text{tr}\left[S_\mu \Sigma^{-1}\right] = -\left( \Sigma^{-1} S_\mu \Sigma^{-1}\right)^T = -\Sigma^{-1} S_\mu \Sigma^{-1}$

Σ

$\Sigma$

S_{μ}

$S_\mu$

\frac{\partial}{\partial Σ} ℓ (μ, Σ) α m Σ^{- 1} - Σ^{- 1} S_{μ} Σ^{- 1} .

$\frac{\partial}{\partial \Sigma}\ell(\mu, \Sigma) \propto m \Sigma^{-1} - \Sigma^{-1} S_\mu \Sigma^{-1}.$ Đặt giá trị này thành 0 và sắp xếp lại sẽ cho

\hat{Σ} = = \frac{1}{m} S_{μ} .

$\widehat{\Sigma} = \frac{1}{m}S_\mu.$

Cách tiếp cận này hiệu quả hơn phương pháp tiêu chuẩn sử dụng các công cụ phái sinh liên quan đến và yêu cầu nhận dạng dấu vết phức tạp hơn. Tôi chỉ thấy nó hữu ích vì hiện tại tôi cần sử dụng các dẫn xuất của hàm khả năng đã sửa đổi mà việc sử dụng hơn nhiều so với . $\Lambda = \Sigma^{-1}$ $\partial/{\partial \Sigma^{-1}}$ $\partial/\partial \Sigma$

— Eric Kightley
nguồn

Công cụ ước tính khả năng tối đa - Gaussian đa biến

Bối cảnh

Câu hỏi

Ví dụ:

Lấy các công cụ ước tính khả năng tối đa

Xuất phátμ^μ^\hat \mu

Xuất phátΣ^Σ^\hat \Sigma

Nguồn

Xuất phát $\hat \mu$

Xuất phát $\hat \Sigma$