Điều gì biện minh cho tính toán này của đạo hàm của hàm ma trận?

Trong khóa học máy của Andrew Ng, anh sử dụng công thức này:

$\nabla_A tr(ABA^TC) = CAB + C^TAB^T$

và anh ta làm một bằng chứng nhanh chóng được hiển thị dưới đây:

$\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + ((Cf(A))^T)^T \\ = C^TAB^T + CAB$

Bằng chứng có vẻ rất dày đặc mà không có bất kỳ bình luận nào và tôi gặp khó khăn trong việc hiểu nó. Chính xác những gì đã xảy ra từ bình đẳng thứ hai đến thứ ba?

machine-learning matrix derivative

— MoneyBall
nguồn

Anh ta phải đưa ra các giả định đặc biệt về kích thước của

và

, vì nếu không thì công thức này nói chung không có ý nghĩa gì. Trên tay trái bên

phải là một

ma trận,

một

ma trận, và

một

ma trận cho số nguyên tùy ý không âm

. Nhưng sau đó, các sản phẩm bên phải sẽ không được xác định trừ khi

A

$A$

B

$B$

C

$C$

A

$A$

i \times j

$i\times j$

B

$B$

j \times j

$j\times j$

C

$C$

i \times m

$i\times m$

i, j, m

$i,j,m$

i = m

$i=m$

— whuber

@whuber tôi thấy. Với giả định, tôi vẫn không hiểu làm thế nào quá trình chuyển đổi xảy ra từ thứ hai đến dòng thứ ba nơi ông giới thiệu

\circ

$\circ$

— MoneyBall

Giữa hai và dòng thứ ba anh ấy là để cho

. Giữa dòng thứ hai và thứ ba, ông đã sử dụng quy tắc sản phẩm. Sau đó, anh ta sử dụng quy tắc chuỗi để thoát khỏi

f (A) = A B

$f(A)=AB$

f ()

$f()$

— Brian Borchers

Có một sự lạm dụng tinh vi nhưng nặng nề của ký hiệu làm cho nhiều bước khó hiểu. Chúng ta hãy giải quyết vấn đề này bằng cách quay lại các định nghĩa về nhân ma trận, hoán vị, dấu vết và dẫn xuất. Đối với những người muốn bỏ qua các giải thích, chỉ cần chuyển đến phần cuối cùng "Kết hợp tất cả lại" để xem một cuộc biểu tình khắt khe và đơn giản như thế nào.

Ký hiệu và khái niệm

Kích thước

Để biểu thức có ý nghĩa khi là ma trận , phải là ma trận (vuông) và phải là ma trận , trong đó sản phẩm là ma trận . Để lấy dấu vết (mà là tổng hợp của các yếu tố đường chéo, ), sau đó , làm cho $ABA^\prime C$ $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times p$ $m\times p$ $\operatorname{Tr}(X)=\sum_i X_{ii}$ $p=m$ $C$ một ma trận vuông.

Các dẫn xuất

Ký hiệu " " xuất hiện để chỉ đạo hàm của một biểu thức đối với với . Thông thường, sự khác biệt là một hoạt động thực hiện trên chức năng . Đạo hàm tại một điểm là một biến đổi tuyến tính . Khi chọn các cơ sở cho các không gian vectơ này, một phép biến đổi như vậy có thể được biểu diễn dưới dạng ma trận Đó không phải là trường hợp tại đây! $\nabla_A$ $A$ $f:\mathbb{R}^N\to\mathbb{R}^M$ $x\in \mathbb{R}^N$ $Df(x):\mathbb{R}^N\to\mathbb{R}^M$ $M\times N$

Ma trận như vectơ

Thay vào đó, đang được coi là một phần tử của : các hệ số của nó đang không được kiểm soát (thường là theo từng hàng hoặc từng cột theo cột) thành một vectơ có độ dài . Chức năng có giá trị thực, đâu . Do đó, phải là ma trận : đó là một vectơ hàng đại diện cho một dạng tuyến tính trên $A$ $\mathbb{R}^{mn}$ $N=mn$ $f(A)=\operatorname{Tr}(ABA^\prime C)$ $M=1$ $Df(x)$ $1\times mn$ . Tuy nhiên, các tính toán trong câu hỏi sử dụng mộtcáchkhácđể biểu diễn các dạng tuyến tính: các hệ số của chúng được cuộn lại thànhma trận. $\mathbb{R}^{mn}$ $m\times n$

Dấu vết dưới dạng tuyến tính

Hãy là một hằng số ma trận. Sau đó, theo định nghĩa của dấu vết và nhân ma trận, $\omega$ $m\times n$

\begin{aligned} Tr (A ω^{'}) & = \sum_{i = 1}^{m} (A ω^{'})_{i i} = \sum_{i = 1}^{m} (\sum_{j = 1}^{n} A_{i j} (ω^{'})_{j i}) = \sum_{i, j} ω_{i j} A_{i j} \end{aligned}

$\eqalign{ \operatorname{Tr}(A\omega^\prime) &= \sum_{i=1}^m(A\omega^\prime)_{ii} = \sum_{i=1}^m\left(\sum_{j=1}^n A_{ij}(\omega^\prime)_{ji}\right) = \sum_{i,j} \omega_{ij}A_{ij} }$

Điều này thể hiện sự kết hợp tuyến tính có thể nói chung hầu hết các hệ số : là một ma trận của hình dạng giống như và hệ số của nó trong hàng và cột là hệ số của trong sự kết hợp tuyến tính. Bởi vì , vai trò của và có thể chuyển, đưa ra các biểu thức tương đương $A$ $\omega$ $A$ $i$ $j$ $A_{ij}$ $\omega_{ij}A_{ij}=A_{ij}\omega_{ij}$ $\omega$ $A$

\begin{matrix} (1) & \sum_{i, j} ω_{i j} A_{i j} = Tr (A ω^{'}) = Tr (ω A^{'}) . \end{matrix}

$\sum_{i,j} \omega_{ij}A_{ij} = \operatorname{Tr}(A\omega^\prime) = \operatorname{Tr}(\omega A^\prime).\tag{1}$

$\omega$ $A\to \operatorname{Tr}(A \omega^\prime)$ $A\to \operatorname{Tr}(\omega A^\prime)$ $m\times n$ $m\times n$ $\mathbb{R}^n$ $\mathbb{R}^m$

Tính toán một công cụ phái sinh

Định nghĩa

$f$ $x$ $L$

f (x + h) - f (x) = L h + o (| h |)

$f(x+h) - f(x) = Lh + o(|h|)$

$h\in \mathbb{R}^N$ $f(x+h)-f(x)$ $Lh$ $h$ $h$ $|h|^2$

Tính toán

$h$

\begin{matrix} (2) & \begin{aligned} f (A + h) - f (A) & = Tr ((A + h) B (A + h)^{'} C) - Tr (A B A^{'} C) \\ = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) . \end{aligned} \end{matrix}

$\eqalign{ f(A+h)-f(A) &= \operatorname{Tr}((A+h)B(A+h)^\prime C) - \operatorname{Tr}(ABA^\prime C) \\ &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|).\tag{2} }$

$L=Df(A)$ $(1)$ $\omega = BA^\prime C$ $\operatorname{Tr}(Xh^\prime C)$ $X=AB$

\begin{matrix} (3) & Tr (X h^{'} C) = \sum_{i = 1}^{m} \sum_{j = 1}^{n} \sum_{k = 1}^{m} X_{i j} h_{k j} C_{k i} = \sum_{i, j, k} h_{k j} (C_{k i} X_{i j}) = Tr ((C X) h^{'}) . \end{matrix}

$\operatorname{Tr}(Xh^\prime C) = \sum_{i=1}^m\sum_{j=1}^n\sum_{k=1}^m X_{ij} h_{kj} C_{ki} = \sum_{i,j,k}h_{kj} \left(C_{ki}X_{ij}\right) =\operatorname{Tr}((CX)h^\prime).\tag{3}$

$X=AB$ $(2)$

f (A + h) - f (A) = Tr (h B A^{'} C) + Tr (C A B h^{'}) + o (| h |) .

$f(A+h) - f(A) = \operatorname{Tr}(h\, BA^\prime C\,) + \operatorname{Tr}(CAB\, h^\prime\,)+o(|h|).$

$f$ $A$

D f (A) = (B A^{'} C)^{'} + C A B = C^{'} A B^{'} + C A B,

$Df(A) = (BA^\prime C)^\prime + CAB = C^\prime A B^\prime + CAB,$

ω

$\omega$

(1)

$(1)$

Để tất cả chúng cùng nhau

Ở đây, sau đó, là một giải pháp hoàn chỉnh.

$A$ $m\times n$ $B$ $n\times n$ $C$ $m\times m$ $f(A) = \operatorname{Tr}(ABA^\prime C)$ $h$ $m\times n$ $(3)$
$\begin{aligned} f (A + h) - f (A) & = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) \\ = Tr (h (C^{'} A B^{'})^{'} + (C A B) h^{'}) + o (| h |), \end{aligned}$ $\eqalign{f(A+h) - f(A) &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|) \\ &=\operatorname{Tr}(h(C^\prime A B^\prime)^\prime + (CAB)h^\prime) + o(|h|),}$ $f$ $C^{'} A B^{'} + C A B .$ $C^\prime A B^\prime + CAB.$

Bởi vì việc này chỉ mất khoảng một nửa công việc và chỉ liên quan đến các thao tác cơ bản nhất của ma trận và dấu vết (nhân và hoán vị), nên nó được coi là một minh chứng đơn giản hơn - và dễ thấy hơn - cho kết quả. Nếu bạn thực sự muốn hiểu các bước riêng lẻ trong bản trình diễn ban đầu, bạn có thể thấy hiệu quả khi so sánh chúng với các tính toán được hiển thị ở đây.

— whuber
nguồn

tr (A B C) = tr (C A B)

$\mbox{tr}(ABC)=\mbox{tr}(CAB)$

(1)

$(1)$

Mat (m, n)

$\operatorname{Mat}(m,n)$

m \times n

$m\times n$

f : Mat (m, n) \to R

$f:\operatorname{Mat}(m,n)\to\mathbb{R}$

A

$A$

ω

$\omega$

D f (A)

$Df(A)$

X :\to Tr (X ω^{'})

$X:\to\operatorname{Tr}(X\omega^{\,\prime})$

@Amoeba Điều đó hoàn toàn chính xác - nó có nghĩa là những lời khẳng định trong dòng đầu tiên của câu trả lời này. Đó là lý do tại sao tôi viết "theo nghĩa này " và, sau đó trong phần tóm tắt, đã sử dụng cụm từ "được xác định bởi" thay vì "bằng". Tôi sẽ không phủ nhận rằng lời giải thích đã được thử thách; Tôi sẽ suy nghĩ về cách làm rõ nó và tôi đánh giá cao tất cả các ý kiến và đề xuất của bạn.

— whuber

@ user10324 Hầu hết những gì tôi đăng trên trang web này là công thức của riêng tôi - Tôi hiếm khi tham khảo các nguồn (và tôi ghi lại chúng khi tôi làm). Những bài viết này là chưng cất từ việc đọc nhiều sách và giấy tờ. Một số trong những cuốn sách hay nhất không phải là những cuốn sách hoàn toàn nghiêm ngặt về mặt toán học, nhưng đã giải thích rất hay và minh họa những ý tưởng cơ bản. Một vài thứ đầu tiên xuất hiện trong đầu - theo thứ tự tinh tế - là Freedman, Pisani, & Purves, Statistics (bất kỳ phiên bản nào); Jack Kiefer, Giới thiệu về suy luận thống kê ; và Steven Shreve, Tính toán ngẫu nhiên cho Tài chính II .

— whuber

f (x + h) - f (x) = L h + o (| h |)

$f(x+h)−f(x)=Lh+o(|h|)$

h

$h$

x

$x$

x \in R^{m \times n}

$x \in \mathbb{R}^{m \times n}$

h \in R^{m \times n}

$h \in \mathbb{R}^{m \times n}$