Dẫn xuất Gradient và vector: vector hàng hay cột?

Khá nhiều tài liệu tham khảo (bao gồm wikipedia và http://www.atmos.washington.edu/~dennis/MatrixCalculus.pdf và http://michael.orlitzky.com/articles/the_derivative_of_a_quadratic_form.php ) xác định đạo hàm của a hàm bởi một vectơ là đạo hàm riêng của hàm được sắp xếp theo một hàng (vì vậy đạo hàm của hàm có giá trị vô hướng là vectơ hàng). Trong quy ước này, độ dốc và đạo hàm vectơ là các chuyển vị của nhau. Lợi ích của quy ước này là chúng ta có thể hiểu ý nghĩa của đạo hàm là một hàm cho bạn biết tốc độ thay đổi tuyến tính theo từng hướng. Độ dốc vẫn là một vectơ, nó cho bạn biết hướng và độ lớn của tốc độ thay đổi lớn nhất.

Gần đây tôi đã đọc Đại số ma trận của Gentle ( http://books.google.com.vn/books/about/Matrix_Algebra.html?id=Pbz3D7Tg5eoC ) và anh ta dường như sử dụng một quy ước khác, trong đó nó định nghĩa độ dốc bằng với đạo hàm vector, dẫn đến trong một sắp xếp cột (do đó, một đạo hàm của hàm có giá trị vô hướng là một vectơ cột). Theo kết quả của sự sắp xếp này, mọi kết quả khác biệt là sự hoán vị của kết quả trong quy ước khác. Lợi ích của quy ước này, tôi đoán ở đây, chỉ là độ dốc và đạo hàm là bằng nhau. Vì vậy, đối với các nhiệm vụ tối ưu hóa, thay vì phân biệt và sau đó thực hiện chuyển đổi, bạn chỉ có thể phân biệt.

Tôi nghĩ rằng sự căng thẳng là giữa Jacobian và gradient. Trong quy ước hàng, Jacobian theo trực tiếp từ định nghĩa của đạo hàm, nhưng bạn phải áp dụng một chuyển vị để có được độ dốc; trong khi đó trong quy ước cột, độ dốc là không cần phải hoán vị, nhưng bạn phải áp dụng chuyển vị để lấy Jacobian. Vì vậy, nếu bạn thích nghĩ về kết quả phái sinh như một bản đồ tuyến tính, thì quy ước đầu tiên có ý nghĩa; nếu bạn thích nghĩ về kết quả như một vectơ / hướng thì quy ước thứ hai có ý nghĩa. Vì vậy, bạn chỉ cần phải nhất quán.

Những quy ước nào được sử dụng phổ biến hơn trong Machine Learning? Tôi sẽ trở nên bối rối vô vọng nếu tôi dành quá nhiều thời gian để đọc công việc trong quy ước "sai"?

linear-algebra derivative

— Cá đơn giản
nguồn

Có thể liên quan đến math.stackexchange.com/questions/336640/ , về cơ bản nói rằng quy ước đầu tiên là con đường để đi, nhưng tôi vẫn tò mò không biết phải làm gì với quy ước của Gentle.

— Cá đơn giản

chrishecker.com/Column_vs_row_vector đưa ra một lập luận mạnh mẽ cho quy ước đầu tiên.

— Cá đơn giản

Trong kinh tế lượng, sự sắp xếp cột là quy ước.

— tchakravarty

Một ví dụ cực kỳ khó chịu về sự mơ hồ trong lĩnh vực này là sách giáo khoa chuỗi thời gian của Leutkepohl. Anh ta không bao giờ chỉ định ký hiệu nào được sử dụng cho các vectơ hàng và cột, vì vậy cách duy nhất để sử dụng các phương trình từ cuốn sách là tuân theo một cách tỉ mỉ các bằng chứng và định nghĩa từ đầu đến cuối, có thể liên quan đến các câu trong nhiều chương sách.

— Shadowtalker

$J : u \in U \rightarrow v \in V$ $v = J u$ $v$ $J$ $u$

$\mathbf{w} ^\intercal \mathbf{u} = v$

Quy ước cuối cùng bạn sử dụng là không có kết quả, miễn là bạn giữ nguyên như vậy trong suốt. Matrix Cookbook của Pedersen và Petersen là một nguồn thông tin khá khô khan nhưng chắc chắn.

— ocramz
nguồn

Ah tôi thấy. Tôi đã xem xét kỹ hơn về định nghĩa của Gentle về Jacobian và nó thực sự giống nhau trong cả hai quy ước và đồng ý với định nghĩa về biểu diễn ma trận của bản đồ tuyến tính. Cụ thể, theo quy ước cột, có một khái niệm "độ dốc ma trận" là chuyển vị của Jacobian theo quy ước hàng. Nhưng trong quy ước cột, Jacobian được định nghĩa chính xác là chuyển vị, vì vậy định nghĩa ma trận của Jacobian là giống nhau theo cả hai quy ước! Nó chỉ là các thực thể một chiều là khác nhau (vectơ so với ánh xạ tuyến tính đến R).

— Cá đơn giản