Giấy tờ cần thiết về phân rã ma trận

Gần đây tôi đã đọc cuốn sách của Skillicorn về phân rã ma trận, và hơi thất vọng, vì nó được nhắm đến đối tượng đại học. Tôi muốn biên soạn (cho bản thân tôi và những người khác) một thư mục ngắn về các bài viết thiết yếu (khảo sát, nhưng cũng là bài báo đột phá) về phân rã ma trận. Những gì tôi có trong tâm trí chủ yếu là một cái gì đó trên SVD / PCA (và các biến thể mạnh mẽ / thưa thớt) và NNMF, vì những thứ này được sử dụng nhiều nhất. Bạn có bất kỳ đề nghị / đề nghị? Tôi đang giữ tôi không thiên vị các câu trả lời. Tôi sẽ yêu cầu giới hạn mỗi câu trả lời trong 2-3 bài.

PS: Tôi đề cập đến hai phân tách này được sử dụng nhiều nhất trong phân tích dữ liệu . Tất nhiên QR, Cholesky, LU và cực rất quan trọng trong phân tích số. Đó không phải là trọng tâm của câu hỏi của tôi mặc dù.

Làm thế nào để bạn biết rằng SVD và NMF là các phân tách ma trận được sử dụng nhiều nhất thay vì LU, Cholesky và QR? 'Đột phá' yêu thích cá nhân của tôi sẽ phải là thuật toán QR tiết lộ thứ hạng được đảm bảo,

• Chan, Tony F. "Xếp hạng tiết lộ các yếu tố QR". Đại số tuyến tính và các ứng dụng của nó Tập 88-89, tháng 4 năm 1987, Trang 67-82. DOI: 10.1016 / 0024-3795 (87) 90103-0

... một sự phát triển của ý tưởng trước đây về QR với tính năng xoay vòng cột:

• Businger, Peter; Golub, Gene H. (1965). Giải pháp bình phương tuyến tính nhỏ nhất bằng cách biến đổi Householder. Numerische Mathematik Tập 7, Số 3, 269-276, DOI: 10.1007 / BF01436084

A ( các ?) Sách giáo khoa kinh điển là:

• Golub, Gene H.; Văn Loan, Charles F. (1996). Tính toán ma trận (tái bản lần thứ 3), Johns Hopkins, ISBN 976-8-8018-5414-9 .

(tôi biết bạn đã không yêu cầu sách giáo khoa nhưng tôi không thể cưỡng lại)

Chỉnh sửa: Thêm một chút googling tìm thấy một bài báo mà trừu tượng cho thấy chúng ta có thể hơi ở các mặt phẳng chéo. Văn bản trên của tôi xuất phát từ quan điểm 'đại số tuyến tính' (NLA); có thể bạn quan tâm nhiều hơn với quan điểm 'thống kê / tâm lý học ứng dụng' (AS / P)? Có lẽ bạn có thể làm rõ?

• Lawrence Hubert, Jacqueline Meulman và Willem Heiser. Hai mục đích cho yếu tố ma trận: Đánh giá lịch sử. Đánh giá SIAM Tập. 42, số 1 (tháng 3 năm 2000), trang 68-82

Đối với NNMF, Lee và Seung mô tả một thuật toán lặp rất đơn giản để thực hiện. Trên thực tế, họ đưa ra hai thuật toán tương tự nhau, một thuật toán để giảm thiểu định mức dư Frobenius, còn lại để giảm thiểu phân kỳ Kullback-Leibler của ma trận gần đúng và ma trận gốc.

• Daniel Lee, H. Sebastian Seung, Thuật toán cho yếu tố ma trận không âm, những tiến bộ trong hệ thống xử lý thông tin thần kinh 13: Kỷ yếu của Hội nghị 2000. Báo chí MIT. trang 556 bóng562.

Có lẽ, bạn có thể tìm thấy thú vị

1. [Học với các yếu tố ma trận] Luận án tiến sĩ của Nathan Srebro,
2. [Điều tra các phương pháp nhân tố ma trận khác nhau cho các hệ thống đề xuất lớn] , Gábor Takács et.al. và gần như cùng một kỹ thuật được mô tả ở đây

Hai liên kết cuối cùng cho thấy các yếu tố ma trận thưa thớt được sử dụng trong Lọc cộng tác. Tuy nhiên, tôi tin rằng các thuật toán nhân tố giống như SGD có thể hữu ích ở một nơi khác (ít nhất là chúng cực kỳ dễ viết mã)

Witten, Tibshirani - Phân rã ma trận hình phạt

http://www.biostat.washington.edu/~dwitten/Papers/pmd.pdf

http://cran.r-project.org/web/packages/PMA/index.html

Martinsson, Rokhlin, Szlam, Tygert - SVD ngẫu nhiên

http://cims.nyu.edu/~tygert/software.html

http://cims.nyu.edu/~tygert/blanczos.pdf

Tại NIPS năm nay, có một bài viết ngắn về SVD phân tán, quy mô rất lớn, hoạt động trong một lần truyền qua ma trận đầu vào truyền phát .

Bài viết có định hướng triển khai hơn nhưng đặt mọi thứ vào viễn cảnh với thời gian đồng hồ treo tường thực sự và tất cả. Bảng gần đầu là một khảo sát tốt quá.