Làm thế nào để tính toán SVD của một ma trận thưa thớt khổng lồ?

Cách tốt nhất để tính toán phân rã giá trị số ít (SVD) của ma trận dương rất lớn (65M x 3,4M) trong đó dữ liệu cực kỳ thưa thớt?

Ít hơn 0,1% của ma trận là khác không. Tôi cần một cách:

• sẽ phù hợp với bộ nhớ (tôi biết rằng các phương thức trực tuyến tồn tại)
• sẽ được tính trong thời gian hợp lý: 3,4 ngày
• sẽ đủ chính xác tuy nhiên độ chính xác không phải là mối quan tâm chính của tôi và tôi muốn có thể kiểm soát số lượng tài nguyên tôi đưa vào đó.

Thật tuyệt vời khi có một thư viện Haskell, Python, C #, vv thực hiện nó. Tôi không sử dụng mathlab hoặc R nhưng nếu cần tôi có thể đi với R.

Nếu nó phù hợp với bộ nhớ, hãy xây dựng một ma trận thưa thớt trong R bằng cách sử dụng gói Matrix và thử irlba cho SVD. Bạn có thể chỉ định có bao nhiêu vectơ số ít bạn muốn trong kết quả, đó là một cách khác để hạn chế tính toán.

Đó là một ma trận khá lớn, nhưng tôi đã có kết quả rất tốt với phương pháp này trong quá khứ. irlbalà khá hiện đại. Nó sử dụng thuật toán bi-chéo chéo Lanczos được khởi động lại .

Nó có thể nhai thông qua bộ dữ liệu giải thưởng Netflix (480.189 hàng bằng 17.770 cột, 100.480.507 mục nhập khác không) trong một phần nghìn giây. Bộ dữ liệu của bạn lớn hơn ~ 200.000 lần so với bộ dữ liệu Netflix, do đó mất nhiều thời gian hơn thế. Có thể hợp lý khi hy vọng rằng nó có thể thực hiện tính toán trong một vài ngày.

1. Spark Spark: https://spark.apache.org/docs/1.1.0/mllib-data-types.html
2. Mahout Samsara (ngoài cốt lõi chạy qua Spark và những người khác): https://mahout.apache.org/users/envir/out-of-core-reference.html
3. SciDB (đối với dữ liệu thực sự lớn): http://www.paradigm4.com/scidb-how-linear-acheebra-operations-scale/