Yêu cầu bộ nhớ để nhân ma trận nhanh

Giả sử chúng ta muốn nhân $n \times n$ ma trận. Thuật toán nhân ma trận chậm chạy trong thời gian $O(n^3)$ và sử dụng bộ nhớ $O(n^2)$ . Nhanh nhất nhân ma trận chạy trong thời gian $n^{\omega + o(1)}$ , nơi $\omega$ là đại số tuyến tính liên tục, nhưng những gì được biết về sự phức tạp bộ nhớ của nó?

Dường như có thể có một tiên nghiệm rằng phép nhân ma trận nhanh tiêu tốn $n^{\omega}$ bộ nhớ. Có bất kỳ đảm bảo rằng nó có thể được thực hiện trong bộ nhớ $O(n^2)$ không? Đây có phải là trường hợp thuật toán nhân ma trận được biết đến hiện nay sử dụng bộ nhớ $O(n^2)$ không?

(Tôi thực sự quan tâm đến phép nhân ma trận hình chữ nhật, nhưng tôi cho rằng câu trả lời sẽ giống trong trường hợp đó như đối với trường hợp vuông và trường hợp vuông được nghiên cứu tốt hơn.)

ds.algorithms linear-algebra

— David Harris
nguồn

Việc sử dụng không gian nhiều nhất là $O(n^2)$ cho tất cả các thuật toán giống Strassen (tức là các thuật toán dựa trên giới hạn trên của cấp số nhân của ma trận theo đại số). Xem độ phức tạp không gian của thuật toán Coppersmith từ Winograd

Tuy nhiên, tôi nhận ra trong câu trả lời trước của mình rằng tôi đã không giải thích lý do tại sao việc sử dụng không gian là ... vì vậy ở đây có một cái gì đó lượn sóng bằng tay. Xem xét những gì một thuật toán giống như Strassen làm. Nó bắt đầu từ một thuật toán cố định cho nhân ma trận có sử dụng phép nhân đối với một số liên tục . Cụ thể, thuật toán này (bất kể đó là gì) có thể viết WLOG để: $O(n^2)$ $K \times K$ $K^c$ $c < 3$

Nó tính ma trận khác nhau mà mục nhân của ma trận đầu tiên bởi vô hướng khác nhau và ma trận từ ma trận thứ hai của một hình thức tương tự, $K^c$ $L_1,\ldots,L_{K^c}$ $A$ $K^c$ $R_1,\ldots,R_{K^c}$ $B$
Nó nhân các kết hợp tuyến tính , sau đó $L_i \cdot R_i$
Nó nhân lên mục của bởi vô hướng khác nhau, sau đó thêm tất cả các ma trận lên entrywise để có được . $L_i \cdot R_i$ $A \cdot B$

(Đây là một cái gọi là "Bilinear" thuật toán, nhưng nó quay ra rằng tất cả các "đại số" thuật toán nhân ma trận có thể được viết theo cách này.) Đối với mỗi , thuật toán này chỉ có để lưu trữ các sản phẩm hiện tại và giá trị hiện tại của (ban đầu được đặt thành tất cả các số 0) trong bộ nhớ tại bất kỳ điểm nào, do đó, mức sử dụng không gian là . $i=1,\ldots,K^c$ $L_i \cdot R_i$ $A \cdot B$ $O(K^2)$

Với thuật toán hữu hạn này, nó sau đó được mở rộng một cách độc đoán ma trận, bằng cách phá vỡ các ma trận lớn thành khối kích thước , áp dụng hữu hạn thuật toán để khối ma trận, và gọi đệ quy thuật toán bất cứ khi nào nó cần nhân hai khối. Ở mỗi cấp độ của đệ quy, chúng ta cần phải giữ chỉ yếu tố lĩnh vực trong bộ nhớ (lưu trữ $K^{\ell} \times K^{\ell}$ $K \times K$ $K^{\ell-1}\times K^{\ell-1}$ $K \times K$ $O(K^{2\ell})$ $O(1)$ khác nhau ma trận). Giả sử việc sử dụng không gian cho nhân ma trận là , việc sử dụng không gian của thuật toán đệ quy này là , mà cho $K^{\ell} \times K^{\ell}$ $K^{\ell-1}\times K^{\ell-1}$ $S(\ell-1)$ $S(\ell) \leq S(\ell-1) + O(K^{2\ell})$ $S(1) = 2K^2$ phá được đến . $S(\ell) \leq O(K^{2\ell})$

— Ryan Williams
nguồn

Đối với bất kỳ thuật toán kiểu Strassen nào, điều này có vẻ đúng với tôi. Nhưng Coppersmith-Winograd cũng đã chứng minh rằng để đi xuống

thực sự đòi hỏi một chuỗi vô hạn các thuật toán theo kiểu Strassen, mỗi thuật toán càng ngày càng gần với số mũ thực sự. Thật vậy, cả thuật toán kiểu CW và thuật toán kiểu CU đều cung cấp các chuỗi như vậy (mặc dù không tiếp cận

, theo như chúng ta biết). Trong rationals, nó có thể là hằng số được sử dụng trong một chuỗi như vậy sẽ phát triển rất nhanh chóng, do đó "the"

thuật toán có thể sẽ sử dụng

không gian.

n^{ω}

$n^\omega$

ω

$\omega$

n^{ω}

$n^\omega$

ω (n^{2})

$\omega(n^2)$

— Joshua Grochow

... Nhưng bằng cách lập luận của bạn, người ta có thể luôn luôn nhận được một thuật toán trong thời gian

và không gian

đối với bất kỳ

O (n^{ω + δ})

$O(n^{\omega + \delta})$

O (n^{2})

$O(n^2)$

δ > 0

$\delta > 0$

— Joshua Grochow

@Joshua, yêu cầu bộ nhớ của các thuật toán loại Strassen này giống như

, trong đó i là số chỉ mục của thuật toán và f có thể tính toán được. Vì vậy, nếu bạn tìm kiếm trên các thuật toán này từ

và k là hàm tăng trưởng chậm của n, khi đó công việc trở thành

và bộ nhớ là

f (i) * n^{2}

$f(i) * n^2$

i = 0, . . ., k

$i = 0, ..., k$

n^{ω + o (1)}

$n^{\omega+o(1)}$

n^{2 + o (1)}

$n^{2+o(1)}$

— David Harris

@DavidHarris: Chà, chắc chắn, miễn là

phát triển đủ chậm so với

, cụ thể là,

phải tăng nhanh nhất là

. Câu hỏi là, đối với bất kỳ gia đình nào,

là gì và

phát triển nhanh như thế nào . Nhưng không có gì đảm bảo rằng

sẽ tăng trưởng đủ chậm để có được tổng thể sử dụng bộ nhớ

...

k

$k$

f

$f$

k

$k$

f^{- 1}

$f^{-1}$

f

$f$

k

$k$

k

$k$

n^{2 + o (1)}

$n^{2+o(1)}$

— Joshua Grochow

@Juaua. Ý tưởng là trên các đầu vào có độ dài

, chúng tôi tìm kiếm trên các thuật toán loại Strassen

giả định đầu tiên , xác minh xem chúng có hợp lệ không và chọn một thuật toán nhanh nhất. Chỉ cần chọn

là hàm của

sao cho

. Kể từ khi

, điều này có nghĩa là bất kỳ thuật toán Strassen-type sẽ được lựa chọn

đủ lớn. Vì vậy, thời gian đi đến

n

$n$

k

$k$

k

$k$

n

$n$

f (k (n)) = n^{o (1)}

$f(k(n)) = n^{o(1)}$

k (n) \to \infty

$k(n) \rightarrow \infty$

n

$n$

là tốt.

n^{ω + o (1)}

$n^{\omega+o(1)}$

— David Harris

Tổng quát hơn, nhân ma trận nhanh có thể được thực hiện trên bộ xử lý trong bộ nhớ trên mỗi bộ xử lý. Tuy nhiên, giao tiếp giữa các bộ xử lý sau đó là tối ưu. Giao tiếp tối ưu có thể đạt được bằng cách sử dụng nhiều bộ nhớ hơn. Theo tôi biết, không biết liệu có thể đạt được giao tiếp tối ưu và bộ nhớ tối ưu hay không. Chi tiết có trong http://dx.doi.org/10.1007/PL00008264 $p$ $O(n^2/p)$

— Alexander Tiskin
nguồn