Quy tắc ngón tay cái để lưu trữ ma trận thưa thớt và dày đặc

Giả sử tôi biết độ thưa thớt dự kiến ​​của một ma trận (tức là số lượng không số không / tổng số không có số không). Có một quy tắc ngón tay cái (có lẽ gần đúng) để quyết định có nên sử dụng lưu trữ ma trận thưa thớt (cụ thể là lưu trữ hàng nén) so với lưu trữ dưới dạng ma trận dày đặc không?

1. Tốc độ là quan trọng trong ứng dụng của tôi hơn bộ nhớ. Nhưng vì tò mò chung, tôi quan tâm đến câu trả lời từ cả góc độ tốc độ và trí nhớ.
2. Sau khi tạo ma trận, tôi chỉ áp dụng các phép toán cộng và nhân trên nó.
3. Tôi chỉ có thể tìm thấy câu trả lời định tính, ví dụ câu hỏi này và câu hỏi này nhưng tôi đang tìm kiếm một cái gì đó như

... Nếu độ thưa là hơn , thì hãy sử dụng bộ nhớ dày đặc.$x\%$

Tất cả các hoạt động ma trận được giới hạn bộ nhớ (và không tính toán ràng buộc) trên các bộ xử lý ngày nay. Vì vậy, về cơ bản, bạn phải hỏi định dạng nào lưu trữ ít byte hơn. Điều này rất dễ tính toán:

• Đối với một ma trận đầy đủ, bạn lưu trữ 8 byte (một đôi) cho mỗi mục nhập
• Đối với một ma trận thưa thớt, bạn lưu trữ 12 byte cho mỗi mục nhập (một nhân đôi cho giá trị và một số nguyên cho chỉ mục cột của mục nhập).

Nói cách khác, nếu độ thưa của bạn dưới 67% - nghĩa là, đối với gần như bất kỳ ma trận nào, bất kỳ người hợp lý nào cũng sẽ gọi là thưa thớt -, định dạng ma trận thưa thớt sẽ không chỉ mang lại hiệu quả sử dụng bộ nhớ tốt hơn mà còn tính toán thời gian tốt hơn.

Với giá trị của nó, đối với các ma trận thưa thớt ngẫu nhiên có kích thước 10.000 đến 10.000 so với các ma trận dày đặc có cùng kích thước, trên máy trạm Xeon của tôi sử dụng MATLAB và Intel MKL làm BLAS, phép nhân vectơ ma trận thưa thớt nhanh hơn với mật độ 15% hoặc ít hơn. Ở mức 67% (như được đề xuất bởi một câu trả lời khác ), phép nhân vectơ ma trận dày đặc nhanh hơn khoảng ba lần.

Ngay cả khi một ma trận rất thưa thớt, sản phẩm ma trận của nó có thể dày đặc. Lấy ví dụ một ma trận đường chéo và điền vào hàng và cột đầu tiên của nó bằng các mục khác không; sản phẩm của nó với chính nó sẽ hoàn toàn dày đặc. Một ma trận như vậy có thể phát sinh, đối với xét nghiệm, như đồ thị Laplacian của đồ thị trong đó có một đỉnh được kết nối với tất cả các đỉnh khác. Trong thực tế, nó đủ nếu có một vài đỉnh có khả năng kết nối khá cao với phần còn lại của mạng. Đối với phép nhân vectơ ma trận, hiện tượng này ít liên quan hơn mặc dù nó có thể dẫn đến mất cân bằng khi cố gắng song song hóa phép nhân vectơ ma trận.

Những gì tôi muốn làm nổi bật: Nó thực sự phụ thuộc vào mô hình thưa thớt và vào những gì bạn muốn làm với ma trận. Vì vậy, định nghĩa tốt nhất về một ma trận thưa thớt mà tôi có thể đưa ra (điều này khá vô dụng cùng một lúc) như sau:

Một ma trận rất thưa thớt nếu thuận lợi chỉ lưu trữ các giá trị khác không và vị trí của chúng và đầu tư thêm chi phí phát sinh từ việc quản lý cấu trúc dữ liệu phát sinh.

Bài học để học: Nó thực sự phụ thuộc vào những gì bạn muốn làm với nó , thuật toán bạn sử dụng và (như những người khác đã chỉ ra) phần cứng và phần mềm nào bạn sử dụng cho dù ma trận đã cho có thưa thớt hay không (đọc là: cho dù bạn nên sử dụng cấu trúc dữ liệu ma trận thưa thớt hay dày đặc). Không thể có một quy tắc hoàn toàn dựa trên tỷ lệ phần trăm nếu nó không chỉ là về việc lưu trữ dữ liệu hoặc phép nhân vectơ ma trận. Cách tốt nhất để tìm hiểu xem ma trận của bạn có thưa thớt hay không chỉ là thử và so sánh với các phương pháp ma trận dày đặc.