Tăng tốc siêu tuyến có nghĩa là gì? Có thể có tốc độ siêu tốc trong thực tế?

Trong điện toán song song, tôi biết phương trình tăng tốc là

Nhưng những gì có nghĩa là siêu tốc tăng tốc? Nó có phải là một cái gì đó lý thuyết? Bạn có thể giải thích nó với các phương trình?

Với phương trình: không thực sự.

Tăng tốc siêu tuyến xuất phát từ việc vượt quá tốc độ tính toán ngây thơ ngay cả sau khi đã tính đến quá trình giao tiếp (đang mờ dần, nhưng đây vẫn là nút cổ chai).

Ví dụ: bạn có thuật toán nối tiếp $1t$để thực thi. Bạn có$1024$ lõi, vì vậy tăng tốc ngây thơ là $1024x$hoặc nó cần $t/1024$, nhưng nó nên được tính như trong phương trình của bạn có tính đến chuyển bộ nhớ tài khoản, sửa đổi một chút cho thuật toán, thời gian song song.

Vì vậy, speedup nên thấp hơn 1024x, nhưng đôi khi điều đó xảy ra là speedup lớn hơn, sau đó chúng ta gọi nó là $superlinear$.

Nó đến từ đâu?
Từ một số vị trí: sử dụng bộ đệm (phù hợp với các thanh ghi, bộ nhớ chính hoặc lưu trữ dung lượng lớn, nơi thường có nhiều đơn vị xử lý hơn cung cấp nhiều thanh ghi hơn cho mỗi bảng con), các mẫu nhấn bộ nhớ, thuật toán đơn giản hơn (hoặc hơi khác một chút), các lỗi trong nối tiếp mã.
Ví dụ: một quy trình ngẫu nhiên tìm kiếm không gian cho kết quả hiện được chia thành$1024$người tìm kiếm bao phủ nhiều không gian hơn cùng một lúc để tìm ra giải pháp nhanh hơn có thể xảy ra hơn. Có các sản phẩm phụ (nếu bạn trao đổi các yếu tố như trong sắp xếp bong bóng và chuyển sang GPU, nó sẽ hoán đổi tất cả các cặp cùng một lúc, trong khi nối tiếp chỉ đến điểm).

Trên giao tiếp hệ thống phân tán thậm chí còn tốn kém hơn, vì vậy các chương trình được thay đổi để sử dụng bộ nhớ cục bộ (cũng thay đổi quyền truy cập bộ nhớ, phân chia vấn đề khác với ứng dụng tuần tự).

Và điều quan trọng nhất, chương trình tuần tự không lý tưởng giống như phiên bản song song - công nghệ, môi trường, thuật toán khác nhau, v.v. nên rất khó để so sánh chúng.

Trích từ "Giới thiệu về tính toán song song" Ấn bản thứ hai của Ananth Grama, 2003

Về mặt lý thuyết tốc độ không bao giờ có thể vượt quá số lượng các yếu tố xử lý $p$.
Nếu thuật toán tuần tự tốt nhất mất$T_s$ đơn vị thời gian để giải quyết một vấn đề nhất định trên một phần tử xử lý, sau đó tăng tốc $p$ có thể được lấy trên $p$ xử lý các yếu tố nếu không ai trong số họ dành nhiều thời gian hơn $T_s/p$.
Tăng tốc lớn hơn$p$ chỉ có thể nếu mỗi phần tử xử lý dành ít hơn thời gian $T_s/p$giải quyết vấn đề.
Trong trường hợp này, một yếu tố xử lý duy nhất có thể mô phỏng$p$ xử lý các yếu tố và giải quyết vấn đề ít hơn $T_s$đơn vị thời gian.
Đây là một mâu thuẫn vì tăng tốc, theo định nghĩa được tính toán liên quan đến thuật toán tuần tự tốt nhất .

Vì vậy, cái tên "siêu tuyến" trong bối cảnh này xuất phát từ định nghĩa về tăng tốc.

Giải thích cư sĩ của tôi có thể giúp với trí tưởng tượng về cách nó hoạt động.

Một số loại thuật toán dẫn đến tăng tốc siêu tuyến nếu kiến ​​trúc kết nối HPC cho phép có các tham chiếu giữa các trạng thái bên trong của lõi. Lý do là thông tin (và nhiệt động) lý thuyết và có thể được giải thích đơn giản với mô tả sau đây.

Lấy hai hệ thống chứa 3 bit trạng thái có thể có trong mỗi:

011 và 101

Số trạng thái tối đa có thể có của hệ thống này là 2 * 2 ^ 3 = 16.

Bây giờ, hãy kết hợp hai bản hòa âm này thành một bản tổng hợp, chỉ cần có 6 bit không gian trạng thái có thể:

011101

Số trạng thái tối đa có thể có của hệ thống này là 2 ^ 6 = 64. Hệ thống kết hợp có mức tăng entropy có sẵn là 64/16 = 4 lần.

Thành phần của các nhóm có nhiều trạng thái nội bộ lớn hơn dẫn đến "tăng tốc" theo cấp số nhân, bởi vì các lõi có thể giả thuyết có nhiều tham chiếu lẫn nhau hơn.

Trong hóa học, năng lượng được giải phóng khi các hệ thống kết hợp (nghĩ phản ứng tổng hợp hạt nhân). Năng lượng đó chính xác đến từ khả năng giải quyết nhiều trạng thái hơn cho các hệ thống kết hợp.

Các nguồn mà tôi đã đọc đều mô tả các thuật toán song song trên các lõi bị cô lập, trong đó không có khả năng có các tham chiếu lẫn nhau giữa các bit trạng thái của các lõi khác nhau. Từ quan điểm tăng entropy của các trạng thái kết hợp, tôi có thể tưởng tượng làm thế nào có thể tăng tốc độ siêu tuyến.

Để biết chi tiết về lý thuyết thông tin, hãy xem "Nghịch lý pha trộn" trong bài viết Wikipedia https://en.wikipedia.org/wiki/Gibbs_paradox về bản chất nhiệt động chính xác của hành vi này.

Điều này có một số ý nghĩa triết học đối với giao tiếp giữa người và người và tầm quan trọng của các cuộc nói chuyện trực tiếp so với việc gõ văn bản và đọc sách.