Xung đột ngân hàng là gì? (Lập trình Cuda / OpenCL)

Tôi đã đọc hướng dẫn lập trình cho CUDA và OpenCL, và tôi không thể tìm ra xung đột ngân hàng là gì. Họ chỉ đi sâu vào cách giải quyết vấn đề mà không cần giải thích chi tiết về chủ đề. Ai có thể giúp tôi hiểu nó? Tôi không có ưu tiên nếu trợ giúp trong bối cảnh CUDA / OpenCL hoặc chỉ là xung đột ngân hàng nói chung trong khoa học máy tính.

Đối với nvidia (và amd cho vấn đề đó) gpus bộ nhớ cục bộ được chia thành các ngân hàng bộ nhớ. Mỗi ngân hàng chỉ có thể giải quyết một tập dữ liệu tại một thời điểm, vì vậy nếu một nửa chập cố gắng tải / lưu trữ dữ liệu từ / đến cùng một ngân hàng thì quyền truy cập phải được tuần tự hóa (đây là xung đột ngân hàng). Đối với gt200 gpus, có 16 ngân hàng (32 ngân hàng cho fermi), 16 hoặc 32 ngân hàng cho AMD gpus (57xx trở lên: 32, mọi thứ bên dưới: 16)), được xen kẽ với độ chi tiết là 32 bit (vì vậy byte 0-3 nằm trong ngân hàng 1, 4-7 trong ngân hàng 2, ..., 64-69 trong ngân hàng 1, v.v.). Để có hình dung tốt hơn, về cơ bản nó trông như thế này:

Bank    |      1      |      2      |      3      |...
Address |  0  1  2  3 |  4  5  6  7 |  8  9 10 11 |...
Address | 64 65 66 67 | 68 69 70 71 | 72 73 74 75 |...
...

Vì vậy, nếu mỗi luồng trong halfwarp truy cập các giá trị 32bit liên tiếp thì không có xung đột ngân hàng. Một ngoại lệ từ quy tắc này (mọi luồng phải truy cập vào ngân hàng riêng của nó) là các chương trình phát sóng: Nếu tất cả các luồng truy cập cùng một địa chỉ, giá trị chỉ được đọc một lần và được phát sóng cho tất cả các luồng (đối với GT200, nó phải là tất cả các luồng trong halfwarp truy cập cùng một địa chỉ, iirc fermi và AMD gpus có thể thực hiện việc này đối với bất kỳ số luồng nào truy cập cùng một giá trị).

Bộ nhớ dùng chung có thể được truy cập song song được chia thành các mô-đun (còn gọi là ngân hàng). Nếu hai vị trí bộ nhớ (địa chỉ) xảy ra trong cùng một ngân hàng, thì bạn sẽ gặp xung đột về ngân hàng trong đó việc truy cập được thực hiện nối tiếp, làm mất đi lợi thế của truy cập song song.

Nói một cách đơn giản, xung đột ngân hàng là trường hợp khi bất kỳ mẫu truy cập bộ nhớ nào không phân phối IO qua các ngân hàng có sẵn trong hệ thống bộ nhớ. Các ví dụ sau đây làm rõ khái niệm: -

Giả sử chúng ta có mảng số nguyên 512x512 hai chiều và hệ thống DRAM hoặc bộ nhớ của chúng ta có 512 ngân hàng trong đó. Theo mặc định, dữ liệu mảng sẽ được bố trí theo cách arr [0] [0] chuyển đến ngân hàng 0, arr [0] [1] chuyển đến ngân hàng 1, arr [0] [2] đến ngân hàng 2…. arr [0] [511] chuyển đến ngân hàng 511. Để tổng quát hóa arr [x] [y] chiếm ngân hàng số y. Bây giờ một số mã (như được hiển thị bên dưới) bắt đầu truy cập dữ liệu theo kiểu cột chính tức là. thay đổi x trong khi giữ y không đổi, thì kết quả cuối cùng sẽ là tất cả các truy cập bộ nhớ liên tiếp sẽ đạt cùng một ngân hàng - do đó xung đột ngân hàng.

int arr[512][512];
  for ( j = 0; j < 512; j++ ) // outer loop
    for ( i = 0; i < 512; i++ ) // inner loop
       arr[i][j] = 2 * arr[i][j]; // column major processing

Những vấn đề như vậy, thông thường, được trình biên dịch tránh bằng cách đệm mảng hoặc sử dụng số nguyên tố của các phần tử trong mảng.

(Xung đột ngân hàng CUDA) Tôi hy vọng điều này sẽ giúp ích .. đây là lời giải thích rất tốt ...

http://www.youtube.com/watch?v=CZgM3DEBplE

http://en.wikipedia.org/wiki/Memory_bank
và http://mprc.pku.cn/mentors/training/ISCAreading/1989/p380-weiss/p380-weiss.pdf

từ trang này, bạn có thể tìm thấy chi tiết về ngân hàng bộ nhớ. nhưng nó hơi khác so với những gì được nói bởi @Grizzly. trong trang này, ngân hàng như thế này

ngân hàng 1 2 3

địa chỉ | 0, 3, 6 ... | | 1, 4, 7 ... | | 2, 5,8 ... |

hy vọng điều này sẽ giúp