Lợi thế của việc giữ kích thước lô có sức mạnh bằng 2 là gì?

Trong khi các mô hình đào tạo về học máy, tại sao đôi khi lại có lợi khi giữ kích thước lô ở mức 2? Tôi nghĩ rằng tốt nhất là sử dụng kích thước phù hợp nhất với bộ nhớ / RAM GPU của bạn.

Câu trả lời này tuyên bố rằng đối với một số gói, công suất 2 tốt hơn so với kích cỡ lô. Ai đó có thể cung cấp một lời giải thích chi tiết / liên kết đến một lời giải thích chi tiết cho điều này? Điều này có đúng với tất cả các thuật toán tối ưu hóa (độ dốc gốc, backpropagation, v.v.) hay chỉ một số trong số chúng?

Đây là vấn đề liên kết bộ xử lý ảo (VP) với bộ xử lý vật lý (PP) của GPU. Vì số lượng PP thường là lũy thừa bằng 2, sử dụng một số VP khác với công suất 2 dẫn đến hiệu suất kém.
Bạn có thể thấy ánh xạ của VP lên PP dưới dạng một lát có kích thước bằng số PP .
Giả sử bạn có 16 PP.
Bạn có thể ánh xạ 16 VP trên chúng: 1 VP được ánh xạ lên 1 PP.
Bạn có thể ánh xạ 32 VP trên chúng: 2 lát 16 VP, 1 PP sẽ chịu trách nhiệm cho 2 VP.
V.v. Trong quá trình thực thi, mỗi PP sẽ thực hiện công việc của VP thứ 1 mà anh ta chịu trách nhiệm, sau đó là công việc của VP thứ 2, v.v ...
Nếu bạn sử dụng 17 VP, mỗi PP sẽ thực hiện công việc của PP thứ 1, sau đó 1 PP sẽ thực hiện công việc của ngày 17 VÀnhững người khác sẽ không làm gì (trước đây).
Điều này là do mô hình SIMD (được gọi là vector trong thập niên 70) được sử dụng bởi GPU. Điều này thường được gọi là Song song dữ liệu: tất cả các PP làm cùng một việc cùng một lúc nhưng trên các dữ liệu khác nhau. Xem https://en.wikipedia.org/wiki/SIMD .
Chính xác hơn, trong ví dụ với 17 VP, một khi công việc của lát thứ 1 được thực hiện (bởi tất cả các PP làm công việc của VP thứ 1 của họ), tất cả các PP sẽ làm cùng một công việc (VP thứ 2), nhưng chỉ một người có một số dữ liệu để làm việc trên .
Không có gì để làm với việc học. Đây chỉ là công cụ lập trình.