Sau giai đoạn đào tạo, tốt hơn là chạy các mạng thần kinh trên GPU hoặc CPU?

Hiểu biết của tôi là GPU hiệu quả hơn để chạy mạng lưới thần kinh, nhưng gần đây có người đề nghị với tôi rằng GPU chỉ cần thiết cho giai đoạn đào tạo. Sau khi được đào tạo, việc chạy chúng trên CPU sẽ thực sự hiệu quả hơn.

Điều này có đúng không?

Điều này phụ thuộc vào nhiều yếu tố, chẳng hạn như kiến ​​trúc mạng thần kinh (CNN có xu hướng được tối ưu hóa tốt hơn RNN trên GPU) cũng như số lượng mẫu thử bạn đưa ra làm đầu vào cho mạng thần kinh (GPU có thể còn nhanh hơn khi được cung cấp một lô mẫu thay vì một mẫu duy nhất).

Ví dụ, đây là điểm chuẩn so sánh CPU với GPU trên các kiến ​​trúc dựa trên CNN khác nhau . Truyền qua chậm hơn nhiều trên CPU trong trường hợp đó:

FYI: Điểm chuẩn dựa trên các thư viện mạng thần kinh để so sánh hiệu suất giữa các GPU khác nhau