Tôi đang cố gắng giải quyết một số vấn đề tối ưu hóa phi tuyến không giới hạn trên GPU (CUDA).
Hàm mục tiêu là một hàm phi tuyến trơn tru và độ dốc của nó tương đối rẻ để tính toán phân tích, vì vậy tôi không cần bận tâm đến xấp xỉ bằng số.
Tôi muốn giải quyết vấn đề này với các ops toán học chủ yếu là fp32 (vì nhiều lý do), vì vậy phương pháp tối ưu hóa phi tuyến nào mạnh hơn để chống lại các lỗi làm tròn trong khi có hiệu suất tốt? (ví dụ: gradient liên hợp / quasi newton / vùng tin cậy), có ai đã thử BFGS trên GPU với kết quả tốt chưa?
BTW, Hessian, nếu cần, tương đối nhỏ trong trường hợp của tôi (<64x64 điển hình), nhưng tôi cần giải quyết đồng thời hàng ngàn vấn đề tối ưu hóa quy mô nhỏ này.
4
Với quy mô nhỏ của các vấn đề của bạn, tôi không nghĩ rằng sự lựa chọn cụ thể của thuật toán (ví dụ: BFGS) sẽ là thách thức quan trọng nhất của bạn. Thay vào đó, nó sẽ giảm thiểu GPU <-> chi phí truyền thông CPU. Có lẽ cách tốt nhất để làm điều đó là giải quyết nhiều trường hợp vấn đề của bạn song song trên GPU. Tải tất cả chúng cùng một lúc, giải quyết tất cả chúng cùng một lúc, tải xuống tất cả các kết quả cùng một lúc. Tôi không có lời khuyên cụ thể về thuật toán, nhưng tôi sẽ nói rằng GPU tốt hơn với các vòng lặp so với các nhánh.
—
Michael Grant
@Michael C. Grant: Chà, chi phí liên lạc có thể bị ẩn bằng cách tính toán dễ dàng trong trường hợp của tôi, vì vậy nó không phải là nút cổ chai ở đó, tôi rất có xu hướng sử dụng BFGS bộ nhớ hạn chế hoặc BFGS tiêu chuẩn ở đây, nhưng không chắc có cách tiếp cận tốt hơn.
—
dùng0002128
Một số người đã triển khai LBFGS với CUDA .
—
BenC