Kích thước của các mạng thần kinh có thể được đào tạo trên các GPU cấp tiêu dùng hiện tại? (1060,1070,1080)

có thể đưa ra quy tắc ước tính ngón tay cái về kích thước của các mạng thần kinh có thể huấn luyện được trên các GPU cấp tiêu dùng thông thường không? Ví dụ:

Sự xuất hiện của giấy Locomotion (Củng cố) đào tạo một mạng bằng cách sử dụng kích hoạt tanh của các tế bào thần kinh. Họ có NN 3 lớp với 300.200.100 chiếc cho Planar Walker . Nhưng họ không báo cáo phần cứng và thời gian ...

Nhưng một quy tắc của ngón tay cái có thể được phát triển? Cũng chỉ dựa trên kết quả thực nghiệm hiện tại, ví dụ:

Các đơn vị X sử dụng kích hoạt sigmoid có thể chạy Y lặp lại mỗi giờ trên 1060.

Hoặc sử dụng chức năng kích hoạt a thay vì b làm giảm hiệu suất.

Nếu một sinh viên / nhà nghiên cứu / tâm trí tò mò sẽ mua GPU để chơi xung quanh với các mạng này, làm thế nào để bạn quyết định những gì bạn nhận được? 1060 rõ ràng là tùy chọn ngân sách cấp nhập cảnh, nhưng làm thế nào bạn có thể đánh giá nếu nó không thông minh hơn khi chỉ lấy một chiếc netbook xù xì thay vì xây dựng một máy tính để bàn công suất cao và chi tiêu tiết kiệm cho cơ sở hạ tầng đám mây theo yêu cầu.

Động lực cho câu hỏi: Tôi vừa mua 1060 và (thông minh, để đặt câu hỏi sau đó huh) tự hỏi liệu tôi có nên giữ $ và tạo tài khoản Google Cloud không. Và nếu tôi có thể chạy mô phỏng luận văn thạc sĩ trên GPU.

Thông thường vấn đề là để phù hợp với mô hình vào RAM video. Nếu không, bạn hoàn toàn không thể đào tạo mô hình của mình mà không cần nỗ lực lớn (như đào tạo các phần của mô hình một cách riêng biệt). Nếu có, thời gian là vấn đề duy nhất của bạn. Nhưng sự khác biệt về thời gian đào tạo giữa các GPU tiêu dùng như Nvidia 1080 và các bộ tăng tốc GPU đắt hơn nhiều như Nvidia K80 không lớn lắm. Trên thực tế, thẻ tiêu dùng tốt nhất nhanh hơn bộ tăng tốc GPU, nhưng thiếu các thuộc tính khác như VRAM. So sánh ngẫu nhiên và điểm chuẩn: http://timdettmers.com/2017/04/09/which-gpu-for-deep-learning/ , https://medium.com/@alexbaldo/a-comparison-b between-nvidias-gororce -gtx-1080-và-tesla-p100-for-deep-learning-81a918d5b2c7

Để tính toán xem các mô hình của bạn có phù hợp với VRAM hay không, bạn chỉ cần xấp xỉ bao nhiêu dữ liệu và siêu đường kính mà bạn có (đầu vào, đầu ra, trọng lượng, lớp, kích thước lô, kiểu dữ liệu, v.v.).

Như một lời cảnh báo, tôi đề nghị rằng trừ khi bạn đẩy mạnh các giới hạn công nghệ cơ bản, tốc độ tính toán và tài nguyên nên là thứ yếu để thiết kế cơ sở khi phát triển kiến ​​trúc mạng thần kinh.

Điều đó nói rằng, đầu năm nay tôi đã hoàn thành luận án MS liên quan đến các đường ống phân tích tin sinh học với toàn bộ dữ liệu giải trình tự bộ gen - dự án đó đã mất hơn 100.000 giờ tính toán để phát triển theo người quản lý công việc của chúng tôi. Khi bạn đến hạn chót, tài nguyên có thể là một hạn chế thực sự và tốc độ có thể rất quan trọng.

Vì vậy, để trả lời câu hỏi của bạn khi tôi hiểu chúng:

Tôi có nên sử dụng tiền để mua thời gian trên đám mây không?

Có lẽ. Vài trăm đô la bạn đã chi cho 1060 sẽ đưa bạn đi xa để đào tạo (các) mô hình của mình trên đám mây. Hơn nữa, theo như tôi có thể nói, bạn không yêu cầu GPU phải quay vòng 100% thời gian (bạn sẽ làm như vậy, nếu bạn nói, khai thác tiền điện tử). Cuối cùng, với các trường hợp đám mây bạn có thể mở rộng quy mô, đào tạo nhiều mô hình cùng một lúc, điều này có thể tăng tốc độ khám phá và xác thực bất kỳ kiến ​​trúc nào bạn giải quyết.

Có cách nào để đánh giá thời gian tính toán của mạng thần kinh trên một GPU nhất định không

Chà, Big O là một người ước tính, nhưng có vẻ như bạn muốn một phương pháp chính xác hơn. Tôi chắc chắn chúng tồn tại, nhưng tôi phản bác rằng bạn có thể thực hiện ước tính của mình bằng cách đơn giản trở lại các phép tính đường bao chiếm các luồng, bộ nhớ, lặp mã, v.v. Bạn có thực sự muốn tìm hiểu về đường ống xử lý GPU trên 1060? Bạn có thể có thể đưa ra một ước tính rất tốt bằng cách hiểu mọi thứ xảy ra giữa mã của bạn và kim loại, nhưng cuối cùng có lẽ nó không xứng đáng với thời gian và công sức; nó có thể sẽ xác nhận rằng ký hiệu Big O (mô hình đơn giản, nếu bạn muốn) nắm bắt hầu hết các biến thể trong thời gian tính toán. Một điều bạn có thể làm nếu bạn nhận thấy tắc nghẽn là hồ sơ hiệu suất.

Nó phụ thuộc vào những gì bạn cần. Bạn có thể đào tạo bất kỳ kích thước của mạng trên bất kỳ tài nguyên. Vấn đề là thời gian đào tạo. Nếu bạn muốn đào tạo Inception trên CPU trung bình, sẽ mất vài tháng để hội tụ. Vì vậy, tất cả phụ thuộc vào thời gian bạn có thể chờ đợi để xem kết quả của mình dựa trên mạng của bạn. Vì trong mạng lưới thần kinh, chúng tôi không chỉ có một thao tác mà nhiều thao tác (như ghép nối, gộp tối đa, đệm, v.v.), không thể đưa ra ước tính khi bạn đang tìm kiếm. Chỉ cần bắt đầu đào tạo một số mạng lưới khét tiếng và đo thời gian. Sau đó, bạn có thể nội suy mất bao lâu để đào tạo các mạng mà bạn đang tìm kiếm.