Liệu batch_size trong Keras có ảnh hưởng gì đến chất lượng của kết quả không?

Tôi sắp huấn luyện một mạng LSTM lớn với 2-3 triệu bài viết và đang phải vật lộn với Lỗi bộ nhớ (Tôi sử dụng AWS EC2 g2x2large).

Tôi phát hiện ra rằng một giải pháp là giảm batch_size. Tuy nhiên, tôi không chắc chắn nếu tham số này chỉ liên quan đến các vấn đề hiệu quả bộ nhớ hoặc nếu nó sẽ ảnh hưởng đến kết quả của tôi. Trên thực tế, tôi cũng nhận thấy rằng việc batch_sizesử dụng trong các ví dụ thường là sức mạnh của hai, điều mà tôi cũng không hiểu.

Tôi không phiền nếu mạng của tôi mất nhiều thời gian hơn để đào tạo, nhưng tôi muốn biết nếu giảm batch_sizesẽ làm giảm chất lượng dự đoán của tôi.

Cảm ơn.

Sau một năm rưỡi, tôi trở lại câu trả lời của mình vì câu trả lời trước đó của tôi là sai.

Kích thước hàng loạt tác động học tập đáng kể. Điều gì xảy ra khi bạn đặt một lô qua mạng của bạn là bạn tính trung bình độ dốc. Khái niệm là nếu kích thước lô của bạn đủ lớn, điều này sẽ cung cấp ước tính đủ ổn định về độ dốc của bộ dữ liệu đầy đủ. Bằng cách lấy mẫu từ tập dữ liệu của bạn, bạn ước tính độ dốc trong khi giảm đáng kể chi phí tính toán. Bạn càng đi thấp, ước tính của bạn sẽ càng kém chính xác, tuy nhiên trong một số trường hợp, các gradient ồn ào này thực sự có thể giúp thoát khỏi cực tiểu địa phương. Khi quá thấp, trọng lượng mạng của bạn chỉ có thể nhảy xung quanh nếu dữ liệu của bạn bị nhiễu và nó có thể không thể học hoặc nó hội tụ rất chậm, do đó ảnh hưởng tiêu cực đến tổng thời gian tính toán.

Một ưu điểm khác của việc tạo khối là tính toán GPU, GPU rất giỏi trong việc song song hóa các tính toán xảy ra trong các mạng thần kinh nếu một phần của tính toán giống nhau (ví dụ, nhân ma trận lặp lại trên cùng một ma trận trọng số của mạng của bạn). Điều này có nghĩa là một kích thước lô 16 sẽ mất ít hơn hai lần số lượng của một lô là 8.

Trong trường hợp bạn cần kích thước lô lớn hơn nhưng nó không phù hợp với GPU của bạn, bạn có thể cung cấp một lô nhỏ, lưu ước tính độ dốc và cung cấp một hoặc nhiều lô, sau đó thực hiện cập nhật trọng lượng. Bằng cách này, bạn có được độ dốc ổn định hơn vì bạn đã tăng kích thước lô ảo của mình.

SAI, TRẢ LỜI TRẢ LỜI: [[[Không, trung bình batch_size chỉ ảnh hưởng đến tốc độ học tập của bạn chứ không ảnh hưởng đến chất lượng học tập. Lot_sizes cũng không cần phải là lũy thừa 2, mặc dù tôi hiểu rằng một số gói nhất định chỉ cho phép sức mạnh là 2. Bạn nên cố gắng lấy batch_size của mình ở mức cao nhất có thể mà vẫn phù hợp với bộ nhớ của GPU để đạt tốc độ tối đa có thể .]]]]

Tôi cảm thấy câu trả lời được chấp nhận có thể sai. Có các biến thể trong Thuật toán Giảm dần Gradient .

1. Vanilla Gradient Descent : Ở đây Gradient đang được tính trên tất cả các điểm dữ liệu trong một lần chụp và lấy trung bình. Do đó, chúng ta có một phiên bản mượt mà hơn của gradient mất nhiều thời gian hơn để tìm hiểu.

2. Giảm dần độ dốc ngẫu nhiên : Ở đây một điểm dữ liệu tại một thời điểm do đó độ dốc rất mạnh (độ dốc nhiễu) do đó sẽ có rất nhiều dao động (chúng tôi sử dụng các tham số Động lượng - ví dụ Nesterov để kiểm soát điều này). Vì vậy, có khả năng các dao động của bạn có thể làm cho thuật toán không đạt đến mức tối thiểu cục bộ. (Phân kỳ).

3. Mini-Batch Gradient Descent : Lấy các đặc quyền của cả hai phần trước trung bình độ dốc của một lô nhỏ. Do đó, không quá tích cực như SGD và cho phép Học trực tuyến mà Vanilla GD không bao giờ cho phép.

Mini-Batch càng nhỏ thì hiệu suất của mô hình của bạn (không phải lúc nào cũng tốt hơn) và tất nhiên nó phải làm với thời đại của bạn học quá nhanh. Nếu bạn đang đào tạo về tập dữ liệu lớn, bạn muốn hội tụ nhanh hơn với hiệu suất tốt do đó chúng tôi chọn Batch-GD.

SGD đã cố định tham số học tập do đó chúng tôi bắt đầu các Trình tối ưu hóa thích ứng khác như Adam, AdaDelta, RMS Prop, vv thay đổi tham số học tập dựa trên lịch sử của Gradents.

Thật kỳ lạ, tôi thấy rằng kích thước lô lớn hơn với máy ảnh đòi hỏi nhiều kỷ nguyên hơn để hội tụ.

Ví dụ: đầu ra của tập lệnh này dựa trên thử nghiệm tích hợp của máy ảnh là

epochs 15   , batch size 16   , layer type Dense: final loss 0.56, seconds 1.46
epochs 15   , batch size 160  , layer type Dense: final loss 1.27, seconds 0.30
epochs 150  , batch size 160  , layer type Dense: final loss 0.55, seconds 1.74

Liên quan

• Keras vấn đề 4708 : người dùng bật ra được sử dụng BatchNormalization, làm ảnh hưởng đến kết quả.
• Hướng dẫn này về LSTM, phần Điều chỉnh kích thước hàng loạt
• kết quả tìm kiếm cho hiệu ứng kích thước lô của máy ảnh lstm trên kết quả
• Mạng thần kinh của tôi không hoạt động! Tôi nên làm gì? , điểm 5 (Bạn đã sử dụng Kích thước hàng loạt quá lớn) thảo luận chính xác điều này

Sử dụng kích thước lô quá lớn có thể có tác động tiêu cực đến độ chính xác của mạng của bạn trong quá trình đào tạo vì nó làm giảm tính ngẫu nhiên của độ dốc giảm dần.

Chỉnh sửa: hầu hết các lần, tăng batch_sizelà mong muốn để tăng tốc độ tính toán, nhưng có những cách đơn giản khác để làm điều này, như sử dụng các kiểu dữ liệu của một dấu chân nhỏ hơn thông qua dtypetranh luận, cho dù trong keras hoặc tensorflow , ví dụ như float32thay vìfloat64