Làm cách nào (một cách có hệ thống) điều chỉnh tốc độ học tập có Gradient Descent làm Trình tối ưu hóa?

Một người ngoài đối với trường ML / DL; bắt đầu khóa học Deepacity của Udacity dựa trên Tensorflow; làm bài tập 3 bài 4; cố gắng điều chỉnh tốc độ học tập với cấu hình sau:

• Kích thước hàng loạt 128
• Số bước: đủ để lấp đầy 2 epoch
• Kích thước của các lớp ẩn: 1024, 305, 75
• Trọng lượng khởi tạo: cắt ngắn bình thường với tiêu chuẩn. độ lệch của sqrt (2 / n) trong đó n là kích thước của lớp trước
• Bỏ học xác suất: 0,75
• Chính quy: không áp dụng
• Thuật toán tỷ lệ học tập: phân rã theo cấp số nhân

chơi xung quanh với các thông số tỷ lệ học tập; chúng dường như không có hiệu lực trong hầu hết các trường hợp; mã ở đây ; các kết quả:

Accuracy    learning_rate   decay_steps     decay_rate      staircase
93.7        .1              3000            .96             True
94.0        .3              3000            .86             False
94.0        .3              3000            .96             False
94.0        .3              3000            .96             True
94.0        .5              3000            .96             True

• Làm thế nào tôi nên điều chỉnh tỷ lệ học tập một cách có hệ thống?
• Làm thế nào là tỷ lệ học tập liên quan đến số lượng các bước?

Sử dụng một trình tối ưu hóa giảm dần. Đây là một tổng quan rất tốt.

Về mã, hãy xem hướng dẫn này . Đây và đây là một số ví dụ.

Cá nhân, tôi đề nghị sử dụng ADAM hoặc RMSprop. Vẫn còn một số siêu đường kính để thiết lập, nhưng có một số "tiêu chuẩn" hoạt động 99% thời gian. Đối với ADAM, bạn có thể xem bài báo của nó và cho RMSprop tại các slide này .

BIÊN TẬP

Ok, bạn đã sử dụng một trình tối ưu hóa gradient. Sau đó, bạn có thể thực hiện một số tối ưu hóa siêu đường kính để chọn tỷ lệ học tập tốt nhất. Gần đây, một cách tiếp cận tự động đã được đề xuất . Ngoài ra, có rất nhiều công việc đầy hứa hẹn của Frank Hutter liên quan đến việc điều chỉnh siêu đường kính tự động.

Nói chung, hãy xem Thử thách AutoML , nơi bạn cũng có thể tìm thấy mã nguồn của các đội. Trong thử thách này, mục tiêu là tự động hóa học máy, bao gồm cả điều chỉnh siêu đường kính.

Cuối cùng, bài viết này của LeCun và hướng dẫn rất gần đây của DeepMin (xem Chương 8) đưa ra một số hiểu biết có thể hữu ích cho câu hỏi của bạn.

Dù sao, hãy nhớ rằng (đặc biệt là đối với các vấn đề dễ), điều bình thường là tốc độ học tập không ảnh hưởng nhiều đến việc học khi sử dụng trình tối ưu hóa giảm dần. Thông thường, các tối ưu hóa này rất đáng tin cậy và làm việc với các thông số khác nhau.

Bạn có thể tự động điều chỉnh siêu tham số trong rất nhiều thuật toán học máy, hoặc chỉ là siêu âm cho trình tối ưu hóa Gradient Descent tức là tốc độ học.

Một thư viện đã được phổ biến để làm điều này là spearmint.

https://github.com/JasperSnoek/spearmint

Một bộ điều chỉnh tốc độ học tập tự động rất gần đây được đưa ra trong Thích ứng tỷ lệ học tập trực tuyến với gốc siêu cấp

Phương pháp này rất đơn giản để thực hiện, kết quả cốt lõi cho SGD được đưa ra là:

$\alpha_{t} = \alpha_{t-1} + \beta \nabla f(\theta_{t-1})^T\nabla f(\theta_{t-2})$

$\beta$$\textit{e.g.}$$\nabla f(\theta_{t-2})$$\alpha$

$\beta$$\alpha_0$

Để điều chỉnh siêu âm (cho dù đó là tốc độ học tập, tốc độ phân rã, chính quy hay bất cứ thứ gì khác), bạn cần thiết lập một bộ dữ liệu được tổ chức; bộ dữ liệu này tách rời khỏi tập dữ liệu đào tạo của bạn. Sau khi điều chỉnh một số mô hình với các cấu hình khác nhau (trong đó một cấu hình = một lựa chọn cụ thể của từng siêu tham số), bạn chọn cấu hình bằng cách chọn mô hình tối đa hóa độ chính xác giữ.