Xác định tốc độ học tối ưu cho độ dốc gốc trong hồi quy tuyến tính

9

Làm thế nào người ta có thể xác định tỷ lệ học tập tối ưu cho độ dốc gốc? Tôi nghĩ rằng tôi có thể tự động điều chỉnh nó nếu hàm chi phí trả về giá trị lớn hơn so với lần lặp trước (thuật toán sẽ không hội tụ), nhưng tôi không thực sự chắc chắn nên lấy giá trị mới nào.

regression machine-learning gradient-descent

— Valentin Radu
nguồn

willamette.edu/~gorr/groupes/cs449/momrate.html Thử ủ với một hình thức thích ứng tỷ lệ cục bộ: Biệt (t) = Nhặt (0) / (1 + t / T); Tăng t khi dấu hiệu của lỗi thay đổi.

— Chris

2

(Nhiều năm sau) tra cứu phương pháp kích thước bước Barzilai-Borwein; onmyphd.com có một mô tả 3 trang đẹp. Tác giả nói

Cách tiếp cận này hoạt động tốt, ngay cả đối với các vấn đề kích thước lớn

nhưng thật kinh khủng cho ứng dụng của ông về chức năng Rosenbrock 2d. Nếu bất cứ ai sử dụng Barzilai-Borwein, xin vui lòng bình luận.

— từ chối
nguồn

1

Bạn đang đi đúng hướng. Một cách tiếp cận phổ biến là tăng gấp đôi kích thước bước bất cứ khi nào bạn thực hiện bước xuống dốc thành công và giảm một nửa kích thước bước khi bạn vô tình đi "quá xa". Tất nhiên, bạn có thể mở rộng theo một số yếu tố khác với 2, nhưng nói chung nó sẽ không tạo ra sự khác biệt lớn.

Các phương pháp tối ưu hóa phức tạp hơn có thể sẽ tăng tốc độ hội tụ khá nhiều, nhưng nếu bạn phải tự cập nhật vì một số lý do thì đơn giản ở trên rất đơn giản và thường đủ tốt.

— Đã vẽ
nguồn

Tôi đã suy nghĩ về nhân / chia cho hai là tốt. Tuy nhiên, tôi lo ngại rằng nhân hai lần mỗi khi một bước thành công xảy ra sẽ kết thúc với số lần lặp nhiều hơn. Tôi đã hy vọng rằng có một cách để làm điều đó bằng cách sử dụng gradient, vì nó cung cấp một số thông tin về độ dốc.

— Valentin Radu

Nó không có vẻ hợp lý với tôi, rằng bạn có thể nhận được thông tin như vậy từ gradient. Độ dốc một mình không cho bạn biết bạn cách tối ưu bao xa và điều quan trọng hơn - bản thân độ dốc thay đổi như thế nào khi thay đổi. Cho rằng bạn sẽ cần một Hessian.

x

$x$

— sjm.majewski

Nếu bạn đang xử lý một quá trình đứng yên cơ bản, tốc độ học tập tối đa bị chi phối bởi phổ của ma trận tương quan, phải không?

— ngôi sao sáng