Tại sao cần phải giảm độ dốc?

Khi chúng ta có thể phân biệt hàm chi phí và tìm các tham số bằng cách giải các phương trình thu được thông qua sự khác biệt một phần đối với mọi tham số và tìm ra hàm chi phí ở mức tối thiểu. Ngoài ra tôi nghĩ có thể tìm thấy nhiều nơi có đạo hàm bằng 0, do đó chúng ta có thể kiểm tra tất cả các vị trí đó và có thể tìm thấy cực tiểu toàn cầu

Tại sao độ dốc giảm dần được thực hiện thay thế?

Ngay cả trong trường hợp, giả sử, các mô hình tuyến tính, nơi bạn có một giải pháp phân tích, vẫn có thể tốt nhất là sử dụng một bộ giải lặp như vậy.

Ví dụ, nếu chúng ta xem xét hồi quy tuyến tính, giải pháp rõ ràng yêu cầu đảo ngược một ma trận có độ phức tạp . Điều này trở nên cấm trong bối cảnh dữ liệu lớn.$O(N^3)$

Ngoài ra, rất nhiều vấn đề trong học máy là lồi, vì vậy sử dụng độ dốc đảm bảo rằng chúng ta sẽ đi đến cực đoan.

Như đã chỉ ra, vẫn còn các vấn đề không lồi có liên quan, như mạng thần kinh, trong đó các phương thức gradient (backpropagation) cung cấp một bộ giải hiệu quả. Một lần nữa điều này đặc biệt có liên quan cho trường hợp học sâu.

Gradient không cần thiết. Hóa ra độ dốc gốc thường là một thuật toán tối ưu hóa kém hiệu quả khủng khiếp! Đối với các phương pháp lặp, thường có thể tìm thấy một hướng tốt hơn để di chuyển hơn là nơi dốc nhất.

Đó là một chút của một câu trả lời lật mặc dù. Câu hỏi của bạn thực sự nên là, "tại sao chúng ta cần phương pháp lặp?" Ví dụ. tại sao không đi thẳng vào giải pháp nếu vấn đề là lồi, điều kiện của Slater và các điều kiện đặt hàng đầu tiên là điều kiện cần và đủ cho tối ưu? Đó là, khi giải pháp có thể được mô tả là giải pháp cho một hệ phương trình, tại sao không đơn giản là giải hệ? Câu trả lời là:

• Đối với bài toán tối ưu bậc hai, điều kiện bậc nhất là một hệ phương trình tuyến tính và chúng ta có thể đi gần như trực tiếp đến lời giải vì các hệ tuyến tính có thể được giải một cách hiệu quả! Chúng ta sử dụng các điều kiện đặt hàng đầu tiên và giải quyết hệ thống (ví dụ. Với QR phân hủy, báo trước dưới đây).
• Tuy nhiên, nhìn chung, các điều kiện bậc nhất xác định một hệ phương trình phi tuyến tính và hệ phi tuyến tính có thể khá khó giải! Trên thực tế, cách bạn thường giải một hệ phương trình phi tuyến tính bằng số là bạn định dạng lại nó như một bài toán tối ưu hóa ...
• Đối với các hệ thống tuyến tính cực lớn , việc giải quyết hệ thống trực tiếp bằng phân tách QR và xoay vòng một phần trở nên không khả thi. Mọi người làm gì?! Phương pháp lặp! (ví dụ: các phương thức không gian con Krylov lặp ...)

Trong phép tính 101, chúng ta đã học về cách tối ưu hóa hàm bằng "phương pháp phân tích": chúng ta chỉ cần lấy đạo hàm của hàm chi phí và đặt đạo hàm thành 0 sau đó giải phương trình. Đây thực sự là một vấn đề đồ chơi và gần như sẽ không bao giờ xảy ra trong thế giới thực.

$x^7+x^3-5^2+e^x+log(x+x^2)+1/x=0$$x=1.4786$, nhưng không biết giải pháp phân tích). Chúng ta phải sử dụng một số phương pháp số (kiểm tra tại sao ở đây về các trường hợp đa thức Abel Ruffin Định lý ).

$f(x)=x^2$$x=0$$x=1.1234\times10^{-20}$

$f(x_1,x_2)=x_1^2+x_2^2+|x_1+x_2|$$(1,1)$$4.0$$(x_1,x_2)$$x_1$ $x_2$$x$$y$$(1,1)$$(3,3)$$\alpha=0.001$$(-0.003,-0.003)$$1, 1$$(0.997, 0.997)$

Cách tiếp cận mà bạn đề cập chỉ có thể được sử dụng để giải một tập hợp các phương trình tuyến tính, ví dụ trong trường hợp hồi quy tuyến tính, nhưng nói để giải một tập các phương trình phi tuyến tính, trong trường hợp như mạng nơ ron có kích hoạt sigmoid, giảm độ dốc là cách tiếp cận để đi cho. Do đó, Gradient Descent là một cách tiếp cận chung hơn.

Ngay cả đối với các phương trình tuyến tính, kích thước của các ma trận được đưa ra bởi tập hợp các phương trình tuyến tính i rất lớn và có thể khó ràng buộc yêu cầu bộ nhớ.