Câu hỏi được gắn thẻ «gradient-descent»

Gradient descent là một thuật toán tối ưu hóa lặp đầu tiên. Để tìm mức tối thiểu cục bộ của hàm bằng cách sử dụng độ dốc, người ta thực hiện các bước tỷ lệ với âm của độ dốc (hoặc độ dốc gần đúng) của hàm tại điểm hiện tại. Đối với độ dốc dốc ngẫu nhiên cũng có thẻ [sgd].

Xác định tốc độ học tối ưu cho độ dốc gốc trong hồi quy tuyến tính

Làm thế nào người ta có thể xác định tỷ lệ học tập tối ưu cho độ dốc gốc? Tôi nghĩ rằng tôi có thể tự động điều chỉnh nó nếu hàm chi phí trả về giá trị lớn hơn so với lần lặp trước (thuật toán sẽ không hội …

9 regression machine-learning gradient-descent

Gradient giảm hoặc không cho hồi quy tuyến tính đơn giản

Có một số trang web mô tả độ dốc gốc để tìm các tham số cho hồi quy tuyến tính đơn giản ( đây là một trong số chúng). Google cũng mô tả nó trong khóa học ML mới (công khai) của họ. Tuy nhiên, trên Wikipedia , các công …

9 regression scikit-learn gradient-descent

Gradient giảm dần trên các hàm không lồi

Những tình huống nào chúng ta biết về nơi độ dốc có thể được hiển thị để hội tụ (đến điểm tới hạn hoặc cực tiểu cục bộ / toàn cầu) cho các hàm không lồi? Đối với SGD về các chức năng không lồi, một loại bằng chứng đã …

9 gradient-descent gradient sgd non-convex

Định nghĩa độ phức tạp của cây trong xgboost

Nghiên cứu về thuật toán xgboost tôi đã xem qua tài liệu này . Trong cách tiếp cận này, cây được chuẩn hóa bằng định nghĩa độ phức tạp trong đó và là các tham số, là số lá cuối cùng và là điểm số trong mỗi lá.Ω(f)=γT+12λ∑j=1Tw2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = …

9 cart regularization boosting gradient-descent overfitting

Làm thế nào để gradient lan truyền trong một mạng thần kinh tái phát không được kiểm soát?

Tôi đang cố gắng hiểu làm thế nào rnn có thể được sử dụng để dự đoán trình tự bằng cách làm việc thông qua một ví dụ đơn giản. Đây là mạng đơn giản của tôi, bao gồm một đầu vào, một nơron ẩn và một đầu ra: Tế …

8 machine-learning neural-networks deep-learning gradient-descent

Độ dốc của khả năng đăng nhập Gaussian đa biến

Tôi đang cố gắng tìm ước tính MAP cho một mô hình theo độ dốc. Ưu tiên của tôi là Gaussian đa biến với ma trận hiệp phương sai đã biết. Ở mức độ khái niệm, tôi nghĩ rằng tôi biết làm thế nào để làm điều này, nhưng tôi …

8 normal-distribution covariance-matrix regularization gradient-descent ridge-regression

Lắp mô hình hỗn hợp gaussian bằng cách sử dụng gốc dốc ngẫu nhiên

Tôi đang làm việc trên một mô hình học tập thể loại trực tuyến sử dụng gốc dốc ngẫu nhiên để phù hợp với mô hình hỗn hợp gaussian. Mô hình này dựa trên mô hình học tập trực tuyến được sử dụng trong Toscano & McM bồ (2010). Mặc …

8 python online gaussian-mixture gradient-descent

Xử lý kích thước lô nhỏ trong đào tạo SGD

Tôi đang cố gắng đào tạo một mô hình lớn (mạng sâu sử dụng caffe) bằng cách sử dụng gốc dốc ngẫu nhiên (SGD). Vấn đề là tôi bị hạn chế bởi dung lượng bộ nhớ GPU của mình và do đó không thể xử lý các lô nhỏ lớn …

7 machine-learning neural-networks deep-learning gradient-descent sgd

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookie và Chính sách bảo mật của chúng tôi.

Licensed under cc by-sa 3.0 with attribution required.