Câu hỏi được gắn thẻ «optimization»

Đây là một cái gì đó đã làm tôi khó chịu trong một thời gian và tôi không thể tìm thấy bất kỳ câu trả lời thỏa đáng nào trên mạng, vì vậy hãy vào đây: Sau khi xem xét một tập hợp các bài giảng về tối ưu hóa …

132 machine-learning  optimization  gradient-descent  hessian 

Giả sử chúng ta có một số tập huấn luyện cho . Cũng giả sử chúng tôi chạy một số loại thuật toán học có giám sát trên tập huấn luyện. Các giả thuyết được biểu diễn dưới dạng . Chúng ta cần tìm các tham số để thu nhỏ …

101 optimization  gradient-descent  sgd 

Nhiều sách và hướng dẫn về mạng nơ-ron dành nhiều thời gian cho thuật toán backpropagation, về cơ bản là một công cụ để tính toán độ dốc. Giả sử chúng ta đang xây dựng một mô hình với ~ 10K tham số / trọng lượng. Có thể chạy tối …

94 machine-learning  neural-networks  optimization  backpropagation 

Hàm kích hoạt tanh là: t một n h ( x ) = 2 ⋅ σ( 2 x ) - 1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Trong đó , hàm sigmoid, được định nghĩa là: .σ ( x ) = e xσ( …

82 machine-learning  neural-networks  optimization  cost-maximization 

Trong hầu hết các tác vụ học máy mà bạn có thể tạo ra một số xác suất cần được tối đa hóa, chúng tôi thực sự sẽ tối ưu hóa xác suất thay vì xác suất cho một số tham số . Ví dụ, trong đào tạo khả năng …

66 probability  optimization  log-likelihood 

Gradient giảm dần và nhiều phương thức khác hữu ích cho việc tìm cực tiểu cục bộ trong các hàm chi phí. Chúng có thể hiệu quả khi hàm chi phí có thể được đánh giá nhanh chóng tại mỗi điểm, cho dù bằng số hay phân tích. Tôi có …

59 gradient-descent  optimization  bayesian-optimization 

Tôi đã đọc rất nhiều về PCA, bao gồm các hướng dẫn và câu hỏi khác nhau (chẳng hạn như cái này , cái này , cái này và cái này ). Vấn đề hình học mà PCA đang cố gắng tối ưu hóa là rõ ràng đối với tôi: …

54 pca  optimization  linear-algebra  intuition 

Vì vậy, độ dốc gốc dốc hoạt động như sau: v=self.momentum∗m−lr∗gv=self.momentum∗m−lr∗gv=self.momentum*m-lr*g Trong đó là bản cập nhật trọng số trước đó và là độ dốc hiện tại đối với các tham số , là tốc độ học tập và là một hằng số.g p l r s e l f …

48 optimization  gradient-descent 

Trong một bài đăng trên blog gần đây của Rong Ge, người ta nói rằng: Người ta tin rằng đối với nhiều vấn đề bao gồm học lưới sâu, hầu hết tất cả các mức tối thiểu cục bộ đều có giá trị hàm rất giống với tối ưu toàn …

46 machine-learning  neural-networks  optimization  deep-learning 

Tôi quen thuộc với các thuật toán giảm độ dốc cơ bản để đào tạo mạng lưới thần kinh. Tôi đã đọc bài viết đề xuất Adam: ADAM: PHƯƠNG PHÁP TỐI ƯU HÓA HẤP DẪN . Mặc dù tôi chắc chắn đã có một số hiểu biết (ít nhất là), …

45 neural-networks  optimization  gradient-descent  adam 

Động lượng được sử dụng để làm giảm các dao động về thay đổi trọng lượng trong các lần lặp liên tiếp:αα\alpha nơiE(w)là hàm lỗi,w- vector của trọng lượng,η- Tỷ lệ học.Δ ωTôi( T + 1 ) = - η∂E∂wTôi+ Alpha delta wTôi( t ) ,ΔωTôi(t+1)= =-η∂E∂wTôi+αΔωTôi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial …

41 neural-networks  optimization  regularization  gradient-descent 

Tôi hiện đang trải qua Tìm kiếm ngẫu nhiên của Tối ưu hóa siêu dữ liệu của Bengio và Bergsta [1] trong đó các tác giả cho rằng tìm kiếm ngẫu nhiên hiệu quả hơn tìm kiếm dạng lưới trong việc đạt được hiệu suất xấp xỉ bằng nhau. Câu …

41 machine-learning  hyperparameter  optimization 

Rất nhiều lần lấy được MLE của GLMM rất khó và trong thực tế, tôi biết, chúng ta không nên sử dụng tối ưu hóa vũ lực (ví dụ, sử dụng optimmột cách đơn giản). Nhưng với mục đích giáo dục của riêng tôi, tôi muốn thử nó để đảm …

37 r  maximum-likelihood  optimization  lme4-nlme 

Ai đó có thể vui lòng cho tôi một số trực giác khi nào nên chọn SVM hoặc LR không? Tôi muốn hiểu trực giác đằng sau sự khác biệt giữa các tiêu chí tối ưu hóa việc học siêu phẳng của hai người, trong đó các mục tiêu tương …

37 regression  logistic  svm  optimization 

Câu hỏi này có thể quá mở để có câu trả lời dứt khoát, nhưng hy vọng là không. Các thuật toán học máy, chẳng hạn như SVM, GBM, Rừng ngẫu nhiên, v.v., thường có một số tham số miễn phí, ngoài một số quy tắc hướng dẫn ngón tay …

34 machine-learning  cross-validation  bootstrap  optimization  resampling