Câu hỏi được gắn thẻ «convex»

Tôi đang làm việc về học máy lý thuyết - về học chuyển, cụ thể - cho bằng tiến sĩ của tôi. Vì tò mò, tại sao tôi nên tham gia một khóa học về tối ưu hóa lồi? Tôi có thể sử dụng phương pháp nào từ tối ưu …

27 machine-learning  optimization  convex  transfer-learning 

Với hàm chi phí lồi, sử dụng SGD để tối ưu hóa, chúng ta sẽ có một gradient (vectơ) tại một điểm nhất định trong quá trình tối ưu hóa. Câu hỏi của tôi là, với điểm trên lồi, liệu độ dốc chỉ trỏ theo hướng mà hàm tăng / …

25 neural-networks  optimization  gradient-descent  sgd  convex 

Có một chủ đề tương tự ở đây ( Hàm chi phí của mạng nơ ron không phải là lồi? ) Nhưng tôi không thể hiểu các điểm trong câu trả lời ở đó và lý do của tôi để hỏi lại hy vọng điều này sẽ làm rõ một …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

Tôi đọc tuyên bố này trong một kỳ thi đúng / sai cũ: Chúng ta có thể nhận được nhiều giải pháp tối ưu cục bộ nếu chúng ta giải quyết vấn đề hồi quy tuyến tính bằng cách giảm thiểu tổng các lỗi bình phương bằng cách sử dụng …

19 least-squares  gradient-descent  convex 

Hàm mục tiêu của Phân tích thành phần chính (PCA) là giảm thiểu lỗi tái cấu trúc trong định mức L2 (xem phần 2.12 ở đây . Một quan điểm khác đang cố gắng tối đa hóa phương sai trên phép chiếu. Chúng tôi cũng có một bài viết xuất …

12 machine-learning  pca  optimization  convex 

Tôi đã lập trình hồi quy logistic bằng thuật toán IRLS . Tôi muốn áp dụng hình phạt LASSO để tự động chọn các tính năng phù hợp. Ở mỗi lần lặp, điều sau đây được giải quyết: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Hãy λλ\lambda là một số thực không âm. Tôi không …

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

Giáo viên của tôi đã chứng minh rằng đạo hàm thứ hai của entropy chéo luôn luôn dương, do đó hàm chi phí của các mạng thần kinh sử dụng entropy chéo là lồi. Điều này có đúng không? Tôi khá bối rối về điều này bởi vì tôi luôn …

9 neural-networks  convex 

Sự xuất hiện của các photon tại một pixel trong cảm biến hình ảnh là một biến ngẫu nhiên phân tán Poisson sao cho đầu vào có thể được mô hình hóa thành Poisson rv .X~ P o i s s o n ( λ )X∼PoiSSon(λ)X\sim \mathrm{Poisson}(\lambda) Vì đầu vào …

8 variance  poisson-distribution  probability-inequalities  convex