Câu hỏi được gắn thẻ «gradient-descent»

Tôi đang đọc tài liệu của PyTorch và tìm thấy một ví dụ nơi họ viết gradients = torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad) trong đó x là một biến ban đầu, từ đó y được xây dựng (một vectơ 3). Câu hỏi là, các đối số 0,1, 1,0 và 0,0001 …

112 neural-network  gradient  pytorch  torch  gradient-descent 

Phương thức zero_grad()cần được gọi trong quá trình đào tạo. Nhưng tài liệu không hữu ích lắm | zero_grad(self) | Sets gradients of all model parameters to zero. Tại sao chúng ta cần gọi phương thức này?

112 python  neural-network  deep-learning  pytorch  gradient-descent 

Tôi đang cố gắng xây dựng một mạng nơ-ron từ đầu. Trên tất cả các tài liệu về AI, có sự đồng thuận rằng trọng số nên được khởi tạo thành số ngẫu nhiên để mạng hội tụ nhanh hơn. Nhưng tại sao trọng số ban đầu của mạng nơ-ron …

105 machine-learning  neural-network  artificial-intelligence  mathematical-optimization  gradient-descent 

Tôi nhận thấy rằng một sự xuất hiện thường xuyên trong quá trình đào tạo đang NANđược giới thiệu. Thông thường, nó dường như được đưa vào bởi trọng lượng trong các lớp sản phẩm bên trong / được kết nối đầy đủ hoặc tích tụ thổi lên. Điều này …

85 machine-learning  neural-network  deep-learning  caffe  gradient-descent 

Tôi đang cố gắng để viết thuật toán tăng cường độ dốc của riêng tôi. Tôi hiểu có gói hiện như gbmvà xgboost,nhưng tôi muốn hiểu làm thế nào các thuật toán hoạt động bằng cách viết của riêng tôi. Tôi đang sử dụng bộ irisdữ liệu và kết quả …

10 r  machine-learning  gradient-descent  gbm  boosting