Thống kê và dữ liệu lớn gradient-descent

5

Tại sao k-có nghĩa là cung cấp tối thiểu toàn cầu?

Tôi đọc rằng thuật toán k-mean chỉ hội tụ đến mức tối thiểu cục bộ và không đến mức tối thiểu toàn cầu. Tại sao lại thế này? Tôi có thể nghĩ một cách logic về việc khởi tạo có thể ảnh hưởng đến việc phân cụm cuối cùng như …

16 clustering k-means convergence gradient-descent minimum

2

Sự khác biệt giữa Ước tính khả năng tối đa & Giảm dần độ dốc là gì?

Các pro & nhược điểm của cả hai phương pháp là gì?

16 maximum-likelihood predictive-models optimization gradient-descent

3

Sự khác biệt giữa học trực tuyến và học tập theo đợt là gì?

Tôi hiện đang đọc bài báo Học trực tuyến và Batch hiệu quả bằng cách sử dụng Chia tách tiến lùi của John Duchi và Yoram Singer. Tôi rất bối rối về việc sử dụng các thuật ngữ 'Trực tuyến' và 'Batch'. Tôi nghĩ rằng 'Trực tuyến' có nghĩa là …

16 machine-learning online gradient-descent

1

Làm thế nào để giảm độ dốc ngẫu nhiên có thể tiết kiệm thời gian so với độ dốc gốc tiêu chuẩn?

Tiêu chuẩn Gradient Descent sẽ tính toán độ dốc cho toàn bộ tập dữ liệu đào tạo. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Đối với số lượng epoch được xác định trước, trước tiên, chúng tôi tính toán vectơ gradient …

15 machine-learning optimization gradient-descent computational-statistics sgd

1

Làm rõ về quy tắc Perceptron so với Gradient Descent so với Stochastic Gradient Descent

Tôi đã thử nghiệm một chút với các triển khai Perceptron khác nhau và muốn chắc chắn rằng tôi có hiểu đúng "các lần lặp" không. Quy tắc tri giác ban đầu của Rosenblatt Theo như tôi hiểu, trong thuật toán tri giác cổ điển của Rosenblatt, các trọng số …

15 optimization gradient-descent perceptron

1

Tổng hoặc trung bình của độ dốc trong (mini) lô gradient tốt?

Khi tôi triển khai gradient lô nhỏ, tôi chỉ tính trung bình độ dốc của tất cả các ví dụ trong lô đào tạo. Tuy nhiên, tôi nhận thấy rằng bây giờ tỷ lệ học tối ưu cao hơn nhiều so với độ dốc trực tuyến. Trực giác của tôi …

15 neural-networks gradient-descent backpropagation

1

Làm cách nào để CNN tránh được sự cố biến mất

Tôi đã đọc rất nhiều về các mạng thần kinh liên hợp và đang tự hỏi làm thế nào chúng tránh được vấn đề độ dốc biến mất. Tôi biết các mạng niềm tin sâu xếp chồng các bộ mã hóa tự động cấp đơn hoặc các mạng nông được …

15 machine-learning optimization deep-learning gradient-descent

1

Tại sao chúng ta không sử dụng tỷ lệ học tập không liên tục cho độ dốc tốt cho những thứ khác ngoài mạng lưới thần kinh?

Văn học học sâu có đầy đủ các thủ thuật thông minh với việc sử dụng tỷ lệ học tập không liên tục theo độ dốc. Những thứ như phân rã theo cấp số nhân, RMSprop, Adagrad, v.v ... rất dễ thực hiện và có sẵn trong mọi gói học …

14 machine-learning deep-learning optimization gradient-descent

4

Làm thế nào nó có thể bị mắc kẹt trong một điểm yên ngựa?

Tôi hiện đang hơi bối rối bởi làm thế nào để giảm độ dốc của lô nhỏ có thể bị mắc kẹt trong một điểm yên ngựa. Giải pháp có thể quá tầm thường mà tôi không nhận được. Bạn nhận được một mẫu mới mỗi epoch và nó tính …

14 gradient-descent sgd

1

Hàm chi phí cho kẻ cướp theo ngữ cảnh

Tôi đang sử dụng wow vowpal để giải quyết vấn đề tên cướp theo ngữ cảnh . Tôi đang hiển thị quảng cáo cho người dùng và tôi có một chút thông tin về bối cảnh quảng cáo được hiển thị (ví dụ: người dùng là ai, họ đang ở …

14 multinomial gradient-descent multiarmed-bandit vowpal-wabbit contextual-bandit

2

Hàm giảm dần so với hàm lm () trong R?

Tôi đang xem qua các video trong khóa học máy trực tuyến miễn phí của Andrew Ng tại Stanford. Ông thảo luận về Gradient Descent như một thuật toán để giải quyết hồi quy tuyến tính và viết các hàm trong Octave để thực hiện nó. Có lẽ tôi có …

13 r regression machine-learning gradient-descent

1

Tại sao thuật toán giảm dần Newton Yên-miễn phí Newton được sử dụng trong thực tế?

Gần đây tôi đã đọc một bài báo của Yann Dauphin et al. Xác định và tấn công vấn đề điểm yên trong tối ưu hóa không lồi chiều cao , trong đó họ giới thiệu một thuật toán gốc thú vị có tên là Yên không có Newton , …

13 optimization deep-learning gradient-descent

1

Chọn kích thước xe buýt nhỏ phù hợp cho độ dốc dốc ngẫu nhiên (SGD)

Có tài liệu nào kiểm tra sự lựa chọn kích thước xe buýt nhỏ khi thực hiện giảm độ dốc ngẫu nhiên không? Theo kinh nghiệm của tôi, nó dường như là một lựa chọn theo kinh nghiệm, thường được tìm thấy thông qua xác nhận chéo hoặc sử dụng …

13 machine-learning gradient-descent hyperparameter deep-learning

5

Tại sao độ dốc giảm không hiệu quả cho tập dữ liệu lớn?

Giả sử tập dữ liệu của chúng tôi chứa 1 triệu ví dụ, ví dụ: x1,…,x106x1,…,x106x_1, \ldots, x_{10^6} và chúng tôi muốn sử dụng độ dốc gốc để thực hiện hồi quy logistic hoặc tuyến tính trên các tập dữ liệu này. Điều gì với phương pháp giảm độ dốc …

12 machine-learning gradient-descent large-data

2

Gradient descent không tìm thấy giải pháp cho bình phương tối thiểu thông thường trên tập dữ liệu này?

Tôi đã nghiên cứu hồi quy tuyến tính và đã thử nó ở bên dưới tập {(x, y)}, trong đó x chỉ định diện tích nhà bằng feet vuông và y chỉ định giá bằng đô la. Đây là ví dụ đầu tiên trong Andrew Ng Notes . 2104,400 1600.330 …

12 regression least-squares gradient-descent supervised-learning

Câu hỏi được gắn thẻ «gradient-descent»