Không có ý nghĩa gì

Trong blog học máy tôi thường xuyên bắt gặp từ "vanilla". Ví dụ: "Vanilla Gradient Descent" hoặc "Vanilla method". Thuật ngữ này theo nghĩa đen là không bao giờ thấy trong bất kỳ sách giáo khoa tối ưu hóa.

Ví dụ, trong bài viết này , nó nói:

Đây là hình thức đơn giản nhất của kỹ thuật giảm độ dốc. Ở đây, vani có nghĩa là tinh khiết / không có bất kỳ sự pha trộn nào. Tính năng chính của nó là chúng tôi thực hiện các bước nhỏ theo hướng cực tiểu bằng cách lấy độ dốc của hàm chi phí.

Xin cầu nguyện, "ngoại tình" nghĩa là gì trong bối cảnh này? Tác giả đi xa hơn bằng cách đối chiếu độ dốc vanilla với độ dốc dốc với động lượng. Vì vậy, trong trường hợp này, vanilla gradient descent là một từ khác để chỉ độ dốc.

Trong một bài viết khác , nó nói,

Giảm dần độ dốc vani, còn gọi là giảm độ dốc hàng loạt, ...

Đáng buồn là tôi cũng chưa bao giờ nghe nói về việc giảm độ dốc hàng loạt. Oh Boy.

Ai đó có thể làm rõ "vanilla" nghĩa là gì và nếu có một định nghĩa toán học vững chắc hơn cho nó?

Vanilla có nghĩa là phiên bản tiêu chuẩn, thông thường hoặc không thay đổi của một cái gì đó. Vanilla gradient desens có nghĩa là thuật toán giảm độ dốc cơ bản mà không có bất kỳ tiếng chuông hay còi nào.

Có nhiều biến thể về độ dốc gốc. Trong giảm dần độ dốc thông thường (còn được gọi là giảm độ dốc theo lô hoặc giảm độ dốc vanilla), độ dốc được tính là mức trung bình của độ dốc của mỗi điểm dữ liệu.

$$\nabla f = \frac{1}{n}\sum_i \nabla \text{loss}(x_i)$$

Trong độ dốc dốc ngẫu nhiên với kích thước lô là một, chúng tôi có thể ước tính độ dốc là

$$\nabla f \approx \nabla \text{loss}(x^*)$$ , Ở đâu $x^*$được lấy mẫu ngẫu nhiên từ toàn bộ dữ liệu của chúng tôi. Nó là một biến thể của gốc dốc bình thường, vì vậy nó sẽ không phải là độ dốc vanilla. Tuy nhiên, vì ngay cả độ dốc dốc ngẫu nhiên có nhiều biến thể, bạn có thể gọi đây là "độ dốc dốc ngẫu nhiên vanilla", khi so sánh nó với các lựa chọn thay thế SGD khác, ví dụ, SGD với động lượng.