Backpropal là gì?

"Backprop" có nghĩa là gì? Là thuật ngữ "backprop" về cơ bản giống như "backpropagation" hay nó có một ý nghĩa khác?

"Backprop" giống như "backpropagation": đó chỉ là một cách ngắn hơn để nói. Nó đôi khi được viết tắt là "BP".

'Backprop' là viết tắt của 'backpropagation of error' để tránh nhầm lẫn khi sử dụng thuật ngữ backpropagation .

Về cơ bản backpropagation đề cập đến phương pháp tính toán độ dốc của hàm lỗi theo trường hợp liên quan đến các trọng số cho một mạng ^{Werbos tiếp theo} . Và backprop đề cập đến một phương pháp đào tạo sử dụng backpropagation để tính toán độ dốc.

Vì vậy, chúng ta có thể nói rằng một mạng backprop là một mạng feedforward được đào tạo bởi backpropagation .

Thuật ngữ 'backprop tiêu chuẩn' là một uyển ngữ cho quy tắc delta tổng quát , phương pháp đào tạo được giám sát sử dụng rộng rãi nhất.

Nguồn: Backprop là gì? tại FAQ của nhóm tin Usenet comp.ai.neural-lưới

Người giới thiệu:

• Người sói, PJ (1974). Beyond Regression: Công cụ mới để dự đoán và phân tích trong khoa học hành vi. Luận án tiến sĩ, Đại học Harvard.
• Người sói, PJ (1994). Nguồn gốc của Backpropagation: Từ các công cụ phái sinh được đặt hàng đến Mạng lưới thần kinh và Dự báo chính trị, Wiley Interscience.
• Bertsekas, DP (1995), Lập trình phi tuyến, Belmont, MA: Athena Khoa học, ISBN 1-886529-14-0.
• Bertsekas, DP và Tsitsiklis, JN (1996), Lập trình động lực học thần kinh, Belmont, MA: Athena Khoa học, ISBN 1-886529-10-8.
• Polyak, BT (1964), "Một số phương pháp tăng tốc độ hội tụ của các phương pháp lặp", Z. Vycisl. Chiếu. Tôi ở. Fiz., 4, 1-17.
• Polyak, BT (1987), Giới thiệu về Tối ưu hóa, NY: Optimization Software, Inc.
• Sậy, RD và Marks, RJ, II (1999), Smith thần kinh: Học tập có giám sát trong mạng lưới thần kinh nhân tạo phản xạ, Cambridge, MA: The MIT Press, ISBN 0-262-18190-8.
• Rumelhart, DE, Hinton, GE và Williams, RJ (1986), "Học cách trình bày nội bộ bằng cách truyền lỗi", trong Rumelhart, DE và McClelland, JL, eds. (1986), Xử lý phân tán song song: Những khám phá trong cấu trúc vi mô của nhận thức, Tập 1, 318-362, Cambridge, MA: The MIT Press.
• Werbos, PJ (1974/1994), Nguồn gốc của Backpropagation, NY: John Wiley & Sons. Bao gồm năm 1974, tiến sĩ Harvard của Werbos Luận án, Beyond Regression.

Đúng, như Franck đã đặt đúng, "backprop" có nghĩa là backpropogation, thường được sử dụng trong miền của các mạng thần kinh để tối ưu hóa lỗi.

Để giải thích chi tiết, tôi sẽ chỉ ra hướng dẫn này về khái niệm backpropogation bằng một cuốn sách rất hay của Michael Nielsen.

Trong học máy, backpropagation (backprop, BP) là một thuật toán được sử dụng rộng rãi trong việc đào tạo các mạng thần kinh tiếp liệu cho việc học có giám sát. Tổng quát hóa backpropagation tồn tại cho các mạng nơ ron nhân tạo khác (ANN) và cho các chức năng nói chung - một loại thuật toán được gọi chung là "backpropagation".

Đó là một cái tên lạ mắt cho quy tắc chuỗi đa biến.