Có thể đào tạo một mạng lưới thần kinh mà không cần backpropagation?

Nhiều sách và hướng dẫn về mạng nơ-ron dành nhiều thời gian cho thuật toán backpropagation, về cơ bản là một công cụ để tính toán độ dốc.

Giả sử chúng ta đang xây dựng một mô hình với ~ 10K tham số / trọng lượng. Có thể chạy tối ưu hóa bằng một số thuật toán tối ưu hóa miễn phí gradient?

Tôi nghĩ việc tính toán độ dốc số sẽ quá chậm, nhưng còn các phương pháp khác như Nelder-Mead, mô phỏng luyện kim hay thuật toán di truyền thì sao?

Tất cả các thuật toán sẽ bị cực tiểu cục bộ, tại sao bị ám ảnh bởi độ dốc?

Hai thuật toán đầu tiên mà bạn đề cập (Nelder-Mead và mô phỏng luyện kim) thường được coi là khá lỗi thời trong giới tối ưu hóa, vì có nhiều lựa chọn thay thế tốt hơn, đáng tin cậy hơn và ít tốn kém hơn. Các thuật toán di truyền bao gồm một phạm vi rộng, và một số trong số này có thể hợp lý.

Tuy nhiên, trong lớp thuật toán tối ưu hóa không dẫn xuất (DFO) rộng hơn, có nhiều thuật toán tốt hơn đáng kể so với các "kinh điển" này, vì đây là một lĩnh vực nghiên cứu tích cực trong những thập kỷ gần đây. Vì vậy, một số trong những cách tiếp cận mới hơn này có hợp lý cho việc học sâu không?

Một bài báo tương đối gần đây so sánh tình trạng của nghệ thuật là như sau:

Rios, LM, & Sahinidis, NV (2013) Tối ưu hóa không có đạo hàm: đánh giá các thuật toán và so sánh việc triển khai phần mềm. Tạp chí Tối ưu hóa toàn cầu.

Đây là một bài báo hay có nhiều hiểu biết thú vị về các kỹ thuật gần đây. Ví dụ, kết quả cho thấy rõ ràng rằng các trình tối ưu hóa cục bộ tốt nhất đều là "dựa trên mô hình", sử dụng các hình thức lập trình bậc hai tuần tự (SQP) khác nhau.

Tuy nhiên, như đã lưu ý trong bản tóm tắt của họ "Chúng tôi thấy rằng khả năng của tất cả những người giải quyết này có được các giải pháp tốt sẽ giảm đi khi tăng quy mô vấn đề." Để đưa ra ý tưởng về các con số, đối với tất cả các vấn đề, người giải đã đưa ra ngân sách 2500 đánh giá hàm và kích thước bài toán tối đa là ~ 300 tham số để tối ưu hóa. Ngoài các tham số O [10], rất ít trong số các trình tối ưu hóa này hoạt động rất tốt và ngay cả những thông số tốt nhất cũng cho thấy sự suy giảm đáng chú ý về hiệu suất khi kích thước sự cố được tăng lên.

Vì vậy, đối với các vấn đề rất cao, thuật toán DFO không thể cạnh tranh với các thuật toán dựa trên đạo hàm. Để đưa ra một số viễn cảnh, tối ưu hóa dựa trên cơ sở PDE (phương trình vi phân từng phần) là một lĩnh vực khác có các vấn đề rất cao (ví dụ: một số tham số cho mỗi ô của lưới phần tử hữu hạn 3D lớn). Trong lĩnh vực này, " phương thức kết hợp " là một trong những phương thức được sử dụng nhiều nhất. Đây cũng là một trình tối ưu hóa giảm dần dựa trên sự khác biệt tự động của mã mô hình chuyển tiếp.

Gần nhất với trình tối ưu hóa DFO chiều cao có lẽ là Bộ lọc Bộ đồng bộ Kalman , được sử dụng để đồng hóa dữ liệu thành các mô phỏng PDE phức tạp, ví dụ như mô hình thời tiết. Thật thú vị, đây thực chất là một cách tiếp cận SQP, nhưng với cách giải thích Bayes-Gaussian (vì vậy mô hình bậc hai là xác định dương, tức là không có điểm yên ngựa). Nhưng tôi không nghĩ rằng số lượng tham số hoặc quan sát trong các ứng dụng này tương đương với những gì được thấy trong học tập sâu.

Lưu ý bên lề (cực tiểu địa phương): Từ nhỏ tôi đã đọc về học sâu, tôi nghĩ rằng sự đồng thuận là điểm yên ngựa chứ không phải là cực tiểu cục bộ, vấn đề lớn nhất đối với không gian tham số NN chiều cao.

Ví dụ, đánh giá gần đây trong Tự nhiên cho biết "Các kết quả lý thuyết và thực nghiệm gần đây cho thấy mạnh mẽ rằng cực tiểu địa phương nói chung không phải là vấn đề nghiêm trọng. Thay vào đó, cảnh quan được đóng gói với số lượng lớn các điểm yên ngựa kết hợp trong đó độ dốc bằng 0 và bề mặt cong lên trong hầu hết các kích thước và cong xuống trong phần còn lại. "

Một mối quan tâm liên quan là về tối ưu hóa cục bộ và toàn cầu (ví dụ câu hỏi này được chỉ ra trong các ý kiến). Mặc dù tôi không học sâu, nhưng theo kinh nghiệm của tôi, việc vượt quá chắc chắn là một mối quan tâm hợp lệ. Theo tôi, các phương pháp tối ưu hóa toàn cầu phù hợp nhất cho các vấn đề thiết kế kỹ thuật không phụ thuộc nhiều vào dữ liệu "tự nhiên". Trong vấn đề dữ liệu đồng hóa, bất kỳ cực tiểu toàn cầu hiện nay có thể dễ dàng thay đổi khi bổ sung dữ liệu mới (caveat: Kinh nghiệm của tôi là tập trung vào các vấn đề khoa học địa chất, nơi dữ liệu nói chung là "thưa thớt" so với khả năng mô hình).

Một viễn cảnh thú vị có lẽ là

O. Bousquet & L. Bottou (2008) Sự đánh đổi của việc học tập quy mô lớn. NIPS.

trong đó cung cấp các lập luận bán lý thuyết về lý do tại sao và khi nào tối ưu hóa gần đúng có thể thích hợp hơn trong thực tế.

Lưu ý cuối (tối ưu hóa meta): Mặc dù các kỹ thuật dựa trên độ dốc dường như chiếm ưu thế đối với các mạng đào tạo, có thể có một vai trò cho DFO trong các nhiệm vụ tối ưu hóa meta liên quan.

Một ví dụ sẽ là điều chỉnh siêu tham số. (Thật thú vị, các trình tối ưu hóa DFO dựa trên mô hình thành công từ Rios & Sahinidis có thể được xem như là giải quyết cơ bản một chuỗi các vấn đề thiết kế thí nghiệm / phản ứng bề mặt .)

Một ví dụ khác có thể là thiết kế kiến ​​trúc, về mặt thiết lập các lớp (ví dụ: số, loại, trình tự, nút / lớp). Trong bối cảnh tối ưu hóa rời rạc này, các thuật toán kiểu di truyền có thể phù hợp hơn. Lưu ý rằng ở đây tôi đang nghĩ đến trường hợp kết nối được xác định ngầm bởi các yếu tố này (ví dụ: các lớp được kết nối đầy đủ, các lớp chập, v.v.). Nói cách khác, kết nối là meta được tối ưu hóa một cách rõ ràng. (Sức mạnh kết nối sẽ thuộc đào tạo, nơi ví dụ như thưa thớt có thể được thúc đẩy bởi quy tắc và / hoặc kích hoạt ReLU ... những lựa chọn có thể là meta-tối ưu hóa tuy nhiên.)$\mathrm{O}[N^2]$$not$$L_1$

Có tất cả các loại thuật toán tìm kiếm cục bộ mà bạn có thể sử dụng, backpropagation vừa được chứng minh là hiệu quả nhất cho các tác vụ phức tạp hơn nói chung ; có những trường hợp mà các tìm kiếm địa phương khác là tốt hơn.

Bạn có thể sử dụng leo đồi bắt đầu ngẫu nhiên trên mạng thần kinh để nhanh chóng tìm ra giải pháp ok, nhưng sẽ không khả thi khi tìm giải pháp gần tối ưu.

Wikipedia (tôi biết, không phải là nguồn lớn nhất, nhưng vẫn) nói

Đối với các vấn đề trong đó việc tìm kiếm tối ưu toàn cầu chính xác ít quan trọng hơn tìm kiếm tối ưu cục bộ có thể chấp nhận được trong một khoảng thời gian cố định, việc ủ mô phỏng có thể thích hợp hơn với các giải pháp thay thế như giảm độ dốc.

nguồn

Đối với các thuật toán di truyền, tôi sẽ thấy Backpropagation vs Thuật toán di truyền cho đào tạo Mạng thần kinh

Trường hợp chính tôi sẽ làm cho backprop là nó được sử dụng rất rộng rãi và đã có rất nhiều cải tiến lớn . Những hình ảnh này thực sự cho thấy một số tiến bộ đáng kinh ngạc đối với việc truyền bá vanilla.

Tôi sẽ không nghĩ backprop là một thuật toán, mà là một lớp thuật toán.

Tôi cũng muốn thêm rằng đối với các mạng thần kinh, các tham số 10k là các hạt nhỏ. Một tìm kiếm khác sẽ hoạt động rất tốt, nhưng trên một mạng lưới sâu với hàng triệu thông số, điều đó khó thực tế.

Vâng, các mạng lưới thần kinh ban đầu, trước cuộc cách mạng backpropagation vào những năm 70, đã được "đào tạo" bằng tay. :)

Điều đó đang được nói:

Có một "trường học" học máy gọi là máy học cực đoan không sử dụng phương pháp truyền ngược.

Những gì họ làm là tạo ra một mạng lưới thần kinh với nhiều, rất nhiều nút - với trọng số ngẫu nhiên - và sau đó huấn luyện lớp cuối cùng bằng cách sử dụng các bình phương tối thiểu (như hồi quy tuyến tính). Sau đó, họ cắt tỉa mạng lưới thần kinh sau đó hoặc họ áp dụng chính quy hóa trong bước cuối cùng (như lasso) để tránh bị thừa. Tôi đã thấy điều này được áp dụng cho các mạng thần kinh chỉ với một lớp ẩn duy nhất. Không có đào tạo, vì vậy nó siêu nhanh. Tôi đã làm một số thử nghiệm và thật ngạc nhiên, các mạng lưới thần kinh "được đào tạo" theo cách này khá chính xác.

Hầu hết mọi người, ít nhất là những người tôi làm việc cùng, đối xử với "trường học" máy móc này với sự dè bỉu và họ là một nhóm bị ruồng bỏ với các hội nghị riêng của họ, v.v., nhưng tôi thực sự nghĩ rằng đó là một cách khéo léo.

Một điểm khác: trong quá trình backpropagation, có những lựa chọn thay thế hiếm khi được đề cập như backproagation đàn hồi , được thực hiện trong R trong neuralnetgói, chỉ sử dụng cường độ của đạo hàm. Thuật toán được tạo từ các điều kiện if-other thay vì đại số tuyến tính. Chúng có một số lợi thế so với truyền ngược, truyền thống, cụ thể là bạn không cần bình thường hóa dữ liệu của mình vì chúng không gặp phải vấn đề về độ dốc biến mất .

Bạn có thể sử dụng khá nhiều thuật toán tối ưu hóa số để tối ưu hóa trọng số của mạng thần kinh. Bạn cũng có thể sử dụng các thuật toán tối ưu hóa liên tục-rời rạc hỗn hợp để tối ưu hóa không chỉ trọng lượng, mà cả cách bố trí (số lớp, số lượng tế bào thần kinh trong mỗi lớp, thậm chí loại tế bào thần kinh). Tuy nhiên, không có thuật toán tối ưu hóa nào không bị "lời nguyền về chiều" và tối ưu hóa cục bộ theo một cách nào đó

Bạn cũng có thể sử dụng một mạng khác để tư vấn cách cập nhật các tham số.

Có các Giao diện thần kinh tách rời (DNI) từ Google Deepmind. Thay vì sử dụng backpropagation, nó sử dụng một tập hợp các mạng thần kinh khác để dự đoán cách cập nhật các tham số, cho phép cập nhật tham số song song và không đồng bộ.

Bài viết cho thấy DNI tăng tốc độ đào tạo và năng lực mô hình của RNN và cho kết quả tương đương cho cả RNN và FFNN trên các nhiệm vụ khác nhau.

Bài viết cũng liệt kê và so sánh nhiều phương pháp không truyền bá khác

Mô hình độ dốc tổng hợp của chúng tôi tương tự như hàm giá trị được sử dụng để tăng độ dốc [2] hoặc hàm giá trị được sử dụng cho bootstrapping. Hầu hết các công việc khác nhằm loại bỏ backpropagation đều làm như vậy với mục tiêu thực hiện chuyển nhượng tín dụng hợp lý về mặt sinh học, nhưng điều này không loại bỏ việc cập nhật khóa giữa các lớp. Ví dụ, lan truyền mục tiêu [3, 15] loại bỏ sự phụ thuộc vào việc chuyển độ dốc giữa các lớp, thay vào đó, tạo ra các kích hoạt mục tiêu cần được trang bị. Tuy nhiên, các mục tiêu này vẫn phải được tạo ra một cách tuần tự, truyền ngược qua mạng và do đó các lớp vẫn được cập nhật và khóa ngược. Các thuật toán khác loại bỏ khóa ngược bằng cách cho phép mất hoặc phần thưởng được phát trực tiếp đến từng lớp - ví dụ: REINFORCE [21] (coi tất cả các kích hoạt là hành động),1và Mạng lưới Coagent Gradient chính sách [20] - nhưng vẫn bị khóa cập nhật vì chúng yêu cầu phần thưởng được tạo bởi một đầu ra (hoặc một nhà phê bình toàn cầu). Mặc dù Học tập lặp lại theo thời gian thực [22] hoặc các xấp xỉ như [17] có vẻ là một cách đầy hứa hẹn để loại bỏ khóa cập nhật, các phương pháp này yêu cầu duy trì độ dốc đầy đủ (hoặc gần đúng) của trạng thái hiện tại đối với các tham số. Điều này vốn không có khả năng mở rộng và cũng đòi hỏi người tối ưu hóa phải có kiến ​​thức toàn cầu về trạng thái mạng. Ngược lại, bằng cách đóng khung sự tương tác giữa các lớp như một vấn đề giao tiếp cục bộ với DNI, chúng tôi loại bỏ nhu cầu về kiến ​​thức toàn cầu về hệ thống học tập. Các công việc khác như [4, 19] cho phép đào tạo các lớp song song mà không cần truyền ngược,

Miễn là đây là một câu hỏi của cộng đồng, tôi nghĩ rằng tôi sẽ thêm một câu trả lời khác. "Back Propagation" chỉ đơn giản là thuật toán giảm độ dốc. Nó liên quan đến việc chỉ sử dụng đạo hàm đầu tiên của hàm mà người ta đang cố gắng tìm cực tiểu hoặc cực đại cục bộ. Có một phương pháp khác gọi là phương pháp của Newton hoặc Newton-Raphson liên quan đến việc tính toán Hessian và do đó sử dụng các dẫn xuất thứ hai. Nó có thể thành công trong các trường hợp trong đó giảm dần độ dốc. Tôi được những người khác hiểu biết nhiều hơn tôi, và vâng, đây là một sự hấp dẫn của chính quyền, rằng nó không được sử dụng trong các mạng lưới thần kinh vì tính toán tất cả các dẫn xuất thứ hai là quá tốn kém về mặt tính toán.