Backpropagation vs Thuật toán di truyền cho đào tạo Mạng thần kinh

Tôi đã đọc một vài bài báo thảo luận về ưu và nhược điểm của từng phương pháp, một số ý kiến ​​cho rằng GA không đưa ra bất kỳ cải tiến nào trong việc tìm giải pháp tối ưu trong khi những người khác cho thấy rằng nó hiệu quả hơn. Có vẻ như GA thường được ưa thích trong văn học (mặc dù hầu hết mọi người sửa đổi nó theo một cách nào đó để đạt được kết quả họ cần), vậy thì tại sao phần lớn các giải pháp phần mềm dường như chỉ sử dụng backpropagation?

Có một số quy tắc chung khi sử dụng cái này hay cái khác? Có lẽ nó phụ thuộc vào loại NN hoặc tồn tại một số giải pháp hiện đại thường vượt trội so với các giải pháp khác?

Nếu có thể tôi đang tìm kiếm câu trả lời chung: nghĩa là "nếu NN lớn, GA tốt hơn" hoặc "GA luôn tốt hơn nhưng có vấn đề về hiệu suất tính toán", v.v ...

Nếu bạn nhìn kỹ vào các tài liệu khoa học, bạn sẽ tìm thấy kết quả tương phản. Rõ ràng, trong một số trường hợp GA (và nói chung hơn, Thuật toán tiến hóa) có thể giúp bạn tìm thấy một thiết kế NN tối ưu nhưng thông thường chúng có rất nhiều nhược điểm (điều chỉnh tham số thuật toán, độ phức tạp tính toán, v.v.) và việc sử dụng chúng không khả thi đối với thực tế ứng dụng thế giới. Tất nhiên bạn có thể tìm thấy một tập hợp các vấn đề trong đó GA / EA luôn luôntốt hơn so với backpropagation. Cho rằng việc tìm kiếm một thiết kế NN tối ưu là một vấn đề tối ưu hóa đa phương thức phức tạp, GA / EA có thể giúp (như siêu dữ liệu) cải thiện kết quả thu được bằng thuật toán "truyền thống", ví dụ: sử dụng GA / EA để chỉ tìm cấu hình trọng số ban đầu hoặc giúp thuật toán truyền thống thoát khỏi cực tiểu địa phương (nếu bạn quan tâm tôi đã viết một bài báo về chủ đề này).

Tôi đã làm việc rất nhiều trong lĩnh vực này và tôi có thể nói với bạn rằng có nhiều công trình khoa học về GA / EA được áp dụng cho NN vì chúng (hoặc tốt hơn, chúng từng là) một lĩnh vực nghiên cứu mới nổi.

Một trong những vấn đề chính của mạng nơ-ron là quá khớp, điều đó có nghĩa là các thuật toán rất khó tìm ra mạng giảm thiểu một số tiêu chí dựa trên mẫu dữ liệu hữu hạn sẽ kết thúc với một mạng hoạt động rất tốt cho mẫu cụ thể đó dữ liệu, nhưng sẽ có khái quát kém. Tôi khá cảnh giác khi sử dụng GA để thiết kế mạng thần kinh vì lý do này, đặc biệt nếu chúng thực hiện tối ưu hóa kiến ​​trúc cùng lúc với việc tối ưu hóa các trọng số. Tôi thường thấy rằng các mạng đào tạo (có tính chính quy) từ một số (ví dụ 20) các vectơ trọng lượng ban đầu ngẫu nhiên và sau đó tạo thành một tập hợp của tất cả các mạng kết quả nói chung là một cách tiếp cận tốt như bất kỳ.

Tối ưu hóa về cơ bản là gốc rễ của mọi tội lỗi trong học máy, bạn càng làm nhiều việc, bạn càng có nhiều khả năng kết thúc việc quá phù hợp với dữ liệu.

Bất cứ khi nào bạn đối phó với lượng dữ liệu khổng lồ và bạn muốn giải quyết một nhiệm vụ học tập có giám sát với mạng thần kinh chuyển tiếp nguồn cấp dữ liệu, các giải pháp dựa trên truyền bá ngược là khả thi hơn nhiều. Lý do cho điều này là, đối với một mạng nơ ron phức tạp, số lượng tham số miễn phí rất cao. Một dự án công nghiệp mà tôi hiện đang thực hiện liên quan đến một mạng lưới thần kinh chuyển tiếp với khoảng 1000 đầu vào, hai lớp ẩn @ 384 nơ-ron mỗi và 60 đầu ra. Điều này dẫn đến 1000 * 384 + 384 * 384 + 384 * 60 = 554496 tham số trọng lượng được tối ưu hóa. Sử dụng phương pháp GA ở đây sẽ rất chậm.

Câu trả lời thứ hai là sai. Quá mức không phải do tối ưu hóa. Quá mức xảy ra khi mô hình của bạn quá phức tạp và có thể phù hợp với tất cả các biểu dữ liệu mà không học quy tắc thực tế đã tạo ra chúng (nghĩa là chỉ ghi nhớ chúng, trong trường hợp cực đoan.) Có nhiều cách để ngăn chặn quá mức như chọn mô hình đơn giản hơn, bỏ học, dropconnect, giảm trọng lượng và chỉ sử dụng nhiều dữ liệu hơn. Mục tiêu nên là tối ưu hóa mạng của bạn và làm cho nó chính xác nhất có thể, tính đến những ràng buộc đó.

Để trả lời câu hỏi, backprop được cho là nhanh hơn nhiều so với tối ưu hóa ngẫu nhiên (thuật toán di truyền và những thứ tương tự.) Tôi đoán là điều này là vì nó tận dụng những gì mà sản lượng thực tế được cho là được, điều chỉnh trọng lượng đi đúng hướng trên cơ sở đó , trong đó tối ưu hóa ngẫu nhiên cố gắng thay đổi hoàn toàn ngẫu nhiên và bỏ qua thông tin đó.

Tuy nhiên, bằng cách khám phá một khu vực rộng lớn hơn, GA có thể sẽ làm tốt hơn trong thời gian dài bằng cách tránh các tối ưu cục bộ, sẽ chỉ mất nhiều thời gian hơn để đào tạo.

Tôi tò mò về việc GA chậm hơn bao nhiêu so với backprop và nếu có ai biết về thuật toán lai (tìm kiếm phân tán có vẻ như nó sẽ lý tưởng cho việc này.)

Sự khác biệt giữa GA và backpropagation là GA dựa trên các số ngẫu nhiên và backpropagation dựa trên một thuật toán tĩnh như độ dốc dốc ngẫu nhiên. GA dựa trên các số ngẫu nhiên và thêm vào đột biến đó có nghĩa là nó có thể sẽ tránh bị bắt trong một cực tiểu địa phương. Nhưng sau đó GA dựa trên các số ngẫu nhiên có nghĩa là hoàn toàn có khả năng cho 2 lần khác nhau bạn thực hiện việc học trên cùng một mạng, nó có thể đi đến một kết luận khác, tức là một tập các trọng số khác nhau