Tăng cường mạng lưới thần kinh

Gần đây tôi đang nghiên cứu về các thuật toán tăng cường, chẳng hạn như adaboost, tăng cường độ dốc và tôi đã biết một thực tế rằng người học yếu được sử dụng phổ biến nhất là cây. Tôi thực sự muốn biết có một số ví dụ thành công gần đây (ý tôi là một số bài báo hoặc bài viết) để sử dụng mạng lưới thần kinh làm người học cơ sở.

Trong việc tăng cường, các phân loại yếu hoặc không ổn định được sử dụng làm người học cơ sở. Đây là trường hợp vì mục đích là tạo ra ranh giới quyết định khác nhau đáng kể. Sau đó, một người học cơ sở tốt là một người rất thiên vị, nói cách khác, đầu ra về cơ bản vẫn giống nhau ngay cả khi các tham số đào tạo cho người học cơ sở được thay đổi một chút.

Trong các mạng lưới thần kinh, bỏ học là một kỹ thuật chính quy có thể được so sánh với các nhóm huấn luyện. Sự khác biệt là việc tập hợp được thực hiện trong không gian tiềm ẩn (tế bào thần kinh có tồn tại hay không) do đó làm giảm lỗi tổng quát hóa.

Do đó, mỗi ví dụ đào tạo có thể được xem là cung cấp độ dốc cho một kiến ​​trúc được lấy mẫu ngẫu nhiên khác nhau, để mạng lưới thần kinh cuối cùng thể hiện một cách hiệu quả một tập hợp lớn các mạng thần kinh, với khả năng khái quát hóa tốt "- trích dẫn từ đây .

Có hai kỹ thuật như vậy: trong các nơ-ron bỏ học (có nghĩa là các nơ-ron tồn tại hoặc không có xác suất nhất định) trong khi trong kết nối thả, các trọng số bị giảm.

Bây giờ, để trả lời câu hỏi của bạn, tôi tin rằng mạng lưới thần kinh (hoặc tri giác) không được sử dụng làm người học cơ sở trong thiết lập tăng cường vì chúng chậm đào tạo (chỉ mất quá nhiều thời gian) và người học không yếu như vậy, mặc dù họ có thể được thiết lập để không ổn định hơn. Vì vậy, nó không đáng nỗ lực.

Có thể đã có nghiên cứu về chủ đề này, tuy nhiên thật đáng tiếc rằng những ý tưởng không hoạt động tốt thường không được công bố thành công. Chúng tôi cần nhiều nghiên cứu hơn về các con đường không dẫn đến bất cứ đâu, hay còn gọi là "đừng bận tâm thử điều này".

CHỈNH SỬA:

Tôi đã có thêm một chút về điều này và nếu bạn quan tâm đến các mạng lớn, thì bạn có thể đề cập đến các phương pháp kết hợp đầu ra của nhiều mạng như vậy. Hầu hết mọi người trung bình hoặc sử dụng bỏ phiếu đa số tùy theo nhiệm vụ - điều này có thể không tối ưu. Tôi tin rằng có thể thay đổi các trọng số cho đầu ra của mỗi mạng theo lỗi trên một bản ghi cụ thể. Các đầu ra càng ít tương quan, quy tắc kết hợp của bạn càng tốt.

Tôi thấy điều này không có câu trả lời được chấp nhận vì vậy tôi sẽ đưa ra một câu trả lời rất heuristic. Vâng, nó đã được thực hiện .... ví dụ: nó có sẵn trong JMP Pro (có lẽ là gói stat tốt nhất mà bạn chưa từng nghe thấy). http://www.jmp.com/support/help/Overview_of_Neural_Networks.shtml

Có một mô tả ở giữa trang về những gì nó được sử dụng cho. Tôi đã không đặt bất kỳ chu kỳ nào vào việc nghiên cứu lý thuyết, nhưng có vẻ như họ đang ngụ ý rằng nó đạt được kết quả cơ bản giống như sử dụng nhiều nút hơn trong một mô hình lớn hơn. Ưu điểm [họ tuyên bố] là ở tốc độ phù hợp với mô hình.

Đối với một thước đo rất thô sơ, tôi đã so sánh nó trên một tập dữ liệu tôi có với 2 nút sigmoid và 2 nút Gaussian và tăng mô hình 6x so với 12 nút sigmoid và 12 nút Gaussian trong một mô hình duy nhất và kết quả gần như giống hệt nhau trên tập dữ liệu thử nghiệm của tôi .

Tôi cũng không nhận thấy bất kỳ sự khác biệt về tốc độ nào ... nhưng tập dữ liệu chỉ có 1600 điểm và tôi chỉ sử dụng 12 biến, do đó, trên một tập dữ liệu lớn hơn có nhiều biến hơn có thể đúng là có sự khác biệt đáng chú ý.