Có thể có được ANN tốt hơn bằng cách xóa một số kết nối?

11

Tôi đã tự hỏi liệu trong một số trường hợp, ANN có thể hoạt động tốt hơn không nếu bạn loại bỏ một số kết nối trên chúng như ví dụ:

Xây dựng một ANN bằng cách lấy song song hai lớp A và B của ANN (cùng các nút đầu vào và đầu ra) thêm một vài kết nối "giao tiếp" giữa các lớp ẩn của A và B?

Một người có thể có được kết quả khái quát tốt hơn?

Đây có phải là cách nào đó được sử dụng trong thực tế hay người ta luôn luôn chỉ sử dụng các mạng được kết nối đầy đủ nhiều lớp?

classification neural-networks

— SlimJim
nguồn

7

Vâng, nó là có thể. Một số người đã xem xét vấn đề này một cách chi tiết. Đây là một bài báo cũ về một phương pháp để làm như vậy: tổn thương não tối ưu

— carlosdc
nguồn

Tại sao tách các nút tốt hơn so với chính quy? Tôi nghĩ, với việc thường xuyên hóa, không cần phải cắt tỉa các kết nối - những kết nối "không cần thiết" sẽ chỉ có trọng lượng rất nhỏ và đó là điều đó.

— andreister

@andreister Tôi không nghĩ nó tốt hơn chính quy. Tôi nghĩ rằng nó là một thay thế (sớm) cho chính quy. Đó là một bài báo rất cũ, chính quy hóa đã trở thành xu hướng chủ đạo trong ML vào giữa những năm 1990.

— carlosdc

7

Theo nguyên tắc thông thường, các mạng nhỏ và / hoặc thưa thớt khái quát tốt hơn. Bạn có thể để thuật toán đào tạo của mình loại bỏ các kết nối không cần thiết trong mạng có kích thước cố định bằng cách áp dụng một số dạng phân rã trọng lượng hoặc bạn có thể áp dụng thuật toán nhằm tối ưu hóa kiến trúc / cấu trúc mạng thông qua việc loại bỏ các đầu vào, nút hoặc kết nối không cần thiết.

Hãy xem các tài liệu tham khảo này cho các ý tưởng và điểm khởi đầu để nghiên cứu thêm hoặc xem xét việc sử dụng các thuật toán tiến hóa để thiết kế, cắt tỉa và tối ưu hóa các kiến trúc.

Castellano, G., Fanelli, AM (2000) 'Lựa chọn biến bằng các mô hình mạng thần kinh', Neurcomputing (31)
Ji C., Psaltis D. (1997) 'Tổng hợp mạng thông qua tăng trưởng và phân rã dữ liệu', Mạng lưới thần kinh Vol. 10, số 6, trang 1133-1141
Narasimha PL et al (2008) 'Một phương pháp cắt tỉa đang phát triển tích hợp để đào tạo mạng lưới tiếp liệu', Neurocomputing (71), trang 2831-2847
Schuster, A. (2008) 'Kiến trúc mạng thần kinh mạnh mẽ', Tạp chí quốc tế về trí tuệ tính toán (4: 2), trang 98-104

— Graham Jones
nguồn

Tôi thực sự muốn nghe thêm về phần "xem xét việc sử dụng các thuật toán tiến hóa để thiết kế, cắt tỉa và tối ưu hóa kiến trúc" của câu trả lời. Có lẽ tôi sẽ hỏi một câu hỏi về nó!

— Artem Kaznatcheev

6

Trong hầu hết các trường hợp nếu bạn loại bỏ các kết nối không cần thiết, bạn sẽ có được mạng tốt hơn. Thật dễ dàng để vượt qua (overfit) mạng --- trong trường hợp đó, nó sẽ hoạt động kém trên tập dữ liệu xác nhận.

Cắt tỉa các kết nối không cần thiết có thể sẽ làm giảm o xác suất quá tải. Vui lòng xem: http://en.wikipedia.org/wiki/Overfitting .

— jb.
nguồn

5

Vâng, điều đó là có thể. Chúng ta có thể xem xét, kết nối giữa các liên kết tính toán, số lớp ẩn, hợp nhất trên mỗi lớp ẩn, v.v. như siêu tham số. Có thể tìm ra các giá trị tối ưu cho các tham số này bằng cách tiến hành một loạt các thử nghiệm.

Ví dụ:

Bạn có thể phân chia tập dữ liệu của mình như sau: Tập huấn 60% dữ liệu, Xác thực chéo 20% dữ liệu, Kiểm tra 20% dữ liệu,

Sau đó huấn luyện NN của bạn bằng cách sử dụng tập dữ liệu huấn luyện và điều chỉnh tham số bằng cách sử dụng tập dữ liệu xác thực chéo.

Cuối cùng, bạn có thể sử dụng bộ dữ liệu thử nghiệm của mình để đánh giá hiệu suất NN của bạn.

— Upul
nguồn