Kích thước đào tạo tối thiểu cho mạng lưới thần kinh đơn giản

Có một quy tắc cũ cho thống kê đa biến khuyến nghị tối thiểu 10 trường hợp cho mỗi biến độc lập. Nhưng đó thường là nơi có một tham số phù hợp với từng biến.

Tại sao tôi hỏi: Tôi đang làm việc thông qua một ví dụ trong sách giáo khoa sử dụng 500 trường hợp Đào tạo (trong số 25000 trong tập dữ liệu) với 15 biến dự đoán và một lớp ẩn với 8 nút ẩn. Vì vậy, chúng tôi ước tính 153 trọng lượng. Trong số 500 trường hợp, có 129 1 và 0 còn lại. do đó, có nhiều trọng số hơn các trường hợp tích cực được dự đoán. Điều này có vẻ sai. Các trang phục mô hình kết quả (nhưng xác nhận không được đề cập trong vấn đề sách giáo khoa này).

Vì vậy, những gì một hướng dẫn đến tối thiểu? 10 lần biến đầu vào? 10 lần tham số để ước tính? Thứ gì khác?

Có những câu trả lời liên quan, nhưng dường như chúng đề cập nhiều hơn đến kích thước mẫu mong muốn hơn mức tối thiểu, ví dụ: Làm thế nào để có được kích thước tập dữ liệu cần thiết cho đào tạo mạng thần kinh?

Trao đổi kích thước lô so với số lần lặp để đào tạo mạng lưới thần kinh

hoặc không được trả lời Kích thước mẫu đào tạo tối thiểu cần thiết cho một bộ phân loại

Nhưng, tất nhiên, tôi có thể đã bỏ lỡ một số câu trả lời tốt trước đó.

Điều này là không thể trả lời nói chung. Nếu bạn đang xử lý một vấn đề với các tính năng dự đoán mạnh mẽ, nhiệm vụ của bạn sẽ dễ dàng hơn - kích thước mẫu nhỏ hơn sẽ ước tính một mô hình có hiệu suất cao. Nhưng một vấn đề chỉ có các tính năng liên quan yếu sẽ đấu tranh để tìm tín hiệu.

Trong extrema , nếu tất cả các tính năng của bạn là tiếng ồn thuần túy, sẽ không có mạng nào tổng quát hóa tốt, ngay cả khi bạn có khối lượng dữ liệu lớn tùy ý.

Thông thường hóa và lựa chọn tính năng có thể giúp đỡ. Và nếu việc chính quy hóa và lựa chọn tính năng có thể thay đổi số lượng tham số bạn cần để ước tính một mạng có mức hiệu suất cụ thể, thì câu hỏi này có vẻ còn phức tạp hơn một hướng dẫn đơn giản.

Vì vậy, những gì một hướng dẫn đến tối thiểu? 10 lần biến đầu vào? 10 lần tham số để ước tính?

Tôi đọc lời khuyên thống kê cổ điển để sử dụng số lượng mẫu nhiều hơn ít nhất 10 lần so với số lượng tham số. Điều này là mơ hồ, tất nhiên. Nếu vấn đề quá ồn ào, bạn có thể yêu cầu gấp 100 lần, hoặc hơn 1000 lần.

Như @Sycorax đã đề cập, không có câu trả lời ngắn gọn rõ ràng, nhưng ít nhất bạn có thể nhớ rằng việc có số lượng mẫu bằng với số lượng tham số sẽ cho phép vẽ một siêu phẳng (trong trường hợp của bạn) sẽ phân chia hoàn hảo các lớp của bạn.

Hãy xem khái niệm kích thước của LinkedInnik-Chervonenkis có thể giúp nói rõ vấn đề chính thức hơn: kích thước VC