Kích thước VC cho chúng ta biết gì về học tập sâu?

Trong học máy cơ bản, chúng ta được dạy "quy tắc ngón tay cái" sau đây:

a) kích thước của dữ liệu của bạn phải lớn hơn ít nhất 10 lần kích thước của kích thước VC của bộ giả thuyết của bạn.

b) một mạng lưới thần kinh có N kết nối có kích thước VC xấp xỉ N.

Vì vậy, khi một mạng lưới thần kinh học tập sâu đã nói, hàng triệu đơn vị, điều này có nghĩa là chúng ta nên có, hàng tỷ điểm dữ liệu? Bạn có thể vui lòng làm sáng tỏ về điều này?

— Đầy đủ
nguồn

Một mạng lưới thần kinh sâu sẽ không có hàng triệu đơn vị như bạn nêu. Tuy nhiên, nó sẽ có hàng triệu kết nối. Tôi cho rằng quy tắc ngón tay cái thứ hai của bạn không giữ cho các mạng này, chủ yếu là do tính chất thường xuyên của chúng (ví dụ: CNN với việc bỏ học).

— cướp biển

Tôi nghĩ chìa khóa là ràng buộc của VC không phải là vô hạn. Nếu nó là hữu hạn, thì lý thuyết PAC cho chúng ta biết rằng việc học là khả thi. Bao nhiêu dữ liệu, đó là một câu hỏi khác.

— Vladislavs Dovgalecs

Quy tắc ngón tay cái mà bạn nói về không thể được áp dụng cho một mạng lưới thần kinh.

Một mạng lưới thần kinh có một số tham số cơ bản, nghĩa là trọng lượng và độ lệch của nó. Số lượng trọng lượng phụ thuộc vào số lượng kết nối giữa các lớp mạng và số lượng sai lệch phụ thuộc vào số lượng tế bào thần kinh.

Kích thước của dữ liệu cần thiết phụ thuộc nhiều vào -

Các loại mạng thần kinh được sử dụng .
Các kỹ thuật chính quy được sử dụng trong mạng .
Tỷ lệ học tập được sử dụng trong đào tạo mạng.

Điều này đang được nói, cách đúng đắn và chắc chắn hơn để biết liệu mô hình có quá mức hay không là kiểm tra xem lỗi xác nhận có gần với lỗi đào tạo hay không. Nếu có, thì mô hình đang hoạt động tốt. Nếu không, thì mô hình rất có thể là quá mức và điều đó có nghĩa là bạn cần giảm kích thước của mô hình hoặc giới thiệu các kỹ thuật chính quy.

— Ailen
nguồn

Bạn đã phải đùa khi bạn nói rằng cách tốt nhất để hiểu nếu mô hình bị quá mức là kiểm tra xem lỗi xác thực có gần với lỗi đào tạo hay không.

— nbro

@nbro, nếu bạn có một bộ giữ thích hợp để kiểm tra lỗi xác thực, đó là một biện pháp vượt mức đáng tin cậy hơn nhiều cho mạng được đào tạo cụ thể của bạn so với việc vượt qua giới hạn VC thường rất lỏng lẻo.

— Dougal

@Dougal Bạn chỉ cần lặp lại những gì bạn nói trong câu trả lời của bạn.

— nbro

Không phải câu trả lời của tôi @nbro. Nhưng được cung cấp một bộ xác thực, bạn có thể nhận được xác suất cao tầm thường bị ràng buộc bởi lỗi tổng quát hóa thực sự với Hoeffding hoặc tương tự, trong khi đi qua giới hạn VC liên quan đến rất nhiều giới hạn lỏng lẻo không dành riêng cho bộ dữ liệu và mạng cụ thể mà bạn có tay.

— Dougal