Năng lực của điểm số của một mô hình học máy là gì?

Tôi đang nghiên cứu Hướng dẫn này về Bộ biến đổi tự động biến đổi của Carl Doersch . Trong trang thứ hai có ghi:

Một trong những khung phổ biến nhất như vậy là Bộ biến đổi tự động biến đổi [1, 3], chủ đề của hướng dẫn này. Các giả định của mô hình này là yếu và đào tạo nhanh thông qua việc truyền bá. VAE thực hiện một phép tính gần đúng, nhưng lỗi được đưa ra bởi phép tính gần đúng này được cho là nhỏ với các mô hình dung lượng cao . Những đặc điểm này đã góp phần làm tăng nhanh sự phổ biến của họ.

Trước đây tôi đã đọc những tuyên bố này về các mô hình dung lượng cao , nhưng dường như tôi không tìm thấy bất kỳ định nghĩa rõ ràng nào cho nó. Tôi cũng tìm thấy câu hỏi stackoverflow liên quan này nhưng với tôi câu trả lời là rất không thỏa mãn.

Có một định nghĩa cho năng lực của một mô hình? Bạn có thể đo nó không?

Năng lực là một thuật ngữ không chính thức. Nó rất gần (nếu không phải là từ đồng nghĩa) cho độ phức tạp của mô hình. Đó là một cách để nói về mức độ phức tạp của một mô hình hoặc mối quan hệ mà một mô hình có thể thể hiện. Bạn có thể mong đợi một mô hình có công suất cao hơn để có thể mô hình nhiều mối quan hệ giữa nhiều biến hơn một mô hình có công suất thấp hơn.

Vẽ một sự tương tự từ định nghĩa thông tục về năng lực, bạn có thể nghĩ về nó như khả năng của một mô hình để học hỏi từ nhiều dữ liệu hơn, cho đến khi nó hoàn toàn được "lấp đầy" thông tin.

Có nhiều cách khác nhau để chính thức hóa năng lực và tính toán một giá trị bằng số cho nó, nhưng quan trọng là đây chỉ là một số "khả năng vận hành" khả năng (theo cách tương tự, nếu ai đó đưa ra một công thức để tính toán vẻ đẹp, bạn sẽ nhận ra rằng công thức chỉ là một cách giải thích rõ ràng về cái đẹp).

Kích thước VC là một công thức toán học nghiêm ngặt về năng lực. Tuy nhiên, có thể có một khoảng cách lớn giữa kích thước VC của một mô hình và khả năng thực tế của mô hình để phù hợp với dữ liệu. Mặc dù việc biết VC dim đưa ra một ràng buộc về lỗi tổng quát hóa của mô hình, nhưng điều này thường quá lỏng lẻo để không hữu ích với các mạng thần kinh.

Một dòng nghiên cứu khác thấy ở đây là sử dụng định mức phổ của ma trận trọng số trong mạng lưới thần kinh làm thước đo năng lực. Một cách để hiểu điều này là chuẩn quang phổ giới hạn hằng số Lipschitz của mạng.

Cách phổ biến nhất để ước tính dung lượng của một mô hình là đếm số lượng tham số. Càng nhiều thông số, công suất nói chung càng cao. Tất nhiên, thường thì một mạng nhỏ hơn học cách mô hình hóa dữ liệu phức tạp tốt hơn mạng lớn hơn, vì vậy biện pháp này cũng không hoàn hảo.

Một cách khác để đo dung lượng có thể là đào tạo mô hình của bạn bằng các nhãn ngẫu nhiên ( Neyshabur và cộng sự ) - nếu mạng của bạn có thể nhớ chính xác một loạt các đầu vào cùng với các nhãn ngẫu nhiên, về cơ bản cho thấy mô hình đó có khả năng ghi nhớ tất cả các nhãn đó điểm dữ liệu cá nhân. Càng nhiều cặp đầu vào / đầu ra có thể được "học", dung lượng càng cao.

Thích ứng điều này với bộ mã hóa tự động, bạn có thể tạo các đầu vào ngẫu nhiên, huấn luyện mạng để xây dựng lại chúng và sau đó đếm xem có bao nhiêu đầu vào ngẫu nhiên bạn có thể tái tạo thành công với ít hơn .$\epsilon$