Mối quan hệ giữa kích thước VC và mức độ tự do

Tôi đang học máy học và tôi cảm thấy có một mối quan hệ chặt chẽ giữa khái niệm chiều VC và khái niệm cổ điển (thống kê) về mức độ tự do.

Bất cứ ai có thể giải thích một kết nối như vậy?

Như tuyên bố của Giáo sư Yaser Abu-Mostafa-

Độ tự do là một sự trừu tượng của số lượng tham số hiệu quả. Số hiệu quả dựa trên số lượng nhị phân người ta có thể nhận được, thay vì số lượng tham số có giá trị thực được sử dụng. Trong trường hợp của tri giác 2 chiều, người ta có thể nghĩ về độ dốc và đánh chặn (cộng với mức độ tự do nhị phân cho vùng đó là +1) hoặc người ta có thể nghĩ đến 3 tham số w_0, w_1, w_2 (mặc dù trọng số có thể là đồng thời tăng hoặc giảm mà không ảnh hưởng đến giả thuyết kết quả). Tuy nhiên, mức độ tự do là 3 vì chúng tôi có thể linh hoạt phá vỡ 3 điểm, không phải vì cách này hay cách khác trong việc đếm số lượng tham số.

Kích thước VC được giải thích rất rõ trong bài viết này trong Phần 2.1 và hơn thế nữa, với các bổ đề và bằng chứng cơ bản được đưa ra. Bạn có thể đi qua đây.