Sự khác biệt giữa phân phối dữ liệu đào tạo và kiểm tra

Một giả định cơ bản trong học máy là dữ liệu đào tạo và kiểm tra được rút ra từ cùng một dân số, và do đó tuân theo cùng một phân phối. Nhưng, trong thực tế, điều này rất khó xảy ra. Sự thay đổi đồng biến giải quyết vấn đề này. Ai đó có thể xóa những nghi ngờ sau đây về điều này?

Làm thế nào để kiểm tra xem hai phân phối có khác nhau về mặt thống kê không? Ước tính mật độ hạt nhân (KDE) có thể được sử dụng để ước tính phân phối xác suất để cho biết sự khác biệt? Giả sử tôi có 100 hình ảnh của một danh mục cụ thể. Số lượng hình ảnh thử nghiệm là 50 và tôi đang thay đổi số lượng hình ảnh đào tạo từ 5 thành 50 trong các bước 5. Tôi có thể nói phân phối xác suất khác nhau khi sử dụng 5 hình ảnh đào tạo và 50 hình ảnh thử nghiệm sau khi ước tính chúng bằng KDE không?

Một cách tốt để đo lường sự khác biệt giữa hai phân phối xác suất là Kullbak-Liebler . Bạn phải tính đến việc phân phối đã tích hợp thành một. Ngoài ra, bạn phải tính đến rằng đó không phải là một khoảng cách vì nó không đối xứng. KL (A, B) không bằng KL (B, A)

Nếu bạn đang làm việc với dữ liệu lớn. Phân phối tập huấn và kiểm tra có thể không quá khác nhau. Trong lý thuyết "luật số lượng lớn" đảm bảo rằng phân phối vẫn như cũ. Đối với tập dữ liệu nhỏ hơn có lẽ đây là một điểm tốt để chăm sóc phân phối. Như đã nói bởi Hoap Humanoid "Kullbak-Liebler" có thể được sử dụng để tìm sự khác biệt của các bản phân phối của hai bộ.