Lỗi đào tạo trong trình phân loại KNN khi K = 1

Tôi đã nhận được câu hỏi này trong một bài kiểm tra, nó đã hỏi điều gì sẽ là lỗi đào tạo cho trình phân loại KNN khi K = 1. Đào tạo có ý nghĩa gì đối với phân loại KNN? Sự hiểu biết của tôi về trình phân loại KNN là nó xem xét toàn bộ tập dữ liệu và gán bất kỳ quan sát mới nào cho giá trị phần lớn của các lân cận K gần nhất. Trường hợp đào tạo đi vào hình ảnh? Ngoài ra, câu trả lời đúng được cung cấp cho điều này là lỗi đào tạo sẽ bằng không đối với bất kỳ tập dữ liệu nào. Sao có thể như thế được?

Lỗi đào tạo ở đây là lỗi bạn sẽ gặp phải khi bạn nhập tập huấn luyện vào KNN dưới dạng tập kiểm tra. Khi K = 1, bạn sẽ chọn mẫu đào tạo gần nhất với mẫu thử nghiệm của mình. Vì mẫu thử nghiệm của bạn nằm trong tập dữ liệu huấn luyện, nó sẽ tự chọn là mẫu gần nhất và không bao giờ mắc lỗi. Vì lý do này, lỗi đào tạo sẽ bằng 0 khi K = 1, không phân biệt tập dữ liệu. Nhân tiện, có một giả định hợp lý ở đây và đó là tập huấn luyện của bạn sẽ không bao gồm các mẫu đào tạo giống nhau thuộc các lớp khác nhau, tức là thông tin mâu thuẫn. Một số bộ dữ liệu trong thế giới thực có thể có tài sản này mặc dù.

Để hiểu một cách trực quan, bạn có thể nghĩ về việc đào tạo KNN là một quá trình tô màu các vùng và vạch ra các ranh giới xung quanh dữ liệu đào tạo.

Trước tiên chúng ta có thể vẽ ranh giới xung quanh mỗi điểm trong tập huấn luyện với giao điểm của các đường phân giác vuông góc của mỗi cặp điểm. (hình động bisector vuông góc được hiển thị dưới đây)

nguồn gif

$K=1$$x$$x'$$x$$0$$x=x'$

$x$$K=1$

Lưu ý làm thế nào không có điểm đỏ trong vùng màu xanh và ngược lại. Điều đó cho chúng tôi biết có lỗi đào tạo là 0.

Lưu ý rằng ranh giới quyết định thường chỉ được rút ra giữa các loại khác nhau, (loại bỏ tất cả các ranh giới xanh-đỏ-đỏ) để ranh giới quyết định của bạn có thể trông giống như thế này:

$K$$K=20$

$K = 20$

nguồn hình ảnh