k-NN khái quát theo nghĩa rất hạn chế. Nó chỉ đơn giản là sử dụng các linh mục trơn tru (hoặc giả định liên tục). Giả định này ngụ ý rằng các mẫu gần với không gian đặc trưng rất có thể thuộc về cùng một lớp. Không có sự đều đặn về chức năng trong phân phối mẫu có thể được phục hồi bằng k-NN.
Do đó, nó đòi hỏi các mẫu đào tạo đại diện, có thể cực kỳ lớn, đặc biệt là trong các trường hợp không gian đặc trưng chiều cao. Tệ hơn, những mẫu này có thể không có sẵn. Do đó, nó không thể học bất biến. Nếu các mẫu có thể chịu một số biến đổi mà không thay đổi nhãn của chúng và mẫu đào tạo không chứa các mẫu được chuyển đổi theo tất cả các cách được chấp nhận, k-NN sẽ không bao giờ nhận ra các mẫu biến đổi không được trình bày trong quá trình đào tạo. Điều này đúng, ví dụ, đối với các hình ảnh bị thay đổi hoặc xoay, nếu chúng không được biểu diễn dưới dạng bất biến trước khi chạy k-NN. k-NN thậm chí không thể trừu tượng từ các tính năng không liên quan.
Một ví dụ hơi giả tạo khác đang theo sau. Hãy tưởng tượng rằng mẫu thuộc về các lớp khác nhau được phân phối định kỳ (ví dụ: theo sin - nếu nó nhỏ hơn 0, thì các mẫu thuộc về một lớp và lớn hơn, thì các mẫu thuộc về một lớp khác). Tập huấn luyện là hữu hạn. Vì vậy, nó sẽ nằm trong một khu vực hữu hạn. Bên ngoài khu vực này lỗi nhận dạng sẽ là 50%. Người ta có thể tưởng tượng hồi quy logistic với các hàm cơ sở định kỳ sẽ hoạt động tốt hơn nhiều trong trường hợp này. Các phương pháp khác sẽ có thể học các quy tắc khác trong phân phối mẫu và ngoại suy tốt.
Vì vậy, nếu một người nghi ngờ rằng tập dữ liệu có sẵn không phải là đại diện và cần phải đạt được một số biến đổi của các mẫu, thì đây là trường hợp, trong đó người ta phải vượt ra ngoài k-NN.