Tại sao mọi người sẽ sử dụng KNN cho hồi quy?

Từ những gì tôi hiểu, chúng ta chỉ có thể xây dựng hàm hồi quy nằm trong khoảng của dữ liệu huấn luyện.

Ví dụ: (chỉ một trong các bảng là cần thiết):

Làm thế nào tôi có thể dự đoán trong tương lai bằng cách sử dụng một hồi quy KNN? Một lần nữa, nó dường như chỉ gần đúng một chức năng nằm trong khoảng thời gian của dữ liệu đào tạo.

Câu hỏi của tôi: những lợi thế của việc sử dụng một hồi quy KNN là gì? Tôi hiểu rằng nó là một công cụ rất mạnh để phân loại, nhưng có vẻ như nó sẽ hoạt động kém trong kịch bản hồi quy.

Các phương pháp địa phương như K-NN có ý nghĩa trong một số tình huống.

Một ví dụ mà tôi đã làm trong công việc ở trường phải làm với việc dự đoán cường độ nén của các hỗn hợp khác nhau của các thành phần xi măng. Tất cả các thành phần này tương đối không bay hơi đối với phản ứng hoặc lẫn nhau và KNN đã đưa ra dự đoán đáng tin cậy về nó. Nói cách khác, không có biến độc lập nào có phương sai lớn không tương xứng để trao đổi cho mô hình hoặc riêng lẻ hoặc có thể bằng tương tác lẫn nhau.

Lấy thứ này bằng một hạt muối vì tôi không biết về một kỹ thuật điều tra dữ liệu kết luận rõ ràng điều này nhưng theo trực giác thì có vẻ hợp lý rằng nếu các tính năng của bạn có một số mức độ chênh lệch tương xứng, tôi không biết tỷ lệ nào, bạn có thể có Ứng viên KNN. Tôi chắc chắn muốn biết nếu có một số nghiên cứu và kỹ thuật kết quả được phát triển cho hiệu ứng này.

Nếu bạn nghĩ về nó từ góc độ miền tổng quát, có một lớp ứng dụng rộng lớn trong đó các 'công thức' tương tự mang lại kết quả tương tự. Điều này chắc chắn dường như mô tả tình hình dự đoán kết quả của việc trộn xi măng. Tôi sẽ nói rằng nếu bạn có dữ liệu hành xử theo mô tả này và ngoài ra, thước đo khoảng cách của bạn cũng tự nhiên đối với miền và cuối cùng là bạn có đủ dữ liệu, tôi sẽ tưởng tượng rằng bạn sẽ nhận được kết quả hữu ích từ KNN hoặc phương pháp cục bộ khác .

Bạn cũng đang nhận được lợi ích của sự thiên vị cực kỳ thấp khi bạn sử dụng các phương pháp địa phương. Đôi khi, mô hình cộng gộp (GAM) cân bằng độ lệch và phương sai bằng cách khớp từng biến riêng lẻ bằng KNN sao cho:

Phần phụ gia (các ký hiệu cộng) bảo vệ chống lại phương sai cao trong khi việc sử dụng KNN thay cho bảo vệ chống lại sai lệch cao.$f_n(x_n)$

Tôi sẽ không viết tắt KNN nhanh như vậy. Nó có vị trí của nó.

Tôi không muốn nói điều đó nhưng thực ra câu trả lời ngắn gọn là, "dự đoán về tương lai" thực sự không thể xảy ra với một knn cũng như với bất kỳ trình phân loại hoặc hồi quy hiện có nào khác.

Chắc chắn bạn có thể ngoại suy dòng hồi quy tuyến tính hoặc siêu phẳng của một SVM nhưng cuối cùng bạn không biết tương lai sẽ ra sao, đối với tất cả những gì chúng ta biết, dòng này có thể chỉ là một phần nhỏ của một thực tế cong. Điều này trở nên rõ ràng khi bạn xem xét các phương thức Bayes như các quy trình Gaussian, bạn sẽ nhận thấy một sự không chắc chắn lớn ngay khi bạn rời khỏi "miền đầu vào đã biết".

Tất nhiên, bạn có thể cố gắng khái quát hóa từ những gì xảy ra hôm nay đến những gì có thể xảy ra vào ngày mai, điều này có thể dễ dàng thực hiện với một hồi quy knn (ví dụ số khách hàng năm ngoái trong thời gian Giáng sinh có thể cho bạn một gợi ý hay về số của năm nay). Chắc chắn các phương pháp khác có thể kết hợp xu hướng và vân vân nhưng cuối cùng bạn có thể thấy nó hoạt động tốt như thế nào khi nói đến thị trường chứng khoán hoặc dự đoán thời tiết dài hạn.

Đầu tiên là một ví dụ cho "Làm thế nào tôi dự đoán được trong tương lai bằng cách sử dụng bộ hồi quy KNN?".

$sun_{t+1}$$sun_t .. sun_{t-6}$
$sun_t$

$week_t \equiv sun_t .. sun_{t-6}$$tomorrow( week_t )) \equiv sun_{t+1}$

$week_t$
$week$
$tomorrow_0 .. tomorrow_9$
$\qquad predict( week ) \equiv$$tomorrow_0 .. tomorrow_9$

Điều chỉnh trọng lượng, xem ví dụ ngược đường trọng-IDW-suy-với-python ,
và khoảng cách số liệu cho "người láng giềng gần" trong 7d.

"Những lợi thế của việc sử dụng một hồi quy KNN là gì?"
Đối với những bình luận tốt của người khác, tôi sẽ dễ dàng viết mã và hiểu và mở rộng dữ liệu lớn.
Nhược điểm: nhạy cảm với dữ liệu và điều chỉnh, không hiểu biết nhiều .

Vì vậy, dòng đầu tiên của bạn "chúng tôi chỉ có thể xây dựng hàm hồi quy nằm trong khoảng thời gian của dữ liệu đào tạo" dường như là về từ "hồi quy" khó hiểu.)

Từ Giới thiệu về Học thống kê , phần 3.5:

Trong một tình huống thực tế trong đó không xác định được mối quan hệ thực sự, người ta có thể rút ra kết luận rằng KNN nên được ưu tiên hơn so với hồi quy tuyến tính vì tệ nhất sẽ kém hơn một chút so với hồi quy tuyến tính nếu mối quan hệ thực sự là tuyến tính và có thể tốt hơn đáng kể kết quả nếu mối quan hệ thực sự là phi tuyến tính.

Nhưng có những ràng buộc (không phải từ sách giáo khoa, chỉ là những gì tôi đã kết luận):

1. một số lượng quan sát đủ cho mỗi người dự đoán.
2. số lượng dự đoán không nên quá lớn.