Định lý không ăn trưa miễn phí và tính nhất quán của K-NN

Trong học tập tính toán, định lý NFL nói rằng không có người học phổ quát. Đối với mọi thuật toán học tập, có một phân phối khiến cho người học đưa ra một giả thuyết với một lỗi lớn, với xác suất cao (mặc dù có một giả thuyết lỗi thấp). Kết luận là để học, lớp hypoteis hoặc phân phối phải được hạn chế. Trong cuốn sách "Một lý thuyết xác suất của nhận dạng mẫu", Devroye et al chứng minh theroem sau đây cho người học láng giềng gần nhất của K: Trong đó

Assume μ has a density. if k \to \infty and k / n \to 0 then for every ϵ > 0, there's N, s.t. for all n > N : P (R_{n} - R^{*} > ϵ) < 2 e x p (- C_{d} n ϵ^{2})

$\text{Assume } \mu \text{ has a density. if } k\to \infty \text{ and } k/n\to0 \\ \text{ then for every } \epsilon>0, \text{ there's } N, \text{ s.t.} \text{ for all } n>N : \\ P(R_n - R^* > \epsilon)< 2exp(-C_dn \epsilon ^{2})$

R^{*}

$R^*$ là lỗi của quy tắc tối ưu , là lỗi thực sự của đầu ra K-NN (xác suất vượt quá tập huấn kích thước ), là thước đo xác suất trên không gian cá thể và là một số hằng số chỉ phụ thuộc vào kích thước euclide. Do đó, chúng ta có thể tiến gần đến mức chúng ta muốn với giả thuyết tốt nhất có (không phải là tốt nhất trong một số lớp bị hạn chế), mà không đưa ra bất kỳ giả định nào về sự phân bổ. Vì vậy, tôi đang cố gắng để hiểu làm thế nào kết quả này không mâu thuẫn với NFL theroem? cảm ơn!

R_{n}

$R_n$

n

$n$

μ

$\mu$

R^{d}

$\mathbb{R}^d$

C_{d}

$C_d$

k-nearest-neighbour consistency

— michael J
nguồn

Cách tôi hiểu định lý NFL là không có thuật toán học nào tốt hơn phần còn lại trong mọi nhiệm vụ. Tuy nhiên, đây không phải là một định lý theo nghĩa toán học rõ ràng rằng nó có một bằng chứng, thay vì một quan sát thực nghiệm.

Tương tự như những gì bạn đã nói cho kNN, cũng có Định lý xấp xỉ phổ quát cho Mạng thần kinh, trong đó nêu rõ mạng thần kinh 2 lớp, chúng ta có thể tính gần đúng bất kỳ chức năng nào với bất kỳ lỗi tùy ý nào.

Bây giờ, làm thế nào để không phá vỡ NFL? Về cơ bản, nó nói rằng bạn có thể giải quyết bất kỳ vấn đề có thể hiểu được với NN 2 lớp đơn giản. Lý do là trong khi, về mặt lý thuyết, các NN có thể ước chừng bất cứ thứ gì, trong thực tế, rất khó để dạy họ gần đúng mọi thứ. Đó là lý do tại sao đối với một số nhiệm vụ, các thuật toán khác được ưa thích hơn.

Một cách thực tế hơn để giải thích NFL là như sau:

Không có cách nào để xác định a-prori thuật toán nào sẽ làm tốt nhất cho một nhiệm vụ nhất định.

— CaucM
nguồn

Cảm ơn câu trả lời, nhưng có một số điểm không chính xác .. Đầu tiên, định lý NFL có một bằng chứng (ví dụ, shalev-shwartz & ben-david, hiểu về học máy, chương 5). Đối với Định lý xấp xỉ phổ quát - định lý này liên quan đến tính ưu việt, trong khi định lý NFL liên quan đến khái quát hóa.

— michael J