Giới hạn lý thuyết - lỗi hồi quy

Tỷ lệ lỗi Bayes là một ràng buộc về mặt lý thuyết xác định tỷ lệ lỗi thấp nhất có thể cho một vấn đề phân loại, được đưa ra một số dữ liệu. Tôi đã tự hỏi liệu một khái niệm tương đương tồn tại cho trường hợp thuật toán hồi quy. Mục đích của tôi là xác định lỗi của thuật toán hồi quy của tôi đến mức nào từ ràng buộc lý thuyết đó, như một cách để đánh giá tôi cách giải pháp tốt nhất có thể bao xa. Có cách nào để có được một ràng buộc của lỗi hồi quy thấp nhất cho một tập dữ liệu đã cho không?

Tôi nhận ra câu hỏi này đã được hỏi hơn một năm trước, nhưng tôi nghĩ một khả năng là sử dụng phân rã phương sai để tính giới hạn thấp hơn về tỷ lệ lỗi.

Về cơ bản, tỷ lệ lỗi được viết dưới dạng tổng của ba số hạng, sai lệch, phương sai và sai số không thể sửa chữa. Một nguồn tốt để tìm hiểu về các thuật ngữ này là Giới thiệu về Học thống kê .

Giả sử rằng hàm thực sự ($f(x)$) nằm trong nhóm các chức năng mà mô hình học máy của chúng tôi có khả năng phù hợp và lấy giới hạn là lượng dữ liệu đào tạo chúng tôi có được đến vô cùng. Sau đó, nếu mô hình học máy của chúng tôi có số lượng tham số hữu hạn, cả sai lệch và phương sai sẽ bằng không. Vì vậy, lỗi thực tế sẽ chỉ đơn giản bằng lỗi không thể sửa chữa.

Ví dụ, giả sử dữ liệu thực của chúng ta là tuyến tính với nhiễu Gaussian:$y \sim N(a + bx, \sigma^2)$. Một trong những ước tính tối ưu rõ ràng là hồi quy tuyến tính,$\hat{y} = \hat{a} + \hat{b}x$và, khi chúng tôi thêm nhiều ví dụ đào tạo, các hệ số ước tính $\hat{a}$ và $\hat{b}$ Sẽ tiếp cận $a$ và $b$, tương ứng. Vì vậy, lỗi tốt nhất (giả sử mất bình phương) mà chúng ta có thể hy vọng đạt được sẽ bằng$\sigma^2$, lỗi cố hữu / nhiễu không thể khắc phục được liên quan đến chính việc tạo dữ liệu

Trong thực tế, tính toán lỗi không thể khắc phục là khó khăn (không thể?), Vì nó đòi hỏi kiến ​​thức về quy trình thực sự để tạo dữ liệu. Nhưng, phê bình này cũng có thể áp dụng cho lỗi Bayes, vì điều đó đòi hỏi kiến ​​thức về xác suất của lớp thực sự.

Vâng, đó sẽ là tổng bình phương khoảng cách của biến trả lời từ đường hồi quy thực hoặc hồi quy thực tế (miễn là bạn biết điều đó).