Lỗi Bayes trong học máy là gì?

http://www.deeplearningbook.org/contents/ml.html Trang 116 giải thích lỗi bay như bên dưới

Mô hình lý tưởng là một nhà tiên tri chỉ đơn giản biết phân phối xác suất thực sự tạo ra dữ liệu. Ngay cả một mô hình như vậy vẫn sẽ phát sinh một số lỗi trên nhiều vấn đề, bởi vì vẫn có thể có một số nhiễu trong phân phối. Trong trường hợp học có giám sát, ánh xạ từ x đến y có thể là ngẫu nhiên, hoặc y có thể là một hàm xác định liên quan đến các biến khác ngoài các biến có trong x. Lỗi phát sinh bởi một nhà tiên tri đưa ra dự đoán từ phân phối thực p (x, y) được gọi là lỗi Bayes.

Câu hỏi

1. Hãy giải thích lỗi Bayes bằng trực giác?
2. Làm thế nào nó khác với lỗi không thể sửa chữa?
3. Tôi có thể nói tổng lỗi = Bias + Variance + Bayes error không?
4. Ý nghĩa của "y có thể là ngẫu nhiên" là gì?

Lỗi Bayes là lỗi dự đoán thấp nhất có thể đạt được và giống như lỗi không thể khắc phục. Nếu người ta biết chính xác quá trình tạo dữ liệu, thì lỗi vẫn sẽ được thực hiện nếu quá trình này là ngẫu nhiên. Đây cũng là ý nghĩa của " $y$ vốn là ngẫu nhiên".

Ví dụ, khi lật một đồng tiền công bằng, chúng ta biết chính xác quá trình nào tạo ra kết quả (phân phối nhị thức). Tuy nhiên, nếu chúng ta dự đoán kết quả của một loạt các lần lật đồng xu, chúng ta vẫn sẽ mắc lỗi, vì quá trình này vốn dĩ là ngẫu nhiên (tức là ngẫu nhiên).

Để trả lời câu hỏi khác của bạn, bạn đã đúng khi nói rằng tổng lỗi là tổng sai lệch (bình phương), sai lệch và sai số không thể sửa chữa. Xem thêm này bài viết cho dễ hiểu giải thích về ba khái niệm này.

Từ https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . Đối với tác vụ phân loại, lỗi vịnh được định nghĩa là:

$min_f=Cost(f)$

$argmin_f=Cost(f)$

$\not\equiv$

$y=f(x)=sin(x)$$\tilde{y}=y+t$$t\sim N(0, \sigma^2)$