Tại sao độ chính xác hữu hạn là một vấn đề trong học máy?

Bạn có thể giải thích chính xác hữu hạn là gì? Tại sao độ chính xác hữu hạn là một vấn đề trong học máy?

Độ chính xác hữu hạn là biểu diễn thập phân của một số đã được làm tròn hoặc cắt ngắn. Có nhiều trường hợp điều này có thể cần thiết hoặc phù hợp. Ví dụ 1/3 và các số siêu việt và đều có biểu diễn thập phân vô hạn. Trong ngôn ngữ lập trình C, giá trị kép là 8 bit và chính xác đến xấp xỉ 16 chữ số. Xem ở đây.$e$$\pi$

http://www.learncpp.com/cpp-tutorial/25-floating-point-numbers/

Để đại diện cụ thể cho một trong những số này trên máy tính (hữu hạn), phải có một số thỏa hiệp. Chúng ta có thể viết 1/3 đến 9 chữ số là .333333333 nhỏ hơn 1/3.

Những thỏa hiệp này được kết hợp với các hoạt động số học. Các thuật toán không ổn định dễ bị lỗi số học. Đây là lý do tại sao SVD thường được sử dụng để tính PCA (tính không ổn định của ma trận hiệp phương sai).

http://www.sandia.gov/~smartin/presentations/SMartin_Stability.pdf

https://en.wikipedia.org/wiki/Numerical_stability

Trong trình phân loại vịnh ngây thơ, bạn sẽ thường thấy phép nhân được chuyển thành tổng số logarit, ít xảy ra lỗi làm tròn.

https://en.wikipedia.org/wiki/Naive_Bayes_groupifier#Multinomial_naive_Bayes

Một ví dụ đơn giản: Vấn đề Gradient Vanishing trong Deep Learning. Đây không phải là vấn đề chính xác hữu hạn, nhưng đó cũng là một phần của vấn đề.