Sự khác biệt giữa dữ liệu bị thiếu và dữ liệu thưa thớt trong thuật toán học máy

Sự khác biệt chính giữa dữ liệu thưa và dữ liệu bị thiếu là gì? Và nó ảnh hưởng đến việc học máy như thế nào? Cụ thể hơn, những gì ảnh hưởng đến dữ liệu thưa thớt và dữ liệu bị thiếu đối với các thuật toán phân loại và loại hồi quy (dự đoán số) loại thuật toán. Tôi đang nói về một tình huống, trong đó tỷ lệ phần trăm dữ liệu bị thiếu là đáng kể và chúng ta không thể bỏ các hàng chứa dữ liệu bị thiếu.

Để dễ hiểu, tôi sẽ mô tả điều này bằng một ví dụ. Giả sử bạn đang thu thập dữ liệu từ một thiết bị có 12 cảm biến. Và bạn đã thu thập dữ liệu trong 10 ngày.

Dữ liệu bạn đã thu thập như sau:

Đây được gọi là dữ liệu thưa thớt vì hầu hết các đầu ra cảm biến đều bằng không. Điều đó có nghĩa là những cảm biến đó đang hoạt động đúng nhưng số đọc thực tế bằng không. Mặc dù ma trận này có dữ liệu chiều cao (12 trục) nhưng có thể nói rằng nó chứa ít thông tin hơn.

Giả sử 2 cảm biến của thiết bị của bạn bị trục trặc.
Sau đó, dữ liệu của bạn sẽ như sau:

Trong trường hợp này, bạn có thể thấy rằng bạn không thể sử dụng dữ liệu từ Sensor1 và Sensor6. Hoặc bạn phải điền dữ liệu thủ công mà không ảnh hưởng đến kết quả hoặc bạn phải làm lại thử nghiệm.