Ý nghĩa của lỗi tái cấu trúc của người dùng trong PCA và LDA

Tôi đang triển khai PCA, LDA và Naive Bayes, để nén và phân loại tương ứng (thực hiện cả LDA cho nén và phân loại).

Tôi có mã được viết và mọi thứ hoạt động. Những gì tôi cần biết, đối với báo cáo, là định nghĩa chung về lỗi tái thiết là gì.

Tôi có thể tìm thấy rất nhiều toán học và sử dụng nó trong tài liệu ... nhưng điều tôi thực sự cần là chế độ xem mắt / định nghĩa từ đơn giản của chim, vì vậy tôi có thể điều chỉnh nó theo báo cáo.

Đối với PCA, điều bạn làm là bạn chiếu dữ liệu của mình lên một tập hợp con của không gian đầu vào. Về cơ bản, mọi thứ giữ trên hình ảnh này ở trên: bạn chiếu dữ liệu trên không gian con với phương sai tối đa. Khi bạn xây dựng lại dữ liệu của mình từ phép chiếu, bạn sẽ nhận được các điểm màu đỏ và lỗi tái cấu trúc là tổng khoảng cách từ các điểm màu xanh đến điểm đỏ: nó thực sự tương ứng với lỗi bạn đã tạo ra khi chiếu dữ liệu lên màu xanh lá cây hàng. Nó có thể được khái quát trong bất kỳ chiều nào của khóa học!

Như đã chỉ ra trong các bình luận, có vẻ như điều đó không đơn giản đối với LDA và tôi không thể tìm thấy một định nghĩa đúng đắn trên internet. Lấy làm tiếc.

Định nghĩa chung về lỗi tái cấu trúc sẽ là khoảng cách giữa điểm dữ liệu gốc và hình chiếu của nó lên không gian con chiều thấp hơn ('ước tính').

Nguồn: Toán học chuyên ngành máy học của Imperial College London

Điều tôi thường sử dụng làm thước đo lỗi tái cấu trúc (trong ngữ cảnh của PCA, nhưng cũng là các phương pháp khác) là hệ số xác định và Lỗi bình phương gốc (hoặc RMSE bình thường hóa). Hai cái này rất dễ tính toán và cho bạn ý tưởng nhanh về việc tái thiết đã làm gì.$R^2$

Phép tính

Giả sử là dữ liệu gốc của bạn và là dữ liệu nén.$X$$f$

Biến của biến có thể được tính là:$R^2$$i^{th}$

$R^2_i = 1 - \frac{\sum_{j=1}^n (X_{j,i} - f_{j,i})^2}{\sum_{j=1}^n X_{j,i}^2}$

Vì cho phù hợp hoàn hảo, bạn có thể đánh giá việc tái cấu trúc bằng cách đóng với 1.0.$R^2 = 1.0$$R^2$

RMSE của biến có thể được tính là:$i^{th}$

$\text{RMSE}_i = \sqrt{\overline{(X_i - f_i)^2}}$

mà bạn cũng có thể chuẩn hóa theo số lượng phù hợp với mình (định mức ), tôi thường chuẩn hóa theo giá trị trung bình, NRMSE là như vậy:$N$

$\text{NRMSE}_i = \frac{\text{RMSE}_i}{N_i} = \sqrt{\frac{\overline{(X_i - f_i)^2}}{\overline{X_i^2}}}$

Tính toán

Trong trường hợp bạn đang sử dụng Python, bạn có thể tính toán những điều này như sau:

from sklearn.metrics import r2_score
from sklearn.metrics import mean_squared_error
from math import sqrt
import numpy as np

r2 = r2_score(X, f)
rmse = sqrt(mean_squared_error(X, f))

# RMSE normalised by mean:
nrmse = rmse/sqrt(np.mean(X**2))

nơi Xlà dữ liệu gốc và flà dữ liệu nén.

Hình dung

Trong trường hợp nó hữu ích cho bạn để thực hiện một số phân tích độ nhạy, thì bạn có thể đánh giá trực quan cách hoặc RMSE thay đổi khi bạn thay đổi các tham số nén của mình. Chẳng hạn, điều này có thể hữu ích trong bối cảnh PCA khi bạn muốn so sánh các bản dựng lại với số lượng Thành phần chính được giữ lại ngày càng tăng. Dưới đây bạn thấy rằng việc tăng số lượng chế độ sẽ giúp bạn phù hợp hơn với mô hình:$R^2$