Chuẩn hóa trước khi xác thực chéo

Việc chuẩn hóa dữ liệu (để có độ lệch chuẩn trung bình và độ lệch chuẩn) bằng 0 trước khi thực hiện xác thực chéo k-lặp lại có bất kỳ sự chinh phục tiêu cực nào như quá mức không?

Lưu ý: đây là tình huống trong đó #case> tổng #features

Tôi đang chuyển đổi một số dữ liệu của mình bằng cách sử dụng chuyển đổi nhật ký, sau đó bình thường hóa tất cả dữ liệu như trên. Tôi sau đó thực hiện lựa chọn tính năng. Tiếp theo, tôi áp dụng các tính năng đã chọn và dữ liệu chuẩn hóa cho xác thực chéo 10 lần lặp lại để thử và ước tính hiệu suất phân loại tổng quát và lo ngại rằng sử dụng tất cả dữ liệu để chuẩn hóa có thể không phù hợp. Tôi có nên bình thường hóa dữ liệu thử nghiệm cho mỗi lần sử dụng dữ liệu chuẩn hóa thu được từ dữ liệu huấn luyện cho lần đó không?

Mọi ý kiến ​​đều biết ơn! Xin lỗi nếu câu hỏi này có vẻ rõ ràng.

Chỉnh sửa: Khi kiểm tra điều này (phù hợp với các đề xuất bên dưới) Tôi thấy rằng việc chuẩn hóa trước CV không tạo ra nhiều khác biệt về hiệu suất khi so sánh với chuẩn hóa trong CV.

Để trả lời câu hỏi chính của bạn, nó sẽ là tối ưu và phù hợp hơn để mở rộng quy mô trong CV. Nhưng nó có thể sẽ không quan trọng lắm và có thể không quan trọng trong thực tế nếu bộ phân loại của bạn lưu lại dữ liệu, điều mà hầu hết làm (ít nhất là trong R).

Tuy nhiên, việc chọn tính năng trước khi xác thực chéo là KHÔNG CÓ LỚN và sẽ dẫn đến tình trạng thừa, vì bạn sẽ chọn chúng dựa trên cách chúng thực hiện trên toàn bộ tập dữ liệu. Chuyển đổi nhật ký có thể thực hiện bên ngoài, vì chuyển đổi không phụ thuộc vào dữ liệu thực tế (nhiều hơn về loại dữ liệu) và không phải là điều bạn sẽ không làm nếu bạn chỉ có 90% dữ liệu thay vì 100% và không được điều chỉnh theo dữ liệu.

Để trả lời bình luận của bạn, rõ ràng liệu nó có dẫn đến việc quá mức hay không sẽ phụ thuộc vào cách lựa chọn tính năng của bạn. Nếu bạn chọn chúng một cách tình cờ (tại sao bạn lại làm thế?) Hoặc vì những cân nhắc lý thuyết tiên nghiệm (tài liệu khác) thì sẽ không thành vấn đề. Nhưng nếu nó phụ thuộc vào dữ liệu của bạn, nó sẽ. Các yếu tố của học thống kê có một lời giải thích tốt. Bạn có thể tải xuống một cách hợp pháp và hợp pháp một .pdf tại đây http://www-stat.stanford.edu/~tibs/ElemStatLearn/

Điểm liên quan đến bạn là trong phần 7.10.2 trên trang 245 của lần in thứ năm. Nó có tiêu đề "Sai và đúng cách để xác thực chéo".

Xác thực chéo được xem tốt nhất là một phương pháp để ước tính hiệu suất của một quy trình thống kê, chứ không phải là một mô hình thống kê. Do đó, để có được ước tính hiệu suất không thiên vị, bạn cần lặp lại từng yếu tố của quy trình đó một cách riêng biệt trong mỗi lần xác thực chéo, bao gồm cả chuẩn hóa. Vì vậy, tôi sẽ nói bình thường hóa trong mỗi lần.

Lần duy nhất điều này sẽ không cần thiết là nếu quy trình thống kê hoàn toàn không nhạy cảm với tỷ lệ và giá trị trung bình của dữ liệu.

Tôi nghĩ rằng nếu việc chuẩn hóa chỉ liên quan đến hai tham số và bạn có một mẫu kích thước tốt sẽ không thành vấn đề. Tôi sẽ quan tâm nhiều hơn về việc chuyển đổi và quá trình lựa chọn biến. Xác nhận chéo 10 lần dường như là cơn thịnh nộ ngày nay. Không ai sử dụng bootstrap 632 hoặc 632+ để ước tính tỷ lệ lỗi phân loại như được đề xuất trước tiên bởi Efron (1983) trong JASA và tiếp theo sau đó trong bài báo của Efron và Tibshirani với 632+?

Cá nhân tôi thích phương pháp .632. Đó là cơ bản tăng cường với thay thế. Nếu bạn làm điều đó và loại bỏ các bản sao, bạn sẽ nhận được 632 mục trong bộ đầu vào 1000. Loại gọn gàng.