Việc sử dụng cùng một dữ liệu để lựa chọn tính năng và xác thực chéo có bị sai lệch hay không?

Chúng tôi có một bộ dữ liệu nhỏ (khoảng 250 mẫu * 100 tính năng) mà chúng tôi muốn xây dựng bộ phân loại nhị phân sau khi chọn tập hợp tính năng tốt nhất. Hãy nói rằng chúng tôi phân vùng dữ liệu thành:

Đào tạo, kiểm tra và kiểm tra

Để chọn tính năng, chúng tôi áp dụng mô hình trình bao bọc dựa trên việc chọn các tính năng tối ưu hóa hiệu suất của các phân loại X, Y và Z, riêng biệt. Trong bước tiền xử lý này, chúng tôi sử dụng dữ liệu đào tạo để đào tạo các trình phân loại và dữ liệu xác nhận để đánh giá mọi tập hợp tính năng ứng viên.

Cuối cùng, chúng tôi muốn so sánh các phân loại khác nhau (X, Y và Z). Tất nhiên, chúng ta có thể sử dụng phần kiểm tra dữ liệu để có sự so sánh và đánh giá công bằng. Tuy nhiên, trong trường hợp của tôi, dữ liệu thử nghiệm sẽ rất nhỏ (khoảng 10 đến 20 mẫu) và do đó, tôi muốn áp dụng xác thực chéo để đánh giá các mô hình.

Sự phân phối của các ví dụ tích cực và tiêu cực rất không cân bằng (khoảng 8: 2). Vì vậy, một xác nhận chéo có thể bỏ lỡ chúng tôi trong việc đánh giá hiệu suất. Để khắc phục điều này, chúng tôi dự định lấy phần thử nghiệm (10-20 mẫu) làm phương pháp so sánh thứ hai và để xác thực xác thực chéo.

Tóm lại, chúng tôi đang phân vùng dữ liệu thành đào tạo, xác nhận và thử nghiệm. Các bộ phận đào tạo và xác nhận sẽ được sử dụng để lựa chọn tính năng. Sau đó, xác nhận chéo trên cùng một dữ liệu sẽ được áp dụng để ước tính các mô hình. Cuối cùng, kiểm tra được sử dụng để xác nhận tính hợp lệ chéo cho sự mất cân bằng của dữ liệu.

Câu hỏi là: Nếu chúng ta sử dụng cùng một dữ liệu (đào tạo + xác thực) được sử dụng trong việc chọn các tính năng tối ưu hóa hiệu suất của phân loại X, Y và Z, chúng ta có thể áp dụng xác thực chéo trên cùng một dữ liệu (đào tạo + xác thực) được sử dụng cho lựa chọn tính năng để đo hiệu suất cuối cùng và so sánh các phân loại?

Tôi không biết liệu cài đặt này có thể dẫn đến một biện pháp xác thực chéo sai lệch và dẫn đến so sánh không chính đáng hay không.

Tôi nghĩ rằng nó là thiên vị. Điều gì về việc áp dụng FS trong phân vùng N-1 và thử nghiệm trên phân vùng cuối cùng. và kết hợp các tính năng từ tất cả các lần theo một cách nào đó (liên kết / giao lộ / hoặc một số cách cụ thể vấn đề).

Câu trả lời đơn giản là bạn nên thực hiện lựa chọn tính năng trên một tập dữ liệu khác với dữ liệu bạn đã đào tạo (bạn đã làm điều này rồi, vì vậy đừng thay đổi điều này) --- hiệu quả của việc không làm điều này là bạn sẽ vượt quá dữ liệu đào tạo của mình. Bạn cũng không được thực hiện lựa chọn tính năng trên bộ thử nghiệm của mình, vì điều này sẽ làm tăng các ước tính về hiệu suất của các mô hình của bạn (tôi nghĩ bạn cũng đã nhận ra điều này, nhưng tôi thấy hơi khó để hiểu chính xác câu hỏi).

Nếu bạn đã chia bộ kiểm tra của mình thành đào tạo, xác thực và kiểm tra, thì không có lý do cụ thể nào để thực hiện xác thực chéo trừ khi bạn có quá ít dữ liệu mà bộ kiểm tra của bạn quá nhỏ để đưa ra kết luận mạnh mẽ. Nhiều nhà nghiên cứu không thích xác thực chéo vì nếu được sử dụng để thúc đẩy phát triển mô hình (ý tôi là, bạn điều chỉnh mọi thứ, sau đó chạy xác thực chéo để xem cách họ thực hiện, sau đó điều chỉnh chúng thêm, v.v.) bạn có quyền truy cập vào thử nghiệm của mình dữ liệu và điều này có thể khiến bạn đánh giá quá cao hiệu suất của bạn trên dữ liệu thực sự không nhìn thấy. Nếu dữ liệu của bạn nhỏ đến mức bạn không có lựa chọn nào khác ngoài việc xác thực chéo, cách chính xác để thực hiện việc này với tập huấn luyện, dev và test là chia rõ ràng dữ liệu của bạn thành ba phần cho mỗi lần --- nên sử dụng phần lớn cho tập huấn, một số để phát triển (lựa chọn tính năng trong trường hợp của bạn, cộng với bất kỳ tham số miễn phí nào khác cần phù hợp) và cuối cùng bạn nên kiểm tra trên phần kiểm tra. Sau đó, bạn có thể tính điểm trung bình trên các phần kiểm tra này để có ước tính về hiệu suất của mô hình: tuy nhiên, như tôi đã nói, hãy cẩn thận rằng nếu những điểm số này được sử dụng để hướng dẫn bạn cách tiếp cận bạn muốn sử dụng cho vấn đề của mình, bạn không nên mong đợi cùng số điểm trên dữ liệu chưa thấy mà bạn đã thực hiện từ xác thực chéo của mình.

Bạn đã thử LOOCV? Tôi nghĩ rằng nó có thể đào tạo, khi bạn có rất ít dữ liệu đào tạo. Để trả lời câu hỏi của bạn, điều đó sẽ không mang lại cho bạn kết quả tốt nhất chỉ vì nó có thể phù hợp và cung cấp cho bạn kết quả sai lệch, do đó trình phân loại của bạn sẽ không hoạt động tốt trên các dữ liệu khác, mà nó đã không nhìn thấy.

Bạn có thể làm như sau để so sánh hiệu suất của các trình phân loại

Lấy tập huấn luyện của bạn và huấn luyện nó trên mọi bộ tính năng có thể. Đối với mỗi bộ tính năng, giảm thiểu các tham số và xây dựng mô hình sao cho phù hợp với tập huấn luyện. Bây giờ, một khi các mô hình được xây dựng cho tất cả các bộ tính năng, tức là bạn có một mô hình cho mọi bộ tính năng, xác thực các mô hình (được xây dựng trên các bộ tính năng khác nhau) trên bộ xác thực và chọn mô hình đó (được xây dựng cho một tập hợp con cụ thể của bộ tính năng ) đưa ra lỗi tối thiểu trên bộ xác nhận. Bằng cách này, bạn đảm bảo rằng mô hình được xây dựng phù hợp tốt không chỉ với tập huấn luyện mà cả tập xác thực.

Bây giờ, lấy mô hình được xây dựng này và kiểm tra nó trên bộ thử nghiệm. Điều này sẽ cho bạn biết trình phân loại hoạt động tốt như thế nào khi nó chạy trên một tập dữ liệu không được sử dụng cho đào tạo cũng như để xác nhận. Ngoài ra, bạn đã chọn bộ tính năng phù hợp với tập huấn luyện và cả bộ xác nhận hợp lệ.

Nếu có thể, tốt nhất là giữ lại một số dữ liệu để xác nhận chéo bổ sung. Ví dụ, bạn có thể sử dụng nó để xác nhận các thuật toán của mình bằng cách xây dựng các đường cong học tập. Các đường cong này phải được xây dựng trên tập dữ liệu chưa được sử dụng trước đó.

Ngay cả khi bạn chỉ muốn chọn một thuật toán mang lại cho bạn điểm F1 cao nhất, bạn cần sử dụng thêm bộ dữ liệu xác thực chéo để thực hiện điều đó. Bộ kiểm tra phải được dành riêng để báo cáo độ chính xác cuối cùng của giải pháp của bạn (hiệu suất dự kiến ​​của trình phân loại đã chọn trên dữ liệu chưa xem).

Nó có thể rất thiên vị, tham khảo chương xác thực mô hình trong "Các yếu tố của học thống kê", Nó có thể làm cho độ chính xác của mô hình cv trên 70% trong khi tỷ lệ lỗi thực sự của bất kỳ mô hình nào phải là 50% (các tính năng độc lập với lớp ).