Các bước học máy

Lựa chọn nào trong các bước dưới đây là tùy chọn chính xác khi tạo mô hình dự đoán?

Lựa chọn 1:

Trước tiên, loại bỏ các yếu tố dự đoán xấu rõ ràng nhất và tiền xử lý còn lại nếu cần, sau đó huấn luyện các mô hình khác nhau với xác thực chéo, chọn một vài mô hình tốt nhất, xác định các dự đoán hàng đầu mà mỗi mô hình đã sử dụng, sau đó chỉ giữ lại các mô hình đó với các dự báo đó và đánh giá độ chính xác một lần nữa với xác nhận chéo, sau đó chọn cái tốt nhất và huấn luyện nó trên tập huấn luyện đầy đủ bằng cách sử dụng các bộ dự đoán chính của nó và sau đó sử dụng nó để dự đoán bộ kiểm tra.

Lựa chọn 2:

Trước tiên, loại bỏ các yếu tố dự đoán xấu rõ ràng nhất, sau đó xử lý trước phần còn lại nếu cần, sau đó sử dụng kỹ thuật chọn tính năng như chọn tính năng đệ quy (ví dụ: RFE với rf) với xác thực chéo để xác định số lượng dự đoán chính lý tưởng và những dự đoán này là, sau đó huấn luyện các loại mô hình khác nhau với xác nhận chéo và xem loại nào cho độ chính xác tốt nhất với các dự đoán hàng đầu được xác định trước đó. Sau đó huấn luyện một trong những mô hình tốt nhất một lần nữa với các dự đoán đó trên tập huấn luyện đầy đủ và sau đó sử dụng nó để dự đoán tập kiểm tra.

Tôi thấy cả hai lựa chọn của bạn hơi bị lỗi. Vì vậy, đây thường là (rất rộng) một quy trình mô hình dự đoán trông như thế nào:

• Làm sạch dữ liệu : Mất nhiều thời gian nhất, nhưng mỗi giây ở đây đều đáng giá. Dữ liệu của bạn càng sạch sẽ qua bước này, tổng thời gian bạn sử dụng sẽ càng ít.
• Chia tách tập dữ liệu : Tập dữ liệu sẽ được chia thành các tập huấn luyện và kiểm tra, sẽ được sử dụng cho mục đích mô hình hóa và dự đoán tương ứng. Ngoài ra, một phân chia bổ sung như một bộ xác thực chéo cũng sẽ cần phải được thực hiện.
• Biến đổi và giảm: Liên quan đến các quá trình như biến đổi, trung bình và tỷ lệ trung bình, v.v.
• Lựa chọn tính năng: Điều này có thể được thực hiện theo nhiều cách như lựa chọn ngưỡng, lựa chọn tập hợp con, v.v.
• Thiết kế mô hình dự báo: Thiết kế mô hình dự đoán trên dữ liệu đào tạo tùy thuộc vào các tính năng bạn có trong tay.
• Xác thực chéo:
• Dự đoán cuối cùng, xác nhận

Nơi lựa chọn tính năng tìm thấy một vị trí trong đường ống của bạn phụ thuộc vào vấn đề. Nếu bạn biết rõ dữ liệu của mình, bạn có thể chọn các tính năng dựa trên kiến ​​thức này theo cách thủ công. Nếu bạn không - thử nghiệm với các mô hình sử dụng xác nhận chéo có thể là tốt nhất. Việc giảm số lượng các tính năng mà một linh mục với một số kỹ thuật bổ sung như chi2 hoặc PCA thực sự có thể làm giảm độ chính xác của mô hình.

Theo kinh nghiệm của tôi với phân loại văn bản với trình phân loại SGD, ví dụ, để lại tất cả hàng trăm nghìn từ được mã hóa dưới dạng các tính năng nhị phân mang lại kết quả tốt hơn so với việc giảm xuống vài nghìn hoặc hàng trăm. Thời gian đào tạo thực sự nhanh hơn với tất cả các tính năng vì việc lựa chọn tính năng khá chậm với bộ công cụ của tôi (sklearn) vì nó không ngẫu nhiên như SGD.

Multicollinearity là một cái gì đó để ý, nhưng tính dễ hiểu có thể quan trọng như nhau.

Sau đó mọi người báo cáo nhận được kết quả tốt nhất với các mô hình. Mỗi mô hình nắm bắt một phần không gian thông tin tốt hơn các mô hình khác. Điều đó cũng sẽ ngăn cản bạn chọn các tính năng trước khi lắp tất cả các kiểu máy bạn đưa vào bộ đồng phục của mình.