Cách thích hợp hơn để tạo một tập hợp giữ: xóa một số đối tượng hoặc xóa một số quan sát khỏi từng đối tượng là gì?

Tôi có một bộ dữ liệu với 26 tính năng và 31000 hàng. Đây là bộ dữ liệu của 38 đối tượng. Đó là cho một hệ thống sinh trắc học. Vì vậy, tôi muốn có thể xác định đối tượng.

Để có một bộ thử nghiệm, tôi biết tôi phải loại bỏ một số giá trị.

Vì vậy, tốt hơn là làm gì và tại sao?

1. (a) giữ 30 môn học làm tập huấn luyện và loại bỏ 8 môn học như tập kiểm tra

2. (b) giữ 38 đối tượng, nhưng loại bỏ một số hàng của từng đối tượng. Vì vậy, cuối cùng tôi sẽ kết thúc với một bộ huấn luyện: 24800 hàng gồm 38 môn VÀ một bộ kiểm tra: 6200 hàng gồm 38 môn

Tôi nghĩ câu trả lời của Matthew Gunn là đúng, nhưng đối với tôi, CV "khôn ngoan" có thể bao gồm hai khái niệm khác nhau:

1. Các bản ghi được phân vùng ngẫu nhiên thành các nếp gấp, bất kể chủ đề hay thời gian.

2. Các bản ghi được phân vùng thành các nếp gấp dựa trên thời gian, không có nếp gấp nào được sử dụng cho đào tạo có chứa dữ liệu từ sau khi bắt đầu nếp gấp thử nghiệm.

Trong trường hợp đầu tiên, bất kỳ tính chất chuỗi thời gian nào của dữ liệu của bạn đều bị xâm phạm, vì tập huấn luyện của bạn có thể bao gồm dữ liệu từ cả trước và sau tập kiểm tra của bạn. Nguyên tắc của Train / Test là dữ liệu Đào tạo đại diện cho dữ liệu được biết đến hiện tại và Dữ liệu thử nghiệm đại diện cho dữ liệu chưa được phát hiện (có lẽ theo nghĩa đen từ tương lai).

Có lẽ chuỗi thời gian tự động thỏa hiệp tùy chọn # 2. Có lẽ yếu tố thời gian của mô hình không thực sự quan trọng và vì vậy các quan sát "quá khứ" và "tương lai" có thể giống nhau. Trong những trường hợp này, không phải số 1 hay số 2 là con đường để đi.

Nếu chỉ có tính thời vụ và không theo xu hướng, có vẻ như không bao gồm "tương lai" trong đào tạo cho một số môn học để dự đoán các môn học mới (những người sẽ bị ảnh hưởng bởi cùng một mùa). Nếu có xu hướng, đào tạo về tương lai sẽ học được điều gì đó về tương lai mà bạn thực sự không biết khi sử dụng mô hình trong sản xuất.

Trong ví dụ của OP, có vẻ như chủ đề khôn ngoan là tốt. Nhưng nếu xu hướng và mối quan tâm theo chuỗi thời gian là một phần của mô hình, tôi sẽ thử sử dụng phân vùng theo chủ đề và thời gian để bạn được đào tạo về một bộ đối tượng trước một thời điểm cụ thể, sau đó thử nghiệm các đối tượng khác sau điểm cụ thể trong thời gian.

Một phân biệt quan trọng là bạn có muốn:

1. [Trường hợp phổ biến nhất]: Xây dựng ước tính hiệu suất trên các đối tượng mới (được rút ra từ cùng một dân số với dữ liệu của bạn).
2. Xây dựng ước tính hiệu suất trên các quan sát mới từ cùng một đối tượng như trong mẫu của bạn.

Trường hợp phổ biến hơn nhiều là trường hợp số (1). Ví dụ, bạn dự đoán cơn đau tim cho người sắp vào phòng cấp cứu tốt đến mức nào? Và nếu bạn ở trong trường hợp (1), bạn gần như chắc chắn nên thực hiện (a) xác thực chéo theo chủ đề thay vì (b) xác thực chéo theo kỷ lục. Thực hiện xác nhận kỷ lục trong trường hợp (1) có thể sẽ dẫn đến ước tính hiệu suất cao, không có thật về các đối tượng mới.

Tôi không hiểu chính xác những gì bạn đang cố gắng làm (và có lẽ đó là tự học nên câu hỏi không hoàn toàn thực tế). Tôi không biết bạn đang ở trường hợp nào. Nếu bạn ở trong trường hợp ít phổ biến hơn (2), ghi lại xác nhận khôn ngoan có thể ổn.

Một chủ đề chung trong thống kê là suy nghĩ cẩn thận về những gì độc lập và những gì tương quan. Nói chung, một quan sát độc lập có xu hướng là một chủ đề khác nhau. Nếu bạn muốn dự đoán hiệu suất về các môn học mới , bạn phải kiểm tra các môn học mà bạn không đào tạo!

Tại sao xác thực chéo chủ đề khôn ngoan hơn là ghi lại khôn ngoan?

Trong cài đặt điển hình, các quan sát lặp đi lặp lại của cùng một cá nhân có tương quan với nhau ngay cả sau khi điều chỉnh các tính năng. Do đó với xác thực chéo khôn ngoan, bộ kiểm tra của bạn không độc lập với tập huấn luyện của bạn! Trong trường hợp cực đoan của mối tương quan hoàn hảo, bạn sẽ có những quan sát chính xác giống nhau trong tập huấn luyện và tập kiểm tra! Bạn sẽ được đào tạo về bộ thử nghiệm! Hiệu suất được đo trong xác nhận chéo sẽ không thể dự đoán hiệu suất trên các đối tượng mới.

Ví dụ, bài báo gần đây gọi xác nhận chéo thông minh kỷ lục, '`Voodoo Machine Learning."

Phải làm gì với rất ít môn học ...

Có lẽ một số người bình luận có nhiều kinh nghiệm với xác nhận chéo hơn tôi có thể tham gia, nhưng với tôi, đây có vẻ là một ứng cử viên khả thi cho $k=n$

Để tối đa hóa dữ liệu cho đào tạo, điều bạn có thể làm là bỏ qua một chủ đề để xác thực chéo. Mỗi lần lặp, kiểm tra về một chủ đề khác nhau và đào tạo về tất cả những người khác.

$n = 38$

Nó thực sự phụ thuộc vào cách bạn hình dung ra các thiết lập mà bạn muốn mô phỏng với phân tách thử nghiệm / xe lửa. Để làm cho mọi thứ cụ thể, giả sử mỗi hàng mô tả chất lượng giấc ngủ của một đối tượng trong một đêm.

1. Có thể, trong tương lai, mỗi đối tượng sẽ lần đầu tiên đến phòng thí nghiệm ngủ và cung cấp cho bạn chất lượng giấc ngủ trong một vài đêm. Theo đó, bạn sẽ cần dự đoán chất lượng giấc ngủ đêm trong tương lai cho những đối tượng này . Trong trường hợp này, bạn sẽ sử dụng tùy chọn của mình b). Trong sklearn, bạn có thể sử dụngsklearn.model_selection.StratifiedShuffleSplit

2. Có thể, trong tương lai, một vài đối tượng sẽ lần đầu tiên đến phòng thí nghiệm ngủ và cung cấp cho bạn chất lượng giấc ngủ trong vài đêm. Theo đó, bạn sẽ dự đoán chất lượng giấc ngủ đêm trong tương lai cho các đối tượng khác . Trong trường hợp này, bạn sẽ sử dụng tùy chọn của mình a). Trong sklearn, bạn có thể sử dụngsklearn.cross_validation.LeavePLabelOut

Để hòa nhập, tôi cho rằng ứng dụng này là để dự đoán các đối tượng chưa biết. Điều đó có nghĩa là (bất kể bạn có chuỗi thời gian hay các phép đo lặp lại không có thứ tự) mà việc phân tách cần phải được thực hiện sao cho các đối tượng không xác định được kiểm tra => tách a)

Tuy nhiên, xem xét rằng bạn chỉ có 38 đối tượng, bạn nên suy nghĩ lại về việc xác nhận lại mẫu. Từ kinh nghiệm của tôi khi làm việc với các cỡ mẫu nhỏ tương tự (mặc dù nhiều tính năng hơn), đây là một số khuyến nghị tóm tắt:

• Sử dụng xác thực chéo khởi động hoặc xác thực chéo theo chủ đề. Chúng cho phép đánh giá tính ổn định của các mô hình của bạn, điều rất quan trọng trong các vấn đề cỡ mẫu nhỏ. Các kết quả thậm chí có thể được sử dụng cho một mô hình tổng hợp trong trường hợp không ổn định là một vấn đề.

• Đừng không làm nghỉ-one-môn-out. Nó không cho phép đo lường sự ổn định của mô hình, cũng như không làm giảm nó. Ngoài ra, có những tình huống nó có xu hướng bi quan lớn vì kích thước mẫu nhỏ (trái ngược với xu hướng bi quan tối thiểu dự kiến).

• Nếu bạn đang sử dụng các số liệu phân loại điển hình của công đức như độ chính xác, độ nhạy, độ đặc hiệu, v.v. và nhiệm vụ là phân loại chính xác các đối tượng: hãy cẩn thận rằng vấn đề quan trọng là đo lường hiệu suất vì độ không đảm bảo của kết quả kiểm tra phụ thuộc vào số tuyệt đối của các trường hợp thử nghiệm. Ví dụ, quan sát 17 dự đoán chính xác trong số 17 đối tượng thực sự tích cực tương ứng với khoảng tin cậy 95% cho độ nhạy dao động từ khoảng 80% đến 100%.
  Nói cách khác, bạn sẽ không thể thực hiện tối ưu hóa mô hình dựa trên dữ liệu dựa trên điều đó.

• Điều này cũng có nghĩa là bạn không cần thiết lập chia tách ba bộ (xác thực chéo lồng nhau), vì bạn lãng phí tài nguyên vào các so sánh vô nghĩa về mặt thống kê ở đây - tối ưu hóa của bạn gần như được đảm bảo thất bại (mặc dù bạn có thể không nhận thấy rằng nếu bạn không kiểm tra sự ổn định).

• Cách tính tương tự cho khoảng tin cậy nhị thức cho các đối tượng kiểm tra / tối ưu hóa / xác nhận 5 (3) được đề xuất mang lại 95% ci cho tất cả các mức chính xác xuống tới 50% (30%) vì vậy dựa trên kết quả kiểm tra hoàn hảo, khoảng tin cậy của bạn vẫn sẽ bao gồm 50 / 50 đoán!

Một số bài báo chúng tôi đã viết về những chủ đề này:

• Beleites, C.; Baumgartner, R.; Bowman, C.; Somorjai, R.; Steiner, G.; Salzer, R. & Sowa, MG Giảm phương sai trong việc ước tính lỗi phân loại bằng cách sử dụng bộ dữ liệu thưa thớt, Chemom Intell Lab Syst, 79, 91 - 100 (2005).

• Beleites, C. & Salzer, R.: Đánh giá và cải thiện tính ổn định của các mô hình hóa học trong các tình huống cỡ mẫu nhỏ, Bio Bioalal Chem, 390, 1261-1271 (2008). DOI: 10.1007 / s00216-007-1818-6

• Beleites, C. và Neugebauer, U. và Bocklitz, T. và Krafft, C. và Popp, J.: Lập kế hoạch cỡ mẫu cho các mô hình phân loại. Hậu môn Chim Acta, 2013, 760, 25-33. DOI: 10.1016 / j.aca.2012.11.007
  bản thảo được chấp nhận trên arXiv: 1211.1323