Có nên kết hợp hai tập dữ liệu?

Tôi có hai bộ dữ liệu về nhịp tim của các đối tượng được ghi nhận ở hai nơi khác nhau (chính xác là hai lục địa khác nhau). Hai thí nghiệm nghiên cứu nhằm tìm cảm xúc của các đối tượng dựa trên nhịp tim của họ thay đổi theo thời gian. Tôi đang sử dụng học máy để dự đoán cảm xúc của các đối tượng và tôi nhận được kết quả chấp nhận được khi thử nghiệm riêng trên mỗi tập dữ liệu. Tuy nhiên, tôi nhận được kết quả thậm chí tốt hơn nếu tôi hợp nhất hai bộ dữ liệu.

Tuy nhiên tôi không chắc chắn nếu kết hợp hai bộ dữ liệu có được chấp nhận hay không. Khi tôi kết hợp hai bộ dữ liệu khác nhau, nó sẽ tạo ra sự thiên lệch thống kê? Làm thế nào tôi nên báo cáo phát hiện của tôi trong một bài báo?

Nếu bạn thêm 'lục địa' hoặc 'vị trí' làm tính năng cho mô hình, thì bạn sẽ có thể kiểm soát độ lệch tiềm năng trong khi nhận được kết quả của dữ liệu bổ sung.

Thêm vào những gì @Super_John đã nói, nếu thêm các lục địa làm Tính năng, thì bạn cũng có thể có ít nhất 2nhiều tính năng nữa,

• Vĩ độ
• Kinh độ

Đồng thời thêm một cột tạm thời khác để biểu thị Source(như đến df, đến df, v.v.), để chúng tôi có thể thêm Màu vào$1$$1st$$2$$2nd$k-means

Vì vậy, bây giờ chúng ta có thể có một k-meansCụm để xem liệu các giá trị có chồng chéo hay không ... (Cố gắng xem nó theo cách không được giám sát)

(Sự tương tự tương đương với thực tế là bạn có thể phân cụm thời gian (24 giờ trong một ngày) theo kiểu tuần hoàn, như vẽ biểu đồ , và sau đó cố gắng phân cụm chúng)$sin(x)$$cos(X)$

Hãy xem câu trả lời này, Lựa chọn tính năng, Trích xuất

Mặc dù nhìn chung trong việc đào tạo một mô hình học máy, bạn càng có nhiều dữ liệu thì càng tốt cho việc đào tạo các mô hình tổng quát, điều đó có thể không xảy ra ở đây.

Cho rằng hai bộ dữ liệu được thu thập trong các môi trường hoàn toàn khác nhau, chúng có thể có các bản phân phối hoàn toàn khác nhau. Trong trường hợp này, đào tạo một mô hình trên bộ dữ liệu kết hợp thậm chí có thể làm giảm hiệu suất của mô hình.

Lời khuyên của tôi là, hãy thực hiện một số phân tích thống kê trên từng tập dữ liệu một cách độc lập - tìm giá trị trung bình và phương sai của từng biến cho mỗi tập dữ liệu và so sánh chúng chẳng hạn. Nếu phân tích cho thấy hai kho dữ liệu có phân phối khá giống nhau (tôi sẽ để lại định nghĩa tương đối giống với bạn), thì có thể kết hợp hai bộ dữ liệu để huấn luyện một mô hình.

Có, thông thường với ML, bạn có nhiều dữ liệu hơn, kết quả tốt hơn! Tất nhiên trộn dữ liệu từ các dân số khác nhau là rủi ro, nhưng nếu nó hoạt động, bạn đang đi đúng hướng.

Sử dụng nhiều dữ liệu giúp khái quát hóa trong quá trình đào tạo mô hình của bạn. Vì vậy, nếu bạn có thể kiểm tra mô hình của mình qua mẫu từ cả hai dân số và bạn có được kết quả tốt, bạn có thể làm điều đó.

Để thêm vào cuộc thảo luận này, một đánh giá thích hợp sẽ cho bạn biết khá nhiều và có thể được sử dụng để trình bày công việc:

• Tạo một bộ kiểm tra cho tập dữ liệu 1.
• Tạo một bộ kiểm tra cho tập dữ liệu 2.
• Huấn luyện một mô hình chỉ sử dụng tập dữ liệu 1, chỉ tập dữ liệu 2 và sử dụng kết hợp tập dữ liệu 1 và 2 để đánh giá hiệu suất của chúng trên cả hai bộ thử nghiệm.

Nếu mô hình kết hợp tốt hơn đáng kể so với các mô hình riêng biệt, bạn có một cái gì đó và tôi nghĩ bạn có thể báo cáo như vậy trong một ấn phẩm có thể. Tất nhiên, bạn vẫn sẽ phải thúc đẩy mô hình học máy nào bạn sử dụng, số liệu hiệu suất quan tâm của bạn, cách bạn tiến hành xác thực chéo, ...

Trước khi tôi có thể cố gắng trả lời câu hỏi của bạn, tôi sẽ trình bày những gì tôi đã hiểu.

Kịch bản: Có sẵn hai bộ dữ liệu với nhịp tim của các đối tượng được ghi nhận ở hai lục địa khác nhau.

Mục tiêu: Tìm cảm xúc của đối tượng dựa trên nhịp tim của họ thay đổi theo thời gian

Mục tiêu: Phân loại cảm xúc của đối tượng

Lưu ý:

1. Kết quả được chấp nhận khi được đào tạo và thử nghiệm như là riêng biệt.

2. Giả sử rằng kết quả sẽ cải thiện khi kết hợp hai bộ dữ liệu

Câu hỏi:

1. Là kết hợp hai bộ dữ liệu có thể chấp nhận?

Nếu các đối tượng của hai lục địa giống nhau thì sẽ không có vấn đề gì trong việc kết hợp các bộ dữ liệu. Tập hợp các cảm xúc khá giống nhau trên cùng một chủ đề

2. Khi bạn kết hợp hai bộ dữ liệu khác nhau, nó sẽ tạo ra sự thiên lệch thống kê?

Miễn là đối tượng của hai bộ dữ liệu giống nhau thì việc kết hợp sẽ cải thiện kết quả của bạn do có nhiều dữ liệu hơn.

3. Làm thế nào bạn nên báo cáo phát hiện của bạn trong một bài báo?

Bạn có thể thực hiện kiểm tra giả thuyết (ANOVA) cho hai mẫu