Khi nào cần chuẩn hóa dữ liệu khi sử dụng hai bộ dữ liệu từ cùng một phân phối?

Giả sử bạn có hai bộ dữ liệu D1 và D2. Cả hai đều được lấy mẫu từ cùng một phân phối cơ bản X. Tôi muốn sử dụng chúng để huấn luyện một mạng lưới thần kinh. Các tính năng là tất cả các số nguyên không dấu trong phạm vi [0; 2 ^ 64].

Do thực tế là các tính năng có quy mô rất khác nhau, tôi quyết định sử dụng chuẩn hóa điểm z kết hợp với chức năng sigmoid. Điều đó có nghĩa là tôi cung cấp dữ liệu chuẩn hóa điểm z cho hàm logistic để ánh xạ các tính năng thành [0; 1] phạm vi.

Tại thời điểm này tôi không chắc chắn vào thời điểm nào để bình thường hóa dữ liệu.

1.) Tôi sử dụng D1 và chuẩn hóa nó với mean_1 và std_dev_1, thu được bằng cách chỉ xem xét D1. Tôi lặp lại quy trình cho D2 và chuẩn hóa nó bằng cách sử dụng mean_2 và std_dev_2. Sau đó, tôi đào tạo mạng với hai bộ dữ liệu tuần tự.

2.) Tôi thêm D1 và D2 ​​để lấy tập D3 và chuẩn hóa nó bằng cách tính mean_3 và std_dev_3 trên toàn bộ tập dữ liệu (D1 + D2). Sau đó, tôi đào tạo mạng với nó.

2 câu hỏi ở đây:

a) Hai phương pháp có dẫn đến kết quả tương tự không? Điều này đặc biệt quan trọng đối với tôi vì D2 có thể trở nên khả dụng sau này so với D1 và tôi phải biết liệu tôi có phải đào tạo lại mạng với toàn bộ dữ liệu hay không.

b) Khi thực hiện suy luận với mạng được đào tạo, tôi phải sử dụng tham số nào để chuẩn hóa các đầu vào mới? Vậy tôi có phải sử dụng mean_3 và std_dev_3 không?

EDIT: Tôi phát hiện ra rằng độ lệch trung bình và độ lệch chuẩn của sự kết hợp của hai bộ dữ liệu có thể được tính từ độ lệch trung bình và độ lệch chuẩn của dữ liệu gốc. Điều đó có nghĩa là (về lý thuyết) họ có thể được đào tạo tuần tự và các tham số phân phối của họ có thể được kết hợp để định mức các đầu vào cho suy luận.

Bạn nên áp dụng cùng một chuyển đổi cho tất cả các cá nhân.

Đừng sử dụng phương pháp 1; nó sẽ được thiên vị. Một cách dễ dàng để nhận ra điều này là tưởng tượng rằng hai cá thể có các đặc điểm giống hệt nhau tồn tại trong$D_1$ và $D_2$. Bạn sẽ muốn hai cá nhân này giống hệt nhau trong các bộ dữ liệu được chuyển đổi, nhưng phương pháp 1 của bạn không cho phép điều này.

Phương pháp 2 là OK. Nếu bạn muốn đào tạo tuần tự, một tùy chọn khác sẽ là áp dụng phép chuyển đổi được tạo bởi mean_1 và std_dev_1 cho tất cả các điểm dữ liệu; tuy nhiên lưu ý rằng điều này có thể dẫn đến các vấn đề nếu các điểm dữ liệu trong tương lai khác rất nhiều so với dữ liệu trong$D_1$.

Nếu D1 và D2 ​​thực sự có cùng phân phối, thì miễn là D1 có ít nhất vài trăm điểm dữ liệu, bạn không nên thấy nhiều biến đổi trong giá trị trung bình và độ lệch chuẩn, vì vậy, bình thường hóa tất cả dữ liệu dựa trên D1 không nên đặt ra nhiều vấn đề Bình thường hóa từng tập hợp dữ liệu dựa trên giá trị trung bình và độ lệch chuẩn của chính nó có nghĩa là việc quá mức của bạn sẽ theo nhiều hơn từ kích thước mẫu của tập hợp con so với kích thước mẫu tổng thể và theo cách bạn giới thiệu một tính năng giả của "mẫu phụ nào đã làm điều này datapoint đến từ đâu? ". Bình thường hóa dữ liệu bằng các phương tiện và tiêu chuẩn khác nhau không nên ảnh hưởng đến kết quả của việc đào tạo mạng lưới thần kinh, mất bao lâu để hội tụ và nếu bạn lo lắng về điều sau, hãy xem xét lấy kết quả từ một giá trị ban đầu cho tiếp theo.

Một vài nhận xét:

1. Nếu cả hai tập dữ liệu từ cùng một phân phối, cả hai quy trình sẽ cho cùng một kết quả (vì D1 và D2 ​​sẽ có cùng giá trị trung bình và phương sai). Nhưng dường như họ không phải.

2. Kiểm tra ý nghĩa thực tế và phương sai cho mỗi tập dữ liệu. Nếu chúng giống nhau - không thành vấn đề. Nếu chúng khác nhau, thì bình thường hóa mỗi tập dữ liệu với giá trị trung bình và phương sai riêng (phương pháp 1)

3. Đào tạo trên một tập dữ liệu xáo trộn $D3 = \bar{D1} \cup \bar{D2}$, trong đó một thanh có nghĩa là bình thường hóa. Đào tạo đầu tiên trên một tập dữ liệu và sau đó trên một tập dữ liệu khác có thể gây ra nhiều vấn đề và nên được thực hiện một cách thận trọng (xem quên lãng thảm khốc ).

4. Nếu các đầu vào mới sẽ từ cùng một nguồn với D2, thì bình thường hóa chúng với giá trị trung bình và phương sai của D2.

5. Áp dụng sigmoid trên các giá trị chuẩn hóa có thể không cần thiết.