Làm thế nào để bình thường hóa dữ liệu phân phối chưa biết

Tôi đang cố gắng tìm phân phối đặc tính thích hợp nhất của dữ liệu đo lặp lại của một loại nhất định.

Về cơ bản, trong ngành địa chất của tôi, chúng tôi thường sử dụng niên đại khoáng sản từ các mẫu (khối đá) để tìm hiểu sự kiện xảy ra cách đây bao lâu (đá nguội dưới nhiệt độ ngưỡng). Thông thường, một số phép đo (3-10) sẽ được thực hiện từ mỗi mẫu. Sau đó, giá trị trung bình và độ lệch chuẩn σ được thực hiện. Đây là địa chất, do đó tuổi làm mát của các mẫu có thể tăng từ 10 5 đến 10 9 năm, tùy thuộc vào tình huống.$\mu$$\sigma$$10^5$$10^9$

Tuy nhiên, tôi có lý do để tin rằng các phép đo không phải là Gaussian: 'Outliers', hoặc được tuyên bố một cách tùy tiện, hoặc thông qua một số tiêu chí như tiêu chí của Peirce [Ross, 2003] hoặc Q-test của Dixon [Dean và Dixon, 1951] , là khá phổ biến (giả sử, 1 trong 30) và những cái này hầu như luôn luôn cũ hơn, chỉ ra rằng các phép đo này là sai lệch đặc trưng. Có nhiều lý do được hiểu rõ cho việc này phải làm với tạp chất khoáng vật học.

$\mu$$\sigma$ , mà đều là phòng không mạnh mẽ và có thể thiên vị trong trường hợp hệ thống dữ liệu lệch phải.

Tôi tự hỏi cách tốt nhất để làm điều này là gì. Cho đến nay, tôi có một cơ sở dữ liệu với khoảng 600 mẫu và 2-10 (hoặc hơn) sao chép các phép đo trên mỗi mẫu. Tôi đã thử bình thường hóa các mẫu bằng cách chia từng giá trị trung bình hoặc trung bình, và sau đó xem biểu đồ của dữ liệu chuẩn hóa. Điều này tạo ra kết quả hợp lý và dường như chỉ ra rằng dữ liệu là loại log-Laplacian đặc trưng:

Tuy nhiên, tôi không chắc liệu đây có phải là cách thích hợp để thực hiện hay không, nếu có những cảnh báo mà tôi không biết có thể làm sai lệch kết quả của tôi để chúng trông như thế này. Có ai có kinh nghiệm với loại điều này, và biết thực hành tốt nhất?

Bạn đã xem xét lấy giá trị trung bình của các phép đo (3-10) từ mỗi mẫu chưa? Sau đó, bạn có thể làm việc với phân phối kết quả - sẽ gần đúng phân phối t, sẽ xấp xỉ phân phối bình thường cho n lớn hơn?

Tôi không nghĩ rằng bạn đang sử dụng chuẩn hóa để có nghĩa là những gì nó thường có nghĩa, thường là một cái gì đó như bình thường hóa trung bình và / hoặc phương sai, và / hoặc làm trắng, chẳng hạn.

Tôi nghĩ rằng những gì bạn đang cố gắng làm là tìm một tính năng tái tham số phi tuyến tính và / hoặc các tính năng cho phép bạn sử dụng các mô hình tuyến tính trên dữ liệu của mình.

Điều này là không tầm thường, và không có câu trả lời đơn giản. Đó là lý do tại sao các nhà khoa học dữ liệu được trả rất nhiều tiền ;-)

Một cách tương đối đơn giản để tạo ra các tính năng phi tuyến tính là sử dụng mạng thần kinh chuyển tiếp nguồn cấp dữ liệu, trong đó số lượng lớp và số lượng tế bào thần kinh trên mỗi lớp, kiểm soát khả năng của mạng để tạo ra các tính năng. Công suất cao hơn => phi tuyến tính nhiều hơn, quá mức. Công suất thấp hơn => tuyến tính nhiều hơn, độ lệch cao hơn, phương sai thấp hơn.

Một phương pháp khác cho phép bạn kiểm soát nhiều hơn một chút là sử dụng splines.

Cuối cùng, bạn có thể tạo các tính năng đó bằng tay, điều mà tôi nghĩ là những gì bạn đang cố gắng thực hiện, nhưng sau đó, không có câu trả lời 'hộp đen' đơn giản nào: bạn sẽ cần phân tích cẩn thận dữ liệu, tìm mẫu và v.v. .

Bạn có thể thử sử dụng phân phối của Johnson (SL, SU, SB, SN) là phân phối xác suất bốn tham số. Mỗi phân phối đại diện cho sự chuyển đổi để phân phối bình thường.