Đánh giá tầm quan trọng của sự khác biệt trong phân phối

Tôi có hai nhóm dữ liệu. Mỗi loại có một phân phối khác nhau của nhiều biến. Tôi đang cố xác định xem các bản phân phối của hai nhóm này có khác nhau theo cách có ý nghĩa thống kê hay không. Tôi có dữ liệu ở cả dạng thô và được xử lý dễ dàng hơn để xử lý các danh mục riêng biệt với số lượng tần số trong mỗi loại.

Những thử nghiệm / thủ tục / phương pháp nào tôi nên sử dụng để xác định xem hai nhóm này có khác nhau đáng kể hay không và làm cách nào để thực hiện điều đó trong SAS hoặc R (hoặc Orange)?

Tôi tin rằng điều này đòi hỏi một bài kiểm tra Kolmogorov hạ Smirnov hai mẫu , hoặc tương tự. Thử nghiệm KolmogorovTHER Smirnov hai mẫu dựa trên việc so sánh sự khác biệt trong các hàm phân phối theo kinh nghiệm (ECDF) của hai mẫu, có nghĩa là nó nhạy cảm với cả vị trí và hình dạng của hai mẫu. Nó cũng khái quát ra một hình thức đa biến.

Thử nghiệm này được tìm thấy ở nhiều dạng khác nhau trong các gói khác nhau trong R, vì vậy nếu bạn thành thạo về cơ bản, tất cả những gì bạn phải làm là cài đặt một trong số chúng (ví dụ: fBasics ) và chạy nó trên dữ liệu mẫu của bạn.

Tôi sẽ hỏi câu hỏi ngớ ngẩn của nhà tư vấn. Tại sao bạn muốn biết nếu các phân phối này là khác nhau theo một cách có ý nghĩa thống kê?

Có phải dữ liệu mà bạn đang sử dụng là các mẫu đại diện từ các quần thể hoặc quy trình và bạn muốn đánh giá bằng chứng cho thấy các quần thể hoặc quy trình đó khác nhau không? Nếu vậy, một bài kiểm tra thống kê là phù hợp với bạn. Nhưng đây có vẻ là một câu hỏi lạ đối với tôi.

Hoặc, bạn có quan tâm đến việc bạn có thực sự cần phải cư xử như thể những quần thể hoặc quá trình đó là khác nhau, bất kể sự thật không? Sau đó, bạn sẽ tốt hơn khi xác định hàm mất, lý tưởng nhất là trả về các đơn vị có ý nghĩa với bạn và dự đoán tổn thất dự kiến ​​khi bạn (a) coi các quần thể là khác nhau và (b) coi chúng là như nhau. Hoặc bạn có thể chọn một số lượng tử của phân phối tổn thất nếu bạn muốn áp dụng một vị trí bảo thủ ít nhiều.

Bạn có thể quan tâm đến việc áp dụng các phương pháp phân phối tương đối. Gọi một nhóm là nhóm tham chiếu và nhóm kia là nhóm so sánh. Theo cách tương tự như xây dựng một biểu đồ xác suất xác suất, bạn có thể xây dựng một CDF / PDF tương đối, tỷ lệ của mật độ. Mật độ tương đối này có thể được sử dụng để suy luận. Nếu các bản phân phối giống hệt nhau, bạn mong đợi một bản phân phối tương đối thống nhất. Có các công cụ, đồ họa và thống kê, để khám phá và kiểm tra sự khởi hành từ tính đồng nhất.

Điểm khởi đầu tốt để hiểu rõ hơn là Áp dụng các Phương pháp phân biệt tương đối trong R và gói tin cậy trong R. Để biết chi tiết, bạn sẽ cần tham khảo cuốn sách, Phương pháp phân phối tương đối trong Khoa học xã hội của Handcock và Morris. Ngoài ra còn có một bài báo của các tác giả bao gồm các kỹ thuật có liên quan.

Một thước đo cho sự khác biệt giữa hai phân phối là tiêu chí "chênh lệch trung bình tối đa", về cơ bản đo lường sự khác biệt giữa các phương tiện thực nghiệm của các mẫu từ hai phân phối trong Không gian Hạt nhân Tái tạo (RKHS). Xem bài viết này "Một phương pháp hạt nhân cho hai vấn đề mẫu" .

Tôi không biết cách sử dụng SAS / R / Orange, nhưng có vẻ như loại thử nghiệm bạn cần là thử nghiệm chi bình phương .