Điều tra sự khác biệt giữa các quần thể

Nói rằng chúng tôi có một mẫu từ hai quần thể: Avà B. Giả sử những quần thể này được tạo thành từ các cá nhân và chúng tôi chọn mô tả các cá nhân theo các tính năng. Một số tính năng này là phân loại (ví dụ: chúng có lái xe đi làm không?) Và một số tính năng là số (ví dụ: chiều cao của chúng). Hãy gọi các tính năng này: . Chúng tôi thu thập hàng trăm tính năng này (ví dụ: n = 200), giả sử đơn giản, không có lỗi cũng như tiếng ồn trên tất cả các cá nhân.$X_1 \ldots X_n$

Chúng tôi đưa ra giả thuyết hai quần thể là khác nhau. Mục tiêu của chúng tôi là trả lời hai câu hỏi sau:

1. Họ thực sự khác nhau đáng kể?
2. Có gì khác biệt đáng kể giữa chúng?

Các phương pháp như cây quyết định (ví dụ rừng ngẫu nhiên) và phân tích hồi quy tuyến tính có thể giúp ích. Ví dụ, người ta có thể xem xét tầm quan trọng của tính năng trong các khu rừng ngẫu nhiên hoặc các hệ số phù hợp trong hồi quy tuyến tính để hiểu điều gì có thể phân biệt các nhóm này và khám phá mối quan hệ giữa các tính năng và quần thể.

Trước khi tôi đi xuống tuyến đường này, tôi muốn biết được các lựa chọn của mình ở đây, những gì tốt và hiện đại so với thực tiễn xấu. Xin lưu ý rằng mục tiêu của tôi không phải là dự đoán theo từng se, mà là thử nghiệm và tìm thấy bất kỳ sự khác biệt đáng kể nào giữa các nhóm.

Một số cách tiếp cận nguyên tắc để giải quyết vấn đề này là gì?

Dưới đây là một số mối quan tâm tôi có:

• Các phương pháp như phân tích hồi quy tuyến tính có thể không trả lời đầy đủ (2), phải không? Ví dụ, một sự phù hợp duy nhất có thể giúp tìm thấy một số khác biệt, nhưng không phải tất cả sự khác biệt đáng kể. Ví dụ: đa cộng tuyến có thể ngăn chúng tôi tìm cách tất cả các tính năng khác nhau giữa các nhóm (ít nhất là trên một mức phù hợp). Vì lý do tương tự, tôi hy vọng ANOVA không thể cung cấp câu trả lời đầy đủ cho (2).

• Không hoàn toàn rõ ràng cách tiếp cận dự đoán sẽ trả lời (1). Ví dụ, chúng ta nên giảm thiểu phân loại / chức năng dự đoán nào? Và làm thế nào để chúng ta kiểm tra xem các nhóm có khác nhau đáng kể hay không một khi chúng ta có sự phù hợp? Cuối cùng, tôi lo lắng rằng câu trả lời tôi nhận được (1) có thể phụ thuộc vào bộ mô hình phân loại cụ thể mà tôi sử dụng.

Hãy nghĩ vấn đề như sau.

Nói và là biến nhị phân đứng cho dân số: có nghĩa là dân số thứ nhất, có nghĩa là dân số thứ hai. Giả thuyết khống có thể được thể hiện theo nhiều cách tương đương:Y Y = 0 Y = $X=(X_1,X_2,..X_n)$$Y$$Y=0$$Y=1$

• $H_0$ : quần thể giống nhau
• X Y = 0 X Y = $H_0$ : phân phối của cho giống như phân phối của cho$X$$Y=0$$X$$Y=1$
• X $H_0$ : và là độc lập$X$$Y$
• f { 0 , 1 } f ( X ) $H_0$ : cho mọi hàm số thành , và là độc lập$f$$\{0,1\}$$f(X)$$Y$

Tôi không biết nhiều về các khu rừng ngẫu nhiên, nhưng chúng có thể được coi là một công cụ dự đoán tất cả các mục đích tránh sự phù hợp quá mức. Nếu chúng ta lý tưởng hóa chúng khá nhiều: đó là thứ có khả năng phát hiện bất kỳ mối quan hệ nào giữa và bất kỳ loại tính năng mà không phù hợp quá mức.$Y$$X$

Có thể thử một cái gì đó dựa trên điều này. Tách tập dữ liệu gốc thành tập huấn luyện và tập kiểm tra. Sau đó:

• huấn luyện một rừng ngẫu nhiên dự đoán từ trên tập huấn luyện.Y $f$$Y$$X$
• thực hiện một thử nghiệm độc lập chi bình phương đơn giản (với rủi ro ) giữa và trên bộ thử nghiệmf ( X ) $\alpha$$f(X)$$Y$

Bài kiểm tra này khá bảo thủ. Nếu rừng ngẫu nhiên là một phương thức kém, thì tệ nhất là xuất ra một câm , sau đó nó sẽ từ chối với xác suất nhỏ hơn (khi là đúng). Việc lắp quá mức thậm chí sẽ không thành vấn đề vì chúng tôi sử dụng bài kiểm tra và tập huấn luyện. Tuy nhiên, sức mạnh của thử nghiệm trực tiếp phụ thuộc vào trí thông minh của phương pháp rừng ngẫu nhiên (hoặc bất kỳ dự đoán nào được sử dụng).H 0 α H $f(X)$$H_0$$\alpha$$H_0$

Lưu ý rằng bạn có thể sử dụng một số dự đoán có thể: như hồi quy logistic cũ đơn giản, sau đó là hồi quy logistic với một số tính năng chéo, sau đó là một vài cây quyết định, sau đó là một rừng ngẫu nhiên ... Nhưng nếu bạn làm như vậy, bạn nên điều chỉnh thành số các xét nghiệm để tránh "những khám phá sai lầm". Xem: Điều chỉnh Alpha cho nhiều thử nghiệm$\alpha$

Bạn không nói có bao nhiêu tính năng có sẵn trong dữ liệu. Ít, nhiều, đồ sộ? Chúng ta có thể cho rằng chúng là các tính năng giống nhau giữa các quần thể, tất cả được đo bằng các công cụ, phương thức và phương thức giống nhau không? Nếu không, thì bạn có một vấn đề lớn hơn khi mô hình đo lường lỗi trong biến có thể hoạt động.

@benoitsanchez dường như đã trả lời câu hỏi số 1).

Wrt # 2), tôi không chắc RF có thể giúp đỡ. Bằng cách sử dụng một mô hình chính thức hơn như ANOVA một chiều được áp dụng cho một tính năng tại một thời điểm, một thử nghiệm về sự khác biệt giữa các quần thể cho các tính năng có thể được phát triển. Bằng cách tóm tắt kết quả của các thử nghiệm đó, dựa trên cường độ của thử nghiệm cũng như tầm quan trọng của nó, một hồ sơ mô tả về cách các quần thể khác nhau giữa các tính năng trở nên khả thi. Đây là một giải pháp adur và heuristic thừa nhận có thể không đủ nghiêm ngặt cho thị hiếu, sở thích và đào tạo của bạn.

Không giỏi về ký hiệu loại latex, hãy để tôi mô tả đơn giản cách các thử nghiệm này có thể hoạt động: đầu tiên, xây dựng một loại vòng lặp macro vượt qua tất cả các tính năng thông qua, một tính năng tại một thời điểm. Với mỗi lần vượt qua của vòng lặp, tính năng mới sẽ trở thành mục tiêu hoặc DV với X bao gồm một biến giả cho dân số cũng như bất kỳ biến điều khiển nào phù hợp. Đảm bảo rằng các điều khiển tương tự được sử dụng cho từng tính năng cũng như dữ liệu cơ bản hoàn toàn giống nhau cho tất cả ANOVAs, loại bỏ sự biến đổi do sự thay đổi của các mẫu dữ liệu hữu hạn. Tổng hợp các giá trị thử nghiệm F cho biến giả cho từng tính năng. Điều này sẽ cung cấp một số liệu chuẩn hóa cho phép so sánh giữa các tính năng. Thử nghiệm F được ưu tiên hơn so với betas được trang bị kể từ betaskhông được tiêu chuẩn hóa, được thể hiện trong đơn vị và các nhà phát triển tiêu chuẩn của từng tính năng riêng lẻ.

Nhận xét cuối cùng của bạn, "Tôi lo lắng rằng câu trả lời tôi nhận được (1) có thể phụ thuộc vào tập hợp các mô hình phân loại / hồi quy cụ thể mà tôi sử dụng" luôn luôn đúng. Các câu trả lời hoàn toàn có khả năng thay đổi theo chức năng của (các) mô hình được sử dụng. Nó cũng là một biểu hiện của một bất ổn thường thấy trong số các nhà thống kê được đào tạo lý thuyết và cổ điển mạnh mẽ hơn, những người không thoải mái hoặc gặp khó khăn khi thừa nhận bản chất không xác định của mô hình thống kê ứng dụng. Một thuốc giải độc tuyệt vời cho những triệu chứng này là cuốn sách gần đây của Efron và cuốn sách về suy luận thống kê thời đại máy tính . Họ đưa mô hình thống kê vào thế kỷ 21, thời đại của khoa học dữ liệu và học máy, bằng cách thừa nhận thẳng thắn tính lặp đi lặp lại, gần đúng, heuristic của tất cảmô hình sở hữu một thuật ngữ lỗi. Người ta không cần phải là người Bayes để nhận ra sự thật vốn có trong quan sát này. Quan điểm của họ là một viễn cảnh mới mẻ khác với tính quyết định cứng nhắc của thực tiễn thống kê cổ điển, thứ 20 đã giơ tay khi, ví dụ, một ma trận sản phẩm chéo sẽ không đảo ngược và / hoặc một số giả định mô hình mô phạm đã được đáp ứng.