Là tốt hơn để chọn phân phối dựa trên lý thuyết, phù hợp hoặc cái gì khác?

Điều này giáp với một câu hỏi triết học, nhưng tôi quan tâm đến việc những người khác có nhiều kinh nghiệm nghĩ về lựa chọn phân phối. Trong một số trường hợp, có vẻ như rõ ràng rằng lý thuyết có thể hoạt động tốt nhất (chiều dài đuôi chuột có thể được phân phối bình thường). Trong rất nhiều trường hợp có lẽ không có lý thuyết nào để mô tả một tập hợp dữ liệu, vì vậy bạn chỉ cần sử dụng một cái gì đó phù hợp với những gì bạn có khá tốt bất kể nó được phát triển ban đầu để mô tả? Tôi có thể tưởng tượng một số cạm bẫy khi đi với cái này hay cái kia, và dĩ nhiên có vẻ như có vấn đề là có lẽ bạn chỉ nên sử dụng phân phối theo kinh nghiệm nếu bạn thực sự không có ý tưởng.

Vì vậy, tôi đoán những gì tôi thực sự hỏi: ai đó có cách tiếp cận / suy nghĩ mạch lạc về vấn đề này không? Và có bất kỳ nguồn lực nào bạn có thể đề nghị cung cấp một điều trị tốt về điều này?

Chắc chắn phụ thuộc vào dữ liệu trong câu hỏi là gì và mức độ một người biết hoặc muốn giả định về chúng. Như @whuber đã nói trong cuộc trò chuyện gần đây , "Trường hợp có liên quan đến luật vật lý, bạn hầu như luôn có thể đưa ra những phỏng đoán hợp lý về một cách thích hợp để mô hình hóa dữ liệu." (Tôi nghi ngờ đây là sự trung thực của anh ấy hơn là của tôi! Ngoài ra, tôi hy vọng điều này không bị áp dụng ra khỏi bối cảnh ban đầu của nó ...) Trong các trường hợp giống như mô hình hóa xây dựng tiềm ẩn trong khoa học xã hội, việc tập trung vào nó thường hữu ích phân phối theo kinh nghiệm như một cách để hiểu các sắc thái của các hiện tượng ít được biết đến. Thật quá dễ dàng để coi một phân phối bình thường và loại bỏ Misfit trong hình dạng tổng thể là không đáng kể, và việc loại bỏ các ngoại lệ là sai lầm mà không cần biện minh nhiều hơn là họ không '

Tất nhiên, phần lớn hành vi này được thúc đẩy bởi các giả định của các phân tích mà người ta muốn áp dụng. Thông thường các câu hỏi thú vị nhất vượt xa mô tả hoặc phân loại các phân phối của biến. Điều này cũng ảnh hưởng đến câu trả lời đúng cho một kịch bản nhất định; có thể có lý do (ví dụ, sức mạnh nhu cầu) để giả định phân phối chuẩn khi nó không phù hợp đặc biệt tốt (và cũng không misfit quá nặng), kể từ khi phi tham và nếu không mạnh mẽ phương pháp này không hoàn thiện một trong hai. Tuy nhiên, rủi ro của việc làm như vậy theo thói quen là quên hỏi những câu hỏi thú vị mà người ta có thể hỏi về phân phối của một biến.

Ví dụ, hãy xem xét mối quan hệ giữa sự giàu có và hạnh phúc: một câu hỏi phổ biến mà mọi người thường muốn hỏi. Có thể an toàn khi cho rằng sự giàu có theo một gamma ^{(Salem & Mount, 1974)} hoặc beta tổng quát ^{(Parker, 1999)} , nhưng có thực sự an toàn khi cho rằng hạnh phúc được phân phối bình thường? Thực sự, không cần thiết phải thừa nhận điều này chỉ để trả lời câu hỏi ban đầu, nhưng đôi khi mọi người làm, và sau đó bỏ qua các vấn đề quan trọng tiềm ẩn như phản ứng thiên vị và khác biệt văn hóa. Chẳng hạn, một số nền văn hóa có xu hướng đưa ra nhiều phản ứng cực đoan (xem câu trả lời của @ chl về phân tích nhân tố của các câu hỏi bao gồm các mục Likert ) và các quy tắc khác nhau liên quan đến biểu hiện mở của cảm xúc tích cực và tiêu cực ^{(Tucker, Ozer, Lyubomirsky, & Boehm, 2006 )} . Điều này có thể làm tăng tầm quan trọng của sự khác biệt trong các đặc điểm phân phối theo kinh nghiệm như độ lệch và kurtosis. Nếu tôi so sánh mối quan hệ của sự giàu có với xếp hạng hạnh phúc chủ quan ở Nga, Trung Quốc và Hoa Kỳ, có lẽ tôi muốn đánh giá sự khác biệt trong xu hướng trung tâm của xếp hạng hạnh phúc. Khi làm như vậy, tôi ngần ngại giả định các bản phân phối bình thường trên mỗi bản vì lợi ích của ANOVA một chiều (mặc dù nó có thể khá mạnh đối với các vi phạm) khi có lý do để mong đợi một phân phối "béo hơn" ở Trung Quốc, một phân phối sai lệch tích cực ở Nga và phân phối sai lệch tiêu cực ở Hoa Kỳ do các quy tắc phụ thuộc văn hóa khác nhau và các thành kiến ​​phản ứng. Vì mục đích của một bài kiểm tra quan trọng (mặc dù tôi có lẽ chỉ muốn báo cáo kích thước hiệu ứng một cách trung thực), tôi muốn sử dụng một phương pháp không tham số và để thực sự hiểu được hạnh phúc chủ quan trong từng dân số, tôi thay vì mô tả phân phối theo kinh nghiệm hơn là cố gắng phân loại nó như một số phân phối lý thuyết đơn giản và bỏ qua hoặc phủ bóng lên bất kỳ hành vi sai trái nào. Đó là một sự lãng phí thông tin IMO.

<sup>Tài liệu tham khảo
- Parker, SC (1999). Bản beta tổng quát như một mô hình để phân phối thu nhập. Kinh tế Thư, 62 (2), 197 Từ200.
- Salem, ABZ, & Núi, TD (1974). Một mô hình mô tả thuận tiện về phân phối thu nhập: Mật độ gamma. Kinh tế lượng, 42 (6), 1115 trừ1127.
- Tucker, KL, Ozer, DJ, Lyubomirsky, S., & Boehm, JK (2006). Thử nghiệm tính bất biến trong sự hài lòng với thang đo cuộc sống: So sánh người Nga và người Bắc Mỹ. Nghiên cứu các chỉ số xã hội, 78 (2), 341 Biến360. Lấy từ http://drsonja.net/wp-content/theme/drsonja/ con / TOLB2006.pdf .</sup>

chiều dài đuôi chuột có lẽ được phân phối bình thường

Tôi sẽ nghi ngờ điều đó. Phân phối bình thường phát sinh từ nhiều hiệu ứng phụ gia độc lập. Hệ thống sinh học bao gồm nhiều vòng phản hồi tương tác (hiệu ứng nhân phụ thuộc lẫn nhau). Ngoài ra thường có một số trạng thái ổn định hơn các trạng thái khác (tức là người thu hút). Vì vậy, một số loại phân phối đuôi dài hoặc đa phương thức có thể mô tả độ dài đuôi. Trong thực tế, phân phối bình thường có lẽ là một lựa chọn mặc định rất kém để mô tả bất cứ điều gì sinh học và việc lạm dụng nó là nguyên nhân của nhiều "ngoại lệ" được báo cáo trong tài liệu đó. Sự phổ biến của sự phân phối này trong tự nhiên là một huyền thoại và không chỉ theo nghĩa "vòng tròn hoàn hảo không thực sự tồn tại". Tuy nhiên, nó không theo nghĩa là trung bình và sd là vô dụng như thống kê tóm tắt.

Đặc biệt là vì tôi không thể dễ dàng xác định khi nào nên "tin tưởng vào dữ liệu" tốt hơn (như bộ dữ liệu sai lệch bên phải này, nhưng n = 160 cung cấp dữ liệu dường như không đủ) và đi theo kinh nghiệm, hoặc phù hợp với bản phân phối Beta như một đồng nghiệp của tôi vẫn khăng khăng. Tôi nghi ngờ anh ta chọn điều đó chỉ bởi vì nó bị giới hạn trong [0,1]. Tất cả chỉ có vẻ thực sự ad hoc. Hy vọng điều này làm rõ ý định của tôi!

Phân phối thực nghiệm phù hợp cung cấp gợi ý về quy trình cơ bản, tạo điều kiện cho sự phát triển của phân phối lý thuyết. Sau đó, phân phối lý thuyết được so sánh với các phân phối thực nghiệm để kiểm tra bằng chứng cho lý thuyết.

Nếu mục đích của bạn là đánh giá xác suất của một số kết quả nhất định dựa trên bằng chứng hiện có và bạn không có lý do gì để chọn phân phối cụ thể đó, tôi đoán tôi không thấy việc đưa ra các giả định bổ sung có thể hữu ích như thế nào. Thay vào đó nó có vẻ nhầm lẫn vấn đề.

Tuy nhiên, nếu bạn đang cố gắng mô tả hoặc tóm tắt dữ liệu thì có thể có ý nghĩa phù hợp với phân phối.

Trong một số trường hợp, có vẻ như rõ ràng rằng lý thuyết có thể hoạt động tốt nhất (chiều dài đuôi chuột có thể được phân phối bình thường).

Độ dài đuôi chắc chắn không được phân phối bình thường.

Phân phối bình thường có xác suất khác không lấy giá trị âm; chiều dài đuôi không.

Dòng nổi tiếng của George Box , " tất cả các mô hình đều sai, nhưng một số là hữu ích " làm cho quan điểm khá tốt. Những trường hợp mà chúng ta có thể khẳng định một cách hợp lý tính bình thường (chứ không chỉ là tính chuẩn tắc gần đúng) thực sự rất hiếm, hầu như các sinh vật trong truyền thuyết, đôi khi gần như lóe ra khỏi khóe mắt.

Trong rất nhiều trường hợp có lẽ không có lý thuyết nào để mô tả một tập hợp dữ liệu, vì vậy bạn chỉ cần sử dụng một cái gì đó phù hợp với những gì bạn có khá tốt bất kể nó được phát triển ban đầu để mô tả?

Trong trường hợp số lượng bạn quan tâm không đặc biệt nhạy cảm với lựa chọn (miễn là các tính năng rộng của phân phối phù hợp với những gì đã biết), thì có, bạn chỉ có thể sử dụng thứ gì đó phù hợp khá tốt.

Trong trường hợp có độ nhạy cao hơn, 'chỉ cần sử dụng thứ gì đó phù hợp' là không đủ. Chúng tôi có thể sử dụng một số cách tiếp cận không đưa ra các giả định cụ thể (có thể là các thủ tục miễn phí phân phối, như hoán vị, bootstrapping hoặc các cách tiếp cận lấy mẫu khác hoặc các thủ tục mạnh mẽ). Ngoài ra, chúng tôi có thể định lượng độ nhạy cảm với giả định phân phối, chẳng hạn như thông qua mô phỏng (thực sự tôi nghĩ rằng đây thường là một ý tưởng tốt).

dường như có vấn đề là có lẽ bạn chỉ nên sử dụng phân phối theo kinh nghiệm nếu bạn thực sự không có ý tưởng.

Tôi sẽ không mô tả rằng đó là một vấn đề - dựa trên suy luận về phân phối theo kinh nghiệm chắc chắn là một cách tiếp cận hợp pháp phù hợp với nhiều loại vấn đề (hoán vị / ngẫu nhiên và bootstrapping là hai ví dụ).

Có ai có cách tiếp cận / suy nghĩ mạch lạc về vấn đề này không?

nói chung, trong rất nhiều trường hợp, tôi có xu hướng xem xét các câu hỏi như:

1) Tôi hiểu gì * về cách các phương tiện (hoặc số lượng loại vị trí khác) hoạt động đối với dữ liệu của biểu mẫu này?

* (cho dù từ lý thuyết, hoặc kinh nghiệm về dạng dữ liệu này, hoặc lời khuyên của chuyên gia, hoặc nếu cần thiết, từ chính dữ liệu, mặc dù điều đó mang đến những vấn đề người ta phải giải quyết)

2) Điều gì về sự lây lan (phương sai, IQR, v.v.) - nó hoạt động như thế nào?

3) Điều gì về các tính năng phân phối khác (giới hạn, độ lệch, sự rời rạc, v.v.)

4) Điều gì về sự phụ thuộc, tính không đồng nhất của quần thể, xu hướng đôi khi các giá trị rất khác biệt, v.v.

Kiểu xem xét này có thể hướng dẫn lựa chọn giữa một mô hình bình thường, GLM, một số mô hình khác hoặc một cách tiếp cận mạnh mẽ hoặc không phân phối (như cách tiếp cận bootstrapping hoặc hoán vị / ngẫu nhiên, bao gồm các thủ tục dựa trên xếp hạng)