Những tội lỗi thống kê phổ biến là gì?

Tôi là một sinh viên tốt nghiệp ngành tâm lý học, và khi tôi theo đuổi ngày càng nhiều nghiên cứu độc lập về thống kê, tôi ngày càng ngạc nhiên bởi sự không phù hợp trong đào tạo chính thức của mình. Cả kinh nghiệm cá nhân và cũ đều cho thấy rằng sự ít ỏi của sự nghiêm ngặt về thống kê trong đào tạo đại học và sau đại học là khá phổ biến trong tâm lý học. Do đó, tôi nghĩ rằng sẽ hữu ích cho những người học độc lập như tôi khi tạo ra một danh sách "Các tội thống kê", lập bảng thực hành thống kê được dạy cho học sinh tốt nghiệp như là một thực hành tiêu chuẩn thực sự được thay thế bởi cấp trên (mạnh hơn, hoặc linh hoạt hơn, hoặc mạnh mẽ, v.v.) phương pháp hiện đại hoặc được chứng minh là không hợp lệ. Dự đoán rằng các lĩnh vực khác cũng có thể gặp phải tình trạng tương tự, tôi đề xuất một wiki cộng đồng nơi chúng tôi có thể thu thập danh sách các tội lỗi thống kê qua các nguyên tắc.

Không nhìn vào (âm mưu) dữ liệu.

Hầu hết các giải thích về giá trị p là tội lỗi! Việc sử dụng thông thường của các giá trị p là thiếu sót; một thực tế rằng, theo tôi, đặt câu hỏi về các phương pháp tiếp cận tiêu chuẩn cho việc giảng dạy các bài kiểm tra giả thuyết và các bài kiểm tra có ý nghĩa.

Haller và Krause đã phát hiện ra rằng các giảng viên thống kê gần như có khả năng như các sinh viên giải thích sai các giá trị p. (Làm bài kiểm tra trong bài báo của họ và xem bạn làm như thế nào.) Steve Goodman là một trường hợp tốt để loại bỏ việc sử dụng (giá trị) thông thường của giá trị p có lợi cho khả năng. Bài báo Hubbard cũng đáng xem.

Haller và Krauss. Giải thích sai về ý nghĩa: Một vấn đề sinh viên chia sẻ với giáo viên của họ . Phương pháp nghiên cứu tâm lý học (2002) tập. 7 (1) trang 1-20 ( PDF )

Hubbard và Bayarri. Nhầm lẫn về các biện pháp bằng chứng (p)) so với lỗi (α's) trong kiểm tra thống kê cổ điển . Thống kê người Mỹ (2003) tập. 57 (3)

Người đàn ông tốt. Hướng tới thống kê y tế dựa trên bằng chứng. 1: Sai lầm giá trị P. Ann Intern Med (1999) tập. 130 (12) trang 995-1004 ( PDF )

Cũng thấy:

Wagenmakers, EJ. Một giải pháp thực tế cho các vấn đề phổ biến của các giá trị p. Bản tin & Đánh giá tâm lý, 14 (5), 779-804.

đối với một số trường hợp cắt rõ ràng trong đó ngay cả cách giải thích "chính xác" về giá trị p đã được đưa ra không chính xác do các lựa chọn của người thực nghiệm.

Cập nhật (2016) : Năm 2016, Hiệp hội Thống kê Hoa Kỳ đã ban hành một tuyên bố về giá trị p, xem tại đây . Theo một cách nào đó, đây là một phản ứng đối với "lệnh cấm giá trị p" do một tạp chí tâm lý học đưa ra khoảng một năm trước đó.

Cái bẫy nguy hiểm nhất mà tôi gặp phải khi làm việc trên một mô hình dự đoán là không đặt trước một bộ dữ liệu thử nghiệm để dành nó cho việc đánh giá hiệu suất "cuối cùng".

Thật sự dễ dàng để đánh giá quá cao độ chính xác dự đoán của mô hình của bạn nếu bạn có cơ hội sử dụng dữ liệu thử nghiệm bằng cách nào đó khi điều chỉnh các tham số, chọn trước, chọn tiêu chí dừng thuật toán học tập ...

Để tránh vấn đề này, trước khi bắt đầu công việc của bạn trên một tập dữ liệu mới, bạn nên chia dữ liệu của mình thành:

• bộ phát triển
• bộ đánh giá

Sau đó phân chia bộ phát triển của bạn thành "bộ phát triển đào tạo" và "bộ phát triển thử nghiệm" nơi bạn sử dụng bộ phát triển đào tạo để đào tạo các mô hình khác nhau với các tham số khác nhau và chọn hiệu suất tốt nhất theo hiệu suất trên bộ phát triển thử nghiệm. Bạn cũng có thể thực hiện tìm kiếm lưới với xác thực chéo nhưng chỉ trên bộ phát triển. Không bao giờ sử dụng bộ đánh giá trong khi lựa chọn mô hình không được thực hiện 100%.

Khi bạn tự tin với lựa chọn mô hình và tham số, hãy thực hiện xác thực chéo 10 lần trên bộ đánh giá để có ý tưởng về độ chính xác dự đoán "thực" của mô hình đã chọn.

Ngoài ra, nếu dữ liệu của bạn là tạm thời, tốt nhất là chọn phân chia phát triển / đánh giá theo mã thời gian: "Thật khó để đưa ra dự đoán - đặc biệt là về tương lai."

Báo cáo giá trị p khi bạn thực hiện khai thác dữ liệu (phát hiện giả thuyết) thay vì thống kê (kiểm tra giả thuyết).

Thử nghiệm các giả thuyết so với H 1 : μ ≠ 0 (ví dụ trong một khung cảnh Gaussian)$H_0: \mu=0$$H_1: \mu\neq 0$

để biện minh rằng trong một mô hình (tức là trộn " H 0 không bị từ chối" và " H 0 là true").$\mu=0$$H_0$$H_0$

Một ví dụ rất hay về kiểu suy luận (rất xấu) đó là khi bạn kiểm tra xem phương sai của hai Gaussian có bằng nhau (hoặc không) trước khi kiểm tra xem giá trị trung bình của chúng có bằng nhau hay không với giả định phương sai bằng nhau.

Một ví dụ khác xảy ra khi bạn kiểm tra tính quy tắc (so với tính không quy tắc) để biện minh cho tính quy tắc. Mỗi thống kê đã làm điều đó trong cuộc sống là gì? đó là baaad :) (và nên thúc đẩy mọi người kiểm tra độ mạnh mẽ để không Gaussianity)

Một vài sai lầm làm phiền tôi:

1. Giả sử các công cụ ước tính không thiên vị luôn tốt hơn các công cụ ước tính sai lệch.

2. Giả sử rằng ngụ ý một mô hình tốt, R 2 thấp ngụ ý một mô hình xấu.$R^2$$R^2$

3. Giải thích / áp dụng tương quan không chính xác.

4. Báo cáo ước tính điểm mà không có lỗi tiêu chuẩn.

5. Sử dụng các phương pháp giả định một số loại Định mức đa biến (như Phân tích phân biệt tuyến tính) khi có sẵn các phương pháp mạnh hơn, hiệu suất tốt hơn, không bán được.

6. Sử dụng p-giá trị như một biện pháp của sức mạnh giữa một yếu tố dự báo và phản ứng, chứ không phải là một biện pháp có bao nhiêu bằng chứng có của một số mối quan hệ.

Sự lưỡng phân của một biến dự báo liên tục để phân tích "đơn giản hóa" hoặc để giải quyết "vấn đề" phi tuyến tính trong tác động của yếu tố dự báo liên tục.

Không thực sự trả lời câu hỏi, nhưng có toàn bộ cuốn sách về chủ đề này:

Phillip I. Tốt, James William Hardin (2003). Các lỗi thường gặp trong thống kê (và cách tránh chúng). Wiley. ISBN YAM471460688

giải thích Probability(data | hypothesis)như Probability(hypothesis | data)không áp dụng định lý Bayes.

Thống kê nghi thức.

"Tội lỗi" này là khi bạn áp dụng bất cứ điều gì bạn được dạy, bất kể sự phù hợp của nó, bởi vì đó là cách mọi thứ được thực hiện. Đó là số liệu thống kê theo danh sách, một cấp trên cho phép máy chọn số liệu thống kê cho bạn.

Ví dụ là Giới thiệu cho sinh viên cấp Thống kê đang cố gắng làm cho mọi thứ phù hợp với bộ công cụ kiểm tra t và kiểm tra ANOVA khiêm tốn của họ, hoặc bất cứ khi nào người ta thấy mình sẽ "Ồ, tôi có dữ liệu phân loại, tôi nên sử dụng X" mà không cần dừng lại để xem dữ liệu, hoặc xem xét câu hỏi đang được hỏi.

Một biến thể của tội lỗi này liên quan đến việc sử dụng mã mà bạn không hiểu để tạo ra kết quả đầu ra mà bạn chỉ hiểu, nhưng biết "cột thứ năm, khoảng 8 hàng xuống" hoặc bất cứ câu trả lời nào bạn cần tìm.

Có thể hồi quy từng bước và các hình thức kiểm tra khác sau khi lựa chọn mô hình.

Chọn các biến độc lập để lập mô hình mà không có bất kỳ ưu tiên nào giả thuyết đằng sau các mối quan hệ hiện có có thể dẫn đến sai lầm logic hoặc tương quan giả, trong số các sai lầm khác.

Tài liệu tham khảo hữu ích (từ góc độ sinh học / thống kê sinh học):

1. Kozak, M., & Azevedo, R. (2011). Việc sử dụng lựa chọn biến từng bước để xây dựng các mô hình phân tích đường dẫn liên tiếp có ý nghĩa không? Sinh lý học plantarum, 141 (3), 197 Từ200. doi: 10.111 / j.1399-3054.2010.01431.x

2. Whmitham, MJ, Stephens, P., Bradbury, RB, & Freckleton, RP (2006). Tại sao chúng ta vẫn sử dụng mô hình hóa từng bước trong sinh thái và hành vi? Tạp chí sinh thái động vật, 75 (5), 1182 Lỗi9. doi: 10.111 / j.1365-2656.2006.01141.x

3. Frank Harrell, Chiến lược mô hình hồi quy , Springer 2001.

Một cái gì đó tôi thấy một số lượng đáng ngạc nhiên trong các tài liệu hội nghị và thậm chí các tạp chí đang đưa ra nhiều so sánh (ví dụ như các mối tương quan bivariate) và sau đó báo cáo tất cả các p <0,05 là "đáng kể" (bỏ qua tính đúng hoặc sai của thời điểm đó).

Tôi cũng biết ý của bạn về sinh viên tốt nghiệp ngành tâm lý học - Tôi đã hoàn thành bằng tiến sĩ tâm lý học và tôi vẫn chỉ học thực sự. Điều đó khá tệ, tôi nghĩ rằng tâm lý học cần phải phân tích dữ liệu định lượng nghiêm túc hơn nếu chúng ta sẽ sử dụng nó (mà rõ ràng là chúng ta nên)

Đang thăm dò nhưng giả vờ là người xác nhận. Điều này có thể xảy ra khi một người đang sửa đổi chiến lược phân tích (nghĩa là phù hợp mô hình, lựa chọn biến, v.v.) điều khiển dữ liệu hoặc điều khiển kết quả nhưng không nêu rõ điều này và sau đó chỉ báo cáo kết quả "tốt nhất" (nghĩa là có giá trị p nhỏ nhất) như thể đó là phân tích duy nhất Điều này cũng liên quan đến điểm nếu nhiều thử nghiệm mà Chris Beeley thực hiện và dẫn đến tỷ lệ dương tính giả cao trong các báo cáo khoa học.

Cái mà tôi thấy khá thường xuyên và luôn nghiến răng là giả định rằng hiệu ứng chính có ý nghĩa thống kê trong một nhóm và hiệu ứng chính không có ý nghĩa thống kê trong một nhóm khác ngụ ý tác động đáng kể của nhóm x.

Đặc biệt là trong dịch tễ học và y tế công cộng - sử dụng số học thay vì thang đo logarit khi báo cáo biểu đồ về các biện pháp liên quan tương đối (tỷ lệ nguy hiểm, tỷ lệ chênh lệch hoặc tỷ lệ rủi ro).

Thêm thông tin ở đây .

Tương quan hàm ý nhân quả, điều này không tệ như chấp nhận Giả thuyết Null.

Phân tích dữ liệu tốc độ (độ chính xác, v.v.) bằng ANOVA, do đó giả sử rằng dữ liệu tốc độ có lỗi phân phối Gaussian khi nó thực sự được phân phối nhị phân. Dixon (2008) cung cấp một cuộc thảo luận về hậu quả của tội lỗi này và khám phá các phương pháp phân tích phù hợp hơn.

Một phổ biến hiện nay đang vẽ khoảng tin cậy 95% xung quanh các giá trị hiệu suất thô trong các thiết kế đo lường lặp đi lặp lại khi chúng chỉ liên quan đến phương sai của hiệu ứng. Ví dụ, một biểu đồ thời gian phản ứng trong thiết kế các biện pháp lặp lại với các khoảng tin cậy trong đó thuật ngữ lỗi được lấy từ MSE của một biện pháp lặp lại ANOVA. Những khoảng tin cậy này không đại diện cho bất cứ điều gì hợp lý. Họ chắc chắn không đại diện cho bất cứ điều gì về thời gian phản ứng tuyệt đối. Bạn có thể sử dụng thuật ngữ lỗi để tạo khoảng tin cậy xung quanh hiệu ứng nhưng điều đó hiếm khi được thực hiện.

Mặc dù tôi có thể liên quan đến phần lớn những gì Michael Lew nói, việc từ bỏ các giá trị p theo tỷ lệ khả năng vẫn bỏ lỡ một vấn đề chung hơn - đó là quá coi trọng kết quả xác suất so với kích thước hiệu ứng, được yêu cầu để mang lại kết quả rõ ràng. Loại lỗi này có ở tất cả các hình dạng và kích cỡ và tôi thấy đó là lỗi thống kê xảo quyệt nhất. Vẽ về J. Cohen và M. Oakes và những người khác, tôi đã viết một đoạn về điều này tại http://integrativestatistic.com/insidious.htmlm .

Không kiểm tra giả định rằng lỗi thường được phân phối và có phương sai không đổi giữa các phương pháp điều trị. Những giả định này không phải lúc nào cũng được kiểm tra, do đó sự phù hợp mô hình bình phương nhỏ nhất có lẽ thường được sử dụng khi nó thực sự không phù hợp.

Khóa học tâm lý học giới thiệu của tôi về sinh viên chưa tốt nghiệp đã dành ít nhất hai tuần để dạy cách thực hiện hồi quy từng bước. Có bất kỳ tình huống trong đó hồi quy từng bước là một ý tưởng tốt?

Thông số cũ của tôi prof có "quy tắc ngón tay cái" để đối phó với các ngoại lệ: Nếu bạn thấy một ngoại lệ trên biểu đồ phân tán của bạn, hãy che nó bằng ngón tay cái của bạn :)

Đây có thể là một câu trả lời thống kê pop nhiều hơn những gì bạn đang tìm kiếm, nhưng:

Sử dụng giá trị trung bình làm chỉ báo vị trí khi dữ liệu bị sai lệch cao .

Điều này không nhất thiết là một vấn đề, nếu bạn và khán giả của bạn biết bạn đang nói về điều gì, nhưng điều này thường không đúng, và trung bình thường có khả năng đưa ra ý tưởng tốt hơn về những gì đang diễn ra.

Ví dụ yêu thích của tôi là tiền lương trung bình, thường được báo cáo là "tiền lương trung bình". Tùy thuộc vào sự bất bình đẳng thu nhập / sự giàu có ở một quốc gia, điều này có thể khác rất nhiều so với mức lương trung bình, điều này mang lại một chỉ số tốt hơn nhiều cho việc mọi người đang ở đâu trong cuộc sống thực. Ví dụ, ở Úc, nơi chúng ta có bất bình đẳng tương đối thấp, trung vị thấp hơn trung bình 10-15% . Ở Mỹ, sự khác biệt là rõ ràng hơn nhiều , trung bình là ít hơn 70% giá trị trung bình và khoảng cách ngày càng tăng.

Báo cáo về mức lương "trung bình" (trung bình) trong một bức tranh màu hồng hơn được bảo hành, và cũng có thể mang lại cho một số lượng lớn người có ấn tượng sai lầm rằng họ không kiếm được nhiều tiền như những người "bình thường".

Giá trị p là xác suất mà giả thuyết null là đúng và (1-p) là xác suất mà giả thuyết thay thế là đúng, về việc không từ chối giả thuyết null có nghĩa là giả thuyết thay thế là sai, v.v.

Theo cách tương tự với @dirkan - Việc sử dụng các giá trị p như một thước đo chính thức của bằng chứng về giả thuyết null là đúng. Nó có một số tính năng heuristic tốt và trực giác tốt, nhưng về cơ bản là một thước đo bằng chứng không đầy đủ vì nó không liên quan đến giả thuyết thay thế. Mặc dù dữ liệu có thể khó xảy ra dưới giá trị null (dẫn đến giá trị p nhỏ), dữ liệu có thể thậm chí còn khó xảy ra hơn theo giả thuyết thay thế.

$\rightarrow$$\rightarrow$

Sử dụng biểu đồ hình tròn để minh họa tần số tương đối. Thêm ở đây .

Sử dụng số liệu thống kê / xác suất trong kiểm tra giả thuyết để đo lường "sự thật tuyệt đối". Thống kê đơn giản là không thể làm điều này, chúng chỉ có thể được sử dụng để quyết định giữa các lựa chọn thay thế , mà phải được chỉ định từ "bên ngoài" mô hình thống kê. Các tuyên bố như "giả thuyết khống được chứng minh là đúng bởi các số liệu thống kê" là không chính xác; số liệu thống kê chỉ có thể cho bạn biết "giả thuyết khống được dữ liệu ủng hộ, so với giả thuyết thay thế". Sau đó, nếu bạn cho rằng giả thuyết null hoặc giải pháp thay thế phải đúng, bạn có thể nói "null chứng minh là đúng", nhưng đây chỉ là hậu quả tầm thường của giả định của bạn, chứ không phải bất cứ điều gì được chứng minh bởi dữ liệu.

$\alpha = 0.05$

Và tương tự như (hoặc gần giống như câu trả lời của ) @ ogrisel , thực hiện tìm kiếm Grid và chỉ báo cáo kết quả tốt nhất.

(Với một chút may mắn, điều này sẽ gây tranh cãi.)

Sử dụng phương pháp Neyman-Pearson để phân tích thống kê các thí nghiệm khoa học. Hoặc, tệ hơn, sử dụng một phép lai không xác định của Neyman-Pearson và Fisher.

Yêu cầu và có thể nhận được Biểu đồ dòng chảy : Điều đồ họa đó trong đó bạn nói mức độ của các biến của bạn là gì và loại mối quan hệ bạn đang tìm kiếm và bạn làm theo các mũi tên xuống để có được Kiểm tra tên thương hiệu hoặc Thống kê tên thương hiệu . Đôi khi được cung cấp với các đường dẫn 'tham số' và 'không tham số' bí ẩn.