Là giả định mô hình thử nghiệm được coi là p-hack / câu cá?

"P-hack", "câu cá" và "vườn tìm đường" như được giải thích ở đây và ở đây mô tả một phong cách nghiên cứu giống như phân tích dữ liệu khám phá tạo ra các ước tính sai lệch.

Có phải các giả định mô hình thử nghiệm (ví dụ: tính quy tắc, tính đồng nhất trong hồi quy) sử dụng các thử nghiệm thống kê trên cùng một bộ dữ liệu được sử dụng để phù hợp với mô hình được coi là vấn đề "p-hack" hay "vườn đường đi bộ" không?

Kết quả của những thử nghiệm đó chắc chắn ảnh hưởng đến mô hình mà nhà nghiên cứu cuối cùng lựa chọn để phù hợp.

Nó không hoàn toàn giống với ý nghĩa rằng việc thực hành kiểm tra xem các giả định có bị vi phạm ban đầu được dự định để đảm bảo phân tích thích hợp đã được thực hiện hay không, nhưng hóa ra, nó lại có một số hậu quả tương tự (xem ví dụ câu hỏi này ) . Nhưng nó ở dạng nhẹ hơn so với các biến thể cực đoan của hack p được nhắm mục tiêu cụ thể bằng cách nào đó nhận được giá trị p cho hiệu ứng lãi suất dưới 0,05. Đó là trừ khi bạn bắt đầu kết hợp nhiều thực tiễn có vấn đề (ví dụ: kiểm tra tính quy tắc, kiểm tra tính đồng nhất, kiểm tra các biến số "nên" trong mô hình, kiểm tra tính tuyến tính của hiệp phương sai, kiểm tra tương tác, v.v.). Tôi không chắc liệu có ai đã xem xét bao nhiêu điều đó làm mất hiệu lực phân tích cuối cùng.

Tất nhiên, vấn đề khác là việc kiểm tra tính quy phạm thường không có ý nghĩa (xem ví dụ cuộc thảo luận này ). Đối với các cỡ mẫu nhỏ, bạn không đáng tin cậy nhận được các sai lệch lớn thực sự vi phạm các giả định của mình, trong khi đối với các cỡ mẫu lớn, ví dụ: kiểm tra t trở nên khá mạnh đối với các sai lệch nhưng kiểm tra tính chuẩn sẽ bắt đầu phát hiện các sai lệch nhỏ không quan trọng. Sẽ tốt hơn nhiều (bất cứ khi nào có thể) chỉ định một mô hình phù hợp dựa trên dữ liệu hoặc kiến ​​thức chủ đề trước đó. Khi điều đó là không thể, tốt nhất nên sử dụng các phương pháp mạnh hơn để vi phạm các giả định phân phối hoặc không có / ít hơn.

Tôi không tin rằng việc kiểm tra các giả định của bất kỳ mô hình nào đủ điều kiện là hack-packing / câu cá. Trong bài viết đầu tiên, tác giả đang nói về các nhà phân tích liên tục thực hiện các phân tích trên một tập dữ liệu và chỉ báo cáo kết quả tốt nhất. Nói cách khác, họ đang cố tình miêu tả một bức tranh thiên vị về những gì đang xảy ra trong dữ liệu.

Kiểm tra các giả định của hồi quy hoặc bất kỳ mô hình nào là bắt buộc. Điều không bắt buộc là liên tục lấy mẫu lại từ dữ liệu để xác định kết quả tốt nhất có thể. Giả sử các nhà nghiên cứu có một mẫu đủ lớn để lấy, đôi khi họ sẽ lấy mẫu lại nhiều lần ... thực hiện kiểm tra giả thuyết nhiều lần .... cho đến khi họ đạt được kết quả họ muốn. Do đó p-hack. Họ đang hack giá trị p thông qua tìm kiếm kết quả mong muốn và sẽ không bỏ cuộc cho đến khi họ tìm thấy nó (câu cá). Vì vậy, ngay cả khi trong số 100 bài kiểm tra giả thuyết họ chỉ đạt được 1 kết quả quan trọng, họ sẽ báo cáo giá trị p thuộc về bài kiểm tra cụ thể đó và bỏ qua tất cả các bài kiểm tra khác.

Điều này có nghĩa không? Khi kiểm tra các giả định mô hình, bạn chắc chắn rằng mô hình đó phù hợp với dữ liệu bạn có. Với p-hack / fishing, bạn không ngừng tìm kiếm dữ liệu / thao tác nghiên cứu để đạt được kết quả mong muốn.

Đối với mục đích so sánh nhiều, nếu bạn tiếp tục chạy một mô hình qua bùn không ngừng cố gắng tìm cách vô hiệu hóa nó (hoặc xác nhận nó) thì cuối cùng bạn sẽ tìm ra cách. Đây là câu cá. Nếu bạn muốn xác thực một mô hình, thì bạn sẽ tìm ra cách. Nếu bạn muốn vô hiệu hóa nó, thì bạn sẽ tìm ra cách. Chìa khóa là có một tâm hồn cởi mở và tìm ra sự thật - không chỉ xem những gì bạn muốn thấy.