Làm thế nào để chọn mức ý nghĩa cho một tập dữ liệu lớn?

Tôi đang làm việc với một bộ dữ liệu có N khoảng 200.000. Trong hồi quy, tôi thấy các giá trị có ý nghĩa rất nhỏ << 0,001 liên quan đến kích thước hiệu ứng rất nhỏ, ví dụ r = 0,028. Những gì tôi muốn biết là, có một cách nguyên tắc để quyết định một ngưỡng ý nghĩa phù hợp liên quan đến kích thước mẫu? Có bất kỳ cân nhắc quan trọng nào khác về kích thước hiệu ứng diễn giải với một mẫu lớn như vậy không?

— ted.strauss
nguồn

Đây là một vấn đề có ý nghĩa thực tế so với thống kê. Nếu độ dốc thực sự khác 0, thậm chí bằng một lượng cực nhỏ, ví dụ: 0,00000000000001), một mẫu đủ lớn sẽ mang lại giá trị

rất nhỏ , mặc dù kết quả không có ý nghĩa thực tế. Bạn sẽ diễn giải tốt hơn ước tính điểm thay vì giá trị

khi bạn có cỡ mẫu lớn như vậy.

p

$p$

p

$p$

— Macro

@Macro xin lỗi bạn có thể làm rõ ý của bạn bằng cách ước tính điểm ở đây không?

— ted.strauss

Thêm vào nhận xét của Macro ở trên, trong tình huống này tôi tìm kiếm ý nghĩa "thực tế" hoặc "lâm sàng" trong các phát hiện. Đối với những gì bạn đang làm, hiệu ứng có đủ lớn để bạn quan tâm không?

— Michelle

Ước tính điểm là ước tính độ dốc hồi quy quan sát được.

— Macro

Điều mà @Macro và tôi đều nói là bạn cần quyết định xem hiệu quả lâm sàng (ước tính điểm, độ dốc) có quan trọng hay không. Ngưỡng của bạn là trên cơ sở quyết định "có, đây là một hiệu ứng lâm sàng quan trọng" chứ không phải là "giá trị p đáng kể" bởi vì hầu hết (tất cả?) Giá trị p của bạn đều có ý nghĩa.

— Michelle

Câu trả lời:

Trong tầm quan trọng của thử nghiệm ý nghĩa , Johnson (1999) đã lưu ý rằng giá trị p là tùy ý, trong đó bạn có thể làm cho chúng nhỏ như bạn muốn bằng cách thu thập đủ dữ liệu, giả sử giả thuyết null là sai, hầu như luôn luôn là như vậy. Trong thế giới thực, không có khả năng có mối tương quan bán một phần chính xác bằng 0, đó là giả thuyết khống trong ý nghĩa kiểm tra của hệ số hồi quy. Ngưỡng ý nghĩa giá trị P thậm chí còn tùy ý hơn. Giá trị 0,05 là ngưỡng giữa ý nghĩa và không quan trọng được sử dụng theo quy ước, không theo nguyên tắc. Vì vậy, câu trả lời cho câu hỏi đầu tiên của bạn là không, không có cách nào nguyên tắc để quyết định một ngưỡng ý nghĩa phù hợp.

Vì vậy, những gì bạn có thể làm, cho tập dữ liệu lớn của bạn? Nó phụ thuộc vào lý do của bạn để khám phá ý nghĩa thống kê của các hệ số hồi quy của bạn. Bạn đang cố gắng mô hình hóa một hệ thống đa yếu tố phức tạp và phát triển một lý thuyết hữu ích phù hợp hoặc dự đoán thực tế? Sau đó, có lẽ bạn có thể nghĩ về việc phát triển một mô hình phức tạp hơn và đưa ra quan điểm mô hình hóa về nó, như được mô tả trong Rodgers (2010), The Epistemology of Mathological And Statistics Modelling . Một lợi thế của việc có nhiều dữ liệu là có thể khám phá các mô hình rất phong phú, các mô hình có nhiều cấp độ và tương tác thú vị (giả sử bạn có các biến để làm như vậy).

Mặt khác, nếu bạn muốn đưa ra một số phán đoán về việc có nên coi một hệ số cụ thể là có ý nghĩa thống kê hay không, bạn có thể muốn đưa ra đề xuất của Good (1982) như được tóm tắt trong Woolley (2003) : Tính giá trị q như tiêu chuẩn hóa giá trị p thành cỡ mẫu là 100. Giá trị p chính xác là 0,001 chuyển thành giá trị p là 0,45 - vẫn có ý nghĩa thống kê. $p\cdot\sqrt{(n/100)}$

Vì vậy, nếu nó có ý nghĩa bằng cách sử dụng một số ngưỡng tùy ý hoặc khác, thì nó là gì? Nếu đây là một nghiên cứu quan sát, bạn có nhiều công việc hơn để chứng minh rằng nó thực sự có ý nghĩa theo cách bạn nghĩ và không chỉ là một mối quan hệ giả mạo xuất hiện bởi vì bạn đã sai chính tả mô hình của mình. Lưu ý rằng một hiệu ứng nhỏ không quá thú vị về mặt lâm sàng nếu nó thể hiện sự khác biệt có sẵn giữa những người lựa chọn vào các mức độ điều trị khác nhau thay vì hiệu quả điều trị.

Bạn cần phải xem xét liệu mối quan hệ bạn đang thấy có thực sự có ý nghĩa hay không, như các nhà bình luận đã lưu ý. Chuyển đổi các số liệu bạn trích dẫn từ sang cho phương sai được giải thích ( là tương quan, bình phương để giải thích phương sai) chỉ giải thích phương sai 3 và 6%, có vẻ như không nhiều. $r$ $r^2$ $r$

— Anne Z.
nguồn

@ rolando2 cảm ơn bạn đã chỉnh sửa, luôn bị nhầm lẫn giữa các giá trị p lớn / nhỏ! Tôi nghĩ rằng nếu nó nằm bên phải phân phối thì nó lớn, nhưng giá trị p thì nhỏ.

— Anne Z.

(+1) Đây là một thực tế quan trọng mà nhiều học viên không suy nghĩ cẩn thận về: "giá trị p là tùy ý, trong đó bạn có thể làm cho chúng nhỏ như bạn muốn bằng cách thu thập đủ dữ liệu, giả sử giả thuyết null là sai, điều đó là giả hầu như luôn luôn như vậy. "

— Macro

Cảm ơn bạn! Các điểm trong đoạn áp chót của bạn được thực hiện tốt. Tôi đang đọc bài viết của Woolley và nhận thấy rằng công thức giá trị q của bạn bị tắt. Nó phải là p * chứ không phải p / - Tôi đã cố thay đổi nó ở đây nhưng các chỉnh sửa phải> 6 ký tự.

— ted.strauss

@ ted.strauss Tôi rất vui vì nó hữu ích. Đôi khi tôi cảm thấy nản lòng trước những hạn chế của các công cụ như giá trị p mà chúng ta phải làm việc. Cảm ơn bạn đã lưu ý lỗi trong công thức, tôi đã sửa nó.

— Anne Z.

Cảm ơn câu trả lời tuyệt vời. Nhưng tôi không thể truy cập Woolley 2003 bằng cách sử dụng liên kết được cung cấp ở trên.

— KarthikS

-3

Tôi đoán một cách dễ dàng để kiểm tra sẽ lấy mẫu ngẫu nhiên một số lượng lớn tương tự từ những gì bạn biết là một phân phối hai lần và so sánh hai kết quả. Nếu bạn làm điều đó nhiều lần và quan sát các giá trị p tương tự, điều đó sẽ gợi ý rằng không có hiệu quả thực sự. Nếu mặt khác bạn không, thì có lẽ là có.

— Lars Kotthoff
nguồn

p

$p$

< .001

$<.001$

p

$p$

p

$p$

p

$p$

U n i f o r m (0, 1)

${\rm Uniform}(0,1)$

H_{0}

$H_0$

p

$p$

U [0, 1]

$U[0,1]$

T = T (X)

$T=T(X)$

t = t (x)

$t=t(x)$

p

$p$

p (t) = P (T \geq t ∣ H_{0})

$p(t)=\mathbb{P}(T\geq t\mid H_0)$

H_{0}

$H_0$

T

$T$

G_{0}

$G_0$

G_{0}

$G_0$

G_{0}^{- 1}

$G_0^{-1}$

p (t) = 1 - G_{0} (t)

$p(t)=1-G_0(t)$

u \in [0, 1]

$u\in[0,1]$

P (p (T) \leq u) = P (1 - G_{0} (T) \leq u) = P (G_{0} (T) \geq 1 - u) = P (T \geq G_{0}^{- 1} (1 - u)) = 1 - G_{0} (G_{0}^{- 1} (1 - u)) = u .

$\mathbb{P}(p(T)\leq u) = \mathbb{P}(1-G_0(T)\leq u) = \mathbb{P}(G_0(T)\geq 1-u) = \mathbb{P}(T\geq G_0^{-1}(1-u)) = 1-G_0(G_0^{-1}(1-u))=u \, .$

p (T) ∣ H_{0} \sim U [0, 1]

$p(T)\mid H_0\sim U[0,1]$