Tại sao việc dạy học sinh rằng giá trị p là xác suất mà các phát hiện là do tình cờ?

Ai đó có thể vui lòng đưa ra một lời giải thích ngắn gọn súc tích tại sao không nên dạy cho sinh viên rằng giá trị p là giá trị thăm dò (kết quả của họ là do cơ hội [ngẫu nhiên]). Tôi hiểu rằng giá trị p là giá trị thăm dò (nhận được nhiều dữ liệu cực đoan hơn | giả thuyết null là đúng).

Sự quan tâm thực sự của tôi là những tác hại của việc nói với họ đó là điều trước đây (ngoài thực tế nó chỉ đơn giản là không phải vậy).

Tôi có một cách giải thích khác về ý nghĩa của tuyên bố sai so với @Karl. Tôi nghĩ rằng đó là một tuyên bố về dữ liệu, chứ không phải về null. Tôi hiểu nó như yêu cầu xác suất lấy ước tính của bạn do tình cờ. Tôi không biết điều đó có nghĩa là gì --- nó không phải là một yêu cầu được chỉ định rõ ràng.

Nhưng tôi thực sự hiểu những gì có thể có nghĩa là xác suất có được ước tính của tôi một cách tình cờ khi cho rằng ước tính thực sự bằng với một giá trị cụ thể. Ví dụ, tôi có thể hiểu ý nghĩa của việc có được sự khác biệt rất lớn về chiều cao trung bình giữa nam và nữ với điều kiện là chiều cao trung bình của họ thực sự giống nhau. Đó là quy định tốt. Và đó là những gì giá trị p mang lại. Điều còn thiếu trong tuyên bố sai là điều kiện null là đúng.

Bây giờ, chúng tôi có thể phản đối rằng tuyên bố này không hoàn hảo (ví dụ: cơ hội nhận được giá trị chính xác cho công cụ ước tính là 0). Nhưng nó tốt hơn nhiều so với cách mà hầu hết sẽ diễn giải giá trị p.

Điểm mấu chốt mà tôi nói đi nói lại khi tôi dạy kiểm tra giả thuyết là "Bước một là giả định rằng giả thuyết khống là đúng. Mọi thứ đều được tính toán dựa trên giả định này." Nếu mọi người nhớ điều đó, điều đó khá tốt.

Tôi đã thấy cách giải thích này rất nhiều (có lẽ thường xuyên hơn so với cách giải thích chính xác). Tôi hiểu "kết quả của họ là do [ngẫu nhiên] cơ hội" là " là đúng" và thực sự những gì họ đang nói là Pr ( H 0 ) [mà thực sự nên là Pr ( H 0 | data $\text{H}_0$$\Pr(\text{H}_0)$$\Pr(\text{H}_0 | \text{data})$ ; nói, "đưa ra những gì chúng ta đã thấy (dữ liệu), xác suất chỉ có cơ hội hoạt động là gì?"] Đây có thể là một tuyên bố có ý nghĩa (nếu bạn sẵn sàng gán cho các linh mục và làm Bayes), nhưng đó không phải là p -giá trị .

có thể khác hoàn toàn so với giá trị p và do đó để diễn giải giá trị p theo cách đó có thể gây hiểu nhầm nghiêm trọng.$\Pr(\text{H}_0 | \text{data})$

Hình minh họa đơn giản nhất: giả sử trước, khá nhỏ, nhưng người ta có khá ít dữ liệu và vì vậy giá trị p là rất lớn (giả sử là 0,3), nhưng sau đó, Pr ( H 0 | data $\Pr(H_0)$$\Pr(\text{H}_0|\text{data})$ , vẫn sẽ khá nhỏ [Nhưng có lẽ ví dụ này không thú vị lắm.]

Tôi sẽ thêm một câu trả lời muộn từ quan điểm của sinh viên (cũ): IMHO không thể tách rời tác hại khỏi sai lầm của nó.

Kiểu "sai gần đúng / lối tắt" sai lầm này có thể tạo ra nhiều sự nhầm lẫn cho những sinh viên nhận ra rằng họ không thể hiểu được câu lệnh một cách logic, nhưng giả sử rằng những gì được dạy cho họ là đúng thì họ không nhận ra rằng họ không thể hiểu nó bởi vì nó không đúng

Điều này không ảnh hưởng đến những sinh viên chỉ ghi nhớ các quy tắc được trình bày cho họ. Nhưng nó đòi hỏi những sinh viên học bằng cách hiểu phải đủ giỏi

• tự mình đi đến giải pháp chính xác và
• đủ tốt để họ có thể chắc chắn rằng họ đúng
• và kết luận rằng họ được dạy nhảm nhí (vì một số lý do được cho là mô phạm).

Tôi không nói rằng không có các phím tắt mô phạm hợp lệ. Nhưng IMHO khi một lối tắt như vậy được thực hiện, điều này nên được đề cập (ví dụ như "để dễ tranh luận, chúng tôi giả định / gần đúng rằng ...").
Tuy nhiên, trong trường hợp cụ thể này, tôi nghĩ rằng nó quá sai lệch để được sử dụng.

Nhắc trực tiếp đến câu hỏi: Tác hại ở đâu?

Theo tôi, câu trả lời cho câu hỏi này nằm trong câu chuyện ngược lại, "Giá trị p là xác suất mà những phát hiện là do cơ hội ngẫu nhiên." Nếu một người tin điều này, thì người ta cũng có thể tin vào những điều sau đây: "[1- (giá trị p)] là xác suất mà những phát hiện KHÔNG phải do cơ hội ngẫu nhiên."

Tác hại sau đó nằm ở tuyên bố thứ hai, bởi vì, theo cách mà hầu hết bộ não của mọi người hoạt động, tuyên bố này đã đánh giá quá cao mức độ tin cậy của chúng ta đối với các giá trị cụ thể của một tham số ước tính.

Đây là một ví dụ đơn giản mà tôi sử dụng:

Giả sử giả thuyết không có giá trị của chúng tôi là chúng tôi đang lật một đồng xu 2 đầu (vì vậy đầu dò (đầu) = 1). Bây giờ chúng tôi lật đồng xu một lần và nhận được các đầu, giá trị p cho giá trị này là 1, vì vậy điều đó có nghĩa là chúng tôi có 100% cơ hội có đồng xu 2 đầu?

Điều khó khăn là nếu chúng ta đã lật một cái đuôi thì giá trị p sẽ là 0 và xác suất có đồng xu 2 đầu sẽ là 0, vì vậy chúng khớp với nhau trong trường hợp này, nhưng không phải ở trên. Giá trị p của 1 ở trên chỉ có nghĩa là những gì chúng tôi đã quan sát là hoàn toàn phù hợp với giả thuyết về đồng xu 2 đầu, nhưng nó không chứng minh rằng đồng xu có 2 đầu.

Hơn nữa, nếu chúng ta đang thực hiện các số liệu thống kê thường xuyên thì giả thuyết null là Đúng hoặc Sai (chúng ta không biết điều đó) và đưa ra các tuyên bố xác suất (thường xuyên) về giả thuyết null là vô nghĩa. Nếu bạn muốn nói về xác suất của giả thuyết, thì hãy thống kê Bayes đúng, sử dụng định nghĩa xác suất Bayes, bắt đầu với xác suất trước và tính xác suất sau cho rằng giả thuyết là đúng. Chỉ không nhầm lẫn giá trị p với một hậu thế Bayes.

OK khác, hơi khác nhau về điều này:

Một vấn đề cơ bản đầu tiên là cụm từ "do [ngẫu nhiên] cơ hội". Ý tưởng về "cơ hội" không xác định xuất hiện một cách tự nhiên đối với sinh viên nhưng thật nguy hiểm khi suy nghĩ rõ ràng về sự không chắc chắn và thảm khốc khi thực hiện các số liệu thống kê hợp lý. Với thứ gì đó giống như một chuỗi các đồng xu lật, thật dễ dàng để giả định rằng 'cơ hội' được mô tả bằng thiết lập Binomial với xác suất 0,5. Chắc chắn có một sự tự nhiên nhất định, nhưng theo quan điểm thống kê, nó không tự nhiên hơn so với giả định 0,6 hoặc một cái gì đó khác. Và đối với các ví dụ 'rõ ràng' khác, ví dụ như liên quan đến các tham số thực, hoàn toàn không có ích khi nghĩ về 'cơ hội' sẽ như thế nào.

Đối với câu hỏi, ý tưởng chính là hiểu loại nào 'cơ hội' được mô tả bởi H0, nghĩa là khả năng thực tế / tên DGP H0 là gì. Một khi khái niệm đó được đưa ra, cuối cùng sinh viên ngừng nói về những điều xảy ra 'tình cờ', và bắt đầu hỏi H0 thực sự là gì. (Họ cũng nhận ra rằng mọi thứ có thể phù hợp với nhiều loại Hs khá rộng để họ bắt đầu với khoảng tin cậy, thông qua các bài kiểm tra ngược).

Vấn đề thứ hai là nếu bạn đang trên đường đến định nghĩa giá trị p của Fisher, bạn nên (imho) luôn giải thích trước về tính nhất quán của dữ liệu với H0 vì quan điểm của p là để thấy rằng, không phải để giải thích khu vực đuôi như một số hoạt động 'cơ hội', (hoặc thẳng thắn để giải thích nó). Đây rõ ràng là một vấn đề nhấn mạnh tu từ, nhưng nó có vẻ hữu ích.

Nói tóm lại, tác hại là cách mô tả sự vật này sẽ không khái quát cho bất kỳ mô hình không tầm thường nào mà sau đó họ có thể cố gắng nghĩ về. Tệ nhất, nó có thể chỉ thêm vào cảm giác bí ẩn mà nghiên cứu về số liệu thống kê đã tạo ra trong các loại người mà các mô tả được cung cấp như vậy nhằm vào.

Nếu tôi tách ra, "giá trị p là xác suất mà hiệu ứng là do tình cờ", có vẻ như nó ngụ ý rằng hiệu ứng đó là do tình cờ. Nhưng mọi tác động đều một phần do tình cờ. Trong một bài học thống kê nơi một người đang giải thích sự cần thiết phải cố gắng xem qua sự biến đổi ngẫu nhiên, đây là một tuyên bố khá kỳ diệu và phản ứng thái quá. Nó thấm nhuần giá trị p với sức mạnh mà họ không có.

Nếu bạn xác định cơ hội trong một trường hợp cụ thể là giả thuyết null thì bạn nói rằng giá trị p mang lại xác suất rằng hiệu ứng quan sát được gây ra bởi giả thuyết null. Điều đó có vẻ hết sức gần với tuyên bố chính xác nhưng cho rằng một điều kiện về xác suất là nguyên nhân của xác suất đó lại là phản ứng thái quá. Phát biểu đúng, rằng giá trị p là xác suất của hiệu ứng được đưa ra giả thuyết null là đúng, không quy định nguyên nhân cho hiệu ứng null. Các nguyên nhân rất khác nhau bao gồm hiệu ứng thực sự, sự thay đổi xung quanh hiệu ứng và cơ hội ngẫu nhiên. Giá trị p không đo lường xác suất của bất kỳ trong số đó.