Fisher có nghĩa là gì bởi trích dẫn này?

Tôi cứ thấy câu nói nổi tiếng này ở khắp mọi nơi, nhưng không hiểu phần nhấn mạnh mỗi lần.

Một người đàn ông 'bác bỏ' một giả thuyết tạm thời, như một vấn đề của thói quen, khi mức độ quan trọng ở mức 1% trở lên, chắc chắn sẽ bị nhầm lẫn không quá 1% trong các quyết định đó. Vì khi giả thuyết là chính xác, anh ta sẽ bị nhầm lẫn chỉ trong 1% những trường hợp này, và khi nó không chính xác, anh ta sẽ không bao giờ bị nhầm lẫn khi từ chối. [...] Tuy nhiên, tính toán mang tính học thuật vô lý, vì thực tế không có nhân viên khoa học nào có một mức độ quan trọng cố định mà từ năm này sang năm khác, và trong mọi trường hợp, ông bác bỏ các giả thuyết; anh ta thay tâm trí của mình cho từng trường hợp cụ thể dưới ánh sáng của bằng chứng và ý tưởng của anh ta.Không nên quên rằng các trường hợp được chọn để áp dụng thử nghiệm rõ ràng là một tập hợp được lựa chọn cao và các điều kiện lựa chọn không thể được chỉ định ngay cả đối với một công nhân; cũng như trong cuộc tranh luận được sử dụng, rõ ràng sẽ không hợp pháp khi một người chọn mức ý nghĩa thực tế được chỉ định bởi một thử nghiệm cụ thể như thể đó là thói quen cả đời của anh ta khi chỉ sử dụng cấp độ này.

(Phương pháp thống kê và suy luận khoa học, 1956, trang 42-45)

Cụ thể hơn, tôi không hiểu

1. Tại sao các trường hợp được chọn để áp dụng một bài kiểm tra "được lựa chọn cao"? Nói rằng bạn tự hỏi nếu chiều cao trung bình của những người trong một khu vực là dưới 165cm, và quyết định tiến hành kiểm tra. Thủ tục tiêu chuẩn, theo như tôi biết, là vẽ các mẫu ngẫu nhiên từ khu vực và đo chiều cao của chúng. Làm thế nào điều này có thể được lựa chọn cao?
2. Giả sử các trường hợp được lựa chọn cao, nhưng làm thế nào điều này có liên quan đến sự lựa chọn mức ý nghĩa? Xem xét lại ví dụ ở trên, nếu phương pháp lấy mẫu của bạn (cái mà tôi cho là điều mà Fisher gọi là điều kiện lựa chọn ) bị sai lệch và bằng cách nào đó ủng hộ người cao, thì toàn bộ nghiên cứu bị hủy hoại và việc xác định chủ quan mức độ quan trọng không thể cứu được nó.
3. Trên thực tế, tôi thậm chí không biết "mức độ quan trọng thực sự được chỉ định bởi một thử nghiệm cụ thể" đề cập đến là gì. Có phải là$p$

Dưới đây là cách diễn đạt của tôi về những gì Fisher nói trong trích dẫn in đậm của bạn. Không nên quên rằng có khá nhiều người đi vào việc chọn giả thuyết nào để kiểm tra, đến mức ngay cả đối với quyết định của một người, bạn cũng không thể chỉ định tất cả. Cũng không nên quên rằng, vì những lý do đã nêu ở trên, bạn không thể quyết định mức độ quan trọng của một thử nghiệm cụ thể luôn theo cùng một cách, như một thói quen lâu dài.

1. Một giả thuyết khoa học được chọn là thử nghiệm đáng giá đối với nhiều giả thuyết cạnh tranh khác vì những thành kiến ​​của nhà nghiên cứu và tình trạng kiến ​​thức hiện tại của họ. Các giả thuyết là "được lựa chọn nhiều", không phải các mẫu; các giả thuyết là những trường hợp chúng tôi áp dụng các bài kiểm tra.

2. Quá trình lựa chọn các giả thuyết ảnh hưởng đến mức độ quan trọng của chúng tôi. Nếu chúng ta rất chắc chắn về một giả thuyết, điều đó sẽ làm cho mức ý nghĩa ít nghiêm ngặt hơn để thỏa mãn chính chúng ta. Nếu chúng ta không chắc chắn có gánh nặng chứng minh cao hơn. Các yếu tố khác cũng xuất hiện, chẳng hạn như lỗi Loại I tồi tệ hơn Loại II trong các thử nghiệm thuốc.

3. Tôi nghĩ khi anh ấy nói "được biểu thị bởi" anh ấy chỉ đơn giản có nghĩa là "được chọn cho". Đúng, đó là một giá trị đặt trước trong đó chúng ta bác bỏ giả thuyết nếu giá trị p cực đoan hơn.

Các trường hợp mà Fisher đang đề cập không phải là quan sát mà là các xét nghiệm. Đó là, chúng tôi chọn các giả thuyết để kiểm tra. Chúng tôi không chỉ kiểm tra các giả thuyết ngẫu nhiên - chúng tôi dựa trên quan sát, tài liệu, lý thuyết khoa học, v.v.

Nếu bạn đã kiểm tra các giả thuyết ngẫu nhiên, thì số lần bạn nhầm (trong câu đầu tiên của trích dẫn của bạn) sẽ là 1% (hoặc bất kỳ giá trị nào được chọn). Ví dụ: nếu chúng tôi đã thử nghiệm các giả thuyết như

• Tính chẵn lẻ của số an sinh xã hội của một người có liên quan đến chỉ số IQ của anh ta

• Những người tóc vàng ném Frisbees tốt hơn những người tóc đen

• Thời gian để nhận được câu trả lời trên Xác thực chéo có liên quan đến số lượng âm tiết trong tên của bạn.

Và đã kiểm tra toàn bộ một trong số chúng ở mức 1%, chúng tôi sẽ từ chối null khoảng 1% thời gian và làm như vậy không chính xác. (Trừ khi, tất nhiên, tôi đang làm điều gì đó với những điều vô nghĩa ở trên).

Tôi đã từng thấy một bài viết về màu tóc và ném Frĩaee - và nó đã tìm thấy một sự khác biệt! Vì vậy, tôi gọi loại điều này là "nghiên cứu Frĩaee".

Nhưng phần tôi thích nhất từ ​​trích dẫn là đây:

vì trên thực tế không có nhân viên khoa học nào có một mức độ quan trọng cố định mà từ năm này sang năm khác, và trong mọi trường hợp, anh ta bác bỏ các giả thuyết; anh ta thà đưa tâm trí của mình vào từng trường hợp cụ thể dưới ánh sáng của bằng chứng và ý tưởng của anh ta.

Anh ta phải quay cuồng trong mộ.

Cố gắng xem nền của trích dẫn Tôi đã đến một phiên bản của cuốn sách (tôi không chắc đó là phiên bản nào) có trích dẫn hơi khác

https://archive.org/details/in.ernet.dli.2015.134555/page/n47

Những nỗ lực đã được thực hiện để giải thích sự cộng hưởng của các thử nghiệm có ý nghĩa trong nghiên cứu khoa học, bằng cách tham khảo các tần số giả thuyết của các phát biểu có thể, dựa trên chúng, đúng hay sai, do đó dường như bỏ lỡ bản chất cơ bản của các thử nghiệm đó. Một người đàn ông "bác bỏ" một giả thuyết tạm thời, như một vấn đề của thói quen, khi mức độ quan trọng ở mức 1% trở lên, chắc chắn sẽ bị nhầm lẫn không quá 1% trong các quyết định đó. Vì khi giả thuyết là chính xác, anh ta sẽ bị nhầm lẫn chỉ trong 1% những trường hợp này, và khi nó không chính xác, anh ta sẽ không bao giờ bị nhầm lẫn khi từ chối. Tuyên bố bất bình đẳng này do đó có thể được thực hiện. Tuy nhiên, tính toán là vô lý học thuật, vì trên thực tế không có nhân viên khoa học nào có một mức độ quan trọng cố định mà từ năm này sang năm khác, và trong mọi tình huống, ông bác bỏ các giả thuyết; anh ta thay tâm trí của mình cho từng trường hợp cụ thể dưới ánh sáng của bằng chứng và ý tưởng của anh ta. Hơn nữa, việc tính toán chỉ dựa trên một giả thuyết, trong đó, dưới ánh sáng của bằng chứng, thường không được tin là đúng, do đó xác suất thực tế của quyết định sai lầm, giả sử cụm từ đó có ý nghĩa gì, có thể là ít hơn nhiều so với tần số chỉ định mức ý nghĩa. Đối với một người đàn ông thực tế, người từ chối một giả thuyết, tất nhiên, đó là một vấn đề thờ ơ với xác suất nào anh ta có thể được dẫn đến để chấp nhận giả thuyết sai, vì trong trường hợp của anh ta, anh ta không chấp nhận nó. thường không được tin là đúng, do đó xác suất thực tế của quyết định sai lầm, giả sử cụm từ đó có bất kỳ ý nghĩa nào, có thể ít hơn nhiều so với tần suất chỉ định mức độ quan trọng. Đối với một người đàn ông thực tế, người từ chối một giả thuyết, tất nhiên, đó là một vấn đề thờ ơ với xác suất nào anh ta có thể được dẫn đến để chấp nhận giả thuyết sai, vì trong trường hợp của anh ta, anh ta không chấp nhận nó. thường không được tin là đúng, do đó xác suất thực tế của quyết định sai lầm, giả sử cụm từ đó có bất kỳ ý nghĩa nào, có thể ít hơn nhiều so với tần suất chỉ định mức độ quan trọng. Đối với một người đàn ông thực tế, người từ chối một giả thuyết, tất nhiên, đó là một vấn đề thờ ơ với xác suất nào anh ta có thể được dẫn đến để chấp nhận giả thuyết sai, vì trong trường hợp của anh ta, anh ta không chấp nhận nó.

Đây dường như là một lời chỉ trích để sử dụng biểu thức toán học của các khả năng loại bỏ, lỗi loại I, như một số lập luận chặt chẽ. Những biểu hiện đó thường không phải là một biểu hiện tốt cho những gì có liên quan và chúng cũng không nghiêm ngặt.

1. Tại sao các trường hợp được chọn để áp dụng một bài kiểm tra "được lựa chọn cao"?

   Điều này dường như liên quan đến câu

   Hơn nữa, việc tính toán chỉ dựa trên một giả thuyết, trong đó, dưới ánh sáng của bằng chứng, thường không được tin là đúng

   Chúng tôi không thờ ơ với giả thuyết đang được thử nghiệm, và thường thì một giả thuyết đang được thử nghiệm không được tin là đúng.

2. Làm thế nào điều này có liên quan đến sự lựa chọn của mức ý nghĩa?

   Điều này liên quan đến

   sao cho xác suất thực tế của quyết định sai lầm, giả sử cụm từ đó có ý nghĩa gì, có thể ít hơn nhiều so với tần suất chỉ định mức độ quan trọng

   Giá trị p chỉ là tần suất phạm sai lầm khi giả thuyết null là đúng. Nhưng tần suất thực tế của việc mắc lỗi sẽ khác nhau (thấp hơn).

3. "mức ý nghĩa thực tế được chỉ định bởi một thử nghiệm cụ thể" là gì đề cập đến

   Tôi tin rằng phần này đề cập đến một số loại hack giá trị p. Thay đổi mức ý nghĩa, alpha, sau khi các quan sát đã xảy ra để khớp với giá trị p được quan sát và giả vờ rằng đây là giá trị giới hạn ngay từ đầu.