Cái nào là giả thuyết null? Xung đột giữa lý thuyết khoa học, logic và thống kê?

Tôi đang gặp khó khăn trong việc hiểu logic cơ bản trong việc đặt giả thuyết null . Trong câu trả lời này, đề xuất rõ ràng được chấp nhận chung được nêu rằng giả thuyết null là giả thuyết rằng sẽ không có hiệu lực, mọi thứ vẫn giữ nguyên, tức là không có gì mới dưới ánh mặt trời, có thể nói như vậy.

Giả thuyết thay thế sau đó là những gì bạn cố gắng chứng minh, ví dụ như một loại thuốc mới mang đến những lời hứa.

Bây giờ đến lý thuyết khoa học và logic chung, chúng ta biết rằng chúng ta chỉ có thể làm sai lệch các đề xuất, chúng ta không thể chứng minh điều gì đó (không có số lượng thiên nga trắng nào có thể chứng minh rằng tất cả thiên nga đều có màu trắng nhưng một con thiên nga đen có thể từ chối nó). Đây là lý do tại sao chúng tôi cố gắng bác bỏ giả thuyết khống, không tương đương với việc chứng minh giả thuyết thay thế - và đây là lúc sự hoài nghi của tôi bắt đầu - tôi sẽ đưa ra một ví dụ dễ hiểu:

Hãy nói rằng tôi muốn tìm hiểu loại động vật nào đằng sau tấm màn. Thật không may, tôi không thể quan sát trực tiếp con vật nhưng tôi có một bài kiểm tra cho tôi số chân của con vật này. Bây giờ tôi có lý luận logic sau:

Nếu con vật là một con chó thì nó sẽ có 4 chân.

Nếu tôi tiến hành kiểm tra và phát hiện ra rằng nó có 4 chân thì đây không phải là bằng chứng cho thấy đó là một con chó (nó có thể là ngựa, tê giác hoặc bất kỳ động vật 4 chân nào khác). Nhưng nếu tôi phát hiện ra rằng nó không có 4 chân thì đây là một bằng chứng chắc chắn rằng nó không thể là một con chó (giả sử là một con vật khỏe mạnh).

Chuyển thành hiệu quả của thuốc Tôi muốn tìm hiểu xem thuốc đằng sau bức màn có hiệu quả không. Điều duy nhất tôi sẽ nhận được là một con số mang lại cho tôi hiệu quả. Nếu hiệu ứng là tích cực, không có gì được chứng minh (4 chân). Nếu không có tác dụng, tôi chứng minh tính hiệu quả của thuốc.

Nói tất cả những điều này tôi nghĩ - trái với trí tuệ thông thường - giả thuyết null hợp lệ duy nhất phải là

Thuốc có hiệu quả (tức là: nếu thuốc có hiệu quả bạn sẽ thấy hiệu quả).

bởi vì đây là điều duy nhất mà tôi có thể từ chối - cho đến vòng tiếp theo nơi tôi cố gắng cụ thể hơn và cứ thế. Vì vậy, đó là giả thuyết null nói lên hiệu ứng và giả thuyết thay thế là mặc định ( không có hiệu lực ).

Tại sao các bài kiểm tra thống kê dường như có nó ngược?

PS : Bạn không thể thậm chí phủ nhận giả thiết nêu trên để có được một giả thuyết tương đương hợp lệ, vì vậy bạn không thể nói "Thuốc là không hiệu quả" như một giả thuyết không vì hình thức duy nhất một cách logic tương đương sẽ là "nếu bạn thấy không có hiệu lực thuốc sẽ không được hiệu quả "mang lại cho bạn không nơi nào vì bây giờ kết luận là những gì bạn muốn tìm hiểu!

PPS : Chỉ để làm rõ sau khi đọc câu trả lời cho đến nay: Nếu bạn chấp nhận lý thuyết khoa học, bạn chỉ có thể làm sai lệch các phát biểu nhưng không chứng minh chúng, điều duy nhất phù hợp về mặt logic là chọn giả thuyết khống làm lý thuyết mới - sau đó có thể là làm sai lệch Bởi vì nếu bạn làm sai lệch hiện trạng, bạn sẽ trắng tay (hiện trạng bị từ chối nhưng lý thuyết mới không được chứng minh!). Và nếu bạn không làm sai lệch nó, bạn cũng không ở vị trí tốt hơn.

Trong thống kê, có các thử nghiệm về tính tương đương cũng như thử nghiệm phổ biến hơn Null và quyết định xem có đủ bằng chứng chống lại nó hay không. Thử nghiệm tương đương bật cái này lên đầu và cho rằng các hiệu ứng khác với Null và chúng tôi xác định xem có đủ bằng chứng chống lại Null này không.

Tôi không rõ về ví dụ thuốc của bạn. Nếu phản hồi là giá trị / chỉ báo của hiệu ứng, thì hiệu ứng bằng 0 sẽ cho thấy không hiệu quả. Người ta sẽ đặt nó là Null và đánh giá bằng chứng chống lại điều này. Nếu hiệu ứng đủ khác 0, chúng tôi sẽ kết luận rằng giả thuyết không hiệu quả không phù hợp với dữ liệu. Một thử nghiệm hai đuôi sẽ tính đủ các giá trị âm có hiệu lực làm bằng chứng chống lại Null. Một thử nghiệm một đuôi, hiệu ứng dương tính và đủ khác với 0, có thể là một thử nghiệm thú vị hơn.

Nếu bạn muốn kiểm tra xem hiệu ứng có bằng 0 hay không, thì chúng ta cần lật lại và sử dụng phép thử tương đương trong đó H0 là hiệu ứng không bằng 0 và thay thế là H1 = hiệu ứng = 0. Điều đó sẽ đánh giá bằng chứng chống lại ý kiến ​​cho rằng hiệu ứng khác 0.

Tôi nghĩ đây là một trường hợp khác mà các số liệu thống kê thường xuyên không thể đưa ra câu trả lời trực tiếp cho câu hỏi bạn thực sự muốn hỏi, và vì vậy, trả lời một câu hỏi khác (không có) một cách tinh tế và rất dễ hiểu sai đây là câu trả lời trực tiếp cho câu hỏi bạn thực sự muốn hỏi.

Những gì chúng tôi thực sự muốn hỏi là bình thường xác suất mà giả thuyết thay thế là đúng (hoặc có lẽ nhiều khả năng là đúng hơn so với giả thuyết null). Tuy nhiên, phân tích người thường xuyên về cơ bản không thể trả lời câu hỏi này, vì đối với người thường xuyên, xác suất là tần suất dài và trong trường hợp này chúng ta quan tâm đến sự thật của một giả thuyết cụ thể, không có tần suất chạy dài - đó là đúng hay không. Mặt khác, một Bayes có thể trả lời trực tiếp câu hỏi này, vì aa Bayesian một xác suất là thước đo tính hợp lý của một số mệnh đề, do đó, hoàn toàn hợp lý trong phân tích Bayes để xác định xác suất cho sự thật của một giả thuyết cụ thể.

Cách thường xuyên đối phó với các sự kiện cụ thể là coi chúng như một mẫu từ một số người (có thể là hư cấu) và đưa ra tuyên bố về dân số đó thay cho tuyên bố về mẫu cụ thể đó. Ví dụ: nếu bạn muốn biết xác suất một đồng tiền cụ thể bị sai lệch, sau khi quan sát N lật và quan sát đầu h và đuôi, một phân tích thường xuyên có thể trả lời câu hỏi đó, tuy nhiên họ có thể cho bạn biết tỷ lệ tiền từ phân phối đồng xu không thiên vị sẽ cho h hoặc nhiều đầu khi lật N lần. Theo định nghĩa tự nhiên về xác suất mà chúng ta sử dụng trong cuộc sống hàng ngày nói chung là xác suất Bayes, chứ không phải là một người thường xuyên, thật quá dễ dàng để coi đây là giả thuyết mà giả thuyết null (đồng xu không thiên vị) là đúng.

Về cơ bản các bài kiểm tra giả thuyết thường xuyên có một thành phần chủ nghĩa ngầm chủ nghĩa ẩn giấu ẩn giấu trong trái tim của nó. Kiểm tra thường xuyên có thể cho bạn biết khả năng quan sát một thống kê ít nhất là cực đoan theo giả thuyết null, tuy nhiên quyết định bác bỏ giả thuyết null trên những lý do đó là hoàn toàn chủ quan, không có yêu cầu hợp lý nào để bạn làm như vậy. Kinh nghiệm của Essentiall đã chỉ ra rằng chúng ta thường có nền tảng vững chắc để từ chối null nếu giá trị p quá nhỏ (một lần nữa ngưỡng là chủ quan), vì vậy đó là truyền thống. AFAICS nó không phù hợp với triết lý hoặc lý thuyết khoa học, về cơ bản nó là một heuristic.

Điều đó không có nghĩa là nó là một điều xấu, mặc dù thử nghiệm giả thuyết thường xuyên không hoàn hảo của nó cung cấp một trở ngại mà nghiên cứu của chúng tôi phải vượt qua, điều này giúp chúng tôi là những nhà khoa học giữ sự hoài nghi và không nhiệt tình với lý thuyết của chúng tôi. Vì vậy, trong khi tôi là một người Bayesian, tôi vẫn sử dụng các bài kiểm tra giả thuyết thường xuyên một cách thường xuyên (ít nhất là cho đến khi các nhà phê bình tạp chí cảm thấy thoải mái với các lựa chọn thay thế Bayesain).

Để thêm vào câu trả lời của Gavin, một vài điều:

Đầu tiên, tôi đã nghe ý tưởng này rằng các mệnh đề chỉ có thể bị làm sai lệch, nhưng không bao giờ được chứng minh. Bạn có thể đăng một liên kết đến một cuộc thảo luận về vấn đề này không, bởi vì với cách diễn đạt của chúng tôi ở đây, nó dường như không giữ được tốt lắm - nếu X là một mệnh đề, thì không (X) cũng là một mệnh đề. Nếu việc từ chối các đề xuất là có thể, thì việc từ chối X cũng giống như chứng minh không (X) và chúng tôi đã chứng minh một đề xuất.

$test_+$

Thuốc có hiệu quả (ví dụ: nếu thuốc có hiệu quả bạn sẽ thấy hiệu quả).

$test_+$$test_+$$H_0$

$test_+$$H_0$$test_+$$H_0$

Vì vậy, sự khác biệt giữa trường hợp chó và trường hợp hiệu quả là ở sự phù hợp của suy luận từ bằng chứng đến kết luận. Trong trường hợp chó, bạn đã quan sát thấy một số bằng chứng không ngụ ý mạnh mẽ đến một con chó. Nhưng trong trường hợp thử nghiệm lâm sàng, bạn đã quan sát thấy một số bằng chứng cho thấy hiệu quả mạnh mẽ.

Bạn đúng rằng, theo một nghĩa nào đó, kiểm tra giả thuyết thường xuyên có nó ngược. Tôi không nói rằng cách tiếp cận đó là sai, nhưng thay vào đó, kết quả thường không được thiết kế để trả lời các câu hỏi mà nhà nghiên cứu quan tâm nhất. Nếu bạn muốn một kỹ thuật tương tự như phương pháp khoa học, hãy thử suy luận Bayesian .

Thay vì nói về một "giả thuyết khống" mà bạn có thể từ chối hoặc không từ chối, với suy luận Bayes, bạn bắt đầu với phân phối xác suất trước dựa trên sự hiểu biết của bạn về tình huống hiện tại. Khi bạn có được bằng chứng mới, suy luận Bayes cung cấp một khuôn khổ để bạn cập nhật niềm tin của mình với các bằng chứng được tính đến. Tôi nghĩ rằng đây là cách tương tự như cách hoạt động của khoa học.

Tôi nghĩ rằng bạn đã có một lỗi cơ bản ở đây (không phải toàn bộ lĩnh vực kiểm tra giả thuyết là rõ ràng!) Nhưng bạn nói rằng sự thay thế là những gì chúng tôi cố gắng chứng minh. Nhưng điều này không đúng. Chúng tôi cố gắng từ chối (làm sai lệch) null. Nếu kết quả chúng tôi thu được sẽ rất khó xảy ra nếu null là đúng, chúng tôi sẽ từ chối null.

Bây giờ, như những người khác đã nói, đây thường không phải là câu hỏi mà chúng tôi muốn hỏi: Chúng tôi thường không quan tâm đến khả năng kết quả là như thế nào nếu null là đúng, chúng tôi quan tâm đến khả năng null là gì, đưa ra kết quả.

Nếu tôi hiểu bạn một cách chính xác, bạn đồng ý với Paul Meehl quá cố, tuyệt vời. Xem

Meehl, PE (1967). Kiểm định lý thuyết trong tâm lý học và vật lý: Một nghịch lý phương pháp luận . Triết học về khoa học , 34 : 103-115.

Tôi sẽ mở rộng khi đề cập đến Paul Meehl bởi @Doc:

1) Kiểm tra ngược lại với giả thuyết nghiên cứu của bạn vì giả thuyết null đưa ra để bạn chỉ có thể xác nhận hệ quả là một đối số "không hợp lệ về mặt hình thức". Các kết luận không nhất thiết phải theo từ tiền đề.

If Bill Gates owns Fort Knox, then he is rich.
Bill Gates is rich.
Therefore, Bill Gates owns Fort Knox.

http://rationalwiki.org/wiki/Affirming_the_con resultent

Nếu lý thuyết là "Thuốc này sẽ cải thiện sự phục hồi" và bạn quan sát thấy sự phục hồi được cải thiện thì điều đó không có nghĩa là bạn có thể nói lý thuyết của mình là đúng. Sự xuất hiện của sự phục hồi được cải thiện có thể đã xảy ra vì một số lý do khác. Không có hai nhóm bệnh nhân hoặc động vật nào giống hệt nhau lúc ban đầu và sẽ thay đổi hơn nữa theo thời gian trong quá trình nghiên cứu. Đây là một vấn đề lớn đối với quan sát so với nghiên cứu thực nghiệm vì ngẫu nhiên "bảo vệ" chống lại sự mất cân bằng nghiêm trọng của các yếu tố gây nhiễu chưa biết tại đường cơ sở. Tuy nhiên, ngẫu nhiên không thực sự giải quyết vấn đề. Nếu các giới hạn không xác định, chúng ta không có cách nào để nói mức độ "phòng thủ ngẫu nhiên" đã thành công.

Cũng xem bảng 14.1 và thảo luận về lý do tại sao không có lý thuyết nào có thể được kiểm tra trên chính nó (luôn có các yếu tố phụ trợ gắn thẻ) trong:

Paul Meehl. "Vấn đề là nhận thức luận, không phải thống kê: Thay thế các xét nghiệm quan trọng bằng các khoảng tin cậy và định lượng độ chính xác của các dự đoán số rủi ro" Trong LL Harlow, SA Mulaik, & JH Steiger (Eds.), Nếu không có các thử nghiệm quan trọng thì sao? (trang 393 Vang425) Mahwah, NJ: Erlbaum, 1997.

2) Nếu một số loại sai lệch được đưa ra (ví dụ, mất cân bằng về một số yếu tố gây nhiễu), chúng tôi không biết xu hướng này sẽ nằm ở hướng nào hoặc mức độ mạnh của nó. Dự đoán tốt nhất chúng tôi có thể đưa ra là có 50% cơ hội thiên vị nhóm điều trị theo hướng phục hồi cao hơn. Khi kích thước mẫu trở nên lớn, cũng có 50% khả năng bài kiểm tra quan trọng của bạn sẽ phát hiện ra sự khác biệt này và bạn sẽ diễn giải dữ liệu là chứng thực cho lý thuyết của bạn.

Tình huống này hoàn toàn khác với trường hợp giả thuyết không có giá trị rằng "Thuốc này sẽ cải thiện khả năng phục hồi x%". Trong trường hợp này, sự hiện diện của bất kỳ sự thiên vị nào (mà tôi muốn nói là luôn tồn tại trong việc so sánh các nhóm động vật và con người) khiến bạn có nhiều khả năng từ chối lý thuyết của mình.

Hãy nghĩ về "không gian" (Meehl gọi nó là "Spielraum") của các kết quả có thể bị giới hạn bởi các phép đo cực đoan nhất có thể. Có lẽ có thể phục hồi 0-100% và bạn có thể đo với độ phân giải 1%. Trong trường hợp thử nghiệm có ý nghĩa chung, không gian phù hợp với lý thuyết của bạn sẽ là 99% kết quả có thể bạn có thể quan sát được. Trong trường hợp khi bạn dự đoán một sự khác biệt cụ thể, không gian phù hợp với lý thuyết của bạn sẽ là 1% kết quả có thể xảy ra.

Một cách khác để đặt ra là việc tìm kiếm bằng chứng chống lại giả thuyết null1 = mean2 không phải là một thử nghiệm nghiêm trọng đối với giả thuyết nghiên cứu rằng một loại thuốc làm gì đó. Một null của mean1 <mean2 tốt hơn nhưng vẫn không tốt lắm.

Xem hình 3 và 4 tại đây: (1990). Đánh giá và sửa đổi các lý thuyết: Chiến lược phòng thủ của Lakatos và hai nguyên tắc bảo đảm sử dụng nó . Điều tra tâm lý, 1, 108-141, 173-180

Không phải tất cả các số liệu thống kê đều được đưa ra dựa trên giả định rằng không có gì là chắc chắn trong thế giới tự nhiên (khác biệt với thế giới trò chơi nhân tạo & c). Nói cách khác, cách duy nhất chúng ta có thể hiểu được là bằng cách đo xác suất một thứ có tương quan với thứ khác và điều này thay đổi trong khoảng từ 0 đến 1 nhưng chỉ có thể là 1 nếu chúng ta có thể kiểm tra giả thuyết số lần vô hạn trong một vô số các trường hợp khác nhau, mà tất nhiên là không thể. Và chúng ta không bao giờ có thể biết nó bằng không vì lý do tương tự. Đó là một cách tiếp cận đáng tin cậy hơn để hiểu thực tế tự nhiên, hơn toán học, giải quyết các vấn đề tuyệt đối và chủ yếu dựa vào các phương trình, mà chúng ta biết là duy tâm bởi vì, theo nghĩa đen, phía LH của một phương trình thực sự = bên RH, hai bên có thể đảo ngược và chúng ta sẽ không học được gì. Nói một cách chính xác, nó chỉ áp dụng cho một thế giới tĩnh, không phải là một thế giới 'tự nhiên' mà thực chất là hỗn loạn. Do đó, giả thuyết null thậm chí còn bao trùm cả toán học - bất cứ khi nào nó được sử dụng để hiểu bản chất tự nhiên.

Tôi nghĩ vấn đề nằm ở từ 'đúng'. Thực tế của thế giới tự nhiên hoàn toàn không thể biết được vì nó vô cùng phức tạp và vô cùng biến đổi theo thời gian, vì vậy 'sự thật' được áp dụng vào tự nhiên luôn có điều kiện. Tất cả những gì chúng ta có thể làm là cố gắng tìm các mức tương ứng có thể xảy ra giữa các biến bằng thí nghiệm lặp lại. Trong nỗ lực của chúng tôi để hiểu được thực tế, chúng tôi tìm kiếm những gì có vẻ giống như trật tự trong đó và xây dựng các mô hình ý thức về nó trong tâm trí của chúng tôi để giúp chúng tôi đưa ra quyết định hợp lý NHƯNG đó là một vấn đề rất dễ xảy ra bởi vì luôn luôn có bất ngờ. Giả thuyết khống là điểm khởi đầu đáng tin cậy duy nhất trong nỗ lực của chúng tôi để hiểu ý nghĩa của thực tế.

Chúng ta phải chọn giả thuyết null mà chúng ta muốn từ chối.

Bởi vì trong kịch bản thử nghiệm giả thuyết của chúng tôi, có một khu vực quan trọng, nếu khu vực theo giả thuyết đến khu vực quan trọng, chúng tôi sẽ từ chối giả thuyết nếu không chúng tôi chấp nhận giả thuyết.

Vì vậy, giả sử chúng ta chọn giả thuyết null, cái mà chúng ta muốn chấp nhận. Và khu vực theo giả thuyết null không thuộc khu vực quan trọng, vì vậy chúng tôi sẽ chấp nhận giả thuyết null. Nhưng vấn đề ở đây là nếu khu vực theo giả thuyết null nằm dưới khu vực chấp nhận được, thì điều đó không có nghĩa là khu vực theo giả thuyết thay thế sẽ không thuộc khu vực chấp nhận được. Và nếu đây là trường hợp thì cách giải thích của chúng tôi về kết quả sẽ sai. Vì vậy, chúng ta chỉ phải coi giả thuyết đó là một giả thuyết khống mà chúng ta muốn bác bỏ. Nếu chúng ta có thể bác bỏ giả thuyết khống, thì điều đó có nghĩa là giả thuyết thay thế là đúng. Nhưng nếu chúng ta không thể bác bỏ giả thuyết khống, thì điều đó có nghĩa là bất kỳ giả thuyết nào trong hai giả thuyết đều có thể đúng. Có thể sau đó chúng ta có thể thực hiện một bài kiểm tra khác, trong đó chúng ta có thể lấy giả thuyết thay thế của mình làm giả thuyết không, và sau đó chúng ta có thể cố gắng từ chối nó. Nếu chúng ta có thể bác bỏ giả thuyết thay thế (mà bây giờ là giả thuyết null.), Thì chúng ta có thể nói rằng giả thuyết null ban đầu của chúng ta là đúng.