14

Vì vậy, đây có thể là một câu hỏi phổ biến, nhưng tôi chưa bao giờ tìm thấy câu trả lời thỏa đáng.

Làm thế nào để bạn xác định xác suất giả thuyết null là đúng (hoặc sai)?

Giả sử bạn cung cấp cho sinh viên hai phiên bản thử nghiệm khác nhau và muốn xem các phiên bản đó có tương đương không. Bạn thực hiện kiểm tra t và nó cho giá trị p là 0,02. Thật là một giá trị p tốt đẹp! Điều đó có nghĩa là không chắc rằng các bài kiểm tra là tương đương, phải không? Không may, có vẻ như P (kết quả | null) không cho bạn biết P (null | kết quả). Điều bình thường cần làm là từ chối giả thuyết null khi chúng ta gặp giá trị p thấp, nhưng làm sao chúng ta biết rằng chúng ta không từ chối một giả thuyết null rất có khả năng đúng? Để đưa ra một ví dụ ngớ ngẩn, tôi có thể thiết kế một thử nghiệm cho ebola với tỷ lệ dương tính giả là 0,02: đặt 50 quả bóng vào một cái xô và viết vào eb ebola trên một cái. Nếu tôi kiểm tra ai đó với điều này và họ chọn quả bóng eb ebola, giá trị p (P (chọn bóng | họ không có ebola)) là 0,02,

Những điều tôi đã xem xét cho đến nay:

Giả sử P (null | results) ~ = P (results | null) - rõ ràng sai đối với một số ứng dụng quan trọng.
Chấp nhận hoặc từ chối giả thuyết mà không biết P (null | kết quả) - Tại sao chúng ta lại chấp nhận hoặc từ chối chúng? Không phải toàn bộ vấn đề chúng ta từ chối những gì chúng ta cho là LIKELY là sai và chấp nhận những gì LIKELY là đúng?
Sử dụng Định lý Bayes - Nhưng làm thế nào để bạn có được các linh mục của mình? Bạn không kết thúc ở cùng một nơi để cố gắng xác định chúng bằng thực nghiệm? Và chọn cho họ một tiên nghiệm có vẻ rất độc đoán.
Tôi tìm thấy một câu hỏi rất giống nhau ở đây: stats.stackexchange.com/questions/231580/. Câu trả lời ở đây dường như về cơ bản nói rằng không có ý nghĩa gì khi hỏi về xác suất giả thuyết khống là đúng vì đó là câu hỏi của người Bayes. Có lẽ tôi là một người Bayes trong tim, nhưng tôi không thể tưởng tượng được việc không hỏi câu hỏi đó. Trong thực tế, dường như sự hiểu lầm phổ biến nhất về giá trị p là chúng là xác suất của một giả thuyết null thực sự. Nếu bạn thực sự không thể hỏi câu hỏi này như một người thường xuyên, thì câu hỏi chính của tôi là # 3: làm thế nào để bạn có được các linh mục của mình mà không bị mắc kẹt trong một vòng lặp?

Chỉnh sửa: Cảm ơn bạn cho tất cả các trả lời chu đáo. Tôi muốn giải quyết một vài chủ đề phổ biến.

Định nghĩa về xác suất: Tôi chắc chắn có rất nhiều tài liệu về điều này, nhưng quan niệm ngây thơ của tôi là một thứ gì đó như "niềm tin rằng một lý trí hoàn hảo sẽ cung cấp thông tin" hoặc "tỷ lệ cá cược sẽ tối đa hóa lợi nhuận nếu tình huống xảy ra đã được lặp đi lặp lại và ẩn số được phép thay đổi ".
Chúng ta có thể biết P (H0 | kết quả) không? Chắc chắn, đây dường như là một câu hỏi khó. Mặc dù vậy, tôi tin rằng mọi xác suất đều có thể biết về mặt lý thuyết, vì xác suất luôn có điều kiện dựa trên thông tin đã cho. Mọi sự kiện sẽ xảy ra hoặc không xảy ra, vì vậy xác suất không tồn tại với thông tin đầy đủ. Nó chỉ tồn tại khi không có đủ thông tin, vì vậy nó nên được biết. Ví dụ, nếu tôi được thông báo rằng ai đó có một đồng xu và hỏi xác suất của những người đứng đầu, tôi sẽ nói 50%. Có thể xảy ra việc đồng xu có trọng số 70% cho người đứng đầu, nhưng tôi đã không được cung cấp thông tin đó, vì vậy xác suất là 50% cho thông tin tôi có, ngay cả khi nó xảy ra trên đuôi, xác suất là 70% đứng đầu khi tôi học được điều đó. Vì xác suất luôn có điều kiện trên một tập hợp dữ liệu (không đủ),
Chỉnh sửa: "Luôn luôn" có thể là một chút quá mạnh mẽ. Có thể có một số câu hỏi triết học mà chúng tôi không thể xác định xác suất. Tuy nhiên, trong các tình huống thực tế, trong khi chúng ta có thể "gần như không bao giờ" có được sự chắc chắn tuyệt đối, thì "hầu như luôn luôn" là một ước tính tốt nhất.

probability hypothesis-testing bayesian

— Marevq
nguồn

1

Nếu 'rỗng giả thuyết' của bạn là một cái gì đó giống như

, có nghĩa là, một số khác biệt là không, sau đó từ chối nó có nghĩa là bạn đã tìm thấy bằng chứng đủ mạnh rằng

. Thay vào đó, bạn có thể cho một giả thuyết không có giá trị như

, có nghĩa là, một số khác biệt là ít nhất lớn như

(nơi

là những gì các nhà nghiên cứu cho là sự khác biệt nhỏ nhất mà họ quan tâm), và các phương tiện từ chối mà bạn tìm thấy

H_{0} : θ = 0

$H_{0}: \theta = 0$

H_{A} : θ = 0

$H_{A}: \theta = 0$

H_{0} : | θ | \geq Δ

$H_{0}: |\theta| \ge \Delta$

Δ

$\Delta$

Δ

$\Delta$

(

là

). Xem các bài kiểm tra về số liệu thống kê tươngđương.stackexchange.com/tags/tost/info

H_{A} : | θ | < Δ

$H_{A}: |\theta| < \Delta$

- Δ < θ < Δ

$-\Delta < \theta < \Delta$

— Alexis

Sức mạnh của một thử nghiệm (và của thử nghiệm thống kê phân tích kết quả của thử nghiệm) là xác suất nếu có hiệu ứng của một kích thước nhất định hoặc lớn hơn, thử nghiệm sẽ phát hiện ra nó ở một ngưỡng có ý nghĩa nhất định. Statisticsdonewrong.com/power.html

— Bennett Brown

xem thống kê.stackexchange.com/questions/166323/ từ

Ví dụ về đồng tiền của bạn là một ví dụ tốt. Nó cho thấy rằng bạn không bao giờ có thể biết P (H0 | kết quả) nếu bạn chỉ biết kết quả và không đưa ra giả định nào nữa . Bạn có biết xác suất của những người đứng đầu trong một lần ném nhất định 'giả sử' một sự công bằng nhất định của đồng tiền không? Đúng. (nhưng đây chỉ là giả thuyết, dựa trên các giả định và bạn sẽ không bao giờ biết liệu các giả định của mình có đúng không) Bạn có biết xác suất của những cú đánh đầu trong một lần ném nhất định trong khi biết một số kết quả trước đó. Không! và không quan trọng số lượng kết quả trước đó bạn biết. Bạn không thể biết chính xác các đầu xác suất trong lần ném tiếp theo.

— Sextus Empiricus

13

Bạn chắc chắn đã xác định được một vấn đề quan trọng và chủ nghĩa Bayes là một nỗ lực giải quyết nó. Bạn có thể chọn trước một thông tin nếu bạn muốn. Tôi sẽ để người khác điền thêm về phương pháp Bayes.

Tuy nhiên, trong phần lớn các trường hợp, bạn biếtnull là sai trong dân số, bạn chỉ không biết hiệu ứng này lớn như thế nào. Ví dụ: nếu bạn đưa ra một giả thuyết hoàn toàn ngớ ngẩn - ví dụ: trọng lượng của một người có liên quan đến việc SSN của họ là số lẻ hay số chẵn - và bằng cách nào đó bạn có thể lấy thông tin chính xác từ toàn bộ dân số, hai phương tiện sẽ không chính xác như nhau. Họ sẽ (có thể) khác nhau bởi một số lượng không đáng kể, nhưng họ sẽ không khớp chính xác. 'Nếu bạn đi theo lộ trình này, bạn sẽ khử các giá trị p và các thử nghiệm quan trọng và dành nhiều thời gian hơn để xem xét ước tính kích thước hiệu ứng và độ chính xác của nó. Vì vậy, nếu bạn có một mẫu rất lớn, bạn có thể thấy rằng những người có SSN lẻ nặng hơn 0,001 pound so với những người thậm chí có SSN, và sai số chuẩn cho ước tính này là 0,000001 pounds, vì vậy p <0,05 nhưng không ai nên quan tâm.

— Peter Flom - Tái lập Monica
nguồn

1

n

$n$

1

Điểm tốt về kích thước hiệu ứng. Có tương tự như các tình huống như xét nghiệm một căn bệnh, trong đó câu hỏi là Boolean trong tự nhiên?

— Kalev Maricq

1

FWIW, tôi hoàn toàn sẵn sàng tin rằng không có mối quan hệ nào giữa cân nặng của một người & liệu SSN của họ là số lẻ hay số chẵn. Trong một nghiên cứu quan sát, các biến này sẽ được tương quan với một số biến khác, v.v., cuối cùng có mối liên hệ cận biên không 0. Tôi nghĩ rằng điểm hợp lệ là, đối với hầu hết mọi thứ mà các nhà nghiên cứu đầu tư thời gian của họ để điều tra, có một số lý do chính đáng để nghi ngờ rằng có thực sự có hiệu ứng khác không.

— gung - Phục hồi Monica

1

@gung bạn có thể tin bất cứ điều gì bạn muốn, nhưng chắc chắn có mối quan hệ khác không giữa cân nặng và SSN. Chúng tôi biết bất cứ điều gì nhiều hơn về mối quan hệ ngoài sự tồn tại của nó và nó có lẽ là nhỏ.

— emory

1

Tôi biết rằng trọng lượng là một biến liên tục. Mặc dù chúng tôi có thể ghi lại dưới dạng số nguyên kilogam. Nhận xét của bạn là về một nghiên cứu quan sát (rút ra những suy luận về dân số dựa trên một mẫu). Vì nghiên cứu của tôi được tài trợ bằng đô la giả thuyết, đây là nghiên cứu về dân số sử dụng thang đo chính xác vô hạn - không cần suy luận thống kê.

— emory

3

Để trả lời câu hỏi này, bạn cần xác định xác suất. Điều này là do giả thuyết null là đúng (ngoại trừ việc nó gần như không bao giờ là khi bạn xem xét các giả thuyết null điểm) hoặc sai. Một định nghĩa là xác suất của tôi mô tả niềm tin cá nhân của tôi về khả năng dữ liệu của tôi xuất phát từ giả thuyết đó so với khả năng dữ liệu của tôi xuất phát từ các giả thuyết khác mà tôi đang xem xét. Nếu bạn bắt đầu từ khuôn khổ này, thì ưu tiên của bạn chỉ là niềm tin của bạn dựa trên tất cả thông tin trước đó của bạn nhưng không bao gồm dữ liệu trong tay.

— jaradniemi
nguồn

Điểm tốt. Tôi nghĩ rằng ý tưởng của tôi về xác suất là một cái gì đó như "niềm tin hoàn toàn hợp lý" thay vì niềm tin cá nhân của tôi. Tôi chỉnh sửa câu hỏi của tôi để giải quyết điểm của bạn.

— Marevq Kalev

2

Ý tưởng chính là, nói một cách lỏng lẻo, bạn có thể chứng minh bằng thực nghiệm một cái gì đó là sai (chỉ cung cấp một ví dụ mẫu), nhưng bạn không thể chỉ ra rằng một cái gì đó chắc chắn là đúng (bạn sẽ cần phải kiểm tra "mọi thứ" để cho thấy không có phản ứng mẫu).

Tính sai lệch là nền tảng của phương pháp khoa học: bạn cho rằng một lý thuyết là chính xác và bạn so sánh dự đoán của nó với những gì bạn quan sát được trong thế giới thực (ví dụ như lý thuyết hấp dẫn của Netwon được cho là "đúng", cho đến khi nó được phát hiện ra rằng nó đã đúng không làm việc quá tốt trong hoàn cảnh khắc nghiệt).

Đây cũng là điều xảy ra trong kiểm tra giả thuyết: khi P (kết quả | null) thấp, dữ liệu mâu thuẫn với lý thuyết (hoặc bạn không may mắn), vì vậy sẽ rất hợp lý khi từ chối giả thuyết khống. Trong thực tế, giả sử null là đúng, thì P (null) = P (null | results) = 1, vì vậy cách duy nhất mà P (kết quả | null) thấp là P (kết quả) thấp (may mắn khó khăn).

Mặt khác, khi P (kết quả | null) cao, ai biết được. Có thể null là sai, nhưng P (kết quả) cao, trong trường hợp đó bạn không thể thực sự làm gì, ngoài việc thiết kế một thử nghiệm tốt hơn.

Hãy để tôi nhắc lại: bạn chỉ có thể chỉ ra rằng giả thuyết null là (có khả năng) sai. Vì vậy, tôi sẽ nói câu trả lời là một nửa điểm thứ hai của bạn: bạn không cần biết P (null | kết quả) khi P (kết quả | null) thấp để từ chối null, nhưng bạn không thể nói null là đúng P (kết quả | null) là cao.

Đây cũng là lý do tại sao khả năng tái tạo là rất quan trọng: thật đáng ngờ khi không may mắn năm lần trong năm lần.

— Gấu đen
nguồn

H_{0} :

$H_0:$

H_{a l t e r n a t i v e} :

$H_{alternative}:$

Tôi đồng ý với Martijn. Nếu bạn có thể cho tôi biết làm thế nào để xác định xác suất giả thuyết null là sai, tôi sẽ coi đó là một câu trả lời thành công cho câu hỏi của tôi.

— Kalev Maricq

cũng lưu ý rằng P (kết quả | null) nhỏ có thể bình thường ngay cả khi null là đúng. Chẳng hạn, nếu chúng ta quan sát trung bình trong 1000 cuộn xúc xắc,

μ_{1000}

$\mu_{1000}$ , sau đó

P (μ_{1000} = 3.50)

$P(\mu_{1000}=3.50)$ là nhỏ ngay cả đối với một con xúc xắc công bằng. giá trị p được xây dựng khác với P (kết quả | null) và được thực hiện chính xác hơn để xác định lỗi loại I, bằng cách mô tả 'kết quả' là 'kết quả mà chúng tôi từ chối'. Theo cách đó, chúng tôi có lỗi loại I là P (null bị từ chối | null true) = P (kết quả từ chối | null). Vì vậy, hãy tưởng tượng null là đúng (theo giả thuyết) thì chúng ta có xác suất P (kết quả từ chối | null) để tạo ra lỗi loại I.

— Sextus Empiricus

2

-------------------------------------------------- ---------------------

(chỉnh sửa: Tôi nghĩ sẽ hữu ích khi đặt phiên bản nhận xét của tôi cho câu hỏi này lên đầu trong câu trả lời này, vì nó ngắn hơn nhiều)

Tính toán không đối xứng của p (a | b) xảy ra khi nó được xem như là một mối quan hệ nhân quả, giống như p (kết quả | giả thuyết). Tính toán này không hoạt động theo cả hai hướng: một giả thuyết gây ra sự phân phối các kết quả có thể, nhưng kết quả không gây ra sự phân phối các giả thuyết.

P (kết quả | giả thuyết) là giá trị lý thuyết dựa trên giả thuyết mối quan hệ nhân quả -> kết quả.

Nếu p (a | b) biểu thị một mối tương quan, hoặc tần số quan sát (không nhất thiết là mối quan hệ nhân quả), thì nó trở nên đối xứng. Chẳng hạn, nếu chúng ta ghi lại số trận mà một đội thể thao thắng / thua và số trận mà đội thể thao ghi được ít hơn hoặc bằng / nhiều hơn 2 bàn trong một bảng dự phòng. Khi đó P (win | điểm> 2) và P (điểm> 2 | win) là các đối tượng thử nghiệm / quan sát (không lý thuyết) tương tự nhau.

-------------------------------------------------- -------------------

Rất đơn giản

Biểu thức P (kết quả | giả thuyết) có vẻ đơn giản đến mức nó khiến người ta dễ dàng nghĩ rằng bạn có thể đơn giản đảo ngược các thuật ngữ. Tuy nhiên, 'kết quả' là một biến ngẫu nhiên, với phân phối xác suất (đưa ra giả thuyết). Và 'giả thuyết' không (thường) là một biến ngẫu nhiên. Nếu chúng ta biến 'giả thuyết' thành một biến ngẫu nhiên thì nó ngụ ý phân phối xác suất của các giả thuyết có thể khác nhau, giống như cách chúng ta có phân phối xác suất cho các kết quả khác nhau. (nhưng kết quả không cung cấp cho chúng tôi phân phối xác suất giả thuyết này và chỉ thay đổi phân phối, theo định lý Bayes)

Một ví dụ

Giả sử bạn có một bình hoa với các viên bi màu đỏ / xanh theo tỷ lệ 50/50 từ đó bạn rút ra 10 viên bi. Sau đó, bạn có thể dễ dàng diễn đạt một cái gì đó như P (kết quả | thí nghiệm bình), nhưng việc thể hiện P (thí nghiệm bình | kết quả) không có ý nghĩa gì. Kết quả là (trên chính nó) không phải là phân phối xác suất của các thí nghiệm bình khác nhau có thể.

Nếu bạn có nhiều loại thử nghiệm bình có thể, trong trường hợp đó, có thể sử dụng biểu thức giống như P (loại thử nghiệm bình) và sử dụng quy tắc Bayes để lấy P (loại thử nghiệm bình | kết quả), vì bây giờ là loại thí nghiệm bình là một biến ngẫu nhiên. (lưu ý: chính xác hơn đó là P (loại thí nghiệm bình | kết quả và phân phối loại thí nghiệm bình))

Tuy nhiên, P (loại thí nghiệm bình | kết quả) này yêu cầu một giả thuyết (meta-) về phân phối ban đầu P (loại thí nghiệm bình) đã cho.

Trực giác

có lẽ biểu thức dưới đây giúp hiểu một hướng

X) Chúng ta có thể biểu thị xác suất X đưa ra một giả thuyết về X.

do đó

1) Chúng ta có thể đưa ra xác suất cho kết quả đưa ra một giả thuyết về kết quả.

và

2) Chúng ta có thể đưa ra xác suất của một giả thuyết được đưa ra một giả thuyết (meta-) về các giả thuyết này.

Đó là quy tắc Bayes cho phép chúng ta biểu thị nghịch đảo của (1) nhưng chúng ta cần (2) cho điều này, giả thuyết cần phải là một biến ngẫu nhiên.

Từ chối như là giải pháp

Vì vậy, chúng tôi không thể có được xác suất tuyệt đối cho một giả thuyết được đưa ra kết quả. Đó là một thực tế của cuộc sống, cố gắng chống lại sự thật này dường như là nguồn gốc của việc không tìm thấy một câu trả lời thỏa đáng. Giải pháp để tìm ra câu trả lời thỏa đáng là: chấp nhận rằng bạn không thể có được xác suất (tuyệt đối) cho một giả thuyết.

Người thường xuyên

Theo cùng một cách như không thể chấp nhận một giả thuyết, chúng ta không nên (tự động) từ chối giả thuyết khi P (kết quả | giả thuyết) gần bằng không. Nó chỉ có nghĩa là có bằng chứng ủng hộ sự thay đổi niềm tin của chúng ta và nó cũng phụ thuộc vào P (kết quả) và P (giả thuyết) về cách chúng ta nên thể hiện niềm tin mới của mình.

Khi người thường xuyên có một số kế hoạch từ chối thì tốt. Những gì họ thể hiện không phải là một giả thuyết đúng hay sai, hoặc xác suất cho những trường hợp như vậy. Họ không thể làm điều đó (không có linh mục). Thay vào đó, những gì họ thể hiện là một cái gì đó về tỷ lệ thất bại (độ tin cậy) của phương pháp của họ (với những giả định nhất định là đúng).

Toàn tri

Một cách để thoát khỏi tất cả những điều này là bỏ qua khái niệm xác suất. Nếu bạn quan sát toàn bộ dân số 100 viên bi trong chiếc bình thì bạn có thể bày tỏ những tuyên bố nhất định về một giả thuyết. Vì vậy, nếu bạn trở nên toàn tri và khái niệm xác suất là không liên quan, thì bạn có thể nêu ra một giả thuyết có đúng hay không (mặc dù xác suất cũng nằm ngoài phương trình)

— Sextus Empiricus
nguồn

Ví dụ bình hoa của bạn có ý nghĩa. Tuy nhiên, trong cuộc sống thực, chúng ta gần như không bao giờ biết có bao nhiêu viên bi của mỗi màu trong chiếc bình. Tôi luôn thấy mình có một câu hỏi giống như "Có nhiều viên bi đỏ hơn màu xanh không" và dữ liệu của tôi là tôi đã rút ra 4 viên bi đỏ và 1 viên bi xanh từ chiếc bình. Bây giờ, tôi có thể đưa ra các giả định như "có thể có ~ 100 viên bi và mỗi viên bi có màu đỏ hoặc màu xanh với xác suất 50%" nhưng trong cuộc sống thực, tôi thường thấy mình bị thua khi làm thế nào để không tự ý và không theo vòng tròn những linh mục này.

— Kalev Maricq

Đó là một câu hỏi nhận thức luận hơn là một vấn đề về xác suất. Một biểu thức như P (kết quả | giả thuyết) theo cách tương tự "sai", ý tôi là, đó là một biểu thức giả thuyết. Bạn có thể bày tỏ xác suất cho một kết quả, với một niềm tin giả định nhất định về 'thực tế'. Theo cách tương tự như xác suất cho kết quả thực nghiệm là giả thuyết, một biểu thức cho xác suất của một lý thuyết nào đó (có hoặc không có một số quan sát về kết quả), đòi hỏi một niềm tin giả định nhất định về 'thực tế'. Vâng, các linh mục có phần độc đoán. Nhưng đó là một giả thuyết.

— Sextus Empiricus

Nói về xác suất. Lưu ý rằng quy tắc Bayes là về hai biến ngẫu nhiên: P (a | b) P (b) = P (b | a) P (a). Bạn có thể liên quan đến xác suất có điều kiện. Nếu một trong những P (b | a) đó là mối quan hệ nhân quả , như trong 'lý thuyết dẫn đến phân phối kết quả', thì bạn có thể tính toán chính xác. Trường hợp như vậy chỉ là do quan hệ nhân quả (1 hướng). Giả thuyết cho phép biết (giả thuyết) mọi thứ bạn cần, những viên bi trong chiếc bình. Cách khác, không hoạt động. Một kết quả thử nghiệm 4 màu đỏ so với 1 màu xanh lam, không gây ra sự phân phối xác suất của viên bi trong chiếc bình.

— Sextus Empiricus

Xác suất mà giả thuyết Null là đúng

-------------------------------------------------- ---------------------

-------------------------------------------------- -------------------

Rất đơn giản

Một ví dụ

Trực giác

Từ chối như là giải pháp

Người thường xuyên

Toàn tri