Khoảng tin cậy nói gì về độ chính xác (nếu có)?

Morey et al (2015) cho rằng khoảng tin cậy là sai lệch và có nhiều sai lệch liên quan đến sự hiểu biết về chúng. Trong số những người khác, họ mô tả sai lầm chính xác như sau:

Sai lầm chính xác
Độ rộng của khoảng tin cậy biểu thị độ chính xác của kiến ​​thức của chúng tôi về tham số. Khoảng tin cậy hẹp cho thấy kiến ​​thức chính xác, trong khi lỗi tự tin rộng cho thấy kiến ​​thức không chính xác.

Không có mối liên hệ cần thiết giữa độ chính xác của ước tính và kích thước của khoảng tin cậy. Một cách để thấy điều này là tưởng tượng hai nhà nghiên cứu - một nhà nghiên cứu cao cấp và một nghiên cứu sinh - đang phân tích dữ liệu của người tham gia từ một thí nghiệm. Như một bài tập vì lợi ích của nghiên cứu sinh, nhà nghiên cứu cao cấp quyết định chia ngẫu nhiên những người tham gia thành hai bộ để mỗi người có thể phân tích riêng một nửa bộ dữ liệu. Trong một cuộc họp tiếp theo, hai chia sẻ với nhau Sinh viên của họ khoảng tin cậy cho giá trị trung bình. CI của nghiên cứu sinh là , và CI của nhà nghiên cứu cao cấp là .25 t 95 % 52 ± 2 95 % 53 ± $50$$25$$t$$95\%$$52 \pm 2$$95\%$$53 \pm 4$

Nhà nghiên cứu cao cấp lưu ý rằng kết quả của họ rất nhất quán và họ có thể sử dụng giá trị trung bình có trọng số tương đương của hai ước tính điểm tương ứng của họ, , như một ước tính tổng thể về giá trị trung bình thực.$52.5$

Tuy nhiên, nghiên cứu sinh cho rằng hai phương tiện của họ không nên có trọng số đồng đều: cô lưu ý rằng CI của cô rộng bằng một nửa và lập luận rằng ước tính của cô chính xác hơn và do đó nên được cân nặng hơn. Cố vấn của cô lưu ý rằng điều này không thể chính xác, bởi vì ước tính từ trọng số không đồng đều của hai phương tiện sẽ khác với ước tính từ việc phân tích bộ dữ liệu hoàn chỉnh, phải là . Sai lầm của nghiên cứu sinh là giả định rằng các TCTD trực tiếp chỉ ra độ chính xác sau dữ liệu.$52.5$

Ví dụ trên dường như là sai lệch. Nếu chúng ta chia ngẫu nhiên một mẫu thành một nửa, thành hai mẫu, thì chúng ta sẽ mong đợi cả hai phương tiện mẫu và lỗi tiêu chuẩn sẽ được đóng lại. Trong trường hợp như vậy, không nên có bất kỳ sự khác biệt nào giữa việc sử dụng giá trị trung bình có trọng số (ví dụ: trọng số do lỗi nghịch đảo) và sử dụng trung bình số học đơn giản. Tuy nhiên, nếu các ước tính khác nhau và sai số ở một trong các mẫu lớn hơn đáng kể, điều này có thể gợi ý "các vấn đề" với mẫu đó.

Rõ ràng, trong ví dụ trên, kích thước mẫu là như nhau nên việc "nối lại" dữ liệu bằng cách lấy giá trị trung bình của phương tiện giống như lấy giá trị trung bình của toàn bộ mẫu. Vấn đề là toàn bộ ví dụ tuân theo logic không xác định rằng mẫu đầu tiên được chia thành các phần, sau đó được nối lại để ước tính cuối cùng.

Ví dụ có thể được đặt lại để dẫn đến kết luận ngược lại:

Nhà nghiên cứu và sinh viên quyết định chia dữ liệu của họ thành hai nửa và phân tích chúng một cách độc lập. Sau đó, họ so sánh các ước tính của họ và có vẻ như mẫu có nghĩa là họ tính toán rất khác nhau, hơn nữa sai số chuẩn của ước tính của sinh viên là lớn hơn nhiều. Học sinh sợ rằng điều này có thể gợi ý các vấn đề với độ chính xác của ước tính của mình, nhưng nhà nghiên cứu ngụ ý rằng không có mối liên hệ nào giữa các khoảng tin cậy và độ chính xác, vì vậy cả hai ước tính đều đáng tin cậy như nhau và họ có thể xuất bản bất kỳ một trong số chúng, được chọn ngẫu nhiên, như ước tính cuối cùng của họ.

Nói rõ hơn, khoảng tin cậy "chuẩn", như của Học sinh , dựa trên các lỗi$t$

trong đó là hằng số. Trong trường hợp như vậy, chúng liên quan trực tiếp đến độ chính xác, phải không ..?$c$

Vì vậy, câu hỏi của tôi là:
ngụy biện chính xác có thực sự là ngụy biện? Khoảng tin cậy nói gì về độ chính xác?

Morey, R., Hoekstra, R., Rouder, J., Lee, M., & Wagenmakers, E.-J. (2015). Sai lầm của việc đặt niềm tin vào khoảng tin cậy. Bản tin & Đánh giá về Tâm lý học, 1 Hàng21. https://learnbayes.org/ con / confidenceInter đạnFallacy /

Trong bài báo, chúng tôi thực sự chứng minh sai lầm chính xác theo nhiều cách. Người bạn đang hỏi về - điều đầu tiên trong bài báo - Ví dụ này có nghĩa là chứng minh rằng "CI = chính xác" đơn giản là sai. Điều này không có nghĩa là bất kỳ người thường xuyên có thẩm quyền, Bayesian, hoặc có khả năng sẽ bị nhầm lẫn bởi điều này.

Đây là một cách khác để xem điều gì đang xảy ra: Nếu chúng tôi chỉ nói với các TCTD, chúng tôi vẫn không thể kết hợp thông tin trong các mẫu với nhau; chúng ta sẽ cần phải biết , và từ đó chúng ta có thể phân tách các TCTD thành ˉ x và s 2 , và do đó kết hợp hai mẫu đúng cách. Lý do chúng ta phải làm điều này là thông tin trong CI là cận biên so với tham số phiền toái. Chúng ta phải tính đến việc cả hai mẫu đều chứa thông tin về cùng một tham số phiền toái. Này liên quan đến việc tính toán tính toán cả hai là 2 giá trị, kết hợp chúng để có được một ước tính tổng thể của σ 2 , sau đó tính toán một CI mới.$N$$\bar{x}$$s^2$$s^2$$\sigma^2$

Đối với các cuộc biểu tình khác về sai lầm chính xác, xem

• nhiều TCTD trong phần Welch (1939) (tàu ngầm), một trong số đó bao gồm CI "tầm thường" được đề cập bởi @dsaxton ở trên. Trong ví dụ này, CI tối ưu không theo dõi độ rộng của khả năng và có một số ví dụ khác về các TCTD cũng không.
• Thực tế là các TCTD - thậm chí các TCTD "tốt" có thể trống rỗng, "sai lệch" cho thấy độ chính xác vô hạn

Câu trả lời cho câu hỏi hóc búa là "độ chính xác", ít nhất là theo cách mà những người ủng hộ CI nghĩ về nó (một đánh giá sau thí nghiệm về mức độ "đóng" của một ước lượng đối với một tham số) đơn giản không phải là một đặc điểm mà khoảng tin cậy nói chung có , và họ không có ý đó. Thủ tục tự tin đặc biệt có thể ... hoặc không.

Xem thêm các cuộc thảo luận ở đây: http://andrewgelman.com/2011/08/25/why_it_doesnt_m/#comment-61591

Trước hết, chúng ta hãy giới hạn bản thân mình trong các quy trình CI chỉ tạo ra các khoảng với độ rộng hữu hạn, độ rộng hữu hạn (để tránh các trường hợp bệnh lý).

Trong trường hợp này, mối quan hệ giữa độ chính xác và độ rộng CI có thể được chứng minh trên lý thuyết. Lấy một ước tính cho giá trị trung bình (khi nó tồn tại). Nếu CI của bạn cho giá trị trung bình rất hẹp, thì bạn có hai cách hiểu: hoặc bạn đã gặp một số điều xui xẻo và mẫu của bạn bị vón cục quá chặt (tỷ lệ 5% có thể xảy ra), hoặc khoảng của bạn bao hàm ý nghĩa thực sự (95% một cơ hội tiên nghiệm). Tất nhiên, CI được quan sát có thể là một trong hai, nhưng chúng tôi thiết lập tính toán của chúng tôi để điều sau xảy ra nhiều khả năng xảy ra (nghĩa là 95% khả năng là một tiên nghiệm) ... do đó, chúng tôi có mức độ cao của niềm tinrằng khoảng của chúng tôi bao gồm giá trị trung bình, bởi vì chúng tôi thiết lập mọi thứ theo xác suất nên điều này là như vậy. Do đó, CI 95% không phải là khoảng xác suất (như Khoảng tin cậy Bayes), mà giống như "cố vấn đáng tin cậy" ... một người nào đó, theo thống kê, đúng 95%, vì vậy chúng tôi tin tưởng vào câu trả lời của họ bất kỳ câu trả lời cụ thể rất có thể là sai.

Trong 95% trường hợp nó bao phủ tham số thực tế, thì độ rộng cho bạn biết điều gì đó về phạm vi của các giá trị hợp lý được cung cấp cho dữ liệu (nghĩa là bạn có thể ràng buộc giá trị thực như thế nào), do đó, nó hoạt động như một thước đo độ chính xác . Trong 5% trường hợp không có, thì CI bị sai lệch (vì mẫu bị sai lệch).

Vì vậy, chiều rộng CI 95% cho thấy độ chính xác ... Tôi muốn nói rằng có 95% khả năng nó xảy ra (với điều kiện chiều rộng CI của bạn là hữu hạn - hữu hạn) ;-)

CI hợp lý là gì?

Đáp lại bài đăng của tác giả ban đầu, tôi đã sửa đổi phản hồi của mình với (a) có tính đến việc ví dụ "mẫu phân tách" có mục đích rất cụ thể và (b) để cung cấp thêm một số thông tin cơ bản theo yêu cầu của người bình luận:

Trong một thế giới lý tưởng (thường xuyên), tất cả các phân phối lấy mẫu sẽ thừa nhận một thống kê quan trọng mà chúng ta có thể sử dụng để có được khoảng tin cậy chính xác. Điều gì là tuyệt vời về số liệu thống kê quan trọng? Phân phối của chúng có thể được lấy mà không cần biết giá trị thực của tham số được ước tính! Trong những trường hợp tốt đẹp này, chúng tôi có một phân phối chính xác của thống kê mẫu của chúng tôi liên quan đến tham số thực (mặc dù nó có thể không phải là gaussian) về tham số này.

Nói ngắn gọn hơn: Chúng tôi biết phân phối lỗi (hoặc một số chuyển đổi của chúng).

Đó là chất lượng của một số công cụ ước tính cho phép chúng ta hình thành các khoảng tin cậy hợp lý. Các khoảng này không chỉ thỏa mãn định nghĩa của chúng ... chúng làm như vậy nhờ có nguồn gốc từ phân phối lỗi ước tính thực tế.

Phân phối Gaussian và thống kê Z liên quan là ví dụ điển hình về việc sử dụng số lượng quan trọng để phát triển một CI chính xác cho giá trị trung bình. Có nhiều ví dụ bí truyền hơn, nhưng đây thường là ví dụ thúc đẩy "lý thuyết mẫu lớn", về cơ bản là một nỗ lực áp dụng lý thuyết đằng sau các TCTD Gaussian cho các phân phối không thừa nhận số lượng pivotal thực sự. Trong những trường hợp này, bạn sẽ đọc khoảng pivotal, hoặc pivotal (trong cỡ mẫu) hoặc khoảng tin cậy "gần đúng" ... những điều này dựa trên lý thuyết khả năng - cụ thể, thực tế là phân phối lỗi cho nhiều MLE tiếp cận một phân phối bình thường.

Một cách tiếp cận khác để tạo ra các TCTD hợp lý là "đảo ngược" một bài kiểm tra giả thuyết. Ý tưởng là một thử nghiệm "tốt" (ví dụ, UMP) sẽ dẫn đến một CI tốt (đọc: hẹp) cho tỷ lệ lỗi Loại I nhất định. Những điều này không có xu hướng cung cấp bảo hiểm chính xác, nhưng cung cấp bảo hiểm giới hạn thấp hơn (lưu ý: định nghĩa thực tế của X% -CI chỉ nói rằng nó phải bao gồm tham số thực ít nhất là X% thời gian).

Việc sử dụng các bài kiểm tra giả thuyết không yêu cầu trực tiếp một đại lượng quan trọng hoặc phân phối lỗi - tính nhạy cảm của nó được lấy từ tính nhạy cảm của bài kiểm tra cơ bản. Ví dụ: nếu chúng tôi có một bài kiểm tra có vùng từ chối có độ dài 0 5% thời gian và độ dài vô hạn 95% thời gian, chúng tôi sẽ quay lại nơi chúng tôi đã ở với CI - nhưng rõ ràng là bài kiểm tra này không phải là có điều kiện trên dữ liệu và do đó sẽ không cung cấp bất kỳ thông tin nào về tham số cơ bản đang được kiểm tra.

Ý tưởng rộng hơn này - rằng một ước tính về độ chính xác phải có điều kiện trên dữ liệu, quay trở lại Fischer và ý tưởng về thống kê phụ trợ. Bạn có thể chắc chắn rằng nếu kết quả của thủ tục kiểm tra hoặc CI của bạn KHÔNG bị điều kiện bởi dữ liệu (nghĩa là hành vi có điều kiện của nó giống như hành vi vô điều kiện của nó), thì bạn đã có một phương pháp nghi vấn trên tay.

$\{x_1, x_2, \ldots , x_n \}$$(\mu, \sigma^2)$$\mu$$(- \infty, \infty)$$\{ 0 \}$dựa trên sự lật của một đồng xu thiên vị. Bằng cách sử dụng sai lệch đúng, chúng ta có thể có được bất kỳ mức độ tin cậy nào mà chúng ta thích, nhưng rõ ràng khoảng "ước tính" của chúng ta không có độ chính xác nào cả ngay cả khi chúng ta kết thúc với một khoảng có độ rộng bằng không.

Lý do tại sao tôi không nghĩ rằng chúng ta nên quan tâm đến sai lầm rõ ràng này là trong khi sự thật là không có kết nối cần thiết giữa độ rộng của khoảng tin cậy và chính xác, có là một kết nối gần như phổ quát giữa sai số chuẩn và chính xác, và trong hầu hết các trường hợp độ rộng của khoảng tin cậy tỷ lệ thuận với sai số chuẩn.

$\sigma$

Tôi nghĩ rằng sự khác biệt rõ ràng giữa "khoảng tin cậy" và "độ chính xác" (xem câu trả lời từ @dsaxton) là quan trọng bởi vì sự khác biệt đó chỉ ra các vấn đề trong cách sử dụng chung của cả hai thuật ngữ.

Trích dẫn từ Wikipedia :

Độ chính xác của một hệ thống đo lường, liên quan đến độ tái lập và độ lặp lại, là mức độ mà các phép đo lặp lại trong các điều kiện không thay đổi cho thấy kết quả tương tự.

Do đó, người ta có thể lập luận rằng các khoảng tin cậy thường xuyên đại diện cho một loại độ chính xác của sơ đồ đo lường . Nếu một lần lặp lại cùng một sơ đồ, 95% CI được tính cho mỗi lần lặp lại sẽ chứa một giá trị thực của tham số trong 95% số lần lặp lại.

Tuy nhiên, đây không phải là điều mà nhiều người muốn từ một thước đo chính xác thực tế. Họ muốn biết khoảng cách giữa giá trị đo được là sự thật giá trị . Khoảng tin cậy thường xuyên không cung cấp chính xác thước đo chính xác đó. Bayesian khu vực đáng tin cậy làm.

Một số nhầm lẫn là, trong các ví dụ thực tế, khoảng tin cậy thường xuyên và các khu vực đáng tin cậy Bayes "sẽ ít nhiều trùng lặp" . Lấy mẫu từ một bản phân phối bình thường, như trong một số nhận xét về OP, là một ví dụ như vậy. Đó cũng có thể là trường hợp thực tế đối với một số loại phân tích rộng hơn mà @Bey đã nghĩ đến, dựa trên các xấp xỉ với các lỗi tiêu chuẩn trong các quy trình có phân phối bình thường trong giới hạn.

Nếu bạn biết rằng bạn đang ở trong một tình huống như vậy , thì có thể không có mối nguy hiểm thực tế nào trong việc diễn giải một CI 95% cụ thể, từ việc thực hiện một sơ đồ đo lường, như có xác suất 95% chứa giá trị thực. Tuy nhiên, việc giải thích các khoảng tin cậy không phải từ các số liệu thống kê thường xuyên, mà giá trị thực sự là hoặc không nằm trong khoảng cụ thể đó.

Nếu khoảng tin cậy và vùng đáng tin cậy khác nhau rõ rệt, thì cách giải thích giống như Bayes về khoảng tin cậy thường xuyên có thể gây hiểu nhầm hoặc sai, vì bài báo liên kết ở trên và tài liệu trước đó đã tham chiếu trong đó chứng minh. Đúng, "lẽ thường" có thể giúp tránh những giải thích sai như vậy, nhưng theo kinh nghiệm của tôi thì "lẽ thường" không quá phổ biến.

Các trang CrossValidated khác chứa nhiều thông tin hơn về khoảng tin cậy và sự khác biệt giữa khoảng tin cậy và vùng đáng tin cậy . Liên kết từ các trang cụ thể cũng rất nhiều thông tin.

@Bey có nó. Không có mối liên hệ cần thiết giữa điểm số và hiệu suất cũng như giá cả và chất lượng cũng như mùi và vị. Tuy nhiên, người này thường thông báo về người khác.

Người ta có thể chứng minh bằng cảm ứng rằng người ta không thể đưa ra một câu đố pop. Khi kiểm tra chặt chẽ điều này có nghĩa là người ta không thể đảm bảo bài kiểm tra là một bất ngờ. Tuy nhiên, hầu hết thời gian nó sẽ được.

Nghe có vẻ như Morey et al cho thấy có những trường hợp tồn tại chiều rộng không chính xác. Mặc dù điều đó đủ để khẳng định "Không có mối liên hệ cần thiết nào giữa độ chính xác của ước tính và kích thước của khoảng tin cậy", nhưng không đủ để kết luận thêm rằng các TCTD thường không chứa thông tin về độ chính xác. Chỉ là họ không được đảm bảo để làm như vậy.

(Không đủ điểm cho câu trả lời của + @ Bey.)