Nói gì với khách hàng nghĩ rằng khoảng tin cậy quá rộng không hữu ích?

22

Giả sử tôi là một nhà tư vấn và tôi muốn giải thích cho khách hàng của mình về sự hữu ích của khoảng tin cậy. Khách hàng nói với tôi rằng khoảng của tôi quá rộng không hữu ích và anh ta thích sử dụng khoảng rộng hơn một nửa.

Tôi nên trả lời như thế nào?

confidence-interval interpretation

— sinh viên đa dạng
nguồn

15

lập hóa đơn cho họ để thu thập thêm dữ liệu.

— shabbychef

2

Điều này nhắc nhở tôi về một tài liệu phải đọc về các loại khách hàng trong tư vấn thống kê.

@Procrastinator Bạn có phiền khi đăng một liên kết đến phiên bản PDF của bài báo không?

— giả định

1

@Max, dường như chỉ có sẵn rõ ràng thông qua JSTOR; đăng một bản PDF sẽ vi phạm các điều khoản dịch vụ (khá hợp lý) của JSTOR ...

— Ben Bolker

@shabbychef - thường đây là một cách không hiệu quả cao để tăng độ chính xác, đặc biệt nếu mẫu đã lớn. ví dụ, để giảm một nửa chiều rộng của ci của một ci trung bình bình thường, bạn cần tăng gấp bốn lần kích thước mẫu. tốt hơn để dành thời gian cải thiện mô hình trước khi bạn đi và tăng gấp bốn lần chi phí lớn nhất!

— xác suất

16

Nó phụ thuộc vào những gì khách hàng có nghĩa là "hữu ích". Đề xuất của khách hàng của bạn rằng bạn tự ý thu hẹp các khoảng thời gian dường như phản ánh một sự hiểu lầm rằng, bằng cách thu hẹp các khoảng thời gian mà bạn bằng cách nào đó đã làm giảm biên độ lỗi một cách kỳ diệu. Giả sử tập dữ liệu đã được thu thập và đã được sửa (nếu không phải như vậy, trò đùa của @ shabbychef trong các bình luận sẽ cho bạn câu trả lời của bạn), mọi phản hồi cho khách hàng của bạn nên nhấn mạnh và mô tả lý do tại sao không có "bữa trưa miễn phí" và đó bạn đang hy sinh một cái gì đó bằng cách thu hẹp khoảng thời gian.

Cụ thể, vì tập dữ liệu được cố định, cách duy nhất bạn có thể giảm độ rộng của khoảng tin cậy là giảm mức độ tin cậy. Do đó, bạn có lựa chọn giữa một khoảng rộng hơn mà bạn tự tin hơn chứa giá trị tham số thực hoặc khoảng hẹp hơn mà bạn không tin tưởng. Đó là, khoảng tin cậy rộng hơn là bảo thủ hơn. Tất nhiên, bạn không bao giờ có thể tối ưu hóa độ rộng hoặc mức độ tin cậy một cách không suy nghĩ, vì bạn có thể tạo ra khoảng tin cậy một cách trống rỗng bằng cách để nó trải rộng toàn bộ không gian tham số và có thể có khoảng tin cậy hẹp vô hạn, mặc dù nó sẽ có độ bao phủ . $100 \%$ $0 \%$

Việc một khoảng ít bảo thủ có hữu ích hơn hay không rõ ràng phụ thuộc cả vào bối cảnh và độ rộng của khoảng đó thay đổi như một chức năng của mức độ tin cậy, nhưng tôi gặp khó khăn khi hình dung một ứng dụng sử dụng mức độ tin cậy thấp hơn nhiều khoảng cách hẹp hơn sẽ được ưa thích hơn. Ngoài ra, đáng để chỉ ra rằng khoảng tin cậy đã trở nên phổ biến đến mức khó có thể biện minh được tại sao bạn, ví dụ, sử dụng khoảng tin cậy . $95 \%$ $60\%$

— Vĩ mô
nguồn

6

Bạn không thể đơn giản thu hẹp khoảng tin cậy mà không bỏ qua một cái gì đó, nhưng có một chút linh hoạt tương tự như sự khác biệt giữa thử nghiệm một đầu và thử nghiệm hai đuôi. Ngoài ra, có thể một mô hình tốt hơn của cùng một dữ liệu sẽ tạo ra các khoảng tin cậy khác nhau (và có thể nhỏ hơn).

— Douglas Zare

3

Tôi nghĩ rằng bạn đang bán phần cuối cùng chỉ một chút ngắn. Tính phổ biến của CI 95 % là một hiện tượng văn hóa. Trong một số bối cảnh, các giá trị khác là phổ biến, ví dụ như khi vẽ đồ thị, các thanh lỗi thường là lỗi tiêu chuẩn (ví dụ 68% CI), vì tôi chắc chắn bạn đã quen. (+1, btw)

— gung - Tái lập Monica

2

Về tinh thần, câu trả lời này là tốt nhưng tôi nghĩ đoạn thứ hai quá hạn chế. Một lợi ích to lớn mà nhà thống kê mang lại cho bên này là kiến thức về các thủ tục thay thế có thể đáp ứng tốt hơn nhu cầu của khách hàng. Trong nhiều trường hợp, người ta có thể thu hẹp chiều rộng của CI bằng cách chọn một thủ tục CI khác. Điều này không yêu cầu thu thập thêm dữ liệu (-1 đến @shabbychef, tôi sợ) cũng như không làm giảm mức độ tin cậy. Phần thực sự khó khăn là diễn giải một CI trong đó thủ tục được chọn là bài hoc. Đó là lý do tại sao chúng tôi muốn có cuộc trò chuyện này trước khi phân tích (hoặc thậm chí thu thập) dữ liệu!

— whuber

7

Tôi đang phản ứng với điều này, Macro, bởi vì trong thực tế, nó không hoạt động tốt đến mức không linh hoạt. Rủi ro là khách hàng sẽ bỏ qua lời khuyên của bạn và nhờ trợ giúp từ một người không biết gì hơn (nhưng yêu cầu đủ chuyên môn về thống kê). Kịch bản của OP là một kịch bản quen thuộc và phổ biến: tốt nhất được xem là cơ hội để thông báo và giáo dục khách hàng cũng như cung cấp cho họ các lựa chọn thay thế (cùng với một cuộc thảo luận thẳng thắn về ưu và nhược điểm của họ). Chúng ta cần nói "vâng, CI có thể được làm nhỏ hơn, nhưng đây là một số hậu quả của việc đó" chứ không phải là "không, bạn bị lừa."

— whuber

2

Đó là một điểm tốt @whuber (+1) trong các tình huống có thể có các lựa chọn thay thế hiệu quả hơn - còn một lý do khác để tham khảo ý kiến của một nhà thống kê trước khi thu thập / phân tích dữ liệu.

— Macro

2

Tôi sẽ đề nghị nó hoàn toàn phụ thuộc vào những gì khách hàng của bạn muốn sử dụng khoảng tin cậy cho.

Một số loại báo cáo / xuất bản / vv. trong đó 95% CI thường được báo cáo. Tôi rất có thể nói với anh ta "Điều đó không hợp lý về mặt thống kê" và để nó ở đó, tùy thuộc vào việc khách hàng có xu hướng trì hoãn chuyên môn của bạn hay không. Nếu họ không, bạn phải đưa ra đánh giá về sự thoải mái chuyên nghiệp của riêng bạn với những gì họ muốn.
Một số loại tài liệu nội bộ - Tôi muốn làm rõ rằng bạn không đồng ý và làm rõ loại khoảng tin cậy mà người đọc hiện đang xem, vì nó không phải là 95%.
Để đo lường độ không chắc chắn của ước tính, hãy nói để xác định mức độ phân tích độ nhạy người ta có thể phải làm? Tôi sẽ đưa cho họ một con số hiển thị phân phối đầy đủ với cả 95% CI và một cái gì đó giống như 68% CI được đánh dấu và để họ có ở đó.

Tôi sẽ khá tự hào về bản thân mình nếu tôi cố gắng giữ "Vì vậy, hãy thực hiện một nghiên cứu lớn hơn" khỏi điều đầu tiên ra khỏi miệng.

— Phụ nữ
nguồn

1

+1. Tôi nghĩ rằng các ý kiến bạn đưa ra theo (2) có thể cũng có liên quan trong tình huống được mô tả bởi (1).

— Macro

0

Sử dụng Độ lệch chuẩn, như hầu hết mọi người làm. CI 95% có thể đáng sợ khi mọi người đã quen với 68% CI.

— Công viên địa chất
nguồn

4

Đối với tôi, có vẻ như trong trường hợp này, chúng tôi chỉ quan tâm đến việc hiển thị độ chính xác của giá trị trung bình của mẫu, chứ không phải là sự thay đổi của các giá trị riêng lẻ. Tại sao bạn muốn đề xuất độ lệch chuẩn , cụ thể?

— chl

Fisher ban đầu đề xuất 95% TCTD là xấp xỉ với 2 độ lệch chuẩn.

— Patrick Caldon

1

@Patrick, có vẻ như bạn đã bỏ lỡ quan điểm của chl (cũng như Fisher đại diện sai, người không mắc phải sai lầm đó) hoặc nếu không bạn đã viết "độ lệch chuẩn" trong đó bạn dự định " lỗi tiêu chuẩn ". Hầu hết các TCTD đều dựa trên các lỗi tiêu chuẩn, tất nhiên, không phải là độ lệch chuẩn. 2 SD không xấp xỉ một CI cũng như ngược lại.

— whuber

Tất nhiên, lỗi tiêu chuẩn chỉ là độ lệch chuẩn của giá trị trung bình, vì vậy đó chỉ là thuật ngữ. Đó là, nói rằng các TCTD không dựa trên độ lệch chuẩn không thực sự đúng. Chúng không dựa trên độ lệch chuẩn của mẫu, mà thay vào đó là độ lệch chuẩn của giá trị trung bình.

— Aaron - Tái lập Monica

2

Không phải tất cả các ước tính là phương tiện. Có các lỗi tiêu chuẩn cho các ước tính khác với phương tiện và đó là lỗi tiêu chuẩn của ước tính được sử dụng để tạo khoảng tin cậy cho một tham số dựa trên tính biến thiên của ước tính như whuber gợi ý.

— Michael R. Chernick

0

Bạn cung cấp khoảng tin cậy ở một mức tiêu chuẩn nhất định, chẳng hạn như 90% hoặc 95%. Khách hàng có thể đánh giá liệu khoảng quá rộng có hữu ích hay không. Nhưng tất nhiên điều đó không có nghĩa là bạn có thể rút ngắn nó để làm cho nó hữu ích. Bạn có thể đề xuất rằng việc tăng kích thước mẫu sẽ làm giảm độ rộng của một khoảng ở mức độ tin cậy nhất định vì nó giảm khoảng một phần tử căn bậc hai của kích thước mẫu.

— Michael R. Chernick
nguồn