Tính khoảng tin cậy từ dữ liệu mẫu

Tôi có dữ liệu mẫu mà tôi muốn tính khoảng tin cậy, giả sử là phân phối chuẩn.

Tôi đã tìm và cài đặt các gói numpy và scipy và đã nhận numpy để trả về giá trị trung bình và độ lệch chuẩn (numpy.mean (data) với dữ liệu là một danh sách). Mọi lời khuyên về cách lấy khoảng tin cậy mẫu sẽ được đánh giá cao.

import numpy as np
import scipy.stats


def mean_confidence_interval(data, confidence=0.95):
    a = 1.0 * np.array(data)
    n = len(a)
    m, se = np.mean(a), scipy.stats.sem(a)
    h = se * scipy.stats.t.ppf((1 + confidence) / 2., n-1)
    return m, m-h, m+h

bạn có thể tính toán như thế này.

Đây là phiên bản rút gọn của mã shasan, tính khoảng tin cậy 95% của giá trị trung bình của mảng a:

import numpy as np, scipy.stats as st

st.t.interval(0.95, len(a)-1, loc=np.mean(a), scale=st.sem(a))

Nhưng sử dụng StatsModels ' tconfint_meanđược cho là còn đẹp hơn:

import statsmodels.stats.api as sms

sms.DescrStatsW(a).tconfint_mean()

Các giả định cơ bản cho cả hai là mẫu (mảng a) được vẽ độc lập với phân phối chuẩn với độ lệch chuẩn chưa biết (xem MathWorld hoặc Wikipedia ).

Đối với cỡ mẫu lớn n, giá trị trung bình của mẫu được phân phối chuẩn và người ta có thể tính khoảng tin cậy của nó bằng cách sử dụng st.norm.interval()(như được đề xuất trong nhận xét của Jaime). Nhưng các giải pháp trên cũng đúng đối với n nhỏ, nơi st.norm.interval()cung cấp khoảng tin cậy quá hẹp (tức là "độ tin cậy giả"). Xem câu trả lời của tôi cho một câu hỏi tương tự để biết thêm chi tiết (và một trong những nhận xét của Russ tại đây).

Dưới đây là một ví dụ trong đó các tùy chọn đúng cung cấp (về cơ bản) các khoảng tin cậy giống hệt nhau:

In [9]: a = range(10,14)

In [10]: mean_confidence_interval(a)
Out[10]: (11.5, 9.4457397432391215, 13.554260256760879)

In [11]: st.t.interval(0.95, len(a)-1, loc=np.mean(a), scale=st.sem(a))
Out[11]: (9.4457397432391215, 13.554260256760879)

In [12]: sms.DescrStatsW(a).tconfint_mean()
Out[12]: (9.4457397432391197, 13.55426025676088)

Và cuối cùng, kết quả không chính xác khi sử dụng st.norm.interval():

In [13]: st.norm.interval(0.95, loc=np.mean(a), scale=st.sem(a))
Out[13]: (10.23484868811834, 12.76515131188166)

Bắt đầu với việc tra cứu giá trị z cho khoảng tin cậy mong muốn của bạn từ bảng tra cứu . Sau đó mean +/- z*sigma, khoảng tin cậy là , đâu sigmalà độ lệch chuẩn ước tính của giá trị trung bình mẫu của bạn, được cho bởi sigma = s / sqrt(n), đâu slà độ lệch chuẩn được tính từ dữ liệu mẫu và nlà kích thước mẫu của bạn.

Bắt đầu Python 3.8, thư viện chuẩn cung cấp NormalDistđối tượng như một phần của statisticsmô-đun:

from statistics import NormalDist

def confidence_interval(data, confidence=0.95):
  dist = NormalDist.from_samples(data)
  z = NormalDist().inv_cdf((1 + confidence) / 2.)
  h = dist.stdev * z / ((len(data) - 1) ** .5)
  return dist.mean - h, dist.mean + h

Điều này:

• Tạo một NormalDistđối tượng từ mẫu dữ liệu ( NormalDist.from_samples(data), cho phép chúng tôi truy cập vào giá trị trung bình và độ lệch chuẩn của mẫu thông qua NormalDist.meanvà NormalDist.stdev.

• Tính toán Z-scoredựa trên phân phối chuẩn chuẩn (được biểu thị bằng NormalDist()) cho độ tin cậy đã cho bằng cách sử dụng nghịch đảo của hàm phân phối tích lũy ( inv_cdf).

• Tạo khoảng tin cậy dựa trên độ lệch chuẩn và giá trị trung bình của mẫu.

Điều này giả sử kích thước mẫu đủ lớn (giả sử hơn ~ 100 điểm) để sử dụng phân phối chuẩn chuẩn thay vì phân phối t của học sinh để tính zgiá trị.