Tính cỡ mẫu yêu cầu, độ chính xác của ước lượng phương sai?

17

Lý lịch

Tôi có một biến với một phân phối chưa biết.

Tôi có 500 mẫu, nhưng tôi muốn chứng minh độ chính xác mà tôi có thể tính toán phương sai, ví dụ để cho rằng cỡ mẫu là 500 là đủ. Tôi cũng muốn biết kích thước mẫu tối thiểu sẽ được yêu cầu để ước tính phương sai với độ chính xác là . $X\%$

Câu hỏi

Làm thế nào tôi có thể tính toán

độ chính xác của ước tính phương sai của tôi cho cỡ mẫu là ? của ? $n=500$ $n=N$
Làm cách nào tôi có thể tính được số lượng mẫu tối thiểu cần thiết để ước tính phương sai với độ chính xác là ? $X$

Thí dụ

Hình 1 ước tính mật độ của tham số dựa trên 500 mẫu.

nhập mô tả hình ảnh ở đây

Hình 2 Dưới đây là một biểu đồ kích thước mẫu trên trục x so với ước tính phương sai trên trục y mà tôi đã tính toán bằng cách sử dụng các mẫu con từ mẫu 500. Ý tưởng là các ước tính sẽ hội tụ đến phương sai thực sự khi n tăng .

Tuy nhiên, các ước tính không độc lập hợp lệ do các mẫu được sử dụng để ước tính phương sai cho không độc lập với nhau hoặc của các mẫu được sử dụng để tính toán phương sai tại $n \in [10,125,250,500]$ $n\in [20,40,80]$

nhập mô tả hình ảnh ở đây

— Abe
nguồn

Chỉ cần lưu ý rằng nếu một thành phần của phân phối chưa biết của bạn là phân phối Cauchy, phương sai không được xác định.

— Mike Anderson

@Mike Hoặc thực sự là một số lượng vô hạn của các bản phân phối khác.

— Glen_b -Reinstate Monica

10

Đối với iid các biến ngẫu nhiên , công cụ ước lượng không thiên vị cho phương sai (biến có mẫu số ) có phương sai: $X_1, \dotsc, X_n$ $s^2$ $n-1$

V a r (s^{2}) = σ^{4} (\frac{2}{n - 1} + \frac{κ}{n})

$\mathrm{Var}(s^2) = \sigma^4 \left(\frac{2}{n-1} + \frac{\kappa}{n}\right)$

trong đó là sự suy yếu quá mức của phân phối (tham khảo: Wikipedia ). Vì vậy, bây giờ bạn cần phải ước tính kurtosis phân phối của bạn là tốt. Bạn có thể sử dụng số lượng đôi khi được mô tả là (cũng từ Wikipedia ): $\kappa$ $\gamma_2$

γ_{2} = \frac{μ_{4}}{σ_{4}} - 3

$\gamma_2 = \frac{\mu_4}{\sigma_4} - 3$

Tôi sẽ giả sử rằng nếu bạn sử dụng làm ước tính cho và làm ước tính cho , thì bạn sẽ có ước tính hợp lý cho , mặc dù tôi không thấy bảo đảm rằng nó không thiên vị. Xem liệu nó có khớp với phương sai giữa các tập hợp con trong 500 điểm dữ liệu của bạn một cách hợp lý không và liệu nó có còn lo lắng về điều đó nữa không :) $s$ $\sigma$ $\gamma_2$ $\kappa$ $\mathrm{Var}(s^2)$

— Erik P.
nguồn

Bạn có tài liệu tham khảo trong sách giáo khoa cho công cụ ước lượng không thiên vị không? Tôi không biết đi đâu từ Wikipedia để có thêm ngữ cảnh.

— Abe

Tôi không có văn bản tiêu chuẩn Rice với tôi ở đây, vì vậy tôi không thể kiểm tra số trang cho bạn, nhưng tôi chắc chắn rằng nó ở đó. Wikipedia cho thấy nó cũng nên được đề cập trong: Montgomery, DC và Runger, GC: Áp dụng thống kê và xác suất cho các kỹ sư , trang 201. John Wiley & Sons New York, 1994.

— Erik P.

Nhờ sự giúp đỡ của bạn với điều này. Câu trả lời này rất hữu ích và nó đã được cung cấp thông tin để định lượng độ không đảm bảo của phương sai - tôi đã áp dụng phương trình khoảng 10 lần trong ngày cuối cùng. tính toán thật dễ dàng với thư viện:

k a p p a

$kappa$ momentslibrary(moments); k <- kurtosis(x); n <- length(x); var(x)^2*(2/(n-1) + k/n)

— Abe

bất kỳ cơ hội nào bạn tìm thấy số trang từ văn bản Rice? Tôi không thể tìm thấy nó ở Casella và Berger. Một tài liệu tham khảo chính sẽ còn tốt hơn nếu bạn biết nó. Trang wikipedia đáng chú ý là không tham chiếu.

— Abe

Hmmm ... có vẻ như Rice cũng không có công thức. Tôi sẽ để mắt đến nó, nhưng tại thời điểm này tôi không có tài liệu tham khảo nào cả.

— Erik P.

15

Học một phương sai là khó.

Phải mất một số lượng lớn (có lẽ đáng ngạc nhiên) số lượng mẫu để ước tính phương sai tốt trong nhiều trường hợp. Dưới đây, tôi sẽ trình bày sự phát triển cho trường hợp "chuẩn" của một mẫu bình thường iid.

Giả sử , được độc lập biến ngẫu nhiên. Chúng tôi tìm kiếm khoảng tin cậy cho phương sai sao cho độ rộng của khoảng là , nghĩa là chiều rộng là ước tính điểm. Ví dụ, nếu , sau đó độ rộng của CI là một nửa giá trị của ước lượng điểm, ví dụ như, nếu $Y_i$ $i=1,\ldots,n$ $\mathcal{N}(\mu, \sigma^2)$ $100(1-\alpha)\%$ $\rho s^2$ $100\rho \%$ $\rho = 1/2$ $s^2 = 10$ , thì CI sẽ giống như , có chiều rộng bằng 5. Lưu ý sự không đối xứng xung quanh ước tính điểm. ( là công cụ ước tính không thiên vị cho phương sai.) $(8,\,13)$ $s^2$

Khoảng tin cậy "(đúng hơn," a ") cho là trong đó là định lượng của phân phối chi bình phương với bậc tự do. (Điều này xuất phát từ thực tế là là đại lượng quan trọng trong cài đặt Gaussian.) $s^2$

\frac{(n - 1) s^{2}}{χ_{(n - 1)}^{2 (1 - α / 2)}} \leq σ^{2} \leq \frac{(n - 1) s^{2}}{χ_{(n - 1)}^{2 (α / 2)}},

$\frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(1-\alpha/2)}} \leq \sigma^2 \leq \frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(\alpha/2)}} \>,$

χ_{(n - 1)}^{2 β}

$\chi_{(n-1)}^{2\;\beta}$

β

$\beta$

n - 1

$n-1$

(n - 1) s^{2} / σ^{2}

$(n-1)s^2/\sigma^2$

Chúng tôi muốn thu nhỏ chiều rộng sao cho vì vậy chúng tôi được để lại giải quyết sao cho

L (n) = \frac{(n - 1) s^{2}}{χ_{(n - 1)}^{2 (α / 2)}} - \frac{(n - 1) s^{2}}{χ_{(n - 1)}^{2 (1 - α / 2)}} < ρ s^{2},

$L(n) = \frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(\alpha/2)}} - \frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(1-\alpha/2)}} < \rho s^2 \>,$

n

$n$

(n - 1) (\frac{1}{χ_{(n - 1)}^{2 (α / 2)}} - \frac{1}{χ_{(n - 1)}^{2 (1 - α / 2)}}) < ρ .

$(n-1) \left(\frac{1}{\chi_{(n-1)}^{2\;(\alpha/2)}} - \frac{1}{\chi_{(n-1)}^{2\;(1-\alpha/2)}} \right) < \rho .$

Đối với trường hợp khoảng tin cậy 99%, chúng tôi nhận được cho và cho . Trường hợp cuối cùng này mang lại một khoảng ( vẫn! ) 10% lớn hơn ước tính điểm của phương sai. $n = 65$ $\rho = 1$ $n = 5321$ $\rho = 0.1$

Nếu mức độ tin cậy đã chọn của bạn nhỏ hơn 99%, thì khoảng thời gian chiều rộng tương tự sẽ được lấy cho giá trị thấp hơn . Nhưng, vẫn có thể lớn hơn bạn tưởng. $n$ $n$

Một biểu đồ có kích thước mẫu so với chiều rộng tỷ lệ cho thấy một cái gì đó trông tuyến tính bất đối xứng trên thang đo log-log; nói cách khác, một mối quan hệ quyền lực - như luật pháp. Chúng ta có thể ước tính sức mạnh của mối quan hệ pháp luật quyền lực này (một cách thô bạo) là $n$ $\rho$

\hat{α} \approx \frac{\log 0.1 - \log 1}{\log 5321 - \log 65} = \frac{- \log 10}{\log \frac{5231}{65}} \approx - 0.525,

$\hat{\alpha} \approx \frac{\log 0.1 - \log 1}{\log 5321 - \log 65} = \frac{-\log 10}{\log \frac{5231}{65}} \approx -0.525 ,$

Thật không may, quyết định chậm!

Đây là loại trường hợp "chính tắc" để cho bạn cảm nhận về cách thực hiện phép tính. Dựa trên lô của bạn, dữ liệu của bạn trông không đặc biệt bình thường; đặc biệt, có những gì có vẻ là sự sai lệch đáng chú ý.

Nhưng, điều này sẽ cung cấp cho bạn một ý tưởng sân bóng về những gì mong đợi. Lưu ý rằng để trả lời câu hỏi thứ hai của bạn ở trên, trước tiên cần sửa một số mức độ tin cậy, mà tôi đã đặt ở mức 99% trong quá trình phát triển ở trên cho mục đích trình diễn.

— hồng y
nguồn

đây là một câu trả lời rất hay cho câu hỏi của tôi Tuy nhiên, mặc dù tôi làm theo phép tính mà bạn thực hiện cho , nhưng tôi không rõ chính xác nếu đơn vị cho là phần trăm trong giải pháp cho ; điều này có nghĩa là " nhỏ hơn " hay " dưới của ?

n | ρ

$n|\rho$

r h o

$rho$

n = 65

$n=65$

ρ < 1

$\rho<1$

ρ

$\rho$

1 \times s^{2}

$1\times s^2$

ρ

$\rho$

1 %

$1\%$

s^{2}

$s^2$

— Abe

@Abe, cập nhật và hy vọng được làm rõ trong quá trình. Có một lỗi đánh máy đặc biệt xấu trong phiên bản trước. Xin lỗi vì điều đó.

— Đức hồng y

một câu trả lời rất hay, nhưng tôi đã chọn câu trả lời từ @Erik vì nó phù hợp hơn với vấn đề của tôi (vì thông số của tôi không được phân phối bình thường).

— Abe

@Abe: Không thành vấn đề. Đó là những gì các dấu hiệu là có. Câu trả lời của tôi là (được) nhằm mục đích minh họa, hơn bất cứ điều gì. Từ những gì tôi có thể nói, nó dường như vẫn là câu hỏi duy nhất giải quyết cả hai câu hỏi của bạn và sẽ (không có triệu chứng) chính xác ngay cả trong kịch bản mà Erik vạch ra. (+1 cho anh ấy tốt hơn một năm trước.) :)

— hồng y

Bạn đã đúng và tôi rất vui vì bây giờ tôi đã xem lại câu trả lời của bạn. Tôi đã kết thúc bằng cách sử dụng phép tính chung của @Erik, nhưng bây giờ tôi thấy giá trị trong giải pháp chung. Thêm vào đó, việc trình bày CI chứ không phải SD sẽ giải quyết vấn đề khiến khán giả của tôi bối rối khi nhìn thấy một thống kê dưới dạng , không hiểu phương sai của phương sai là gì. Vì vậy, sẽ làm cho điều này rõ ràng hơn và phù hợp với các tóm tắt thống kê khác. Và nó sẽ hữu ích để hiển thị sự bất cân xứng.

s (s_{s})

$s(s_{s})$

s [l c l, u c l]

$s[lcl,ucl]$

— Abe

1

Tôi sẽ tập trung vào SD hơn là phương sai, vì nó ở quy mô dễ hiểu hơn.

Mọi người đôi khi nhìn vào khoảng tin cậy cho SD hoặc phương sai, nhưng trọng tâm thường là về phương tiện.

Các kết quả bạn cung cấp cho phân phối có thể được sử dụng để có được khoảng tin cậy cho (và cả ); hầu hết các văn bản toán học / thống kê giới thiệu sẽ cung cấp các chi tiết trong cùng một phần trong đó phần trích dẫn của đã được đề cập. Tôi sẽ chỉ mất 2,5% từ mỗi đuôi. $s^2/\sigma^2$ $\sigma^2$ $\sigma$ $\sigma^2$

— Karl
nguồn

(Câu trả lời này đến đây sau khi một câu hỏi trùng lặp, được đóng khung hơi khác, đã được hợp nhất.)

— whuber

1

Giải pháp sau đây được Greenwood và Sandomire đưa ra trong bài báo JASA năm 1950.

Đặt là một mẫu ngẫu nhiên từ phân phối . Bạn sẽ suy luận về bằng cách sử dụng công cụ ước tính ( thiên vị ) độ lệch chuẩn mẫu và bạn muốn kiểm soát xác suất độ lệch tương đối giữa và nằm trong một phân số . Đó là, trong đó mức ý nghĩa . $X_1,\dots,X_n$ $\mathrm{N}(\mu,\sigma^2)$ $\sigma$

S = \sqrt{\sum_{i = 1}^{n} \frac{(X_{i} - \bar{X})^{2}}{n - 1}},

$S=\sqrt{\sum_{i=1}^n\frac{(X_i-\bar{X})^2}{n-1}},$

S

$S$

σ

$\sigma$

0 < u < 1

$0<u<1$

Pr {S < (1 - u) \cdot σ} = a and Pr {S > (1 + u) \cdot σ} = b,

$\Pr\{S<(1-u)\cdot\sigma\}=a \quad\text{and}\quad \Pr\{S>(1+u)\cdot\sigma\}=b,$

γ = 1 - a - b

$\gamma=1-a-b$

Theo sau đó và Vì số lượng pivotal có phân phối , thêm hai xác suất, chúng tôi tìm thấy

Pr {\frac{(n - 1) S^{2}}{σ^{2}} < (n - 1) (1 - u)^{2}} = a

$\Pr\!\left\{ \frac{(n-1)S^2}{\sigma^2} < (n-1)(1-u)^2\right\} = a$

Pr {\frac{(n - 1) S^{2}}{σ^{2}} > (n - 1) (1 + u)^{2}} = b .

$\Pr\!\left\{ \frac{(n-1)S^2}{\sigma^2} > (n-1)(1+u)^2\right\} = b.$

(n - 1) S^{2} / σ^{2}

$(n-1)S^2/\sigma^2$

χ_{n - 1}^{2}

$\chi^2_{n-1}$

γ = = F_{χ_{(n - 1)}^{2}} ((n - 1) (1 + bạn)^{2}) - F_{χ_{(n - 1)}^{2}} ((n - 1) (1 - bạn)^{2}),

$\gamma = F_{\chi^2_{(n-1)}}((n-1)(1+u)^2) - F_{\chi^2_{(n-1)}}((n-1)(1-u)^2),$

và kích thước mẫu cần thiết được tìm thấy giải phương trình cũ trong cho và . $n$ $\gamma$ $u$

R mã.

gamma <- 0.95
u <- 0.1
g <- function(n) pchisq((n-1)*(1+u)^2, df = n-1) - pchisq((n-1)*(1-u)^2, df = n-1) - gamma
cat("Sample size n = ", ceiling(uniroot(g, interval = c(2, 10^6))$root), "\n")

Đầu ra cho và . $u=10\%$ $\gamma=95\%$

Sample size n = 193

— thiền học
nguồn