Cải thiện công cụ ước tính tối thiểu

Giả sử rằng tôi có $n$ thông số tích cực để ước lượng $\mu_1,\mu_2,...,\mu_n$ và họ tương ứng với $n$ ước lượng không chệch sản xuất bởi các ước lượng $\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}$ , tức là $\mathrm E[\hat{\mu_1}]=\mu_1$ , $\mathrm E[\hat{\mu_2}]=\mu_2$ và cứ thế.

Tôi muốn để ước tính $\mathrm{min}(\mu_1,\mu_2,...,\mu_n)$ sử dụng dự toán trong tầm tay. Rõ ngây thơ ước lượng $\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$ được thiên vị thấp như

$$\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$

Giả sử rằng tôi cũng có ma trận hiệp phương sai của ước lượng tương ứng $\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma$ trong tầm tay. Có thể lấy ước tính tối thiểu (hoặc ít sai lệch) tối thiểu bằng cách sử dụng các ước tính đã cho và ma trận hiệp phương sai không?

$\min(\mu_1, \dots, \mu_n)$

Ví dụ: hãy để và . Đặt là số lượng đích và là ước tính của . Nếu chúng tôi sử dụng công cụ ước tính "ngây thơ" trong đó , sau đó, lỗi ước tính được giới hạn trên bởi lên đến hằng số. (Lưu ý rằng lỗi ước tính cho mỗi là ). Tất nhiên, nếuμ = ( μ 1 , ... , μ n ) θ = min i μ i θ θ θ = min i ( ˉ Y i ) ¯ Y i = $Y_1, \dots, Y_N \sim N(\mu, \sigma^2I)$$\mu = (\mu_1, \dots, \mu_n)$$\theta = \min_i \mu_i$$\hat{\theta}$$\theta$$\hat{\theta} = \min_i(\bar{Y}_i)$$\bar{Y_i} = \frac{1}{N}\sum_{j=1}^N Y_{i,j}$$L_2$

$$\mathbb{E}[\hat{\theta} - \theta]^2 \lessapprox \frac{\sigma^2\log n}{N}$$ $\mu_i$$\frac{\sigma^2}{N}$$\mu_i$Các khoảng cách rất xa nhau và rất nhỏ, lỗi ước tính sẽ được giảm xuống thành . Tuy nhiên, trong trường hợp xấu nhất, không có ước tính nào về hoạt động tốt hơn công cụ ước tính ngây thơ. Bạn có thể hiển thị chính xác rằng trong đó cực đại chiếm toàn bộ estiamte có thể của dựa trên mẫu và supremum chiếm toàn bộ cấu hình có thể có của .$\sigma$$\frac{\sigma^2}{N}$$\theta$ $$\inf_{\hat{\theta}} \sup_{\mu_1, \dots,\mu_n} \mathbb{E}[\hat{\theta} - \theta]^2 \gtrapprox \frac{\sigma^2\log n}{N}$$ $\theta$$Y_1,\dots, Y_N$$\mu_i$

Do đó, công cụ ước tính ngây thơ là minimax tối ưu đến hằng số, và không có ước tính nào tốt hơn về theo nghĩa này.$\theta$

EDIT: Câu trả lời sau đây cho một câu hỏi khác với câu hỏi - nó được đóng khung như thể được coi là ngẫu nhiên, nhưng không hoạt động khi được coi là cố định, đó có lẽ là điều OP nghĩ. Nếu được sửa, tôi không có câu trả lời tốt hơn$\mu$$\mu$$\mu$$\min(\hat\mu_1,...,\hat\mu_n)$

---

Nếu chúng tôi chỉ xem xét các ước tính cho trung bình và hiệp phương sai, chúng tôi có thể coi là một mẫu duy nhất từ ​​phân phối chuẩn nhiều biến số. Một cách đơn giản để có được ước tính mức tối thiểu là sau đó rút ra một số lượng lớn mẫu từ , tính toán mức tối thiểu của từng mẫu và sau đó lấy giá trị trung bình của các cực tiểu đó.$(\mu_1, ..., \mu_n)$$MVN(\hat{\mu}, \Sigma)$

Quy trình trên và những hạn chế của nó có thể được hiểu theo thuật ngữ Bayes - lấy ký hiệu từ Wikipedia trên MVN , nếu là hiệp phương thức đã biết của các công cụ ước tính và chúng tôi có một quan sát, phân phối sau chung là trong đó và phát sinh từ trước đó, trước khi quan sát bất kỳ dữ liệu nào chúng tôi lấy trước ). Vì bạn có thể không sẵn sàng đưa linh mục vào , chúng tôi có thể lấy giới hạn là , dẫn đến căn hộ trước và sau trở thành$\Sigma$$\mu \sim MVN(\frac{\hat{\mu} + m \lambda_0}{1 + m}, \frac{1}{n+m} \Sigma)$$\lambda_0$$m$$\mu \sim MVN(\lambda_0, m^{-1} \Sigma$$\mu$$m \rightarrow 0$$\mu \sim MVN(\hat{\mu}, \Sigma)$. Tuy nhiên, do căn hộ trước chúng tôi đang ngầm đưa ra giả định rằng các yếu tố của khác nhau rất nhiều (nếu tất cả các số thực đều có khả năng như nhau, việc nhận được các giá trị tương tự là rất khó xảy ra).$\mu$

Một mô phỏng nhanh chóng cho thấy dự toán với thủ tục này hơi ước lượng quá khi các yếu tố của khác nhau rất nhiều và đánh giá thấp khi các yếu tố tương tự. Người ta có thể lập luận rằng không có bất kỳ kiến ​​thức trước đây thì đây là hành vi đúng. Nếu bạn sẵn sàng nêu ít nhất một số thông tin trước đó (ví dụ ), kết quả có thể trở nên tốt hơn một chút đối với trường hợp sử dụng của bạn.$min(\mu)$$\mu$$min(\mu)$$m = 0.1$

Nếu bạn sẵn sàng đảm nhận nhiều cấu trúc hơn, bạn có thể chọn phân phối tốt hơn so với multivariete bình thường. Ngoài ra, có thể có ý nghĩa khi sử dụng Stan hoặc bộ lấy mẫu MCMC khác để phù hợp với ước tính của ở vị trí đầu tiên. Điều này sẽ giúp bạn có một bộ các mẫu phản ánh sự không chắc chắn trong chính các công cụ ước tính, bao gồm cả cấu trúc hiệp phương sai của chúng (có thể phong phú hơn những gì MVN có thể cung cấp). Một lần nữa, bạn có thể tính toán mức tối thiểu cho mỗi mẫu để có được phân phối sau trên cực tiểu và lấy giá trị trung bình của phân phối này nếu bạn cần ước tính điểm.$\mu$$(\mu_1, ..., \mu_n)$