Một vấn đề về ước tính của các tham số

Hãy $Y_1,Y_2,Y_3$ và $Y_4$ có bốn biến ngẫu nhiên mà $E(Y_1)=\theta_1-\theta_3;\space\space E(Y_2)=\theta_1+\theta_2-\theta_3;\space\space E(Y_3)=\theta_1-\theta_3;\space\space E(Y_4)=\theta_1-\theta_2-\theta_3$ , nơi$\theta_1,\theta_2,\theta_3$ là các thông số chưa biết. Cũng giả định rằng$Var(Y_i)=\sigma^2$ ,$i=1,2,3,4.$ Sau đó, cái nào là đúng?

A. $\theta_1,\theta_2,\theta_3$ là đáng mến.

B. $\theta_1+\theta_3$ là đáng mến.

C. $\theta_1-\theta_3$ là đáng mến và $\dfrac{1}{2}(Y_1+Y_3)$là ước lượng không thiên vị tuyến tính tốt nhất của$\theta_1-\theta_3$.

D. $\theta_2$ là đáng mến.

Câu trả lời được đưa ra là C có vẻ lạ đối với tôi (vì tôi có D).

Tại sao tôi có D? Kể từ đó, $E(Y_2-Y_4)=2\theta_2$ .

Tại sao tôi không hiểu rằng C có thể là một câu trả lời? Ok, tôi có thể thấy, $\dfrac{Y_1+Y_2+Y_3+Y_4}{4}$ là một ước lượng không thiên vị của$\theta_1-\theta_3$, và sai của nó là ít hơn$\dfrac{Y_1+Y_3}{2}$ .

Xin vui lòng cho tôi biết tôi đang làm sai ở đâu.

Cũng được đăng ở đây: /math/2568894/a-probols-on-estimability-of-parameter

Câu trả lời này nhấn mạnh việc xác minh tính dự toán. Tài sản phương sai tối thiểu là xem xét thứ cấp của tôi.

Để bắt đầu, hãy tóm tắt thông tin dưới dạng ma trận của mô hình tuyến tính như sau: nơiE(ε)=0,Var(ε)=σ2tôi(để thảo luận estimability, giả định spherity là không cần thiết. Tuy nhiên, để thảo luận về bất động sản Gauss-Markov, chúng tôi cần phải đảm nhận spherity củaε).

$$\begin{align} Y := \begin{bmatrix} Y_1 \\ Y_2 \\ Y_3 \\ Y_4 \end{bmatrix} = \begin{bmatrix} 1 & 0 & -1 \\ 1 & 1 & -1 \\ 1 & 0 & -1 \\ 1 & -1 & -1 \\ \end{bmatrix} \begin{bmatrix} \theta_1 \\ \theta_2 \\ \theta_3 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \varepsilon_3 \\ \varepsilon_4 \end{bmatrix}:= X\beta + \varepsilon, \tag{1} \end{align}$$ $E(\varepsilon) = 0, \text{Var}(\varepsilon) = \sigma^2 I$$\varepsilon$

Nếu ma trận thiết kế là cấp bậc đầy đủ, sau đó tham số gốc β thừa nhận một độc đáo bình phương nhỏ nhất ước tính β = ( X ' X ) - 1 X ' Y . Do đó, bất kỳ thông số φ , được định nghĩa là một hàm tuyến tính φ ( β ) của β là đáng mến theo nghĩa là nó có thể được ước tính một cách rõ ràng bởi các dữ liệu thông qua bình phương nhỏ nhất ước tính β $X$$\beta$$\hat{\beta} = (X'X)^{-1}X'Y$$\phi$$\phi(\beta)$$\beta$$\hat{\beta}$ .$\hat{\phi} = p'\hat{\beta}$

Sự tinh tế phát sinh khi không đủ thứ hạng. Để có một cuộc thảo luận kỹ lưỡng, trước tiên chúng tôi sửa một số ký hiệu và thuật ngữ (Tôi tuân theo quy ước của Phương pháp tiếp cận không có tọa độ cho các mô hình tuyến tính , Phần 4.8. Một số thuật ngữ nghe có vẻ không cần thiết về mặt kỹ thuật). Bên cạnh đó, các cuộc thảo luận áp dụng cho mô hình tuyến tính tổng quát Y = X β + ε với X ∈ R n × k và β ∈ R k .$X$$Y = X\beta + \varepsilon$$X \in \mathbb{R}^{n \times k}$$\beta \in \mathbb{R}^k$

1. Một đa thức hồi quy là tập hợp các vectơ trung bình vì thay đổi trên R k : $\beta$$\mathbb{R}^k$ $$M = \{X\beta: \beta \in \mathbb{R}^k\}.$$
2. Một chức năng tham số là một tuyến tính chức năng của β , φ ( β ) = p ' β = p 1 β 1 + ⋯ + p k β k$\phi = \phi(\beta)$$\beta$ $$\phi(\beta) = p'\beta = p_1\beta_1 + \cdots + p_k\beta_k.$$

Như đã đề cập ở trên, khi , không phải mọi hàm tham số ϕ ( β ) đều có thể ước tính được. Nhưng chờ đã, định nghĩa của thuật ngữ ước tính về mặt kỹ thuật là gì? Có vẻ khó để đưa ra một định nghĩa rõ ràng mà không cần bận tâm một chút đại số tuyến tính. Một định nghĩa, mà tôi nghĩ là trực quan nhất, như sau (từ cùng một tài liệu tham khảo đã nói ở trên):$\text{rank}(X) < k$$\phi(\beta)$

Định nghĩa 1. Một tham số chức năng là đáng mến nếu nó được xác định duy nhất bởi X β theo nghĩa là φ ( β 1 ) = φ ( β 2 ) bất cứ khi nào β 1 , β 2 ∈ R k thỏa mãn X beta 1 = X β 2 .$\phi(\beta)$$X\beta$$\phi(\beta_1) = \phi(\beta_2)$$\beta_1,\beta_2 \in \mathbb{R}^k$$X\beta_1 = X\beta_2$

Diễn dịch. Định nghĩa trên quy định rằng ánh xạ từ đa thức hồi quy đến không gian tham số của ϕ phải là một đối một, được đảm bảo khi xếp hạng ( X ) = k (nghĩa là khi chính X là một đối một). Khi rank ( X ) < k , chúng ta biết rằng có tồn tại β 1 ≠ β 2 mà X beta 1 = X β $M$$\phi$$\text{rank}(X) = k$$X$$\text{rank}(X) < k$$\beta_1 \neq \beta_2$$X\beta_1 = X\beta_2$. Định nghĩa có thể ước tính ở trên có hiệu lực loại trừ các hàm tham số thiếu cấu trúc dẫn đến các giá trị khác nhau ngay cả với cùng một giá trị trên , không có ý nghĩa tự nhiên. Mặt khác, một chức năng tham số đáng mến φ ( ⋅ ) không cho phép các trường hợp φ ( β 1 ) = φ ( β 2 ) với β 1 ≠ β 2 , miễn là điều kiện X β 1 = X β 2 được hoàn thành.$M$$\phi(\cdot)$$\phi(\beta_1) = \phi(\beta_2)$$\beta_1 \neq \beta_2$$X\beta_1 = X\beta_2$

Có các điều kiện tương đương khác để kiểm tra khả năng ước tính của hàm tham số được đưa ra trong cùng một tham chiếu, Dự luật 8.4.

Sau phần giới thiệu dài dòng như vậy, hãy quay lại câu hỏi của bạn.

A. chính nó là không đáng mến với lý do là cấp bậc ( X ) < 3 , mà đòi hỏi X β 1 = X β 2 với β 1 ≠ β 2 . Mặc dù định nghĩa trên được đưa ra cho các hàm vô hướng, nó dễ dàng được khái quát thành các hàm có giá trị véc tơ.$\beta$$\text{rank}(X) < 3$$X\beta_1 = X\beta_2$$\beta_1 \neq \beta_2$

B. là không đáng mến. Để wit, hãy xem xét β 1 = ( 0 , 1 , 0 ) ' và β 2 = ( 1 , 1 , 1 ) ' , mang đến cho X β 1 = X β 2 nhưng φ $\phi_1(\beta) = \theta_1 + \theta_3 = (1, 0, 1)'\beta$$\beta_1 = (0, 1, 0)'$$\beta_2 = (1, 1, 1)'$$X\beta_1 = X\beta_2$ .$\phi_1(\beta_1) = 0 + 0 = 0 \neq \phi_1(\beta_2) = 1 + 1 = 2$

C. là đáng mến. Bởi vì X beta 1 = X β 2 trivially ngụ ý θ ( 1 ) 1 - θ ( 1 ) 3 = θ ( 2 ) 1 - θ ( 2 ) 3 , tức là $\phi_2(\beta) = \theta_1 - \theta_3 = (1, 0, -1)'\beta$$X\beta_1 = X\beta_2$$\theta_1^{(1)} - \theta_3^{(1)} = \theta_1^{(2)} - \theta_3^{(2)}$ .$\phi_2(\beta_1) = \phi_2(\beta_2)$

D. là cũng đáng mến . Các nguồn gốc từ X beta 1 = X β 2 đến φ 3 ( β 1 ) = φ 3 ( β 2 ) cũng là tầm thường.$\phi_3(\beta) = \theta_2 = (0, 1, 0)'\beta$$X\beta_1 = X\beta_2$$\phi_3(\beta_1) = \phi_3(\beta_2)$

After the estimability is verified, there is a theorem (Proposition 8.16, same reference) claims the Gauss-Markov property of $\phi(\beta)$. Based on that theorem, the second part of option C is incorrect. The best linear unbiased estimate is $\bar{Y} = (Y_1 + Y_2 + Y_3 + Y_4)/4$, by the theorem below.

Theorem. Let $\phi(\beta) = p'\beta$ be an estimable parametric functional, then its best linear unbiased estimate (aka, Gauss-Markov estimate) is $\phi(\hat{\beta})$ for any solution $\hat{\beta}$ to the normal equations $X'X\hat{\beta} = X'Y$.

The proof goes as follows:

Proof. Straightforward calculation shows that the normal equations is

$$\begin{equation} \begin{bmatrix} 4 & 0 & -4 \\ 0 & 2 & 0 \\ -4 & 0 & 4 \end{bmatrix} \hat{\beta} = \begin{bmatrix} 1 & 1 & 1 & 1 \\ 0 & 1 & 0 & -1 \\ -1 & -1 & -1 & -1 \end{bmatrix} Y, \end{equation}$$ which, after simplification, is $$\begin{equation} \begin{bmatrix} \phi(\hat{\beta}) \\ \hat{\theta}_2/2 \\ -\phi(\hat{\beta}) \end{bmatrix} = \begin{bmatrix} \bar{Y} \\ (Y_2 - Y_4)/4 \\ -\bar{Y} \end{bmatrix}, \end{equation}$$ i.e., $\phi(\hat{\beta}) = \bar{Y}$.

Therefore, option D is the only correct answer.

---

Addendum: The connection of estimability and identifiability

When I was at school, a professor briefly mentioned that the estimability of the parametric functional $\phi$ corresponds to the model identifiability. I took this claim for granted then. However, the equivalance needs to be spelled out more explicitly.

Theo Mô hình thống kê chuyên khảo của AC Davison , tr.144,

$\theta$

$(1)$, regardless the spherity condition $\text{Var}(\varepsilon) = \sigma^2 I$, it can be reformulated as

$$\begin{equation} E[Y] = X\beta, \quad \beta \in \mathbb{R}^k. \tag{2} \end{equation}$$

It is such a simple model that we only specified the first moment form of the response vector $Y$. When $\text{rank}(X) = k$, model $(2)$ is identifiable since $\beta_1 \neq \beta_2$ implies $X\beta_1 \neq X\beta_2$ (the word "distribution" in the original definition, naturally reduces to "mean" under model $(2)$.).

Now suppose that $\text{rank}(X) < k$ and a given parametric functional $\phi(\beta) = p'\beta$, how do we reconcile Definition 1 and Definition 2?

Well, by manipulating notations and words, we can show that (the "proof" is rather trivial) the estimability of $\phi(\beta)$ is equivalent to that the model $(2)$ is identifiable when it is parametrized with parameter $\phi = \phi(\beta) = p'\beta$ (the design matrix $X$ is likely to change accordingly). To prove, suppose $\phi(\beta)$ is estimable so that $X\beta_1 = X\beta_2$ implies $p'\beta_1 = p'\beta_2$, by definition, this is $\phi_1 = \phi_2$, hence model $(3)$ is identifiable when indexing with $\phi$. Conversely, suppose model $(3)$ is identifiable so that $X\beta_1 = X\beta_2$ implies $\phi_1 = \phi_2$, which is trivially $\phi_1(\beta) = \phi_2(\beta)$.

Intuitively, when $X$ is reduced-ranked, the model with $\beta$ is parameter redundant (too many parameters) hence a non-redundant lower-dimensional reparametrization (which could consist of a collection of linear functionals) is possible. When is such new representation possible? The key is estimability.

To illustrate the above statements, let's reconsider your example. We have verified parametric functionals $\phi_2(\beta) = \theta_1 - \theta_3$ and $\phi_3(\beta) = \theta_2$ are estimable. Therefore, we can rewrite the model $(1)$ in terms of the reparametrized parameter $(\phi_2, \phi_3)'$ as follows

$$\begin{equation} E[Y] = \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 0 \\ 1 & - 1 \end{bmatrix} \begin{bmatrix} \phi_2 \\ \phi_3 \end{bmatrix} = \tilde{X}\gamma. \end{equation}$$

Clearly, since $\tilde{X}$ is full-ranked, the model with the new parameter $\gamma$ is identifiable.

Apply the definitions.

I will provide details to demonstrate how you can use elementary techniques: you don't need to know any special theorems about estimation, nor will it be necessary to assume anything about the (marginal) distributions of the $Y_i$. We will need to supply one missing assumption about the moments of their joint distribution.

Definitions

All linear estimates are of the form

$$t_\lambda(Y) = \sum_{i=1}^4 \lambda_i Y_i$$ for constants $\lambda = (\lambda_i)$.

An estimator of $\theta_1-\theta_3$ is unbiased if and only if its expectation is $\theta_1-\theta_3$. By linearity of expectation,

$$\eqalign{ \theta_1 - \theta_3 &= E[t_\lambda(Y)] = \sum_{i=1}^4 \lambda_i E[Y_i]\\ & = \lambda_1(\theta_1-\theta_3) + \lambda_2(\theta_1+\theta_2-\theta_3) + \lambda_3(\theta_1-\theta_3) + \lambda_4(\theta_1-\theta_2-\theta_3) \\ &=(\lambda_1+\lambda_2+\lambda_3+\lambda_4)(\theta_1-\theta_3) + (\lambda_2-\lambda_4)\theta_2. }$$

Comparing coefficients of the unknown quantities $\theta_i$ reveals

$$\lambda_2-\lambda_4=0\text{ and }\lambda_1+\lambda_2+\lambda_3+\lambda_4=1.\tag{1}$$

In the context of linear unbiased estimation, "best" always means with least variance. The variance of $t_\lambda$ is

$$\operatorname{Var}(t_\lambda) = \sum_{i=1}^4 \lambda_i^2 \operatorname{Var}(Y_i) + \sum_{i\ne j}^4 \lambda_i\lambda_j \operatorname{Cov}(Y_i,Y_j).$$

The only way to make progress is to add an assumption about the covariances: most likely, the question intended to stipulate they are all zero. (This does not imply the $Y_i$ are independent. Furthermore, the problem can be solved by making any assumption that stipulates those covariances up to a common multiplicative constant. The solution depends on the covariance structure.)

Since $\operatorname{Var}(Y_i)=\sigma^2,$ we obtain

$$\operatorname{Var}(t_\lambda) =\sigma^2(\lambda_1^2 + \lambda_2^2 + \lambda_3^2 + \lambda_4^2).\tag{2}$$

The problem therefore is to minimize $(2)$ subject to constraints $(1)$.

Solution

The constraints $(1)$ permit us to express all the $\lambda_i$ in terms of just two linear combinations of them. Let $u=\lambda_1-\lambda_3$ and $v=\lambda_1+\lambda_3$ (which are linearly independent). These determine $\lambda_1$ and $\lambda_3$ while the constraints determine $\lambda_2$ and $\lambda_4$. All we have to do is minimize $(2)$, which can be written

$$\sigma^2(\lambda_1^2 + \lambda_2^2 + \lambda_3^2 + \lambda_4^2) = \frac{\sigma^2}{4}\left(2u^2 + (2v-1)^2 + 1\right).$$

No constraints apply to $(u,v)$. Assume $\sigma^2 \ne 0$ (so that the variables aren't just constants). Since $u^2$ and $(2v-1)^2$ are smallest only when $u=2v-1=0$, it is now obvious that the unique solution is

$$\lambda = (\lambda_1,\lambda_2,\lambda_3,\lambda_4) = (1/4,1/4,1/4,1/4).$$

Option (C) is false because it does not give the best unbiased linear estimator. Option (D), although it doesn't give full information, nevertheless is correct, because

$$\theta_2 = E[t_{(0,1/2,0,-1/2)}(Y)]$$

is the expectation of a linear estimator.

It is easy to see that neither (A) nor (B) can be correct, because the space of expectations of linear estimators is generated by $\{\theta_2, \theta_1-\theta_3\}$ and none of $\theta_1,\theta_3,$ or $\theta_1+\theta_3$ are in that space.

Consequently (D) is the unique correct answer.