Khả năng tối đa bị hạn chế với thứ hạng cột dưới

Câu hỏi này liên quan đến ước tính khả năng tối đa hạn chế (REML) trong một phiên bản cụ thể của mô hình tuyến tính, cụ thể là:

$$Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)),$$

nơi là một ( n × p ) ma trận parametrized bởi α ∈ R k , như là Σ ( α ) . β là một vector chưa biết các thông số phiền toái; sự quan tâm là ước tính α và chúng ta có k ≤ p ≪ n . Ước tính mô hình theo khả năng tối đa là không có vấn đề, nhưng tôi muốn sử dụng REML. Mọi người đều biết, ví dụ LaMotte , rằng khả năng A ′ Y , trong đó A là bất kỳ ma trận bán trực giao nào sao cho$X(\alpha)$$n \times p$$\alpha \in \mathbb R^k$$\Sigma(\alpha)$$\beta$$\alpha$$k\leq p\ll n$$A'Y$$A$ có thể được viết$A'X=0$

$$L_{\text{REML}}(\alpha\mid Y) \propto\vert X'X\vert^{1/2} \vert \Sigma\vert^{-1/2}\vert X'\Sigma^{-1}X\vert^{-1/2}\exp\left\{-\frac{1}{2} r'\Sigma^{-1}r \right\}, \\ r = (I - X(X'\Sigma^{-1}X)^+X'\Sigma^{-1})Y,$$

khi là thứ hạng cột đầy đủ$X$ .

Vấn đề của tôi là đối với một số hoàn toàn hợp lý, và khoa học thú vị, ma trận X ( α ) không phải là cấp bậc cột đầy đủ. Tất cả các dẫn xuất mà tôi đã thấy về khả năng bị hạn chế ở trên sử dụng các đẳng thức xác định không áp dụng được khi | X ′ X | = 0 , tức là họ giả định thứ hạng cột đầy đủ của $\alpha$$X(\alpha)$$\vert X'X\vert=0$$X$ . Điều này có nghĩa là khả năng bị hạn chế ở trên chỉ đúng với cài đặt của tôi trên các phần của không gian tham số và do đó không phải là điều tôi muốn tối ưu hóa.

Câu hỏi: Có khả năng hạn chế chung hơn, xuất phát, trong tài liệu thống kê hoặc ở nơi khác, mà không có giả định rằng $X$ là thứ hạng cột đầy đủ? Nếu vậy, họ trông như thế nào?

Một số quan sát:

• Lấy phần số mũ không có vấn đề gì với bất kỳ $X(\alpha)$ và nó có thể được viết theo nghĩa nghịch đảo Moore-Penrose như trên
• Các cột của là một (bất kỳ) trực giao cơ sở cho C ( X ) $A$$C(X)^\bot$
• Đối với biết , khả năng A ′ Y có thể dễ dàng được viết ra cho mọi α , nhưng tất nhiên số lượng vectơ cơ sở, tức là các cột, trong A phụ thuộc vào thứ hạng cột của $A$$A'Y$$\alpha$$A$$X$

Nếu bất cứ ai quan tâm đến câu hỏi này tin rằng việc tham số chính xác của sẽ giúp đỡ, cho tôi biết và tôi sẽ viết chúng ra. Tuy nhiên, tại thời điểm này, tôi chủ yếu quan tâm đến một REML cho một X chung về kích thước chính xác.$X,\Sigma$ $X$

---

Một mô tả chi tiết hơn của mô hình sau đây. Hãy để là một r chiều thứ tự đầu tiên Vector Autoregression [VAR (1)] nơi v t i i d ~ N ( 0 , Ω ) . Giả sử quá trình được bắt đầu ở một số giá trị cố định y 0 tại thời điểm t = $y_t = \mu + Ay_{t - 1} + v_t, t = 1, \dots, T$$r$$v_t \overset{iid}{\sim}N(0, \Omega)$$y_0$$t = 0$ .

Define $Y = [y_1', \dots, y_T']'$. The model may be written in the linear model form $Y = X\beta + \varepsilon$ using the following definitions and notation:

$$\begin{align} X &= [1_T \otimes I_r, C^{-1}B] \\ \beta &= [\mu', y_0' - \mu']' \\ \mathrm{var}(\varepsilon)^{-1} &= C'(I_T \otimes \Omega^{-1})C \\ C &= \begin{bmatrix} I_r & 0 & 0 & \cdots \\ -A & I_r & 0 & \cdots \\ 0 & -A & I_r & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{bmatrix} \\ B &= e_{1, T} \otimes A, \end{align}$$

where $1_T$ denotes a $T-$dimensional vector of ones and $e_{1,T}$ the first standard basis vector of $\mathbb R^T$.

Denote $\alpha = \mathrm{vec}(A)$. Notice that if $A$ is not full rank then $X(\alpha)$ is not full column rank. This includes, for example, cases where one of the components of $y_t$ does not depend on the past.

The idea of estimating VARs using REML is well known in, for example, the predictive regressions literature (see e.g. Phillips and Chen and the references therein.)

It may be worthwhile to clarify that the matrix $X$ is not a design matrix in the usual sense, it just falls out of the model and unless there is a priori knowledge about $A$ there is, as far as I can tell, no way to reparameterize it to be full rank.

---

I have posted a question on math.stackexchange that is related to this one in the sense that an answer to the math question may help in deriving a likelihood that would answer this question.

Deriving the exponential part is no problem for any X(α)X(α) and it may be written in terms of the Moore-Penrose inverse as above

I have doubt that this observation is correct. The generalized inverse actually put additional linear restriction on your estimators[Rao&Mitra], therefore we should consider the joint likelihood as a whole instead of guessing "Moore-Penrose inverse will work for exponential part". This seems formally correct yet you probably do not understand mixed model correctly.

$\blacksquare$ (1)How to think mixed effect models correctly?

You have to think mixed effect model in a different way before you try to plug the g-inverse(OR Moore-Penrose inverse, which is a special kind of reflexive g-inverse [Rao&Mitra]) mechanically into the formula given by RMLE(Restricted Maximum Likelihood Estimator, same below.).

$$\boldsymbol{X}=\left(\begin{array}{cc} fixed\quad effect\\ & random\quad effect \end{array}\right)$$

A common way of thinking mixed effect is that the random effect part in the design matrix is introduced by measurement error, which bears another name of "stochastic predictor" if we care more about prediction rather than estimation. This is also one historical motivation of study of stochastic matrix in setting of statistics.

Vấn đề của tôi là đối với một số hoàn toàn hợp lý và thú vị về mặt khoa học, thì aa ma trận X (α) X (α) không phải là thứ hạng cột đầy đủ.

$X(\alpha)$$X(\alpha)$ is positive iff you parameterized it in a pathological way like $\left(\begin{array}{ccc} \alpha & \alpha\\ \alpha & \alpha\\ & & random\quad effect \end{array}\right)$.

So the solution to your question is also rather straight forward, you simply perturb your design matrix $X_\epsilon(\alpha)=X(\alpha)+\epsilon\left(\begin{array}{cc} I & 0\\ 0 & 0 \end{array}\right)$(perturb the fixed effect part only), and use the perturbed matrix(which is full rank) to carry out all derivations. Unless your model has complicated hierarchies or $X$ itself is near singular, I do not see there is a serious problem when you take $\epsilon\rightarrow 0$ in the final result since determinant function is continuous and we can take the limit inside the determinant function. $lim_{\epsilon\rightarrow 0}|X_\epsilon|=|lim_{\epsilon\rightarrow 0}X_\epsilon|$. And in perturbation form the inverse of $X_\epsilon$ can be obtained by Sherman-Morrision-Woodbury Theorem. And the determinant of matrix $I+X$ is given in standard linear algebra book like [Horn&Johnson]. Of course we can write the determinant in terms of each entry of the matrix, but perturbation is always preferred[Horn&Johnson].

$\blacksquare$ (2)How should we deal with nuisance parameters in a model?

As you see, to deal with the random effect part in the model, we should regard it as sort of "nuisance parameter". The problem is: Is RMLE the most appropriate way of eliminating a nuisance parameter? Even in GLM and mixed effect models, RMLE is far from the only choice. [Basu] pointed out that many other ways of eliminating parameters in setting of estimation. Today people tend to choose inbetween RMLE and Bayesian modeling because they correspond to two popular computer based solutions: EM and MCMC respectively.

In my opinion it is definitely more suitable to introduce a prior in the situation of defective rank in the fixed effect part. Or you can reparameterize your model in order to make it into a full rank one.

Further, in case your fixed effect is not of full rank, you might worry above mis-specified covariance structure because the degrees of freedom in fixed effects should have go into the error part. To see this point more clearly, you may want to consider the MLE(also LSE) for the GLS(General least squre) $\hat{\beta}=(X\Sigma^{-1} X')^{-1}\Sigma^{-1}y$ where $\Sigma$ is the covariance structure of the error term, for the case where $X(\alpha)$ is not full rank.

$\blacksquare$ (3)Further comments

The problem is not how you modify the RMLE to make it work in the case that fixed effect part of the matrix is not of full rank; the problem is that in that case your model itself may be problematic if non full-rank case has positive probability.

One relevant case I have encountered is that in the spatial case people may want to reduce the rank of fixed effect part due to computational consideration[Wikle].

I have not seen any "scientifically interesting" case in such situation, can you point out some literature where the non full-rank case is of major concern? I would like to know and discuss further, thanks.

$\blacksquare$ Reference

[Rao&Mitra]Rao, Calyampudi Radhakrishna, and Sujit Kumar Mitra. Generalized inverse of matrices and its applications. Vol. 7. New York: Wiley, 1971.

[Basu]Basu, Debabrata. "On the elimination of nuisance parameters." Journal of the American Statistical Association 72.358 (1977): 355-366.

[Horn&Johnson]Horn, Roger A., and Charles R. Johnson. Matrix analysis. Cambridge university press, 2012.

[Wikle]Wikle, Christopher K. "Low-rank representations for spatial processes." Handbook of Spatial Statistics (2010): 107-118.