Làm thế nào chính xác một mô hình hiệu ứng ngẫu nhiên của người khác trong mô hình kinh tế lượng liên quan đến các mô hình hỗn hợp bên ngoài kinh tế lượng?

Tôi đã từng nghĩ rằng "mô hình hiệu ứng ngẫu nhiên" trong toán kinh tế lượng tương ứng với "mô hình hỗn hợp với đánh chặn ngẫu nhiên" bên ngoài kinh tế lượng, nhưng bây giờ tôi không chắc chắn. Phải không?

Kinh tế lượng sử dụng các thuật ngữ như "hiệu ứng cố định" và "hiệu ứng ngẫu nhiên" hơi khác so với tài liệu trên các mô hình hỗn hợp và điều này gây ra một sự nhầm lẫn khét tiếng. Chúng ta hãy xem xét một tình huống đơn giản trong đó tuyến tính phụ thuộc vào nhưng với một cách đánh chặn khác nhau trong các nhóm phép đo khác nhau:$y$$x$

$$y_{it} = \beta x_{it} + u_i + \epsilon_{it}.$$

Ở đây mỗi đơn vị / nhóm được quan sát tại các mốc thời gian khác nhau . Các nhà kinh tế lượng gọi nó là "dữ liệu bảng".$i$$t$

• Trong thuật ngữ mô hình hỗn hợp, chúng ta có thể coi là hiệu ứng cố định hoặc là hiệu ứng ngẫu nhiên (trong trường hợp này, đó là đánh chặn ngẫu nhiên). Coi nó là cố định có nghĩa là phù hợp và để giảm thiểu lỗi bình phương (nghĩa là chạy hồi quy OLS với các biến nhóm giả). Coi nó là ngẫu nhiên có nghĩa là chúng tôi cũng giả sử rằng và sử dụng khả năng tối đa để phù hợp với và thay vì tự mình lắp từng . Điều này dẫn đến hiệu ứng "gộp chung một phần", trong đó các ước tính bị thu hẹp về phía trung bình .beta u i u i ~ N ( u 0 , σ 2 u ) u 0 σ 2 u u i u i u$u_i$$\hat \beta$$\hat u_i$$u_i\sim\mathcal N(u_0,\sigma^2_u)$$u_0$$\sigma^2_u$$u_i$$\hat u_i$$\hat u_0$

  R formula when treating group as fixed:    y ~ x + group
  R formula when treating group as random:   y ~ x + (1|group)
  

• Trong thuật ngữ kinh tế lượng, chúng ta có thể coi toàn bộ mô hình này là một mô hình hiệu ứng cố định hoặc như một mô hình hiệu ứng ngẫu nhiên. Tùy chọn đầu tiên tương đương với hiệu ứng cố định ở trên (nhưng kinh tế lượng có cách ước tính riêng trong trường hợp này, được gọi là ). Tôi đã từng nghĩ rằng tùy chọn thứ hai tương đương với hiệu ứng ngẫu nhiên ở trên; ví dụ: @JiebiaoWang trong câu trả lời được đánh giá cao của anh ấy về sự khác biệt giữa hiệu ứng ngẫu nhiên-, hiệu ứng cố định- và mô hình cận biên là gì? nói rằng $\beta$"within" estimator

  Trong kinh tế lượng, mô hình hiệu ứng ngẫu nhiên chỉ có thể đề cập đến mô hình đánh chặn ngẫu nhiên như trong thống kê sinh học

Được rồi --- hãy để chúng tôi kiểm tra nếu sự hiểu biết này là chính xác. Dưới đây là một số dữ liệu ngẫu nhiên được tạo bởi @ChristophHanck trong câu trả lời của ông về sự khác biệt giữa hiệu ứng cố định, hiệu ứng ngẫu nhiên và mô hình hiệu ứng hỗn hợp là gì? (Tôi đặt dữ liệu ở đây trên pastebin cho những người không sử dụng R):

@Christoph có hai cách sử dụng phương pháp toán kinh tế lượng:

fe <- plm(stackY~stackX, data = paneldata, model = "within")
re <- plm(stackY~stackX, data = paneldata, model = "random")

Cái đầu tiên mang lại ước tính beta bằng -1.0451, cái thứ hai 0.77031(vâng, tích cực!). Tôi đã cố gắng tái tạo nó với lmvà lmer:

l1 = lm(stackY ~ stackX + as.factor(unit), data = paneldata)
l2 = lmer(stackY ~ stackX + (1|as.factor(unit)), data = paneldata)

Cái đầu tiên mang lại -1.045sự đồng thuận hoàn hảo với người ước tính bên trong. Mát mẻ. Nhưng sản lượng thứ hai -1.026, cách xa công cụ ước tính hiệu ứng ngẫu nhiên. Hả? Chuyện gì đang xảy ra vậy? Trong thực tế, những gì plmthậm chí đang làm , khi được gọi với model = "random"?

Dù nó đang làm gì, bằng cách nào đó, người ta có thể hiểu nó thông qua quan điểm mô hình hỗn hợp?

Và trực giác đằng sau bất cứ điều gì nó đang làm là gì? Tôi đã đọc ở một vài vị trí kinh tế lượng rằng công cụ ước tính hiệu ứng ngẫu nhiên là trung bình có trọng số giữa công cụ ước tính hiệu ứng cố định và "between" estimatorđộ dốc hồi quy ít nhiều nếu chúng ta không bao gồm nhận dạng nhóm trong mô hình (ước tính này rất tích cực trong điều này trường hợp, xung quanh 4.) Ví dụ: @Andy viết ở đây :

Công cụ ước tính hiệu ứng ngẫu nhiên sau đó sử dụng trung bình có trọng số ma trận của bên trong và giữa biến thể dữ liệu của bạn. [...] Điều này làm cho hiệu ứng ngẫu nhiên hiệu quả hơn [.]

Tại sao? Tại sao chúng ta muốn trung bình có trọng số này? Và đặc biệt, tại sao chúng ta lại muốn nó thay vì chạy một mô hình hỗn hợp?

Tóm tắt: "mô hình hiệu ứng ngẫu nhiên" trong kinh tế lượng và "mô hình hỗn hợp đánh chặn ngẫu nhiên" thực sự là cùng một mô hình, nhưng chúng được ước tính theo những cách khác nhau. Cách thức kinh tế lượng là sử dụng FGLS và cách mô hình hỗn hợp là sử dụng ML. Có các thuật toán khác nhau để thực hiện FGLS và một số trong số chúng (trên bộ dữ liệu này) tạo ra kết quả rất gần với ML.

---

1. Sự khác nhau giữa các phương pháp ước tính trong plm

Tôi sẽ trả lời với thử nghiệm của mình trên plm(..., model = "random")và lmer(), bằng cách sử dụng dữ liệu được tạo bởi @ChristophHanck.

Theo hướng dẫn gói plm , có bốn tùy chọn cho random.method: phương pháp ước tính cho các thành phần phương sai trong mô hình hiệu ứng ngẫu nhiên. @amoeba đã sử dụng cái mặc định swar(Swamy và Arora, 1972).

Đối với các mô hình hiệu ứng ngẫu nhiên, bốn công cụ ước tính của tham số biến đổi có sẵn bằng cách đặt Random.method thành một trong số "swar" (Swamy và Arora (1972)) (mặc định), "amemiya" (Amemiya (1971)), "walhus" ( Wallace và Hussain (1969)) hoặc "nerlove" (Nerlove (1971)).

Tôi đã kiểm tra tất cả bốn tùy chọn sử dụng cùng một dữ liệu, nhận được lỗiamemiya và ba ước tính hệ số hoàn toàn khác nhau cho biến stackX. Những cái từ việc sử dụng random.method='nerlove'và 'amemiya' gần tương đương với từ lmer(), -1.029 và -1.025 so với -1.026. Chúng cũng không khác lắm so với mô hình thu được trong mô hình "hiệu ứng cố định", -1.045.

# "amemiya" only works using the most recent version:
# install.packages("plm", repos="http://R-Forge.R-project.org")

re0 <- plm(stackY~stackX, data = paneldata, model = "random") #random.method='swar'
re1 <- plm(stackY~stackX, data = paneldata, model = "random",  random.method='amemiya')
re2 <- plm(stackY~stackX, data = paneldata, model = "random",  random.method='walhus')
re3 <- plm(stackY~stackX, data = paneldata, model = "random",  random.method='nerlove')
l2  <- lmer(stackY~stackX+(1|as.factor(unit)), data = paneldata)

coef(re0)     #    (Intercept)   stackX    18.3458553   0.7703073 
coef(re1)     #    (Intercept)   stackX    30.217721   -1.025186 
coef(re2)     #    (Intercept)   stackX    -1.15584     3.71973 
coef(re3)     #    (Intercept)   stackX    30.243678   -1.029111 
fixef(l2)     #    (Intercept)   stackX    30.226295   -1.026482 

Thật không may, tôi không có thời gian ngay bây giờ, nhưng độc giả quan tâm có thể tìm thấy bốn tài liệu tham khảo, để kiểm tra các thủ tục ước tính của họ. Sẽ rất hữu ích để tìm ra lý do tại sao họ làm cho một sự khác biệt như vậy. Tôi hy vọng rằng đối với một số trường hợp, plmquy trình ước tính sử dụng lm()dữ liệu được chuyển đổi phải tương đương với quy trình khả năng tối đa được sử dụng trong lmer().

2. So sánh giữa GLS và ML

Các tác giả của plmgói đã so sánh hai trong Phần 7 của bài báo của họ: Yves Croissant và Giovanni Millo, 2008, Bảng dữ liệu Kinh tế lượng bảng trong R: Gói plm .

Kinh tế lượng đối phó chủ yếu với dữ liệu phi thực nghiệm. Sự nhấn mạnh lớn được đặt vào các thủ tục đặc tả và kiểm tra lỗi chính tả. Do đó, các đặc tả mô hình có xu hướng rất đơn giản, trong khi sự chú ý lớn được đặt vào các vấn đề về tính nội sinh của các biến hồi quy, các cấu trúc phụ thuộc trong các lỗi và độ mạnh của các công cụ ước tính dưới độ lệch so với tính chuẩn. Cách tiếp cận ưa thích thường là bán hoặc không tham số, và các kỹ thuật phù hợp không đồng nhất đang trở thành thực hành tiêu chuẩn cả trong ước tính và thử nghiệm.

Vì tất cả những lý do này, ước tính mô hình bảng [...] trong toán kinh tế lượng hầu hết được thực hiện trong khung bình phương tối thiểu tổng quát dựa trên Định lý Aitken [...]. Ngược lại, các mô hình dữ liệu theo chiều dọc trong nlmevà lme4được ước tính theo khả năng tối đa (bị hạn chế hoặc không bị hạn chế). [...]

Phương pháp GLS kinh tế lượng có các giải pháp phân tích dạng đóng được tính toán bằng đại số tuyến tính tiêu chuẩn và mặc dù đôi khi có thể nặng về tính toán trên máy, các biểu thức cho các công cụ ước tính thường khá đơn giản. Ngược lại, ước tính ML của các mô hình dọc dựa trên việc tối ưu hóa số lượng các hàm phi tuyến mà không có giải pháp dạng đóng và do đó phụ thuộc vào các tiêu chí gần đúng và hội tụ.

---

3. Cập nhật trên các mô hình hỗn hợp

Tôi đánh giá cao rằng @ChristophHanck đã giới thiệu kỹ lưỡng về bốn loại random.methodđược sử dụng plmvà giải thích lý do tại sao ước tính của họ rất khác nhau. Theo yêu cầu của @amoeba, tôi sẽ thêm một số suy nghĩ về các mô hình hỗn hợp (dựa trên khả năng) và kết nối của nó với GLS.

Phương pháp dựa trên khả năng thường giả định một phân phối cho cả hiệu ứng ngẫu nhiên và thuật ngữ lỗi. Một giả định phân phối bình thường thường được sử dụng, nhưng cũng có một số nghiên cứu giả định phân phối không bình thường. Tôi sẽ làm theo các ký hiệu của @ ChristophHanck cho một mô hình chặn ngẫu nhiên và cho phép dữ liệu không cân bằng, tức là, hãy để .$T=n_i$

Mô hình là với .

$$\begin{equation} y_{it}= \boldsymbol x_{it}^{'}\boldsymbol\beta + \eta_i + \epsilon_{it}\qquad i=1,\ldots,m,\quad t=1,\ldots,n_i \end{equation}$$ $\eta_i \sim N(0,\sigma^2_\eta), \epsilon_{it} \sim N(0,\sigma^2_\epsilon)$

Đối với mỗi , Vì vậy, hàm khả năng đăng nhập là$i$

$$\boldsymbol y_i \sim N(\boldsymbol X_{i}\boldsymbol\beta, \boldsymbol\Sigma_i), \qquad\boldsymbol\Sigma_i = \sigma^2_\eta \boldsymbol 1_{n_i} \boldsymbol 1_{n_i}^{'} + \sigma^2_\epsilon \boldsymbol I_{n_i}.$$ $$const -\frac{1}{2} \sum_i\mathrm{log}|\boldsymbol\Sigma_i| - \frac{1}{2} \sum_i(\boldsymbol y_i - \boldsymbol X_{i}\boldsymbol\beta)^{'}\boldsymbol\Sigma_i^{-1}(\boldsymbol y_i - \boldsymbol X_{i}\boldsymbol\beta).$$

Khi tất cả các phương sai được biết đến, như được hiển thị trong Laird và Ware (1982), MLE là tương đương với GLS có nguồn gốc từ @ChristophHanck. Vì vậy, sự khác biệt chính là trong ước tính cho phương sai. Cho rằng không có giải pháp dạng đóng, có một số cách tiếp cận:

$$\hat{\boldsymbol\beta} = \left(\sum_i\boldsymbol X_i^{'} \boldsymbol\Sigma_i^{-1} \boldsymbol X_i \right)^{-1} \left(\sum_i \boldsymbol X_i^{'} \boldsymbol\Sigma_i^{-1} \boldsymbol y_i \right),$$ $\hat\beta_{RE}$

• tối đa hóa trực tiếp chức năng khả năng đăng nhập bằng thuật toán tối ưu hóa;
• Thuật toán tối đa hóa kỳ vọng (EM): tồn tại các giải pháp dạng đóng, nhưng công cụ ước tính cho liên quan đến các ước tính Bayes theo kinh nghiệm về đánh chặn ngẫu nhiên;$\boldsymbol \beta$
• một sự kết hợp của hai thuật toán trên, Kỳ vọng / Tối đa hóa có điều kiện (ECME) (Schafer, 1998; gói R lmm). Với tham số hóa khác nhau, các giải pháp dạng đóng cho (như trên) và tồn tại. Giải pháp cho có thể được viết là trong đó được định nghĩa là và có thể được ước tính trong khung EM.$\boldsymbol \beta$$\sigma^2_\epsilon$$\sigma^2_\epsilon$ $$\sigma^2_\epsilon = \frac{1}{\sum_i n_i}\sum_i(\boldsymbol y_i - \boldsymbol X_{i} \hat{\boldsymbol\beta})^{'}(\hat\xi \boldsymbol 1_{n_i} \boldsymbol 1_{n_i}^{'} + \boldsymbol I_{n_i})^{-1}(\boldsymbol y_i - \boldsymbol X_{i} \hat{\boldsymbol\beta}),$$ $\xi$$\sigma^2_\eta/\sigma^2_\epsilon$

Tóm lại, MLE có các giả định phân phối và nó được ước tính trong một thuật toán lặp. Sự khác biệt chính giữa MLE và GLS là trong ước tính cho phương sai.

Croissant và Millo (2008) đã chỉ ra rằng

Mặc dù theo quy tắc, tính đồng nhất và không có mối tương quan nối tiếp của các lỗi OLS cũng là công cụ ước tính khả năng tối đa, trong tất cả các trường hợp khác đều có những khác biệt quan trọng.

Theo tôi, đối với giả định phân phối, giống như sự khác biệt giữa các phương pháp tham số và không tham số, MLE sẽ hiệu quả hơn khi giả định được giữ, trong khi GLS sẽ mạnh mẽ hơn.

Câu trả lời này không bình luận về các mô hình hỗn hợp, nhưng tôi có thể giải thích công cụ ước tính hiệu ứng ngẫu nhiên làm gì và tại sao nó lại xuất hiện trên biểu đồ đó.

Tóm tắt: công cụ ước tính hiệu ứng ngẫu nhiên giả sử , điều này không đúng trong ví dụ này.$E[u_i \mid x ] = 0$

---

Công cụ ước tính hiệu ứng ngẫu nhiên đang làm gì?

Giả sử chúng ta có mô hình:

$$y_{it} = \beta x_{it} + u_i + \epsilon_{it}$$

Chúng tôi có hai chiều biến thể: nhóm và thời gian . Để ước tính chúng tôi có thể:$i$$t$$\beta$

1. Chỉ sử dụng biến thể chuỗi thời gian trong một nhóm. Đây là những gì công cụ ước tính hiệu ứng cố định làm (và đây là lý do tại sao nó cũng thường được gọi là công cụ ước tính bên trong.)

2. Nếu là ngẫu nhiên, chúng ta chỉ có thể sử dụng biến thể cắt ngang giữa các nhóm phương tiện theo chuỗi thời gian. Điều này được gọi là giữa các ước tính.$u_i$

   Cụ thể, đối với mỗi nhóm , hãy lấy trung bình theo thời gian của mô hình dữ liệu bảng trên để có được:$i$

   $$\bar{y}_{i} = \beta \bar{x}_{i} + v_i \quad \quad \text{ where } v_i = u_i + \bar{\epsilon}_i$$

   Nếu chúng ta chạy hồi quy này, chúng ta sẽ có được ước lượng giữa. Quan sát rằng đó là một công cụ ước tính nhất quán nếu các hiệu ứng là nhiễu trắng ngẫu nhiên, không tương thích với ! Nếu đây là trường hợp, thì việc loại bỏ hoàn toàn biến thể giữa các nhóm (như chúng ta làm với công cụ ước tính hiệu ứng cố định) là không hiệu quả.$u_i$$x$

Công cụ ước tính hiệu ứng ngẫu nhiên của kinh tế lượng kết hợp (1) trong công cụ ước tính (tức là công cụ ước tính hiệu ứng cố định) và (2) giữa công cụ ước tính để tối đa hóa hiệu quả. Nó là một ứng dụng của bình phương tối thiểu tổng quát và ý tưởng cơ bản là trọng số phương sai nghịch đảo . Để tối đa hóa hiệu quả, công cụ ước tính hiệu ứng ngẫu nhiên tính toán là trung bình có trọng số của công cụ ước tính và giữa công cụ ước tính.$\hat \beta$

Điều gì đang diễn ra trong biểu đồ đó ...

Chỉ cần nhìn vào biểu đồ đó, bạn có thể thấy rõ những gì đang diễn ra:

• Trong mỗi nhóm (nghĩa là các chấm có cùng màu), cao hơn được liên kết với thấp hơn$i$$x_{it}$$y_{it}$
• Một nhóm có cao hơn có cao hơn .$i$$\bar{x}_i$$u_i$

Giả định hiệu ứng ngẫu nhiên mà rõ ràng không được thỏa mãn. Các hiệu ứng nhóm không trực giao với (theo nghĩa thống kê), thay vào đó, các hiệu ứng nhóm có mối quan hệ tích cực rõ ràng với .$E[u_i \mid x ] = 0$$u_i$$x$$x$

Công cụ ước tính giữa giả định . Công cụ ước tính giữa nói, "chắc chắn tôi có thể áp đặt , bằng cách làm cho dương!"$E[u_i \mid x ] = 0$$E[u_i \mid x ] = 0$$\hat \beta$

Sau đó, lần lượt, công cụ ước tính hiệu ứng ngẫu nhiên bị tắt vì đó là mức trung bình có trọng số của công cụ ước tính bên trong và công cụ ước tính.

Trong câu trả lời này, tôi muốn giải thích một chút về câu trả lời +1 của Matthew liên quan đến viễn cảnh GLS về những gì mà tài liệu kinh tế lượng gọi là công cụ ước tính hiệu ứng ngẫu nhiên.

Phối cảnh GLS

Hãy xem xét mô hình tuyến tính Nếu cho rằng chúng ta có thể ước tính mô hình bằng cách gộp OLS , điều này có nghĩa là bỏ qua cấu trúc dữ liệu bảng và chỉ đơn giản gộp tất cả các quan sát lại với nhau .

$$\begin{equation} y_{it}=\alpha + X_{it}\beta+u_{it}\qquad i=1,\ldots,m,\quad t=1,\ldots,T \end{equation}$$ $E(u_{it}\vert X_{it})=0$$n=mT$

Chúng tôi lập mô hình bằng mô hình thành phần lỗi$u_{it}$

$$\begin{equation} u_{it}=\eta_i+\epsilon_{it} \end{equation}$$

Trong ký hiệu ma trận, mô hình có thể được viết là trong đó và là -vector có điển hình các phần tử và và là ma trận (một cột trên một đơn vị) của các biến giả. là như vậy nếu một hàng tương ứng với một quan sát thuộc đơn vị , thì có một hàng trong cột và 0 khác, .

$$\begin{equation} y=\alpha \iota_{mT}+X\beta+D\eta+\epsilon \end{equation}$$ $y$$\epsilon$$n$$y_{it}$$\epsilon_{it}$$D$$n \times m$$D$$i$$D$$i$$i=1,\ldots,m$

Ngoài ra, chúng tôi giả sử

$$E(\epsilon\epsilon^\prime)=\sigma_\epsilon^2I$$

Các hiệu ứng riêng biệt phải độc lập với . Công cụ ước tính hiệu ứng ngẫu nhiên, không giống như các hiệu ứng cố định (một lần nữa, thuật ngữ kinh tế lượng), tuy nhiên, cũng yêu cầu giả định mạnh hơn rằng Theo giả định này, được gộp lại OLS sẽ không thiên vị, nhưng chúng ta có thể lấy được công cụ ước tính GLS. Giả sử rằng là IID với giá trị trung bình bằng 0 và phương sai .$\eta$$\epsilon_{it}$

$$\begin{equation} E(\eta_i\vert X)=0 \end{equation}$$ $\eta_i$$\sigma^2_\eta$

Giả định này chiếm các thuật ngữ ngẫu nhiên . Hơn nữa, giả sử rằng hai thành phần lỗi là độc lập, dễ dàng nhận thấy rằng

$$\begin{align*} \operatorname{Var}(u_{it})&=\sigma^2_\eta+\sigma^2_\epsilon\\ \operatorname{Cov}(u_{it},u_{is})&=\sigma^2_\eta\\ \operatorname{Cov}(u_{it},u_{js})&=0\qquad\text{for all } i\neq j \end{align*}$$

Sau đó chúng tôi nhận được như sau sai-hiệp phương sai ma trận : Tại đây, với một -vector của những người. Do đó, chúng tôi có thể viết Dành cho công cụ ước tính GLS chúng tôi yêu cầu . Để kết thúc này, hãy để ,$n\times n$$\Omega$

$$\Omega= \begin{pmatrix} \Sigma&O&\cdots&O\\ O&\Sigma&\cdots&O\\ \vdots&\vdots&&\vdots\\ O&O&\cdots&\Sigma \end{pmatrix}$$ $$\Sigma=\sigma^2_\eta \iota\iota^\prime+\sigma^2_\epsilon I_T$$ $\iota$$T$ $$\Omega=\sigma^2_\eta (I_m\otimes\iota\iota^\prime)+\sigma^2_\epsilon (I_m\otimes I_T)$$ $$\hat\beta_{RE}=(X'\Omega^{-1}X)^{-1}X'\Omega^{-1}y$$ $\Omega^{-1}$$J_T=\iota\iota^\prime$$\bar J_T=J_T/T$$E_T=I_T-\bar J_T$ . Sau đó, viết hoặc , thu về với các ma trận tương tự, idempotency của và sau đó cho phép chúng tôi hiển thị rằng trong đó . $$\Omega=T\sigma^2_\eta (I_m\otimes\bar J_T)+\sigma^2_\epsilon (I_m\otimes E_T)+\sigma^2_\epsilon (I_m\otimes \bar J_T)$$ $$\Omega=(T\sigma^2_\eta+\sigma^2_\epsilon) (I_m\otimes\bar J_T)+\sigma^2_\epsilon (I_m\otimes E_T)$$ $P=I_m\otimes\bar J_T$$Q=I_m\otimes E_T$ $$\Omega^{-1}=\frac{1}{\sigma^2_1}P+\frac{1}{\sigma^2_\epsilon}Q= -\frac{\sigma^2_\eta}{\sigma^2_1\sigma^2_\epsilon}(I_m\otimes\iota\iota^\prime) + \frac{1}{\sigma^2_\epsilon}(I_m\otimes I_T),$$ $\sigma^2_1=T\sigma^2_\eta+\sigma^2_\epsilon$

Sau đó, logic Gauss-Markov giải thích tại sao công cụ ước tính hiệu ứng ngẫu nhiên có thể hữu ích, vì nó là công cụ ước tính hiệu quả hơn so với OLS gộp hoặc hiệu ứng cố định theo các giả định đã cho (được cung cấp, rất lớn nếu trong nhiều ứng dụng dữ liệu bảng điều khiển, thực sự không tương quan với các biến hồi quy). Nói tóm lại, GLS hiệu quả hơn vì ma trận hiệp phương sai không phải là homoskedastic trong mô hình này.$\eta_i$

Người ta có thể chỉ ra rằng ước tính GLS có thể thu được bằng cách chạy OLS trên dữ liệu được giảm một phần: trong đó . Với người ta có được ước tính hiệu ứng cố định ("bên trong"). Đối với người ta sẽ ước lượng "giữa". Công cụ ước tính GLS là trung bình có trọng số giữa hai. (Với người ta sẽ có công cụ ước tính OLS gộp.)

$$(y_{it}-\theta \bar y_{i\cdot}) = (X_{it} - \theta \bar X_{i\cdot})\beta + (u_{it} - \theta u_{i\cdot}),$$ $\theta = 1-\sigma_\eta/\sigma_1$$\theta=1$$\theta\to -\infty$$\theta=0$

GLS khả thi

Để thực hiện một cách tiếp cận FGLS, chúng tôi yêu cầu các công cụ ước tính của và . Baltagi, Phân tích kinh tế lượng dữ liệu bảng, trang. 16 (trích dẫn từ phiên bản thứ 3), thảo luận về các tùy chọn sau về cách tiến hành.$\sigma^2_1$$\sigma^2_\epsilon$

Giả sử đầu tiên chúng ta quan sát . Sau đó,$u_{it}$

$$\hat\sigma^2_1=T\frac{1}{m}\sum_{i=1}^m\bar{u}_{i\cdot}^2$$ và sẽ là công cụ ước tính tốt các tham số của chúng, với thời gian trung bình tương ứng với các quan sát của đơn vị . $$\hat\sigma^2_\epsilon=\frac{1}{m(T-1)}\sum_{i=1}^m\sum_{t=1}^T\left(u_{it}-\frac{1}{m}\sum_{i=1}^m\bar{u}_{i\cdot}\right)^2$$ $\bar{u}_{i\cdot}$$i$

Cách tiếp cận của Wallace và Hussein (1969) bao gồm thay thế bằng phần dư của hồi quy OLS gộp (mà sau tất cả, vẫn không thiên vị và nhất quán theo các giả định hiện tại).$u$

Cách tiếp cận Amemiya (1971) đề nghị sử dụng phần dư FE (hoặc LSDV) thay thế. Là một vấn đề tính toán, chúng tôi áp đặt hạn chế rằng để phá vỡ bẫy biến giả để có thể có được với biểu thị trung bình lớn hơn và cho phần dư LSDV .$\sum_i\eta_i=0$$\hat\alpha=\bar y_{\cdot\cdot}-\bar X_{\cdot\cdot}'\hat\beta_{FE}$$\cdot\cdot$$i$$t$$\hat u=y-\hat\alpha-X\hat\beta_{FE}$

Cách tiếp cận mặc định của Swamy và Arora (1972) ước tính và Tại đây, .

$$\hat\sigma^2_\epsilon=[y'Q(I-X(X'QX)^{-1}X'Q)y]/[m(T-1)-K]$$ $$\hat\sigma^2_1=[y'P(I-Z(Z'PX)^{-1}Z'P)y]/[m-K-1]$$ $Z=(\iota_{mT}\quad X)$

Các Nerlove (1971) ước tính phương pháp từ trong đó là các hình nộm từ hồi quy hiệu ứng cố định và được ước tính từ các tổng bình phương còn lại từ hồi quy này, với trong mẫu số. Σ m $\sigma_\eta^2$$\sum_{i=1}^m(\hat\eta_i-\bar{\hat\eta})^2/(m-1)$$\hat\eta_i$$\hat\sigma^2_\epsilon$$mT$

Tôi cũng rất ngạc nhiên khi những điều này tạo ra sự khác biệt lớn như thể hiện trong tính toán của Randel!

BIÊN TẬP:

Về sự khác biệt, các ước tính của các thành phần lỗi có thể được rút lại trong plmgói và thực sự trả về các kết quả khác nhau rất lớn, giải thích sự khác biệt trong ước tính điểm cho (theo câu trả lời của @ Randel, đưa ra một lỗi mà tôi không cố gắng sửa chữa):$\beta$amemiya

> ercomp(stackY~stackX, data = paneldata, method = "walhus")
                  var std.dev share
idiosyncratic 21.0726  4.5905 0.981
individual     0.4071  0.6380 0.019
theta:  0.06933  
> ercomp(stackY~stackX, data = paneldata, method = "swar")
                 var std.dev share
idiosyncratic 0.6437  0.8023 0.229
individual    2.1732  1.4742 0.771
theta:  0.811  
> ercomp(stackY~stackX, data = paneldata, method = "nerlove")
                   var  std.dev share
idiosyncratic   0.5565   0.7460 0.002
individual    342.2514  18.5000 0.998
theta:  0.9857  

Tôi nghi ngờ rằng các công cụ ước tính của các thành phần lỗi cũng không nhất quán trong ví dụ của tôi trong luồng chị em mà tôi nhắm đến để chứng minh sự khác biệt giữa FE và RE sử dụng dữ liệu trong đó các hiệu ứng riêng lẻ và có tương quan. (Trên thực tế, chúng không thể, bởi vì cuối cùng chúng đã loại bỏ ước tính RE khỏi ước tính FE theo thực tế rằng RE là trung bình có trọng số của FE và giữa ước lượng với các trọng số được xác định bởi các ước tính thành phần lỗi. Vì vậy, nếu RE không nhất quán, điều đó cuối cùng phải do những ước tính này.)$X$

Nếu bạn thay thế tính năng "xúc phạm" của ví dụ đó,

alpha = runif(n,seq(0,step*n,by=step),seq(step,step*n+step,by=step))

bằng cách đơn giản, nói,

alpha = runif(n)

do đó, các hiệu ứng ngẫu nhiên không tương thích với , bạn nhận được ước tính điểm RE cho rất gần với giá trị thực cho tất cả các biến thể ước tính các thành phần lỗi.beta beta = - $X$$\beta$$\beta=-1$

---

Người giới thiệu

Amemiya, T., 1971, Ước tính phương sai trong mô hình thành phần phương sai , Tạp chí Kinh tế Quốc tế 12, 1 Phản13.

Baltagi, BH, Phân tích kinh tế lượng dữ liệu bảng, Wiley.

Nerlove, M., 1971a, Bằng chứng thêm về ước tính các mối quan hệ kinh tế năng động từ một chuỗi thời gian của các mặt cắt ngang , Kinh tế lượng 39, 359 Câu382.

Swamy, PAVB và SS Arora, 1972, Các chính xác tính chất mẫu hữu hạn của các ước lượng các hệ số trong mô hình hồi quy thành phần lỗi , Econometrica 40, 261-275.

Wallace, TD và A. Hussain, 1969, Việc sử dụng các mô hình thành phần lỗi trong việc kết hợp dữ liệu mặt cắt ngang và chuỗi thời gian , Kinh tế lượng 37, 55 Tua72.

Tôi không thực sự đủ quen thuộc với R để nhận xét về mã của bạn, nhưng mô hình hỗn hợp chặn ngẫu nhiên đơn giản phải giống hệt với công cụ ước tính RE MLE và rất gần với công cụ ước tính RE GLS, ngoại trừ khi tổng nhỏ và dữ liệu không cân bằng. Hy vọng, điều này sẽ hữu ích trong việc chẩn đoán vấn đề. Tất nhiên, đây là tất cả giả định rằng công cụ ước tính RE là phù hợp.$N = \sum_i T_i$

Đây là một số Stata cho thấy sự tương đương (yêu cầu esttabvà eststotừ SSC):

set more off
estimates clear
webuse nlswork, clear
eststo, title(mixed): mixed ln_w grade age c.age#c.age ttl_exp tenure c.tenure#c.tenure || id: // Mixed estimator
eststo, title(MLE): xtreg ln_w grade age c.age#c.age ttl_exp tenure c.tenure#c.tenure, i(id) mle // MLE RE estimator 
eststo, title(GLS): xtreg ln_w grade age c.age#c.age ttl_exp tenure c.tenure#c.tenure, i(id) re // GLS RE estimato
esttab *, b(a5) se(a5) mtitle 

Đây là đầu ra của dòng cuối cùng:

. esttab *, b(a5) se(a5) mtitle 

------------------------------------------------------------
                      (1)             (2)             (3)   
                    mixed             MLE             GLS   
------------------------------------------------------------
main                                                        
grade            0.070790***     0.070790***     0.070760***
              (0.0017957)     (0.0017957)     (0.0018336)   

age              0.031844***     0.031844***     0.031906***
              (0.0027201)     (0.0027202)     (0.0027146)   

c.age#c.age   -0.00065130***  -0.00065130***  -0.00065295***
             (0.000044965)    (0.000044971)    (0.000044880)   

ttl_exp          0.035228***     0.035228***     0.035334***
              (0.0011382)     (0.0011392)     (0.0011446)   

tenure           0.037134***     0.037134***     0.037019***
              (0.0015715)     (0.0015723)     (0.0015681)   

c.tenure#c~e   -0.0018382***   -0.0018382***   -0.0018387***
             (0.00010128)    (0.00010128)    (0.00010108)   

_cons             0.14721***      0.14721***      0.14691** 
               (0.044725)      (0.044725)      (0.044928)   
------------------------------------------------------------
lns1_1_1                                                    
_cons            -1.31847***                                
               (0.013546)                                   
------------------------------------------------------------
lnsig_e                                                     
_cons            -1.23024***                                
              (0.0046256)                                   
------------------------------------------------------------
sigma_u                                                     
_cons                             0.26754***                
                              (0.0036240)                   
------------------------------------------------------------
sigma_e                                                     
_cons                             0.29222***                
                              (0.0013517)                   
------------------------------------------------------------
N                   28099           28099           28099   
------------------------------------------------------------
Standard errors in parentheses
* p<0.05, ** p<0.01, *** p<0.001

Trong dữ liệu của bạn, các giả định sử dụng công cụ ước tính RE không được thỏa mãn do hiệu ứng nhóm có tương quan rõ ràng với x, do đó bạn nhận được các ước tính rất khác nhau. Công cụ ước tính GLS RE thực sự là một phương pháp ước tính tổng quát về các khoảnh khắc (GMM) là trung bình có trọng số ma trận giữa và trong các công cụ ước tính. Công cụ ước tính bên trong sẽ ổn ở đây, nhưng phần giữa sẽ bị vặn sâu, cho thấy hiệu ứng tích cực lớn của X. Vì vậy, GLS sẽ chủ yếu là giữa công cụ ước tính. MLE RE là một MLE tối đa hóa khả năng của mô hình hiệu ứng ngẫu nhiên. Họ không còn mong đợi để tạo ra cùng một câu trả lời. Ở đây, công cụ ước tính hỗn hợp đang đưa ra một cái gì đó rất gần với công cụ ước tính FE "Inside":

. esttab *, b(a5) se(a5) mtitle 

----------------------------------------------------------------------------
                      (1)             (2)             (3)             (4)   
                    mixed             GLS             MLE          Within   
----------------------------------------------------------------------------
main                                                                        
x                -1.02502***      0.77031**       3.37983***     -1.04507***
               (0.092425)       (0.26346)       (0.20635)      (0.093136)   

_cons             30.2166***      18.3459***      0.49507         30.3492***
                (5.12978)       (2.31566)             (.)       (0.62124)   
----------------------------------------------------------------------------
lns1_1_1                                                                    
_cons             2.87024***                                                
                (0.20498)                                                   
----------------------------------------------------------------------------
lnsig_e                                                                     
_cons            -0.22598**                                                 
               (0.077195)                                                   
----------------------------------------------------------------------------
sigma_u                                                                     
_cons                                             2.40363                   
                                                (1.28929)                   
----------------------------------------------------------------------------
sigma_e                                                                     
_cons                                             4.23472***                
                                                (0.37819)                   
----------------------------------------------------------------------------
N                      96              96              96              96   
----------------------------------------------------------------------------
Standard errors in parentheses
* p<0.05, ** p<0.01, *** p<0.001

Đây là mã Stata cho bảng trên:

clear
set more off
estimates clear

input int(obs id t) double(y x)
1      1           1  2.669271  0.5866982
2      1           2  1.475540  1.3500454
3      1           3  4.430008  0.6830919
4      1           4  2.162789  0.5845966
5      1           5  2.678108  1.0038879
6      1           6  3.456636  0.5863289
7      1           7  1.769204  2.3375403
8      1           8  3.413790  0.9640034
9      2           1  4.017493  1.5084121
10     2           2  4.218733  2.8982499
11     2           3  4.509530  3.2141335
12     2           4  6.106228  2.0317799
13     2           5  5.161379  2.1231733
14     2           6  2.724643  4.3369017
15     2           7  4.500306  1.9141065
16     2           8  4.119322  2.8667938
17     3           1  9.987779  2.3961969
18     3           2  7.768579  3.5509275
19     3           3  9.379788  3.3284869
20     3           4 10.035937  2.2997389
21     3           5 11.752360  2.8143474
22     3           6  9.500264  2.1825704
23     3           7  8.921687  5.0126462
24     3           8  8.269932  3.4046339
25     4           1 12.101253  3.2928033
26     4           2 11.482337  3.1645218
27     4           3 10.648010  4.8073987
28     4           4  9.687320  5.3394193
29     4           5 12.796925  3.1197431
30     4           6  9.971434  4.6512983
31     4           7 10.239717  4.7709378
32     4           8 12.245207  2.7952426
33     5           1 18.473320  5.8421967
34     5           2 19.097212  4.9425391
35     5           3 19.460495  4.9166172
36     5           4 18.642305  4.9856035
37     5           5 17.723912  5.0594425
38     5           6 16.783248  4.8615618
39     5           7 16.100984  6.2069167
40     5           8 18.851351  3.8856152
41     6           1 19.683171  7.5568816
42     6           2 21.104231  6.7441900
43     6           3 22.115529  6.4486514
44     6           4 22.061362  5.3727434
45     6           5 22.457905  5.8665798
46     6           6 21.424413  6.0578997
47     6           7 23.475946  4.4024323
48     6           8 24.884950  4.1596914
49     7           1 25.809011  7.6756255
50     7           2 25.432828  7.7910756
51     7           3 26.790387  7.3858301
52     7           4 24.640850  8.2090606
53     7           5 26.050086  7.3779219
54     7           6 25.297148  6.8098617
55     7           7 26.551229  7.6694272
56     7           8 26.669760  6.4425772
57     8           1 26.409669  8.3040894
58     8           2 26.570003  8.4686087
59     8           3 29.018818  7.2476785
60     8           4 30.342613  4.5207729
61     8           5 26.819959  8.7935557
62     8           6 27.147711  8.3141224
63     8           7 26.168568  9.0148308
64     8           8 27.653552  8.2081808
65     9           1 34.120485  7.8415520
66     9           2 31.286463  9.7234259
67     9           3 35.763403  6.9202442
68     9           4 31.974599  9.0078286
69     9           5 32.273719  9.4954288
70     9           6 29.666208 10.2525763
71     9           7 30.949857  9.4751679
72     9           8 33.485967  8.1824810
73    10           1 36.183128 10.7891587
74    10           2 37.706116  9.7119548
75    10           3 38.582725  8.6388290
76    10           4 35.876781 10.8259279
77    10           5 37.111179  9.9805046
78    10           6 40.313149  7.7487456
79    10           7 38.606329 10.2891107
80    10           8 37.041938 10.3568765
81    11           1 42.617586 12.1619185
82    11           2 41.787495 11.1420338
83    11           3 43.944968 11.1898730
84    11           4 43.446467 10.8099599
85    11           5 43.420819 11.2696770
86    11           6 42.367318 11.6183869
87    11           7 43.543785 11.1336555
88    11           8 43.750271 12.0311065
89    12           1 46.122429 12.3528733
90    12           2 47.604306 11.4522787
91    12           3 45.568748 13.6906476
92    12           4 48.331177 12.3561907
93    12           5 47.143246 11.7339915
94    12           6 44.461190 13.3898768
95    12           7 46.879044 11.4054972
96    12           8 46.314055 12.3143487
end

eststo, title(mixed): mixed y x || id:, mle // Mixed estimator
eststo, title(GLS): xtreg y x, i(id) re     // GLS RE estimato
eststo, title(MLE): xtreg y x, i(id) mle    // MLE RE estimator 
eststo, title(Within): xtreg y x, i(id) fe  // FE Within estimator 
eststo, title(Between): xtreg y x, i(id) be // Between estimator 

esttab *, b(a5) se(a5) mtitle 

Hãy để tôi nhầm lẫn nhiều thứ hơn nữa:

KINH TẾ - HIỆU QUẢ CỐ ĐỊNH Phương pháp
"hiệu ứng cố định" trong kinh tế lượng cho dữ liệu bảng, là một cách để ước tính các hệ số độ dốc (betas), bằng cách "vượt qua" sự tồn tại của biến hiệu ứng riêng lẻ , và do đó không phải là đưa ra bất kỳ giả định nào về việc nó là "cố định" hay "ngẫu nhiên". Đây là những gì công cụ ước tính "Sự khác biệt đầu tiên" (sử dụng sự khác biệt đầu tiên của dữ liệu) và công cụ ước tính "Trong vòng" (sử dụng độ lệch so với mức trung bình theo thời gian): họ quản lý để chỉ ước tính betas.$\alpha_i$

Đối với cách tiếp cận truyền thống hơn, xử lý rõ ràng các hiệu ứng riêng lẻ ("chặn") như các hằng số, chúng tôi sử dụng Công cụ ước tính biến tối thiểu Lares Squares Dummy (LSDV), cũng cung cấp các ước tính cho Lưu ý của : trong mô hình tuyến tính ba công cụ ước tính đại số trùng khớp về các ước tính được sản xuất cho betas - nhưng chỉ trong mô hình tuyến tính.$\alpha_i$

Thảo luận (trích một phần từ ghi chú của lớp)

"Ưu điểm chính của phương pháp hiệu ứng cố định là chúng ta không cần đưa ra bất kỳ giả định nào về bản chất của các hiệu ứng riêng lẻ. Chúng ta nên áp dụng nó bất cứ khi nào chúng ta nghi ngờ rằng cái sau có tương quan với một hoặc nhiều biến hồi quy kể từ trong trường hợp này Bỏ qua sự hiện diện của mối tương quan như vậy và áp dụng OLS một cách ngây thơ vào mô hình gộp tạo ra các ước lượng không nhất quán. Mặc dù có sự hấp dẫn dựa trên các giả định tối thiểu mà chúng ta cần đưa ra về các hiệu ứng riêng lẻ, cách tiếp cận hiệu ứng cố định có những hạn chế nhất định. Các hồi quy bất biến không thể được ước tính do các biến này được phân biệt cùng với các hiệu ứng riêng lẻ không thể quan sát được.các hiệu ứng riêng lẻ (trong trường hợp chúng tôi sử dụng công cụ ước tính LSDV) không thể được ước tính một cách nhất quán (trừ khi chúng tôi để kích thước thời gian chuyển sang vô cùng). "

KINH TẾ - RANDOM HIỆU QUẢ TIẾP CẬN
Trong phương pháp Hiệu ứng ngẫu nhiên kinh tế lượng "truyền thống", chúng tôi giả định rằng cá nhân "chặn" là "thành phần ngẫu nhiên vĩnh viễn" trong khi các thuật ngữ lỗi "thông thường" là các thành phần lỗi "tạm thời".$\alpha_i$

Trong một phần mở rộng thú vị, tính ngẫu nhiên bổ sung phát sinh từ sự tồn tại của hiệu ứng thời gian ngẫu nhiên , phổ biến cho tất cả các mặt cắt nhưng thời gian khác nhau , bên cạnh hiệu ứng riêng lẻ (không đổi) cố định và thuật ngữ lỗi. Ví dụ, "hiệu ứng thời gian" này có thể đại diện cho một cú sốc tổng hợp ở cấp độ toàn nền kinh tế, ảnh hưởng đến tất cả các hộ gia đình. Những xáo trộn tổng hợp như vậy thực sự được quan sát và do đó nó dường như là một lựa chọn mô hình thực tế.

Ở đây Công cụ ước tính "Hiệu ứng ngẫu nhiên" là công cụ ước tính Tổng bình phương tối thiểu (GLS), để tăng hiệu quả.

Bây giờ, một công cụ ước tính được hình thành thêm, Công cụ ước tính "Giữa", thực hiện OLS trên các quan sát trung bình theo thời gian. Như một vấn đề của đại số, người ta đã chứng minh rằng công cụ ước tính GLS có thể được lấy là trung bình trọng số của các công cụ ước tính giữa và giữa, trong đó các trọng số không phải là tùy ý mà liên quan đến ma trận VCV của hai.

... Và cũng có các biến thể của mô hình "Hiệu ứng ngẫu nhiên không tương thích" và "Hiệu ứng ngẫu nhiên tương quan".

Tôi hy vọng những điều trên giúp tạo sự tương phản với các mô hình "hiệu ứng hỗn hợp".