Tôi đang cố gắng để hiểu lỗi "phân cụm" tiêu chuẩn và cách thực hiện trong R (đó là chuyện nhỏ trong Stata). Trong RI đã không thành công bằng cách sử dụng plmhoặc viết chức năng của riêng tôi. Tôi sẽ sử dụng diamondsdữ liệu từ ggplot2gói.
Tôi có thể thực hiện các hiệu ứng cố định với các biến giả
> library(plyr)
> library(ggplot2)
> library(lmtest)
> library(sandwich)
> # with dummies to create fixed effects
> fe.lsdv <- lm(price ~ carat + factor(cut) + 0, data = diamonds)
> ct.lsdv <- coeftest(fe.lsdv, vcov. = vcovHC)
> ct.lsdv
t test of coefficients:
Estimate Std. Error t value Pr(>|t|)
carat 7871.082 24.892 316.207 < 2.2e-16 ***
factor(cut)Fair -3875.470 51.190 -75.707 < 2.2e-16 ***
factor(cut)Good -2755.138 26.570 -103.692 < 2.2e-16 ***
factor(cut)Very Good -2365.334 20.548 -115.111 < 2.2e-16 ***
factor(cut)Premium -2436.393 21.172 -115.075 < 2.2e-16 ***
factor(cut)Ideal -2074.546 16.092 -128.920 < 2.2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 hoặc bằng cách không có nghĩa là cả bên trái và bên phải (không có hồi quy bất biến thời gian ở đây) và điều chỉnh mức độ tự do.
> # by demeaning with degrees of freedom correction
> diamonds <- ddply(diamonds, .(cut), transform, price.dm = price - mean(price), carat.dm = carat .... [TRUNCATED]
> fe.dm <- lm(price.dm ~ carat.dm + 0, data = diamonds)
> ct.dm <- coeftest(fe.dm, vcov. = vcovHC, df = nrow(diamonds) - 1 - 5)
> ct.dm
t test of coefficients:
Estimate Std. Error t value Pr(>|t|)
carat.dm 7871.082 24.888 316.26 < 2.2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Tôi không thể sao chép các kết quả này với plm, vì tôi không có chỉ số "thời gian" (nghĩa là đây không thực sự là một bảng điều khiển, chỉ là các cụm có thể có sai lệch chung trong các điều khoản lỗi của chúng).
> plm.temp <- plm(price ~ carat, data = diamonds, index = "cut")
duplicate couples (time-id)
Error in pdim.default(index[[1]], index[[2]]) : Tôi cũng đã thử mã hóa ma trận hiệp phương sai của riêng mình với lỗi tiêu chuẩn được nhóm lại bằng cách sử dụng giải thích của Stata về clustertùy chọn của họ ( giải thích ở đây ), để giải quyếttrong đóbạn làj=∑clus
là vectơ hàng của các yếu tố dự đoán, bao gồm cả hằng số (điều này cũng xuất hiện dưới dạng phương trình (7.22 ) trongMặt cắt ngang và Dữ liệu bảngcủa Wooldridge). Nhưng đoạn mã sau cho ma trận hiệp phương sai rất lớn. Đây có phải là những giá trị rất lớn với số lượng cụm nhỏ tôi có không? Vì tôi không thểthực hiện các cụm theo một yếu tố, tôi không chắc cách đánh giá mã của mình. , n c si số cụm, e i là số dư choquan sát i t h và x i
plm
> # with cluster robust se
> lm.temp <- lm(price ~ carat + factor(cut) + 0, data = diamonds)
>
> # using the model that Stata uses
> stata.clustering <- function(x, clu, res) {
+ x <- as.matrix(x)
+ clu <- as.vector(clu)
+ res <- as.vector(res)
+ fac <- unique(clu)
+ num.fac <- length(fac)
+ num.reg <- ncol(x)
+ u <- matrix(NA, nrow = num.fac, ncol = num.reg)
+ meat <- matrix(NA, nrow = num.reg, ncol = num.reg)
+
+ # outer terms (X'X)^-1
+ outer <- solve(t(x) %*% x)
+
+ # inner term sum_j u_j'u_j where u_j = sum_i e_i * x_i
+ for (i in seq(num.fac)) {
+ index.loop <- clu == fac[i]
+ res.loop <- res[index.loop]
+ x.loop <- x[clu == fac[i], ]
+ u[i, ] <- as.vector(colSums(res.loop * x.loop))
+ }
+ inner <- t(u) %*% u
+
+ #
+ V <- outer %*% inner %*% outer
+ return(V)
+ }
> x.temp <- data.frame(const = 1, diamonds[, "carat"])
> summary(lm.temp)
Call:
lm(formula = price ~ carat + factor(cut) + 0, data = diamonds)
Residuals:
Min 1Q Median 3Q Max
-17540.7 -791.6 -37.6 522.1 12721.4
Coefficients:
Estimate Std. Error t value Pr(>|t|)
carat 7871.08 13.98 563.0 <2e-16 ***
factor(cut)Fair -3875.47 40.41 -95.9 <2e-16 ***
factor(cut)Good -2755.14 24.63 -111.9 <2e-16 ***
factor(cut)Very Good -2365.33 17.78 -133.0 <2e-16 ***
factor(cut)Premium -2436.39 17.92 -136.0 <2e-16 ***
factor(cut)Ideal -2074.55 14.23 -145.8 <2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 1511 on 53934 degrees of freedom
Multiple R-squared: 0.9272, Adjusted R-squared: 0.9272
F-statistic: 1.145e+05 on 6 and 53934 DF, p-value: < 2.2e-16
> stata.clustering(x = x.temp, clu = diamonds$cut, res = lm.temp$residuals)
const diamonds....carat..
const 11352.64 -14227.44
diamonds....carat.. -14227.44 17830.22Điều này có thể được thực hiện trong R? Đây là một kỹ thuật khá phổ biến trong toán kinh tế lượng (có một hướng dẫn ngắn gọn trong bài giảng này ), nhưng tôi không thể tìm ra nó trong R. Cảm ơn!
7
@ricardh, nguyền rủa tất cả các nhà kinh tế vì không kiểm tra xem thuật ngữ họ muốn sử dụng đã được sử dụng trong thống kê chưa. Cụm trong ngữ cảnh này có nghĩa là nhóm và hoàn toàn không liên quan đến phân tích cụm, đây là lý do tại sao rseek cho bạn kết quả không liên quan. Do đó tôi loại bỏ thẻ phân cụm. Đối với phân tích dữ liệu bảng điều khiển kiểm tra gói plm . Nó có một họa tiết đẹp, vì vậy bạn có thể tìm thấy những gì bạn muốn. Đối với câu hỏi của bạn không rõ ràng những gì bạn muốn. Trong phạm vi tiêu chuẩn nhóm?
—
mpiktas
@ricardh, nó sẽ giúp ích rất nhiều nếu bạn có thể liên kết với một số hướng dẫn sử dụng Stata nơi
—
mpiktas
clustergiải thích tùy chọn này. Tôi chắc chắn rằng nó sẽ có thể sao chép trong R.
+1 cho nhận xét đó. các nhà kinh tế học thuộc địa thuật ngữ như điên. Mặc dù đôi khi thật khó để chọn nhân vật phản diện. Ii mất một lúc, ví dụ cho đến khi tôi nhận ra
—
hans0l0
factorkhông có gì để làm factanalngoài việc đề cập đến các biến được phân loại. Tuy nhiên, cụm trong R đề cập đến phân tích cụm, k- mean chỉ là phương thức phân vùng: statmethods.net/advstats/cluster.html . Tôi không nhận được câu hỏi của bạn, nhưng tôi cũng đoán cụm không có gì để làm với nó.
@mpiktas, @ ran2 - Cảm ơn! Tôi hy vọng tôi đã làm rõ câu hỏi. Nói tóm lại, tại sao "phân cụm lỗi tiêu chuẩn" tồn tại nếu nó chỉ là các hiệu ứng cố định, đã tồn tại?
—
Richard Herron