Tóm lược
Việc khái quát hóa hồi quy bình phương nhỏ nhất cho các biến có giá trị phức tạp rất đơn giản, bao gồm chủ yếu là thay thế ma trận chuyển vị bằng cách hoán vị liên hợp trong các công thức ma trận thông thường. Mặc dù vậy, một hồi quy có giá trị phức tạp tương ứng với một hồi quy đa biến phức tạp phức tạp mà giải pháp của nó sẽ khó khăn hơn nhiều để sử dụng các phương pháp tiêu chuẩn (biến thực). Do đó, khi mô hình có giá trị phức tạp có ý nghĩa, nên sử dụng số học phức tạp để thu được giải pháp. Câu trả lời này cũng bao gồm một số cách được đề xuất để hiển thị dữ liệu và trình bày các sơ đồ chẩn đoán phù hợp.
Để đơn giản, hãy thảo luận về trường hợp hồi quy thông thường (đơn biến), có thể được viết
zj=β0+β1wj+εj.
Tôi đã tự do đặt tên biến độc lập và biến phụ thuộc , là thông thường (xem, ví dụ, Lars Ahlfors, Phân tích phức tạp ). Tất cả những điều tiếp theo là đơn giản để mở rộng đến cài đặt hồi quy bội.WZ
Diễn dịch
Mô hình này có một cách giải thích hình học dễ dàng hình dung: nhân bởi sẽ rescale bởi các mô đun của và xoay nó xung quanh nguồn gốc của các đối số của . Sau đó, thêm dịch kết quả theo số tiền này. Tác dụng của là "jitter" bản dịch đó một chút. Do đó, hồi quy trên theo cách này là một nỗ lực để hiểu bộ sưu tập các điểm 2D khi phát sinh từ một chòm sao các điểm 2Dβ1 wjβ1β1β0εjzjwj(zj)(wj)thông qua một chuyển đổi như vậy, cho phép một số lỗi trong quá trình. Điều này được minh họa dưới đây với hình có tiêu đề "Phù hợp như một sự chuyển đổi."
Lưu ý rằng việc thay đổi kích thước và xoay không chỉ là bất kỳ phép biến đổi tuyến tính nào của mặt phẳng: chẳng hạn, chúng loại trừ các phép biến đổi nghiêng. Do đó , mô hình này không giống như một hồi quy bội biến với bốn tham số.
Bình phương nhỏ nhất
Để kết nối trường hợp phức tạp với trường hợp thực tế, hãy viết
zj=xj+iyj cho các giá trị của biến phụ thuộc và
wj=uj+ivj cho các giá trị của biến độc lập.
Hơn nữa, đối với các tham số ghi
β0=γ0+iδ0 và . β1=γ1+iδ1
Tất cả một trong những thuật ngữ mới được giới thiệu là, tất nhiên, là thực và là tưởng tượng trong khi lập chỉ mục dữ liệu.i2=−1j=1,2,…,n
OLS tìm thấy và giúp giảm thiểu tổng bình phương sai lệch,β^0β^1
∑j=1n||zj−(β^0+β^1wj)||2=∑j=1n(z¯j−(β^0¯+β^1¯w¯j))(zj−(β^0+β^1wj)).
Về mặt hình thức, nó giống hệt với công thức ma trận thông thường: so sánh nó với Sự khác biệt duy nhất mà chúng tôi tìm thấy là sự hoán vị của ma trận thiết kế được thay thế bằng chuyển vị liên hợp . Do đó , giải pháp ma trận chính thức là(z−Xβ)′(z−Xβ).X′ X∗=X¯′
β^=(X∗X)−1X∗z.
Đồng thời, để xem những gì có thể được thực hiện bằng cách chuyển vấn đề này thành một vấn đề hoàn toàn có thể biến thực, chúng ta có thể viết mục tiêu OLS ra về các thành phần thực:
∑j=1n(xj−γ0−γ1uj+δ1vj)2+∑j=1n(yj−δ0−δ1uj−γ1vj)2.
Rõ ràng điều này đại diện cho hai hồi quy thực liên kết : một trong số đó hồi quy trên và , còn lại hồi quy trên và ; và chúng tôi yêu cầu hệ số cho là âm của hệ số đối và hệ số đối với bằng hệ số đối . Hơn nữa, vì tổng sốxuvyuvvxuyuxvybình phương của phần dư từ hai hồi quy sẽ được giảm thiểu, thông thường sẽ không phải là trường hợp một trong hai hệ số đưa ra ước tính tốt nhất cho riêng hoặc . Điều này được xác nhận trong ví dụ dưới đây, thực hiện hai hồi quy thực riêng biệt và so sánh các giải pháp của chúng với hồi quy phức tạp.xy
Phân tích này cho thấy rõ rằng việc viết lại hồi quy phức tạp theo các phần thực (1) làm phức tạp các công thức, (2) che khuất việc giải thích hình học đơn giản và (3) sẽ yêu cầu một hồi quy đa biến tổng quát (với các mối tương quan không cần thiết giữa các biến ) để giải quyết. Chúng ta có thể làm tốt hơn.
Thí dụ
Ví dụ, tôi lấy một lưới các giá trị tại các điểm tích phân gần gốc tọa độ trong mặt phẳng phức. Đối với các giá trị được chuyển đổi, được thêm vào các lỗi iid có phân phối Gaussian hai biến: đặc biệt, phần thực và phần ảo của các lỗi không độc lập.wwβ
Rất khó để vẽ biểu đồ phân tán thông thường của cho các biến phức tạp, bởi vì nó sẽ bao gồm các điểm theo bốn chiều. Thay vào đó, chúng ta có thể xem ma trận phân tán của phần thực và phần ảo của chúng.(wj,zj)
Bỏ qua sự phù hợp cho bây giờ và nhìn vào bốn hàng trên cùng và bốn cột bên trái: chúng hiển thị dữ liệu. Lưới tròn của hiển nhiên ở phía trên bên trái; nó có điểm. Các biểu đồ tán xạ của các thành phần của so với các thành phần của cho thấy mối tương quan rõ ràng. Ba trong số chúng có mối tương quan tiêu cực; chỉ có (phần ảo của ) và (phần thực của ) có mối tương quan dương.w81wzyzuw
Đối với những dữ liệu này, giá trị thực của là . Nó đại diện cho sự mở rộng và xoay ngược chiều kim đồng hồ 120 độ, sau đó dịch đơn vị sang trái và đơn vị lên. Tôi tính toán ba sự phù hợp: giải pháp bình phương tối thiểu phức tạp và hai giải pháp OLS cho và riêng biệt, để so sánh.β(−20+5i,−3/4+3/43–√i)3/2205(xj)(yj)
Fit Intercept Slope(s)
True -20 + 5 i -0.75 + 1.30 i
Complex -20.02 + 5.01 i -0.83 + 1.38 i
Real only -20.02 -0.75, -1.46
Imaginary only 5.01 1.30, -0.92
Sẽ luôn luôn là trường hợp mà phần chặn chỉ thực sự đồng ý với phần thực của phần chặn phức tạp và phần chặn chỉ tưởng tượng đồng ý với phần tưởng tượng cho phần chặn phức tạp. Tuy nhiên, rõ ràng là các sườn chỉ có thực và chỉ tưởng tượng không đồng ý với các hệ số độ dốc phức tạp cũng như với nhau, chính xác như dự đoán.
Chúng ta hãy xem xét kỹ hơn về kết quả của sự phù hợp phức tạp. Đầu tiên, một âm mưu của phần dư cho chúng ta một dấu hiệu của phân phối Gaussian bivariate của chúng. (Phân phối cơ bản có độ lệch chuẩn là và tương quan là ). đối với các giá trị được trang bị: âm mưu này sẽ trông giống như một sự phân phối ngẫu nhiên về kích thước và màu sắc.20.8
Cuối cùng, chúng ta có thể mô tả sự phù hợp theo nhiều cách. Sự phù hợp xuất hiện trong các hàng và cột cuối cùng của ma trận phân tán ( qv ) và có thể đáng xem xét kỹ hơn về điểm này. Bên dưới bên trái, các khớp nối được vẽ dưới dạng các vòng tròn và mũi tên màu xanh mở (đại diện cho phần dư) kết nối chúng với dữ liệu, được hiển thị dưới dạng các vòng tròn màu đỏ. Ở bên phải được hiển thị dưới dạng các vòng tròn màu đen mở với đầy màu sắc tương ứng với các đối số của chúng; chúng được kết nối bằng các mũi tên với các giá trị tương ứng của . Hãy nhớ lại rằng mỗi mũi tên biểu thị sự mở rộng xung quanh gốc tọa độ, xoay độ và dịch theo , cộng với lỗi Guassian bivariate.(wj)(zj)3/2120(−20,5)
Các kết quả này, các ô và các ô chẩn đoán đều cho thấy công thức hồi quy phức tạp hoạt động chính xác và đạt được một cái gì đó khác với các hồi quy tuyến tính riêng biệt của các phần thực và phần ảo của các biến.
Mã
Các Rmã để tạo ra các dữ liệu, ngất xỉu, và âm mưu xuất hiện bên dưới. Lưu ý rằng giải pháp thực tế của thu được trong một dòng mã. Công việc bổ sung - nhưng không quá nhiều - sẽ cần thiết để có được đầu ra bình phương nhỏ nhất thông thường: ma trận phương sai hiệp phương sai của sự phù hợp, lỗi tiêu chuẩn, giá trị p, v.v.β^
#
# Synthesize data.
# (1) the independent variable `w`.
#
w.max <- 5 # Max extent of the independent values
w <- expand.grid(seq(-w.max,w.max), seq(-w.max,w.max))
w <- complex(real=w[[1]], imaginary=w[[2]])
w <- w[Mod(w) <= w.max]
n <- length(w)
#
# (2) the dependent variable `z`.
#
beta <- c(-20+5i, complex(argument=2*pi/3, modulus=3/2))
sigma <- 2; rho <- 0.8 # Parameters of the error distribution
library(MASS) #mvrnorm
set.seed(17)
e <- mvrnorm(n, c(0,0), matrix(c(1,rho,rho,1)*sigma^2, 2))
e <- complex(real=e[,1], imaginary=e[,2])
z <- as.vector((X <- cbind(rep(1,n), w)) %*% beta + e)
#
# Fit the models.
#
print(beta, digits=3)
print(beta.hat <- solve(Conj(t(X)) %*% X, Conj(t(X)) %*% z), digits=3)
print(beta.r <- coef(lm(Re(z) ~ Re(w) + Im(w))), digits=3)
print(beta.i <- coef(lm(Im(z) ~ Re(w) + Im(w))), digits=3)
#
# Show some diagnostics.
#
par(mfrow=c(1,2))
res <- as.vector(z - X %*% beta.hat)
fit <- z - res
s <- sqrt(Re(mean(Conj(res)*res)))
col <- hsv((Arg(res)/pi + 1)/2, .8, .9)
size <- Mod(res) / s
plot(res, pch=16, cex=size, col=col, main="Residuals")
plot(Re(fit), Im(fit), pch=16, cex = size, col=col,
main="Residuals vs. Fitted")
plot(Re(c(z, fit)), Im(c(z, fit)), type="n",
main="Residuals as Fit --> Data", xlab="Real", ylab="Imaginary")
points(Re(fit), Im(fit), col="Blue")
points(Re(z), Im(z), pch=16, col="Red")
arrows(Re(fit), Im(fit), Re(z), Im(z), col="Gray", length=0.1)
col.w <- hsv((Arg(w)/pi + 1)/2, .8, .9)
plot(Re(c(w, z)), Im(c(w, z)), type="n",
main="Fit as a Transformation", xlab="Real", ylab="Imaginary")
points(Re(w), Im(w), pch=16, col=col.w)
points(Re(w), Im(w))
points(Re(z), Im(z), pch=16, col=col.w)
arrows(Re(w), Im(w), Re(z), Im(z), col="#00000030", length=0.1)
#
# Display the data.
#
par(mfrow=c(1,1))
pairs(cbind(w.Re=Re(w), w.Im=Im(w), z.Re=Re(z), z.Im=Im(z),
fit.Re=Re(fit), fit.Im=Im(fit)), cex=1/2)
