Là mọi ma trận hiệp phương sai xác định?


48

Tôi đoán câu trả lời là có, nhưng tôi vẫn cảm thấy có gì đó không đúng. Cần có một số kết quả chung trong tài liệu, bất cứ ai có thể giúp tôi?


2
Mỗi ma trận hiệp phương sai là Tích cực bán xác định. Điều đó có nghĩa là mọi ma trận hiệp phương sai phải có các giá trị riêng không âm. Nếu không có giá trị riêng nào bằng 0 thì ma trận hiệp phương sai cũng là một xác định dương.
kaka


4
@Jingjings: Tôi có thể thấy trong hồ sơ của bạn rằng bạn chưa bao giờ nêu lên hoặc chấp nhận bất kỳ câu trả lời nào; Điều này khá đáng chú ý khi bạn có rất nhiều câu hỏi hay với nhiều câu trả lời hay. Tôi đoán bạn không thực sự nhận thức được cách nó hoạt động. Ý tưởng là bạn nên nêu lên bất kỳ câu trả lời nào mà bạn thấy hữu ích và chấp nhận bất kỳ câu trả lời nào mà bạn nghĩ sẽ giải quyết vấn đề của bạn. Có vẻ như bạn có thể đưa ra rất nhiều câu trả lời và cũng chấp nhận một số trong số chúng.
amip nói rằng Tái lập Monica

Câu trả lời:


47

Không.

Hãy xem xét ba biến, , YZ = X + Y . Ma trận hiệp phương sai của họ, M , không phải là tích cực nhất định, kể từ khi có một vector z ( = ( 1 , 1 , - 1 ) ' ) mà z ' M z là không tích cực.XYZ=X+YMz=(1,1,1)zMz

Ma trận hiệp phương sai dân số là bán xác định dương.

(Xem tài sản 2 tại đây .)

Điều tương tự thường áp dụng cho ma trận hiệp phương sai của các mẫu hoàn chỉnh (không có giá trị thiếu), vì chúng cũng có thể được xem như là một dạng hiệp phương sai dân số rời rạc.

Tuy nhiên do tính không chính xác của các phép tính số dấu phẩy động, ngay cả các trường hợp xác định dương tính đại số đôi khi có thể được tính là không bán xác định dương; sự lựa chọn tốt của các thuật toán có thể giúp với điều này.

Tổng quát hơn, ma trận hiệp phương sai mẫu - tùy thuộc vào cách chúng xử lý các giá trị bị thiếu trong một số biến - có thể hoặc không thể là bán xác định dương, ngay cả trong lý thuyết. Ví dụ, nếu xóa cặp được sử dụng, thì không có gì đảm bảo tính bán chính xác dương. Hơn nữa, lỗi số tích lũy có thể gây ra ma trận hiệp phương sai mẫu nên không xác định bán cực dương là không xác định.

Thích như vậy:

 x <- rnorm(30)
 y <- rnorm(30) - x/10 # it doesn't matter for this if x and y are correlated or not
 z <- x+y
 M <- cov(data.frame(x=x,y=y,z=z))
 z <- rbind(1,1,-1)
 t(z)%*%M%*%z
              [,1]
[1,] -1.110223e-16

Điều này đã xảy ra với ví dụ đầu tiên tôi đã thử (có lẽ tôi nên cung cấp một hạt giống nhưng nó không quá hiếm đến nỗi bạn phải thử rất nhiều ví dụ trước khi bạn có được một hạt giống).

Kết quả đưa ra âm tính , mặc dù nó phải bằng đại số. Một bộ số khác nhau có thể mang lại số dương hoặc số "chính xác".

-

Ví dụ về sự thiếu hụt vừa phải dẫn đến mất tính bán chính xác dương thông qua việc xóa cặp:

z <- x + y + rnorm(30)/50  # same x and y as before.
xyz1 <- data.frame(x=x,y=y,z=z) # high correlation but definitely of full rank 

xyz1$x[sample(1:30,5)] <- NA   # make 5 x's missing  

xyz1$y[sample(1:30,5)] <- NA   # make 5 y's missing  

xyz1$z[sample(1:30,5)] <- NA   # make 5 z's missing  

cov(xyz1,use="pairwise")     # the individual pairwise covars are fine ...

           x          y        z
x  1.2107760 -0.2552947 1.255868
y -0.2552947  1.2728156 1.037446
z  1.2558683  1.0374456 2.367978

 chol(cov(xyz1,use="pairwise"))  # ... but leave the matrix not positive semi-definite

Error in chol.default(cov(xyz1, use = "pairwise")) : 
  the leading minor of order 3 is not positive definite

 chol(cov(xyz1,use="complete")) # but deleting even more rows leaves it PSD

          x          y          z
x 0.8760209 -0.2253484 0.64303448
y 0.0000000  1.1088741 1.11270078
z 0.0000000  0.0000000 0.01345364

1
+1: Nhưng như một nhận xét chủ yếu dành cho bạn từ ngữ: Khi bạn trình bày nó, có vẻ như PSD-ness không được đảm bảo trong trường hợp chung. Như thể hiện trong câu trả lời của sjm.majewski, bạn cần một trường hợp "bệnh lý" (thứ hạng không đầy đủ) và bạn kết thúc với vấn đề đó. (Tôi hoàn toàn đồng ý với nhận xét về số) Bạn có thể giải thích thêm một chút vấn đề về giá trị mà bạn thậm chí không thể đảm bảo PSD ngay cả khi bạn giải thích các lỗi số không? (Tôi cho rằng bạn không quan tâm đến sự thưa thớt của các phép đo, v.v. khi nói điều đó)
usεr11852 nói Rebstate Monic

2
Tất nhiên nó chỉ xảy ra khi nó không đủ thứ hạng (hoặc rất gần với nó). Nhìn vào định nghĩa của PSD (và đề cập đến @ sjm.majewski về mối quan hệ với phương sai), và điều này rất rõ ràng. Nhưng để định nghĩa nó là bệnh lý có vẻ kỳ quặc, vì những tình huống xếp hạng không đầy đủ này xảy ra mọi lúc trong thực tế. Đây không phải là phương pháp sư phạm đơn giản - nó ảnh hưởng đến các tập dữ liệu thực mỗi ngày và kết quả là tạo ra các câu hỏi thường xuyên ở đây. Tôi sẽ nói về sự mất tích và xóa cặp ở trên, bởi vì không có chỗ cho nó ở đây.
Glen_b

2
n<pn<p

27

i,j=1nyiyjCov(Xi,Xj)=Var(i=1nyiXi)0
yiXi

y1=1,y2=1,y3=1X1=X,X2=Y,X3=Z=X+Yi=13yiXi=00


Đẹp! Upvote;)
Một ông già ở biển.

Điều này nên là câu trả lời được chấp nhận. Câu hỏi chỉ hỏi về "ma trận hiệp phương sai" thường đề cập đến ma trận hiệp phương sai dân số của các biến ngẫu nhiên, không phải mẫu.
dùng3303

Tôi có thể hỏi công thức bạn sử dụng trong câu trả lời của bạn là gì không?
Aqqqq

Nếu bạn có nghĩa là công thức với phương sai và hiệp phương sai, thì bạn có thể lấy nó từ công thức tính bình phương của tổng (đó là bình phương của tổng bằng tổng sản phẩm cho tất cả các cặp).
sjm.majewski
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.