Một ma trận hiệp phương sai xác định không tích cực cho tôi biết gì về dữ liệu của tôi?

Tôi có một số quan sát đa biến và muốn đánh giá mật độ xác suất trên tất cả các biến. Giả định rằng dữ liệu được phân phối bình thường. Với số lượng biến số thấp, mọi thứ đều hoạt động như tôi mong đợi, nhưng việc chuyển sang số lượng lớn hơn dẫn đến ma trận hiệp phương sai trở nên không xác định.

Tôi đã giảm vấn đề trong Matlab thành:

load raw_data.mat; % matrix number-of-values x number of variables
Sigma = cov(data);
[R,err] = cholcov(Sigma, 0); % Test for pos-def done in mvnpdf.

Nếu err> 0 thì Sigma không dương xác định.

Có điều gì tôi có thể làm để đánh giá dữ liệu thử nghiệm của mình ở kích thước cao hơn không? Nó có cho tôi biết bất cứ điều gì hữu ích về dữ liệu của tôi không?

Tôi là một người mới bắt đầu trong lĩnh vực này vì vậy xin lỗi nếu tôi bỏ lỡ điều gì đó rõ ràng.

Ma trận hiệp phương sai không xác định dương vì nó là số ít. Điều đó có nghĩa là ít nhất một trong số các biến của bạn có thể được biểu thị dưới dạng kết hợp tuyến tính của các biến khác. Bạn không cần tất cả các biến vì giá trị của ít nhất một biến có thể được xác định từ một tập hợp con của các biến khác. Tôi sẽ đề nghị thêm các biến liên tục và kiểm tra ma trận hiệp phương sai ở mỗi bước. Nếu một biến mới tạo ra một điểm kỳ dị, hãy bỏ nó và đi đến biến tiếp theo. Cuối cùng, bạn nên có một tập hợp con các biến với ma trận hiệp phương sai xác định theo định hướng.

Đó là một kết quả hợp lệ. Ước tính cho thành phần đó của ma trận hiệp phương sai là 0, điều này rất có thể đúng! Nó có thể dẫn đến những khó khăn trong tính toán, nhưng một số thuật toán trong R (tôi không biết về Matlab) có thể xử lý việc này. Tôi không hiểu tại sao mọi người khó chịu về điều này và khăng khăng muốn phù hợp với các mô hình khác biệt hơn.

Một điểm mà tôi không nghĩ là đã giải quyết ở trên là có thể tính toán ma trận hiệp phương sai xác định không dương từ dữ liệu thực nghiệm ngay cả khi các biến của bạn không liên quan tuyến tính hoàn hảo. Nếu bạn không có đủ dữ liệu (đặc biệt nếu bạn đang cố gắng xây dựng ma trận hiệp phương sai chiều cao từ một loạt các so sánh theo cặp) hoặc nếu dữ liệu của bạn không tuân theo phân phối thông thường nhiều biến số, thì bạn có thể kết thúc bằng các mối quan hệ nghịch lý trong số các biến, chẳng hạn như cov (A, B)> 0; cov (A, C)> 0; cov (B, C) <0.

Trong trường hợp như vậy, người ta không thể phù hợp với PDF thông thường nhiều biến số, vì không có phân phối bình thường đa biến đáp ứng các tiêu chí này - cov (A, B)> 0 và cov (A, C)> 0 nhất thiết ngụ ý rằng cov (B, C )> 0.

Tất cả điều này là để nói, một ma trận xác định không tích cực không phải lúc nào cũng có nghĩa là bạn đang bao gồm các biến cộng tuyến. Nó cũng có thể gợi ý rằng bạn đang cố gắng mô hình hóa một mối quan hệ không thể đưa ra cấu trúc tham số mà bạn đã chọn.