Phân phối giá trị bản địa đã cho

Tôi quen với việc sử dụng những hiểu biết sâu sắc từ Lý thuyết ma trận ngẫu nhiên để xác định số lượng các thành phần chính từ PCA của ma trận hiệp phương sai / tương quan được sử dụng để hình thành các yếu tố.

Nếu giá trị riêng liên quan đến PC đầu tiên lớn, thì điều đó có nghĩa là các giá trị riêng còn lại phải nhỏ (vì tổng giá trị riêng phải bằng dấu vết của ma trận tương quan). Khi PC đầu tiên đủ lớn, do đó có thể tất cả các giá trị bản địa này nằm dưới giới hạn dưới của bản phân phối Marcenko-Pastur. Điều này có ý nghĩa rằng chúng thấp không phải vì cơ hội ngẫu nhiên, mà vì giá trị riêng đầu tiên rất lớn. Tuy nhiên, điều đó không có nghĩa là chúng chứa thông tin quan trọng. Thay vào đó, sẽ hợp lý hơn khi đặt câu hỏi "với PC đầu tiên là một số lượng lớn, việc phân phối các giá trị bản địa còn lại sẽ như thế nào nếu dữ liệu ngẫu nhiên chịu trách nhiệm cho chúng?"

Có nghiên cứu nào giải quyết vấn đề này? Nếu có thể có được phân phối Marcenko-Pastur có điều kiện khi biết một hoặc nhiều giá trị bản địa, thì có thể tiến hành lặp đi lặp lại để xác định xem các yếu tố có phản ánh thông tin quan trọng hay không.

— John
nguồn

Bạn đang nói về dữ liệu ngẫu nhiên một yếu tố (hình cầu ngẫu nhiên)?

— ttnphns

e i g (Σ (I - β β^{'})^{'} (I - β β^{'}))

$eig(\Sigma(I-\beta\beta')'(I-\beta\beta'))$

β

$\beta$

n

$n$

\tilde{λ} \pm = (1 + \frac{1}{Q} \pm 2 \sqrt{\frac{1}{Q}}) (\sum_{i = 1}^{n} λ_{i} - \sum_{j = 1}^{J} λ_{j}) / n

$\widetilde{\lambda}\pm=\left(1+\frac{1}{Q}\pm2\sqrt{\frac{1}{Q}}\right)\left( \sum_{i=1}^{n}\lambda_{i}-\sum_{j=1}^{J}\lambda_{j}\right)/n$

Đây là một tài liệu về vấn đề của bạn: http://math.nyu.edu/facemony/avellane/LalouxPCA.pdf

Ý tưởng rất đơn giản, bạn tính toán phân phối Marcenko-Pastur với phương sai được sửa đổi của các phần tử của ma trận. Phương sai được sửa đổi chỉ đơn giản tương ứng với phương sai được giải thích bởi giá trị riêng khác so với phương sai đầu tiên.

$\sigma^2$ $(\sum_{i=1}^{n}\lambda_{i}-\sum_{j=1}^{J}\lambda_{j})/n$ $J$ $\sigma^2$ $\frac{1-\lambda_{1}}{n}$

ρ^{'} (λ) = \frac{n Q}{2 π (1 - λ_{1})} (\frac{\sqrt{(λ_{m a x} - λ) (λ - λ_{m i n})}}{λ})

$\rho'(\lambda)= \frac{nQ}{2\pi(1-\lambda_{1})}(\frac{\sqrt{(\lambda_{max}-\lambda)(\lambda-\lambda_{min})}}{\lambda})$

Với:

λ_{m i n / m a x} = \frac{n}{(1 - λ_{1})} (1 + \frac{1}{Q} \pm 2 \sqrt{\frac{1}{Q}})

$\lambda_{min/max}= \frac{n}{(1-\lambda_{1})}(1+\frac{1}{Q}\pm2\sqrt{\frac{1}{Q}})$

Vì có thể có nhiều thông tin trong ma trận của bạn hơn là chỉ một giá trị riêng và tiếng ồn lớn, bạn sẽ quan sát thấy một số khác biệt. Ví dụ trong các nghiên cứu tương quan thị trường, chúng ta có thể quan sát sự rò rỉ các giá trị bản địa bằng cạnh trên của phổ. (Nó tương ứng với các lĩnh vực tài chính).

$\sigma^2$

Để biết thêm thông tin về các kỹ thuật và tài liệu tham khảo hữu ích, bạn có thể xem tại: http://arxiv.org/abs/physics/0507111

— lcrmorin
nguồn

Công thức này cũng cần sửa lại Q vì số lượng cột đã giảm đi 1.

— Rohit Arora