Tạo dữ liệu với ma trận hiệp phương sai mẫu đã cho

Đưa ra ma trận hiệp phương sai , làm thế nào để tạo dữ liệu sao cho ma trận hiệp phương sai mẫu \ hat {\ boldsymbol \ Sigma} = \ boldsymbol \ Sigma_s ?Σ = Σ $\boldsymbol \Sigma_s$$\hat{\boldsymbol \Sigma} = \boldsymbol \Sigma_s$

Tổng quát hơn: chúng ta thường quan tâm đến việc tạo dữ liệu từ mật độ $f(x \vert \boldsymbol\theta)$ , với dữ liệu $x$ được cung cấp một số tham số vector $\boldsymbol\theta$ . Điều này dẫn đến một mẫu, từ đó chúng ta có thể ước tính lại một giá trị $\boldsymbol{\hat\theta}$ . Điều tôi quan tâm là vấn đề ngược lại: Điều gì sẽ xảy ra nếu chúng ta được cung cấp một bộ tham số $\boldsymbol\theta_{s}$ và chúng tôi muốn tạo một mẫu $x$ như vậy, đó là $\boldsymbol{\hat\theta} = \boldsymbol\theta_{s}$ .

Đây có phải là một vấn đề được biết đến? Là một phương pháp hữu ích? Các thuật toán có sẵn?

Có hai tình huống điển hình khác nhau cho các loại vấn đề này:

i) bạn muốn tạo một mẫu từ một phân phối nhất định có các đặc điểm dân số khớp với các mẫu được chỉ định (nhưng do biến thể lấy mẫu, bạn không có các đặc điểm mẫu khớp chính xác).

ii) bạn muốn tạo một mẫu có các đặc điểm mẫu khớp với các mẫu được chỉ định (nhưng, do các ràng buộc của số lượng mẫu phù hợp chính xác với một bộ giá trị được chỉ định trước, không thực sự đến từ phân phối bạn muốn).

Bạn muốn trường hợp thứ hai - nhưng bạn có được nó bằng cách làm theo cách tiếp cận tương tự như trường hợp thứ nhất, với một bước tiêu chuẩn hóa bổ sung.

Vì vậy, đối với các quy tắc đa biến, có thể được thực hiện theo cách khá đơn giản:

Với trường hợp đầu tiên, bạn có thể sử dụng các quy tắc ngẫu nhiên mà không có cấu trúc dân số (chẳng hạn như tiêu chuẩn iid bình thường có kỳ vọng 0 và ma trận hiệp phương sai danh tính) và sau đó áp dụng nó - biến đổi để có được ma trận hiệp phương sai và có nghĩa là bạn muốn. Nếu và là trung bình dân số và hiệp phương sai bạn cần và là iid chuẩn bình thường, bạn tính , đối với một số trong đó (ví dụ: phù hợp có thể thu được thông qua phân tách Cholesky) . Sau đó có các đặc điểm dân số mong muốn.Σ z y = L z + μ L L L ′ = Σ L $\mu$$\Sigma$$z$$y=Lz+\mu$$L$$LL'=\Sigma$$L$$y$

Với thứ hai, trước tiên bạn phải chuyển đổi normals ngẫu nhiên của bạn để loại bỏ ngay cả những sự thay đổi ngẫu nhiên ra khỏi giá trị trung bình và bản sắc hiệp phương sai không (làm cho không có ý nghĩa mẫu và hiệp phương sai mẫu ), sau đó tiến hành như trước đây. Nhưng bước ban đầu đó để loại bỏ độ lệch mẫu khỏi giá trị trung bình chính xác , phương sai cản trở phân phối. (Trong các mẫu nhỏ, nó có thể khá nghiêm trọng.) 0 $I_n$$0$$I$

Điều này có thể được thực hiện bằng cách trừ trung bình mẫu của ( ) và tính toán phân tách Cholesky của . Nếu là hệ số Cholesky bên trái, thì nên có giá trị trung bình mẫu 0 và hiệp phương sai mẫu. Sau đó, bạn có thể tính và có một mẫu với các khoảnh khắc mẫu mong muốn. (Tùy thuộc vào cách xác định số lượng mẫu của bạn, có thể có thêm một câu đố nhỏ liên quan đến nhân / chia theo các yếu tố như , nhưng đủ dễ để xác định nhu cầu đó.)z * = z - ˉ z z * L * z ( 0 ) = ( L * ) - 1 z * y = L z ( 0 ) + L $z$$z^*=z-\bar z$$z^*$$L^*$$z^{(0)}=(L^*)^{-1}z^*$$y=Lz^{(0)}+\mu$$\sqrt{\frac{n-1}{n}}$

@Glen_b đã đưa ra một câu trả lời tốt (+1), mà tôi muốn minh họa bằng một số mã.

$n$$d$$\boldsymbol \Sigma$$\mathrm{chol}(\boldsymbol \Sigma)$

n = 100;
d = 2;
Sigma = [ 1    0.7  ; ...
          0.7   1   ];
rng(42)
X = randn(n, d) * chol(Sigma);

$\boldsymbol \Sigma$cov(X)

1.0690    0.7296
0.7296    1.0720

Làm cách nào để tạo dữ liệu với ma trận mẫu hoặc ma trận hiệp phương sai được chỉ định trước ?

$\mathbf I$$\mathrm{chol}(\boldsymbol \Sigma)$

Đây là phần tiếp theo của ví dụ Matlab của tôi:

X = randn(n, d);
X = bsxfun(@minus, X, mean(X));
X = X * inv(chol(cov(X)));
X = X * chol(Sigma);

Bây giờ cov(X), theo yêu cầu, trả về

1.0000    0.7000
0.7000    1.0000