Ước lượng không thiên vị của ma trận hiệp phương sai cho dữ liệu bị kiểm duyệt nhân

Các phân tích hóa học của các mẫu môi trường thường được kiểm duyệt dưới đây ở các giới hạn báo cáo hoặc các giới hạn phát hiện / định lượng khác nhau. Cái sau có thể thay đổi, thường là tỷ lệ với các giá trị của các biến khác. Ví dụ, một mẫu có nồng độ cao của một hợp chất có thể cần phải được pha loãng để phân tích, dẫn đến lạm phát tỷ lệ giới hạn kiểm duyệt đối với tất cả các hợp chất khác được phân tích cùng lúc trong mẫu đó. Một ví dụ khác, đôi khi sự hiện diện của hợp chất có thể làm thay đổi phản ứng của phép thử đối với các hợp chất khác ("nhiễu ma trận"); khi điều này được phát hiện bởi phòng thí nghiệm, nó sẽ tăng giới hạn báo cáo tương ứng.

Tôi đang tìm kiếm một cách thực tế để ước tính toàn bộ ma trận phương sai hiệp phương sai cho các bộ dữ liệu đó, đặc biệt là khi nhiều hợp chất trải qua kiểm duyệt hơn 50%, thường là như vậy. Một mô hình phân phối thông thường là logarit của nồng độ (thật) được phân phối đa cấp và điều này có vẻ phù hợp trong thực tế, vì vậy một giải pháp cho tình huống này sẽ hữu ích.

(Theo "thực tế", ý tôi là một phương pháp có thể được mã hóa một cách đáng tin cậy trong ít nhất một môi trường phần mềm thường có sẵn như R, Python, SAS, v.v., theo cách thực thi đủ nhanh để hỗ trợ tính toán lặp lại như xảy ra trong nhiều lần liệt kê, và điều này khá ổn định [đó là lý do tại sao tôi không muốn khám phá việc triển khai BUGS, mặc dù các giải pháp Bayes nói chung đều được hoan nghênh].)

Rất cám ơn trước những suy nghĩ của bạn về vấn đề này.

Tôi chưa hoàn toàn nội tâm hóa vấn đề nhiễu ma trận nhưng đây là một cách tiếp cận. Để cho:

là một vectơ biểu thị nồng độ của tất cả các hợp chất mục tiêu trong mẫu không pha loãng.$Y$

là vectơ tương ứng trong mẫu pha loãng.$Z$

là hệ số pha loãng tức là mẫu được pha loãng d : 1.$d$$d$

Mô hình của chúng tôi là:

$Y \sim N(\mu,\Sigma)$

$Z = \frac{Y}{d} + \epsilon$

nơi đại diện cho các lỗi do lỗi pha loãng.$\epsilon \sim N(0,\sigma^2\ I)$

Do đó, nó theo sau:

$Z \sim N(\frac{\mu}{d}, \Sigma + \sigma^2\ I)$

$Z$$f_Z(.)$

$O$$\tau$$i^{th}$

$O_i = Z_i I(Z_i > \tau) + 0 I(Z_i \le \tau)$

$k$

$L(O_1, ... O_k, O_{k+1},...O_n |- ) = [\prod_{i=1}^{i=k}{Pr(Z_i \le \tau)}] [\prod_{i=k+1}^{i=n}{f(O_i |-)}]$

Ở đâu

$f(O_i |-) = \int_{j\neq i}{f_Z(O_i|-) I(O_i > \tau)}$

Ước tính sau đó là một vấn đề sử dụng khả năng tối đa hoặc ý tưởng bayes. Tôi không chắc làm thế nào dễ điều khiển ở trên nhưng tôi hy vọng nó cung cấp cho bạn một số ý tưởng.

Một lựa chọn hiệu quả hơn về mặt tính toán khác sẽ phù hợp với ma trận hiệp phương sai bằng cách khớp thời điểm bằng cách sử dụng một mô hình được gọi là "Gaussian nhị phân", thực sự chỉ là mô hình copula Gaussian.

Một bài báo gần đây của Macke et al 2010 mô tả một quy trình dạng đóng để phù hợp với mô hình này chỉ liên quan đến ma trận hiệp phương sai thực nghiệm (được kiểm duyệt) và tính toán một số xác suất thông thường. Cùng một nhóm (phòng thí nghiệm Bethge tại MPI Tuebingen) cũng đã mô tả các mô hình Gaussian rời rạc / liên tục có thể là những gì bạn muốn ở đây (ví dụ, vì RV Gaussian không hoàn toàn "phân đôi" - chỉ những mô hình dưới ngưỡng).

Quan trọng, đây không phải là công cụ ước tính ML và tôi e rằng tôi không biết thuộc tính thiên vị của nó là gì.

Có bao nhiêu hợp chất trong mẫu của bạn? (Hoặc, ma trận hiệp phương sai trong câu hỏi lớn đến mức nào?).

Alan Genz có một số mã rất hay trong nhiều ngôn ngữ (R, Matlab, Fortran; xem tại đây ) để tính toán các tích phân của mật độ thông thường đa biến trên các hình chữ nhật (ví dụ, các loại tích phân bạn cần để đánh giá khả năng, như đã lưu ý bởi người dùng28).

Tôi đã sử dụng các hàm này ("ADAPT" và "QSIMVN") cho các tích phân lên tới khoảng 10-12 kích thước và một số chức năng trên trang đó quảng cáo các tích phân (và các dẫn xuất liên quan mà bạn có thể cần) cho các vấn đề lên tới kích thước 100. Tôi không Sẽ không biết liệu đó có đủ kích thước cho mục đích của bạn hay không, nhưng nếu vậy có lẽ nó có thể cho phép bạn tìm ước tính khả năng tối đa theo độ dốc.