Làm thế nào để có được ma trận hiệp phương sai cho phù hợp với hồi quy bị ràng buộc?

Có một cách dễ dàng để có được hiệp phương sai của các tham số từ một hồi quy phù hợp bị ràng buộc không?

Tôi đang sử dụng chức năng PCLS trong gói MGCV trong R để phù hợp với hồi quy bị ràng buộc, tuy nhiên tôi mở cho các phương pháp khác. Hạn chế mà tôi áp đặt là các hệ số phải dương.

regression covariance

— Glen
nguồn

Mẫu của bạn lớn cỡ nào?

— Jbowman

Bạn có lo ngại rằng ma trận hiệp phương sai không chắc là một mô tả hữu ích về độ không đảm bảo của tham số cho bất kỳ ước tính nào tại hoặc gần với các ràng buộc không?

— whuber

Mẫu là khoảng 500. @whuber Có đó là một mối quan tâm. Và vì tôi biết một số ước tính sẽ gần với các ràng buộc, nó thậm chí có thể không có ý nghĩa khi nghĩ về một ma trận hiệp phương sai. Tuy nhiên, vì hàm PCLS thực hiện một số quy trình tối ưu hóa, bạn sẽ nghĩ rằng bạn có thể nhận được ma trận Hessian, sẽ cung cấp một số thông tin.

— Glen

@whuber Trong các ràng buộc không âm, tôi sẽ tính ma trận hiệp phương sai này trên các hệ số ước tính của bootstrap chỉ là khác không ... Tức là sử dụng betahat = bootout $ t; betahat [betahat == 0] = NA # bỏ qua các số không vì chúng ở ranh giới ràng buộc; vcov = cov (betahat, use = "cặpwise.complete.obs"); SEs = sqrt (diag (vcov)) - đây sẽ là một mô tả tốt hơn về các tham số ước tính trong các ràng buộc không âm. Nếu bạn sẽ mô phỏng từ ma trận vcov này, bạn chỉ cần đặt giá trị âm thành 0 sau đó.

— Tom Wenseleers

@Tom Cảm ơn bạn. Mối quan tâm của tôi được thúc đẩy bởi ý nghĩ rằng ma trận hiệp phương sai có thể là một mô tả kém về phân phối lấy mẫu hoàn toàn, do các ràng buộc biên. Có lẽ, sau đó, việc sử dụng bootstrap hoặc quy trình lấy mẫu khác tốt hơn sẽ không phải là ước tính ma trận hiệp phương sai mà là nghiên cứu phân phối các ước tính tham số trực tiếp.

— whuber

Đầu tiên tôi sẽ đi với bootstrap rất đơn giản.

Về cơ bản một cái gì đó như sau:

Tạo một tập dữ liệu mới bằng cách lấy mẫu lại các cặp . $(x,y)$
Chạy hồi quy trên tập hợp dữ liệu mới này và bạn sẽ nhận được một số thông số . $\hat \beta$
Lặp lại 1 và 2 nhiều lần nhất có thể. Bây giờ bạn sẽ có một bộ lớn của $\hat \beta$
Bây giờ chỉ cần lấy hiệp phương sai mẫu của bạn . $\hat \beta$
Làm xong

— CarrKnight
nguồn

Đây là những gì tôi đã suy nghĩ. Bạn có thể xây dựng một chút của bước 1 mặc dù? Lấy mẫu lại với sự thay thế? Hoặc là...?

— Macro

(x, y) = {(1, 1); (1, 2); (1, 3)}

$(x,y) = \{(1,1);(1,2);(1,3)\}$

(1, 3); (1, 3); (1, 1)

$(1,3);(1,3);(1,1)$

X

$X$

Y

$Y$

Tôi đã đọc rất nhiều về bootstrap nhưng tôi chưa bao giờ nghe thuật ngữ vanilla bootstrap. Có lẽ nó tương đương với những gì được gọi là bootstrap bình thường hoặc ngây thơ. Theo như các cặp bootstrap và phần dư bootstrapping, các cặp bootstrapping đơn giản hơn nhưng bạn có ý nghĩa gì bởi thuyết bất khả tri (không phụ thuộc nhiều vào mô hình?)?

— Michael R. Chernick

@MichaelCécick: Vanilla là một thuật ngữ thông tục cho phiên bản "thông thường", "thông thường" hoặc "đơn giản" của một cái gì đó.

— Đức hồng y

@MichaelCécick: Tôi không chắc có bao nhiêu chủ nghĩa thông tục trong khu vực sử dụng vanilla . (Tôi đoán rằng bạn có thể đã nghe thấy nó.) Dù sao đi nữa, ý tôi là (nhưng không nói rõ ràng lắm) là tôi gần như tích cực, CarrKnight đã không sử dụng thuật ngữ này theo một cách cụ thể nào đó. :)

— Đức hồng y