Định nghĩa trọng số bình phương nhỏ nhất có trọng số: Hàm R lm so với

Bất cứ ai có thể cho tôi biết lý do tại sao tôi nhận được kết quả khác nhau từ Rbình phương nhỏ nhất và giải pháp thủ công bằng cách vận hành ma trận ?

Cụ thể, tôi đang cố gắng tự giải quyết , trong đó là ma trận đường chéo trên trọng số, là ma trận dữ liệu, là phản hồi dữ liệu vectơ. $\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf b$ $\mathbf W$ $\mathbf A$ $\mathbf b$

Tôi đang cố gắng so sánh kết quả với R lmhàm bằng cách sử dụng weightsđối số.

— Haitao Du
nguồn

Tôi đã chỉnh sửa thẻ: đây chắc chắn không phải là [tự học]. Nó cũng không thực sự về GLS (nhưng về một trường hợp rất đặc biệt), vì vậy tôi cũng loại bỏ nó.

— amip

Như bạn có thể thấy từ các biểu thức toán học cho các tính toán của mình, bạn đang thu được

((W A)^{'} (W A))^{- 1} ((W A)^{'} (W b)) = (A^{'} W^{2} A)^{- 1} (A^{'} W^{2} b) .

$((WA)^\prime (WA))^{-1} \; ((WA)^\prime (Wb)) = (A^\prime W^2 A)^{-1} (A^\prime W^2 b).$

Rõ ràng trọng lượng của bạn là , không . Vì vậy, bạn nên so sánh câu trả lời của bạn với đầu ra của $W^2$ $W$

> lm(form, mtcars, weights=w^2)
Coefficients:
      wt        hp      disp  
14.12980   0.08391  -0.16446

Thỏa thuận này là hoàn hảo (trong phạm vi lỗi dấu phẩy động - bên trong, Rsử dụng thuật toán ổn định hơn về số lượng.)

— whuber
nguồn

Có thể cho rằng, chúng ta chỉ nói về các quy ước phần mềm ở đây: nơi phần mềm mong đợi "trọng lượng", nó có muốn bạn đưa ra hoặc không? Tôi nghĩ rằng đây là một câu hỏi có giá trị vì vấn đề có thể ảnh hưởng đến bất kỳ gói thống kê nào. Bất kể các quy ước, phân tích ngắn gọn trong câu trả lời này cho thấy những cách giải thích khác về "trọng lượng" có thể hợp lý và đáng để thử nghiệm trong mọi trường hợp.

W

$W$

W^{2}

$W^2$

— whuber

Vâng, tôi nghĩ nó thật khó hiểu, tôi đã nhận được biểu thức từ cuốn sách đại số tuyến tính của Gilbert Strang Chương 8.6, trong đó ông nói rằng bình phương nhỏ nhất có trọng số chỉ là một sự điều chỉnh từ đến

A x = b

$Ax=b$

W A x = W b

$WAx=Wb$

— Haitao Du

Strang là chính xác, nhưng anh ta có định hướng sư phạm ngược: anh ta bắt đầu với câu trả lời hơn là vấn đề. Vấn đề liên quan đến cách thực hiện tương tự của thủ tục bình phương nhỏ nhất khi phương sai của phần dư đã biết, nhưng khác nhau , các giá trị. Đối với các lý do lý thuyết khác nhau (nhưng đơn giản), dữ liệu nên được cân nhắc bởi các phương sai nghịch đảo (đôi khi được gọi là "các phần"). Từ đó người ta có thể hiểu rằng phải là căn bậc hai của các trọng số.

W

$W$

— whuber