Làm thế nào để bạn tìm thấy trọng số cho hồi quy bình phương nhỏ nhất có trọng số?

Tôi hơi lạc lõng trong quá trình hồi quy WLS. Tôi đã được cung cấp dữ liệu và nhiệm vụ của tôi là kiểm tra xem có sự không đồng nhất hay không, và nếu vậy tôi nên chạy hồi quy WLS.

Tôi đã thực hiện thử nghiệm và tìm thấy bằng chứng cho sự không đồng nhất, vì vậy tôi cần phải chạy WLS. Tôi đã được thông báo rằng về cơ bản, WLS là hồi quy OLS của một mô hình được chuyển đổi, nhưng tôi hơi bối rối về việc tìm hàm chuyển đổi. Tôi đã đọc một số bài báo gợi ý rằng phép biến đổi có thể là hàm của phần dư bình phương từ hồi quy OLS, nhưng tôi sẽ đánh giá cao Nếu ai đó có thể giúp tôi đi đúng hướng.

Hồi quy có trọng số bình phương nhỏ nhất (WLS) không phải là mô hình biến đổi. Thay vào đó, bạn chỉ đơn giản là xử lý từng quan sát như ít nhiều thông tin về mối quan hệ cơ bản giữa và . Những điểm có nhiều thông tin hơn sẽ được thêm "trọng lượng" và những điểm ít thông tin hơn sẽ được giảm trọng lượng. Bạn đúng rằng hồi quy bình phương nhỏ nhất (WLS) chỉ có giá trị về mặt kỹ thuật nếu các trọng số được biết là a-prori. $X$$Y$

Tuy nhiên, hồi quy tuyến tính (OLS) khá mạnh mẽ chống lại sự không đồng nhất và do đó, WLS cũng vậy nếu ước tính của bạn nằm trong sân bóng. Một nguyên tắc nhỏ cho hồi quy OLS là nó không bị ảnh hưởng quá nhiều bởi tính không đồng nhất miễn là phương sai tối đa không lớn hơn 4 lần phương sai tối thiểu. Ví dụ: nếu phương sai của phần dư / sai số tăng theo , thì bạn sẽ ổn nếu phương sai của phần dư ở mức cao hơn ít hơn bốn lần phương sai của phần dư ở mức thấp. Hàm ý của điều này là nếu trọng lượng của bạn đưa bạn vào trong phạm vi đó, bạn sẽ an toàn một cách hợp lý. Đó là một loại móng ngựa và lựu đạn cầm tay$X$tình hình. Kết quả là, bạn có thể cố gắng ước tính hàm liên quan đến phương sai của phần dư với các mức của các biến dự đoán của bạn.

Có một số vấn đề liên quan đến cách ước tính như vậy nên được thực hiện:

1. Hãy nhớ rằng các trọng số phải là đối ứng của phương sai (hoặc bất cứ điều gì bạn sử dụng).

2. Nếu dữ liệu của bạn chỉ xảy ra ở các mức riêng biệt , như trong một thử nghiệm hoặc ANOVA, thì bạn có thể ước tính phương sai trực tiếp ở mỗi cấp độ và sử dụng mức đó. Nếu các ước tính là các mức riêng biệt của một biến liên tục (ví dụ: 0 mg., 10 mg., 20 mg, v.v.), bạn có thể muốn làm mịn chúng, nhưng có lẽ nó sẽ không tạo ra nhiều khác biệt. $X$$X$

3. Ước tính phương sai, do bình phương, rất dễ bị ảnh hưởng bởi các ngoại lệ và / hoặc điểm đòn bẩy cao, mặc dù. Nếu dữ liệu của bạn không được phân phối đều trên hoặc bạn có tương đối ít dữ liệu, việc ước tính trực tiếp phương sai không được khuyến nghị. Tốt hơn là ước tính một cái gì đó được dự kiến ​​sẽ tương quan với phương sai, nhưng đó là mạnh mẽ hơn. Một lựa chọn phổ biến sẽ là sử dụng căn bậc hai của các giá trị tuyệt đối của độ lệch so với giá trị trung bình có điều kiện. (Ví dụ, trong R, sẽ hiển thị một phân tán của những chống lại , được gọi là một "âm mưu mức lây lan", để giúp bạn chẩn đoán các biến ngẫu nhiên tiềm năng; xem câu trả lời của tôi ở đây .) Thậm chí mạnh mẽ hơn có thể sử dụng khoảng tứ phân vị có điều kiện, hoặc điều kiện$X$plot(model, which=2)$X$độ lệch trung bình tuyệt đối so với trung vị .

4. Nếu là một biến liên tục, chiến lược điển hình là sử dụng một hồi quy OLS đơn giản để có được những dư, và một sau đó thoái của các chức năng trong [ 3 ] (hầu hết các gốc độ lệch tuyệt đối) vào . Giá trị dự đoán của hàm này được sử dụng cho trọng số liên quan đến điểm đó. $X$$X$

5. Lấy trọng lượng của bạn từ phần dư của hồi quy OLS là hợp lý vì OLS không thiên vị, ngay cả khi có sự không đồng nhất. Tuy nhiên, các trọng số đó phụ thuộc vào mô hình ban đầu và có thể thay đổi sự phù hợp của mô hình WLS tiếp theo. Vì vậy, bạn nên kiểm tra kết quả của mình bằng cách so sánh các betas ước tính từ hai hồi quy. Nếu chúng rất giống nhau, bạn ổn. Nếu các hệ số WLS phân kỳ từ các OLS, bạn nên sử dụng các ước tính của WLS để tính toán số dư theo cách thủ công (phần dư được báo cáo từ mức phù hợp của WLS sẽ tính đến trọng số). Sau khi tính toán một tập hợp dư mới, hãy xác định lại các trọng số và sử dụng các trọng số mới trong hồi quy WLS thứ hai. Quá trình này nên được lặp lại cho đến khi hai bộ betas ước tính đủ tương tự nhau (mặc dù việc này chỉ một lần là không phổ biến).

Nếu quá trình này khiến bạn hơi khó chịu, vì các trọng số được ước tính và vì chúng phụ thuộc vào mô hình không chính xác trước đó, một lựa chọn khác là sử dụng công cụ ước tính của Huber-White 'sandwich' . Điều này phù hợp ngay cả khi có sự không đồng nhất cho dù mức độ nghiêm trọng và nó không phụ thuộc vào mô hình. Nó cũng có khả năng ít rắc rối hơn.

Tôi trình bày một phiên bản đơn giản của bình phương tối thiểu có trọng số và việc sử dụng bánh sandwich SE trong câu trả lời của tôi ở đây: Các lựa chọn thay thế cho ANOVA một chiều cho dữ liệu không đồng nhất .

Khi thực hiện WLS, bạn cần biết trọng lượng. Có một số cách để tìm thấy chúng như đã nói ở trang 191 của Giới thiệu về Phân tích hồi quy tuyến tính của Douglas C. Montgomery, Elizabeth A. Peck, G. Geoffrey Vining. Ví dụ:

1. Kinh nghiệm hoặc thông tin trước khi sử dụng một số mô hình lý thuyết.
2. ${\rm var}(\varepsilon_i)=\sigma^2x_i$$w_i=1/x_i$
3. $n_i$$x_i$${\rm var}(y_i)={\rm var}(\varepsilon_i)=\sigma^2/n_i$$w_i=n_i$
4. Đôi khi chúng ta biết rằng các quan sát khác nhau đã được đo bằng các dụng cụ khác nhau có độ chính xác (đã biết hoặc ước tính). Trong trường hợp này, chúng tôi có thể quyết định sử dụng trọng số tỷ lệ nghịch với phương sai của sai số đo.