Hồi quy lượng tử so với OLS cho đồng đẳng


8

Tôi có một câu hỏi về hệ số độ dốc của OLS so với câu hỏi về Hồi quy lượng tử, khi phải đối mặt với các điều khoản lỗi homoscedastic. Mô hình dân số có thể trông như sau:

yi=β0+β1xi+ui

với là iid điều khoản lỗi. Hệ số độ dốc ước tính hội tụ đến cùng một giá trị cho OLS và cho QR cho các lượng tử khác nhau? Trong khi các ước tính mẫu có thể khác với nhau.uiβ^1β1β^1

Xem xét sự hội tụ của các công cụ ước tính QR, tôi biết rằng trong sự hiện diện của đồng đẳng, tất cả các tham số độ dốc cho các hồi quy lượng tử khác nhau sẽ hội tụ đến cùng một giá trị (như được hiển thị bởi Koenker 2005: 12). Nhưng tôi chỉ không chắc chắn sự hội tụ của hệ số OLS sẽ so sánh như thế nào với hệ số QR trung bình (LAD) . Có bằng chứng nào cho thấy cả hai sẽ hội tụ đến cùng một giá trị không? Trực giác của tôi nói với tôi điều này nên là trường hợp.β1β1(0.5)

Câu trả lời có lẽ nằm ở chức năng mất cho OLS và QR. OLS giảm thiểu số dư bình phương, trong khi QR (đối với trung vị) giảm thiểu độ lệch tuyệt đối. Do đó, khi các lỗi được bình phương, OLS đặt trọng số lên các ngoại lệ trái ngược với QR. Nhưng trong trường hợp đồng nhất, không nên bỏ qua nhau vì các lỗi tích cực có thể giống như các lỗi âm, biểu hiện OLS và độ dốc QR trung bình tương đương (ít nhất là về mặt hội tụ)?

Cập nhật
Để kiểm tra dự đoán rằng đối với đồng đẳng, các hệ số độ dốc cho các lượng tử khác nhau là tương đương, tôi đã chạy thử nghiệm ở stata. Điều này được thực hiện chỉ để xác nhận kết quả của Koenker (2005) đã đề cập trước đó. Câu hỏi ban đầu liên quan đến sự hội tụ của OLS so với QR. Tôi đã tạo n = 2000 quan sát với Stata thông qua:

set obs 2000  
set seed 98034  
generate u = rnormal(0,8)  
generate x = runiform(0,50)
generate y = 1 + x + u

Đối với mẫu này, tôi đã thực hiện hồi quy QR cho các lượng tử (0,10, 0,50, 0,90) và sau đó kiểm tra giả thuyết chung rằng hệ số độ dốc của ba lượng tử là giống hệt nhau, nghĩa là:

H0:β1(0.1)=β1(0.5)=β1(0.9)

Đây là mã stata tương ứng:

sqreg y x, quantile(.1, .5, .9) reps(400)
test [q10=q50=q90]: x

Bằng chứng là quá sức, H0 rất có thể không bị từ chối. Đầu ra cho bài kiểm tra Wald:

F(  2,  1998) =    0.79
Prob > F =    0.4524

Điều này khẳng định lại suy nghĩ của tôi, nhưng nó không cung cấp bất kỳ hướng dẫn lý thuyết nào về việc liệu điều này có nên luôn được mong đợi hay không.


Tôi bối rối bởi công thức vấn đề của bạn. Các ước tính điểm là khác nhau, thời gian. Tuy nhiên, các công cụ ước tính là nhất quán, vì vậy chúng hội tụ trong các mẫu lớn hơn bao giờ hết. Bây giờ ý nghĩa của bài kiểm tra giả thuyết của bạn có ý nghĩa gì? Bạn đang kiểm tra xem các ước tính (một số chức năng của dữ liệu mẫu ) bằng cách nào đó không thể phân biệt được. Nhưng thông thường, chúng tôi đang thử nghiệm giả thuyết về các thông số dân số. Chúng tôi đã biết mọi thứ về mẫu khi chúng tôi quan sát từng điểm dữ liệu trong đó. Tôi không nhận được những gì bạn đang cố gắng để đạt được.
Richard Hardy

1
Cảm ơn lời nhận xét của bạn, câu hỏi của tôi thực sự thiếu một chút rõ ràng. Bây giờ tôi đã thêm sự nhấn mạnh về sự hội tụ cho câu hỏi.
Lá Tartan

Nhưng trong bao xa thì ý nghĩa của bài kiểm tra giả thuyết không rõ ràng? Nếu các hệ số độ dốc cho QR cho các lượng tử khác nhau sẽ hội tụ đến cùng một giá trị, thì điều này có nên dẫn đến độ lệch không đáng kể so với tham số độ dốc lẫn nhau không? Điều này được xác nhận bởi bài kiểm tra Wald? Tuy nhiên, xin lưu ý rằng đây thực sự chỉ là một sidetrack, vì câu hỏi ban đầu của tôi sẽ liên quan đến sự hội tụ của QR so với sự hội tụ của OLS.
Lá Tartan

Tôi đang cố gắng nói rằng giả thuyết khống của bạn không có ý nghĩa gì, ít nhất là đối với tôi. Bạn có thể viết nó ra một cách rõ ràng? Về sự hội tụ đến cùng một giá trị, điều này đã có trong câu trả lời của tôi. Lưu ý rằng nếu hai công cụ ước tính khác nhau thống nhất, chúng sẽ hội tụ đến cùng một giá trị. Nếu chúng hội tụ đến các giá trị khác nhau, ít nhất một trong số chúng sẽ không nhất quán.
Richard Hardy

Tôi đã viết xuống H0 một cách rõ ràng bây giờ. Làm thế nào chắc chắn là bạn, rằng LAD và OLS sẽ hội tụ đến cùng một giá trị? Bạn viết trong câu trả lời của bạn rằng "bạn đoán" họ sẽ làm.
Lá Tartan

Câu trả lời:


5

Hệ số độ dốc ước tính luôn giống nhau đối với OLS và đối với QR đối với các lượng tử khác nhau?β1

Tất nhiên là không, bởi vì hàm mất mát theo kinh nghiệm được giảm thiểu khác nhau trong các trường hợp khác nhau này (OLS so với QR cho các lượng tử khác nhau).

Tôi nhận thức rõ rằng trong sự hiện diện của đồng đẳng, tất cả các tham số độ dốc cho các hồi quy lượng tử khác nhau sẽ giống nhau và các mô hình QR sẽ chỉ khác nhau trong phần chặn.

Không, không phải trong các mẫu hữu hạn. Dưới đây là một ví dụ được lấy từ các tệp trợ giúp của gói "quantreg" trong R:

library(quantreg)
data(stackloss)
rq(stack.loss ~ stack.x,tau=0.50) #median (l1) regression fit for the stackloss data.
rq(stack.loss ~ stack.x,tau=0.25) #the 1st quartile

Tuy nhiên, không có triệu chứng tất cả chúng sẽ hội tụ đến cùng một giá trị thực.

Nhưng trong trường hợp đồng nhất, không nên bỏ qua nhau vì các lỗi tích cực có thể giống như các lỗi âm, khiến OLS và độ dốc QR trung bình tương đương?

Không. Đầu tiên, tính đối xứng hoàn hảo của các lỗi không được đảm bảo trong bất kỳ mẫu hữu hạn nào. Thứ hai, việc giảm thiểu tổng bình phương so với giá trị tuyệt đối nói chung sẽ dẫn đến các giá trị khác nhau ngay cả đối với các lỗi đối xứng.


Tôi nhận được từ nhận xét của bạn về tầm quan trọng của việc phân biệt giữa các đặc tính mẫu hội tụ và hữu hạn. Tuy nhiên, liên quan đến phần 2 của câu trả lời của bạn, có 2 điều không rõ ràng với tôi. Đầu tiên, tôi khá chắc chắn rằng các tham số độ dốc cho các hồi quy lượng tử khác nhau dưới độ đồng nhất thực sự phải bằng nhau. Tôi lấy sự chắc chắn này từ Koenker (2005: 12), người lưu ý về chính xác mô hình giống như tôi đã trình bày: "các hàm lượng tử chỉ đơn giản là sự dịch chuyển dọc của nhau và ước tính các tham số dân số . " β^(τ)(β0+F1(τ),β1)
Lá Tartan

Thứ hai, liên quan đến sự tương đương của các hệ số QR và OLS. Bạn có nói rằng OLS và LAD sẽ hội tụ một cách bất chính với cùng một giá trị thực, với điều kiện chúng ta có tính đồng nhất? Vì vậy, trong các mẫu hữu hạn, 2 có thể không tương đương, nhưng đối với các cỡ mẫu hội tụ đến vô cùng thì 2 thực sự tương đương, một lần nữa theo giả định về tính đồng nhất?
Lá Tartan

@TartanLeaves, Về nhận xét số 1: hãy thử ước tính hai hồi quy lượng tử trên cùng một tập dữ liệu nhưng đối với các lượng tử khác nhau, và bạn sẽ thấy rằng các ước tính kết quả là khác nhau. Điều này rất dễ làm. Về nhận xét # 2: Có. Nói cách khác, cả hai đều phù hợp, nhưng chúng sẽ khác nhau trong các mẫu hữu hạn.
Richard Hardy

@TartanLeaves, tôi đã chỉnh sửa câu trả lời của mình để đưa vào một ví dụ.
Richard Hardy

Tôi đã chỉnh sửa câu hỏi ban đầu của mình để bao gồm một kết quả stata. Thật ra tôi đã chạy thử nghiệm ngày hôm qua rồi.
Lá Tartan

1

Nói chung, câu trả lời là có, ít nhất là cho hồi quy của Theil, đây là trường hợp đặc biệt của QR. Công cụ ước tính độ dốc cho hồi quy của Theil là một công cụ ước tính không thiên vị về độ dốc dân số. Nếu tất cả các yêu cầu cho OLS được đáp ứng, thì nó có hiệu suất tương đối 85%. Có một số trường hợp nhất định trong đó nó trở nên hiệu quả hơn bình phương tối thiểu trên cơ sở tương đối.

Ngoài ra, nếu bạn không ngồi xung quanh với một lượng dữ liệu vô hạn, mà thay vào đó là một mẫu nhỏ, có nhiều nơi thích hợp hơn. Xiên và cắt bớt bằng cách không cho phép các giá trị âm có thể có tác động mạnh mẽ đến OLS và không ảnh hưởng gì đến phương pháp của Theil.


Làm thế nào là hiệu quả tương đối được xác định? Là tỷ lệ phương sai tiệm cận của người ước lượng? Nó không phụ thuộc vào phân phối lỗi (không có gì trong "yêu cầu đối với OLS" chỉ định phân phối lỗi)? (Ví dụ: hiệu quả tương đối của QR với OLS không phụ thuộc vào phân phối lỗi.) Ngoài ra, hồi quy của Theil có thực sự là một trường hợp đặc biệt của QR không? (Bạn có tham khảo không?)
Richard Hardy

Tôi vừa di chuyển và chôn cất ở đâu đó tôi có các bài báo gốc của cả Theil và Pranab Sen. Tôi cũng có các sách giáo khoa miễn phí không tham số và phân phối được chôn trong các hộp. Theil đã viết bốn bài báo được kết hợp thành hai siêu bài viết là một phần của thủ tục hội nghị, trong đó, nếu bộ nhớ phục vụ cho tôi, Viện hàn lâm Khoa học Hoàng gia ở Đan Mạch hoặc Hà Lan. Anh ta cũng không thực sự có mặt, một người nào đó đã trình bày cho anh ta khi anh ta phải vắng mặt. Pranab Sen đang viết nói chung về các công cụ ước tính dựa trên trung vị. Tôi tin rằng Theil là vào năm 1950 và Sen là vào năm 1968. Ông ấy đã ở JASA hoặc Eclometrica.
Dave Harris

Là một trường hợp hạn chế của hồi quy lượng tử, nó xuất phát từ một cuốn sách đỏ tôi có về các phương pháp phân phối miễn phí. Nó có đồ thị màu trắng ở bìa trước. Đó không phải là công việc của Kendall. Nó có thể là bởi Sprent. Trong trường hợp 85%, nó giả định tính bình thường hoàn hảo. Đó là từ các bản phân phối khác nhau của Sen. kết thúc với hiệu quả tương đối khác nhau. Tôi tin rằng đó là tỷ lệ của phương sai tiệm cận.
Dave Harris

Xin lỗi, tôi có một bộ nhớ kỳ lạ cho mọi thứ. Tôi thậm chí có thể nói với bạn một trong những phương pháp không tham số khác được bảo hiểm bởi Sen, nhưng không phải là phương pháp khác. Tôi không thể cho bạn biết hộp nào trong tầng hầm của tôi chưa được mở mà nó đang ở. Tôi nhớ bìa album, nhưng không phải tên nhóm hoặc bài hát. Hoặc tôi nhớ lời bài hát nhưng không thể nhớ ai đã hát bài hát này. Khi hộp của tôi được giải nén, tôi sẽ cố gắng và nhớ quay lại bài đăng này và cập nhật nó. Tôi có thể nhớ hình ảnh JSTOR cho bài viết của Sen trên trang nhất, nhưng không phải cho hai người bởi Theil, có thể không thông qua JSTOR.
Dave Harris

1
Cảm ơn bạn đã trả lời, @ user25459! Giống như @Richard Hardy đã lưu ý trước đây, tôi cũng không chắc chắn về hồi quy của Theil bao xa - tôi đoán bạn đang đề cập đến phương pháp 'trung vị của các cặp dốc' - sẽ được coi là một trường hợp đặc biệt của QR như bạn nói. Tôi chưa từng nghe về nó trước đây và trong chuyên khảo "Hồi quy lượng tử" của Koenker (2005), nó chỉ được đề cập trong một câu.
Lá Tartan
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.