Khi nào hồi quy lượng tử tồi tệ hơn OLS?

22

Ngoài một số trường hợp duy nhất mà chúng ta hoàn toàn phải hiểu mối quan hệ trung bình có điều kiện, các tình huống mà một nhà nghiên cứu nên chọn OLS qua Hồi quy lượng tử là gì?

Tôi không muốn câu trả lời là "nếu không có ích trong việc hiểu các mối quan hệ đuôi", vì chúng ta chỉ có thể sử dụng hồi quy trung bình làm thay thế OLS.

— Frank Mitchell
nguồn

4

Tôi nghĩ rằng hầu hết các nhà nghiên cứu sẽ giải trí cả OLS và hồi quy lượng tử; sự khác biệt giữa các phương pháp sẽ chiếu sáng những gì bạn đang cố gắng mô hình hóa. Đối với OLS, nếu bạn đưa ra các giả định về tính quy tắc, bạn sẽ có được rất nhiều phương pháp thử nghiệm khá tài liệu và kỹ lưỡng có sẵn trong hầu hết các gói thống kê.

— Jonathan Lisic

18

Nếu bạn quan tâm đến giá trị trung bình, hãy sử dụng OLS, nếu ở trung vị, hãy sử dụng định lượng.

Một sự khác biệt lớn là giá trị trung bình bị ảnh hưởng nhiều hơn bởi các ngoại lệ và dữ liệu cực đoan khác. Đôi khi, đó là những gì bạn muốn. Một ví dụ là nếu biến phụ thuộc của bạn là vốn xã hội trong một khu phố. Sự hiện diện của một người duy nhất có nhiều vốn xã hội có thể rất quan trọng đối với toàn bộ khu phố.

— Peter Flom - Tái lập Monica
nguồn

6

Hãy để tôi thách thức câu đầu tiên của bạn. Cả hai OLS và hồi quy quantile (QR) được ước lượng

cho một dữ liệu quá trình tạo

. Nếu sự phân bố lỗi có đuôi

là hiệu quả hơn

. Bất kể là thời điểm của phân phối có điều kiện

chúng ta đang quan tâm, chúng ta nên sử dụng một trong những

và

β

$\beta$

y = X β + ε

$y=X\beta+\varepsilon$

{\hat{β}}^{Q R}

$\hat\beta^{QR}$

{\hat{β}}^{O L S}

$\hat\beta^{OLS}$

P (y | X)

$P(y|X)$

{\hat{β}}^{O L S}

$\hat\beta^{OLS}$

{\hat{β}}^{Q R}

$\hat\beta^{QR}$ đó là hiệu quả hơn.

— Richard Hardy

Theo sau bài phê bình của @RichardHardy về phản ứng này, trung vị chỉ là một trong những lượng tử có thể ước tính được. Bài báo Hyndman này giới thiệu một cách tiếp cận mà ông gọi là tăng cường hồi quy lượng tử phụ gia , khám phá đầy đủ các lượng tử, Dự báo tính không chắc chắn trong Dữ liệu của Đồng hồ thông minh bằng cách tăng cường hồi quy lượng tử phụ gia ( ieeexplore.ieee.org/document/7423794 ).

— Mike Hunter

15

Dường như có một sự nhầm lẫn trong tiền đề của câu hỏi. Trong đoạn thứ hai có đoạn, "chúng ta chỉ có thể sử dụng hồi quy trung bình làm thay thế OLS". Lưu ý rằng hồi quy trung vị có điều kiện trên X là (một dạng) hồi quy lượng tử.

Nếu lỗi trong quá trình tạo dữ liệu cơ bản được phân phối bình thường (có thể được đánh giá bằng cách kiểm tra xem phần dư có bình thường không), thì giá trị trung bình có điều kiện bằng với trung vị có điều kiện. Hơn nữa, bất kỳ định lượng nào bạn có thể quan tâm (ví dụ: phân vị thứ 95 hoặc phân vị thứ 37), có thể được xác định cho một điểm nhất định trong thứ nguyên X bằng các phương pháp OLS tiêu chuẩn. Sức hấp dẫn chính của hồi quy lượng tử là nó mạnh hơn OLS. Nhược điểm là nếu tất cả các giả định được đáp ứng, nó sẽ kém hiệu quả hơn (nghĩa là bạn sẽ cần cỡ mẫu lớn hơn để đạt được cùng công suất / ước tính của bạn sẽ kém chính xác hơn).

— gung - Phục hồi Monica
nguồn

12

Cả hai OLS và hồi quy quantile (QR) là ước lượng kỹ thuật để ước lượng vector hệ số trong mô hình hồi quy tuyến tính (đối với trường hợp của QR thấy Koenker (1978), tr. 33, đoạn thứ hai). $\beta$

y = X β + ε

$y = X\beta + \varepsilon$

Đối với các bản phân phối lỗi nào đó (ví dụ như những người có đuôi nặng), QR ước lượng là hiệu quả hơn so với OLS ước lượng ; nhớ lại rằng là hiệu quả chỉ trong lớp của ước lượng không thiên vị tuyến tính. Đây là động lực chính cho Koenker (1978) đề xuất sử dụng QR thay cho OLS dưới nhiều cài đặt khác nhau. Tôi nghĩ rằng đối với bất kỳ thời điểm của phân phối có điều kiện chúng ta nên sử dụng một trong những và $\hat\beta_{QR}$ $\hat\beta_{OLS}$ $\hat\beta_{OLS}$ $P_Y(y|X)$ $\hat\beta_{OLS}$ đó là hiệu quả hơn (hãy sửa lại cho tôi nếu tôi sai). $\hat\beta_{QR}$

Bây giờ để trả lời câu hỏi của bạn trực tiếp, QR là "tồi tệ" hơn OLS (và do đó nên được ưa thích hơn ) khi là hiệu quả hơn . Một ví dụ như vậy là khi phân phối lỗi là Bình thường. $\hat\beta_{OLS}$ $\hat\beta_{QR}$ $\hat\beta_{OLS}$ $\hat\beta_{QR}$

Tài liệu tham khảo:

Koenker, Roger và Gilbert Bassett Jr. "Lượng tử hồi quy". Kinh tế lượng: Tạp chí của Hiệp hội Kinh tế lượng (1978): 33-50.

— Richard Hardy
nguồn

3

Peter Flom đã có một câu trả lời tuyệt vời và súc tích, tôi chỉ muốn mở rộng nó. Phần quan trọng nhất của câu hỏi là làm thế nào để xác định "tệ hơn".

Để xác định tồi tệ hơn, chúng ta cần có một số số liệu và hàm để tính toán mức độ tốt hay xấu của các phụ kiện được gọi là hàm mất.

Chúng ta có thể có các định nghĩa khác nhau về hàm mất và không có đúng hay sai trên mỗi định nghĩa, nhưng định nghĩa khác nhau đáp ứng các nhu cầu khác nhau. Hai hàm mất mát nổi tiếng là mất bình phương và mất giá trị tuyệt đối.

L_{s q} (y, \hat{y}) = \sum_{i} (y_{i} - {\hat{y}}_{i})^{2}

$L_{sq}(y,\hat y)=\sum_i (y_i-\hat y_i)^2$

L_{a b s} (y, \hat{y}) = \sum_{i} | y_{i} - {\hat{y}}_{i} |

$L_{abs}(y,\hat y)=\sum_i |y_i-\hat y_i|$

Nếu chúng ta sử dụng tổn thất bình phương làm thước đo thành công, hồi quy lượng tử sẽ tồi tệ hơn OLS. Mặt khác, nếu chúng ta sử dụng mất giá trị tuyệt đối, hồi quy lượng tử sẽ tốt hơn.

Đó là câu trả lời của Peter Folm:

Nếu bạn quan tâm đến giá trị trung bình, hãy sử dụng OLS, nếu ở trung vị, hãy sử dụng định lượng.

— Haitao Du
nguồn

Tôi nghĩ rằng ví dụ của bạn có thể gây hiểu nhầm vì nó giải quyết sự phù hợp trong mẫu (điều này ít được quan tâm vì chúng tôi đã biết mẫu của chúng tôi một cách hoàn hảo) thay vì mất dự kiến cho các quan sát mới (khi mục tiêu là dự đoán) hoặc mất ước tính vectơ tham số ( khi mục tiêu là giải thích). Xem có thể nhận xét dưới câu trả lời của Peter Flom và câu trả lời của tôi để biết thêm chi tiết.

— Richard Hardy

3

Để nói những gì một số câu trả lời xuất sắc ở trên đã nói, nhưng theo một cách hơi khác, hồi quy lượng tử làm cho ít giả định hơn. Ở phía bên phải của mô hình, các giả định giống như với OLS, nhưng ở phía bên trái, giả định duy nhất là sự liên tục của phân phối $Y$ (ít ràng buộc). Người ta có thể nói rằng OLS cung cấp ước tính trung vị nếu phân phối phần dư là đối xứng (do đó trung bình = trung bình), và theo đuôi đối xứng và không quá nặng (đặc biệt là theo quy tắc), OLS vượt trội hơn so với hồi quy lượng tử để ước tính trung vị, vì độ chính xác tốt hơn nhiều. Nếu chỉ có một phần tử chặn trong mô hình, ước tính hồi quy lượng tử chính xác là trung vị mẫu, có hiệu quả là $\frac{2}{\pi}$ khi so sánh với giá trị trung bình, theo quy tắc. Đưa ra một ước tính tốt về lỗi bình phương trung bình gốc (SD dư), bạn có thể sử dụng OLS theo tham số để ước tính bất kỳ lượng tử nào. Nhưng ước tính lượng tử từ OLS là giả định, đó là lý do tại sao chúng ta thường sử dụng hồi quy lượng tử.

Nếu bạn muốn ước tính giá trị trung bình, bạn không thể lấy giá trị đó từ hồi quy lượng tử.

Nếu bạn muốn ước tính giá trị trung bình và lượng tử với các giả định tối thiểu (nhưng giả định nhiều hơn hồi quy lượng tử) nhưng có hiệu quả cao hơn, hãy sử dụng hồi quy thứ tự bán nguyệt. Điều này cũng cung cấp cho bạn xác suất vượt quá. Một nghiên cứu trường hợp chi tiết nằm trong khóa học RMS của tôi , trong đó ghi chú trên một tập dữ liệu rằng lỗi ước lượng tuyệt đối trung bình trung bình trên một số tham số (lượng tử và giá trị trung bình) đạt được bằng hồi quy thứ tự. Nhưng đối với việc chỉ ước tính giá trị trung bình, OLS là tốt nhất và đối với việc ước tính lượng tử, hồi quy lượng tử là tốt nhất.

Một lợi thế lớn khác của hồi quy thứ tự là, ngoại trừ việc ước tính giá trị trung bình, hoàn toàn $Y$ -Thông tin bất biến.

— Frank Mitchell
nguồn