Những lợi thế của hồi quy tuyến tính so với hồi quy lượng tử là gì?

Các hồi quy tuyến tính mô hình làm cho một loạt các giả định rằng hồi quy quantile không, và nếu các giả định của hồi quy tuyến tính được đáp ứng, sau đó trực giác của tôi (và một số kinh nghiệm rất hạn chế) là hồi quy trung bình sẽ cho kết quả gần giống như hồi quy tuyến tính.

Vậy, hồi quy tuyến tính có những lợi thế gì? Nó chắc chắn quen thuộc hơn, nhưng khác hơn thế?

Người ta thường nói rằng tối thiểu hóa phần dư bình phương tối thiểu được ưu tiên hơn tối thiểu hóa phần dư tuyệt đối vì lý do là nó đơn giản hơn về mặt tính toán . Nhưng, nó cũng có thể tốt hơn vì những lý do khác. Cụ thể, nếu các giả định là đúng (và điều này không quá phổ biến) thì nó cung cấp một giải pháp (trung bình) chính xác hơn.

Khả năng tối đa

Hồi quy bình phương nhỏ nhất và hồi quy lượng tử (khi được thực hiện bằng cách giảm thiểu số dư tuyệt đối) có thể được xem là tối đa hóa hàm khả năng cho các lỗi phân tán Gaussian / Laplace và theo nghĩa này có liên quan rất nhiều.

• Phân phối Gaussian:

  $$f(x) = \frac{1}{\sqrt{2\pi \sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$

  với khả năng đăng nhập được tối đa hóa khi tối thiểu hóa tổng số dư bình phương

  $$\log \mathcal{L}(x) = -\frac{n}{2} \log (2 \pi) - n \log(\sigma) - \frac{1}{2\sigma^2} \underbrace{\sum_{i=1}^n (x_i-\mu)^2}_{\text{sum of squared residuals}}$$

• Phân phối Laplace:

  $$f(x) = \frac{1}{2b} e^{-\frac{\vert x-\mu \vert}{b}}$$

  với khả năng đăng nhập được tối đa hóa khi tối thiểu hóa tổng số dư tuyệt đối

  $$\log \mathcal{L}(x) = -n \log (2) - n \log(b) - \frac{1}{b} \underbrace{\sum_{i=1}^n |x_i-\mu|}_{\text{sum of absolute residuals}}$$

^{Lưu ý: phân phối Laplace và tổng số dư tuyệt đối liên quan đến trung vị, nhưng nó có thể được khái quát hóa cho các lượng tử khác bằng cách cho các trọng số khác nhau đối với phần dư âm và dương.}

Phân phối lỗi đã biết

Khi chúng ta biết phân phối lỗi (khi các giả định có khả năng đúng), sẽ hợp lý khi chọn hàm khả năng liên quan. Giảm thiểu chức năng đó là tối ưu hơn.

Rất thường các lỗi được (khoảng) phân phối bình thường. Trong trường hợp đó sử dụng ít nhất là hình vuông là cách tốt nhất để tìm các tham số $\mu$ (mà liên quan đến cả hai giá trị trung bình và trung bình). Đó là cách tốt nhất vì nó có phương sai mẫu thấp nhất (thấp nhất trong tất cả các công cụ ước tính không thiên vị ). Hoặc bạn có thể nói mạnh mẽ hơn: rằng nó chiếm ưu thế một cách ngẫu nhiên (xem hình minh họa trong câu hỏi này so sánh sự phân bố của trung vị mẫu và giá trị trung bình của mẫu).

Vì vậy, khi các lỗi được phân phối bình thường, thì giá trị trung bình mẫu là một ước lượng tốt hơn của trung vị phân phối so với trung bình mẫu . Hồi quy bình phương nhỏ nhất là một ước lượng tối ưu hơn của các lượng tử. Nó là tốt hơn so với việc sử dụng tổng số dư tuyệt đối.

Bởi vì rất nhiều vấn đề đối phó với các lỗi phân tán thông thường, việc sử dụng phương pháp bình phương nhỏ nhất là rất phổ biến. Để làm việc với các loại phân phối khác, người ta có thể sử dụng mô hình tuyến tính Tổng quát . Và, phương pháp bình phương tối thiểu lặp lại, có thể được sử dụng để giải GLM, cũng hoạt động cho phân phối Laplace (nghĩa là cho độ lệch tuyệt đối ), tương đương với việc tìm trung bình (hoặc trong phiên bản tổng quát khác các lượng tử khác).

Phân phối lỗi không xác định

Mạnh mẽ

Trung bình hoặc các lượng tử khác có lợi thế là chúng rất mạnh về loại phân phối. Các giá trị thực tế không quan trọng lắm và các lượng tử chỉ quan tâm đến thứ tự. Vì vậy, bất kể phân phối là gì, tối thiểu hóa số dư tuyệt đối (tương đương với việc tìm các lượng tử) đang hoạt động rất tốt.

Câu hỏi trở nên phức tạp và rộng rãi ở đây và nó phụ thuộc vào loại kiến ​​thức chúng ta có hoặc không có về chức năng phân phối. Ví dụ, một phân phối có thể được phân phối xấp xỉ bình thường nhưng chỉ với một số ngoại lệ bổ sung. Điều này có thể được xử lý bằng cách loại bỏ các giá trị bên ngoài. Việc loại bỏ các giá trị cực đoan này thậm chí còn có tác dụng trong việc ước tính tham số vị trí của phân phối Cauchy trong đó giá trị trung bình bị cắt có thể là một công cụ ước tính tốt hơn so với trung vị. Vì vậy, không chỉ cho tình huống lý tưởng khi các giả định nắm giữ, mà còn cho một số ứng dụng ít lý tưởng hơn (ví dụ: các ngoại lệ bổ sung) có thể có các phương pháp mạnh mẽ vẫn sử dụng một số dạng của phần dư bình phương thay vì tổng dư tuyệt đối.

Tôi tưởng tượng rằng hồi quy với phần dư bị cắt có thể phức tạp hơn nhiều về mặt tính toán. Vì vậy, nó thực sự có thể là hồi quy lượng tử, là loại hồi quy được thực hiện vì lý do là nó đơn giản hơn về mặt tính toán (không đơn giản hơn bình phương tối thiểu thông thường, nhưng đơn giản hơn bình phương tối thiểu bị cắt cụt ).

Xu hướng / không thiên vị

Một vấn đề khác là thiên vị so với ước tính không thiên vị. Trong phần trên tôi đã mô tả ước tính khả năng tối đa cho giá trị trung bình, tức là giải pháp bình phương nhỏ nhất, như một công cụ ước tính tốt hoặc tốt hơn bởi vì nó thường có phương sai thấp nhất trong tất cả các ước lượng không thiên vị (khi các lỗi được phân phối bình thường). Nhưng, các ước tính sai lệch có thể tốt hơn (tổng bình phương lỗi dự kiến ​​thấp hơn).

Điều này làm cho câu hỏi một lần nữa rộng và phức tạp. Có nhiều người ước tính khác nhau và nhiều tình huống khác nhau để áp dụng chúng. Việc sử dụng một tổng số thích ứng của hàm mất dư bình phương thường hoạt động tốt để giảm lỗi (ví dụ: tất cả các loại phương pháp chính quy), nhưng nó có thể không cần hoạt động tốt trong mọi trường hợp. Theo trực giác, không có gì lạ khi tưởng tượng rằng, vì tổng hàm mất phần dư bình phương thường hoạt động tốt cho tất cả các công cụ ước lượng không thiên vị, nên các công cụ ước tính thiên vị tối ưu có lẽ là một cái gì đó gần với tổng hàm mất phần dư bình phương.

Hồi quy tuyến tính (LR) đạt tối ưu hóa bình phương tối thiểu khi tính toán các hệ số của nó. Điều này hàm ý sự đối xứng trong các độ lệch so với mô hình hồi quy. Một lời giải thích tốt về hồi quy lượng tử (QR) có trong https: //data.l Library.virginia.edu/getting-started-with-quantile-regression/ .

Nếu các giả định LR (cần thiết cho suy luận: giá trị p, khoảng tin cậy, v.v.) là các dự đoán QR và LR thỏa mãn sẽ tương tự nhau. Nhưng nếu các giả định bị vi phạm mạnh mẽ, suy luận LR tiêu chuẩn của bạn sẽ sai. Vì vậy, hồi quy 0,5 lượng tử (trung vị) thể hiện một lợi thế so với LR. Nó cũng cho phép linh hoạt hơn trong việc cung cấp hồi quy cho các lượng tử khác. Tương đương với các mô hình tuyến tính sẽ là giới hạn độ tin cậy được tính toán từ một LR (mặc dù điều này sẽ sai nếu iid bị vi phạm mạnh).

Vậy lợi thế của LR là gì? Tất nhiên là dễ dàng hơn để tính toán nhưng nếu tập dữ liệu của bạn có kích thước hợp lý có thể không đáng chú ý lắm. Nhưng quan trọng hơn, các giả định suy luận của LR cung cấp thông tin làm giảm sự không chắc chắn. Do đó, khoảng tin cậy của LR đối với các dự đoán thường sẽ hẹp hơn. Vì vậy, nếu có sự hỗ trợ lý thuyết mạnh mẽ cho các giả định, khoảng tin cậy hẹp hơn có thể là một lợi thế.

$E(Y \vert X)$$Y$$X$là dữ liệu. Hồi quy cho chúng ta biết rằng$E(Y \vert X)= X \beta$. Có một số giả định nhất định (bạn có thể tìm thấy chúng trong bất kỳ văn bản thống kê nào) để suy luận là hợp lệ. Nếu những điều này được thỏa mãn thì nhìn chung công cụ ước tính tiêu chuẩn cho$\beta$ là BLUE (công cụ ước lượng không thiên vị tuyến tính tốt nhất - xem định lý Gauss-Markov).

Hồi quy lượng tử có thể được sử dụng để ước tính BẤT K quant lượng tử nào của phân bố có điều kiện bao gồm trung vị. Điều này cung cấp tiềm năng nhiều thông tin hơn mức trung bình về phân phối có điều kiện. Nếu phân phối có điều kiện không đối xứng hoặc đuôi có thể dày (ví dụ phân tích rủi ro), hồi quy lượng tử là hữu ích NGAY CẢ nếu tất cả các giả định của hồi quy tuyến tính đều được thỏa mãn.

Tất nhiên, chuyên sâu hơn về mặt số lượng để thực hiện ước lượng định lượng liên quan đến hồi quy tuyến tính nhưng nhìn chung mạnh mẽ hơn nhiều (ví dụ như trung vị mạnh hơn so với trung bình so với trung bình). Ngoài ra, nó phù hợp khi hồi quy tuyến tính không - ví dụ: đối với dữ liệu bị kiểm duyệt. Suy luận có thể phức tạp hơn vì ước tính trực tiếp của ma trận phương sai hiệp phương sai có thể khó khăn hoặc tốn kém về mặt tính toán. Trong những trường hợp đó, người ta có thể bootstrap.