Hồi quy lượng tử: Hàm mất

Tôi đang cố gắng để hiểu hồi quy lượng tử, nhưng một điều khiến tôi đau khổ là sự lựa chọn của hàm mất mát.

$\rho_\tau(u) = u(\tau-1_{\{u<0\}})$

Tôi biết rằng tối thiểu của kỳ vọng của $\rho_\tau(y-u)$ bằng với $\tau\%$ -quantile, nhưng lý do trực quan để bắt đầu với chức năng này là gì? Tôi không thấy mối quan hệ giữa việc giảm thiểu chức năng này và lượng tử. Ai đó có thể giải thích cho tôi?

Tôi hiểu câu hỏi này khi hỏi về cái nhìn sâu sắc về cách người ta có thể đưa ra bất kỳ hàm mất mát nào tạo ra một lượng tử nhất định như một công cụ giảm thiểu tổn thất cho dù phân phối cơ bản có thể là gì. Sau đó, sẽ không thỏa đáng, chỉ cần lặp lại phân tích trong Wikipedia hoặc các nơi khác cho thấy chức năng mất đặc biệt này hoạt động.

Hãy bắt đầu với một cái gì đó quen thuộc và đơn giản.

Những gì bạn đang nói về là tìm một "vị trí" tương ứng với một phân phối hoặc tập hợp các dữ liệu F . Chẳng hạn, người ta biết rằng trung bình ˉ x giảm thiểu phần dư bình phương dự kiến; đó là một giá trị$x^{*}$$F$$\bar x$

$$\mathcal{L}_F(\bar x)=\int_{\mathbb{R}} (x - \bar x)^2 dF(x)$$

càng nhỏ càng tốt. Tôi đã sử dụng ký hiệu này để nhắc nhở chúng tôi rằng có nguồn gốc từ một mất mát , nó được xác định bởi F , nhưng quan trọng nhất là nó phụ thuộc vào số ˉ x .$\mathcal{L}$$F$$\bar x$

Cách thông thường để chứng minh rằng Giảm thiểu bất kỳ chức năng bắt đầu bằng cách chứng minh giá trị của hàm không giảm khi x * được thay đổi bởi một chút. Một giá trị như vậy được gọi là một điểm quan trọng của hàm.$x^{*}$$x^{*}$

Loại hàm mất nào sẽ dẫn đến phần trăm F - 1 ( α ) là một điểm tới hạn? Mất mát cho giá trị đó sẽ là$\Lambda$$F^{-1}(\alpha)$

$$\mathcal{L}_F(F^{-1}(\alpha)) = \int_{\mathbb{R}} \Lambda(x-F^{-1}(\alpha))dF(x)=\int_0^1\Lambda\left(F^{-1}(u)-F^{-1}(\alpha)\right)du.$$

For this to be a critical point, its derivative must be zero. Since we're just trying to find some solution, we won't pause to see whether the manipulations are legitimate: we'll plan to check technical details (such as whether we really can differentiate $\Lambda$, etc.) at the end. Thus

$$\eqalign{0 &=\mathcal{L}_F^\prime(x^{*})= \mathcal{L}_F^\prime(F^{-1}(\alpha))= -\int_0^1 \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du \\ &= -\int_0^{\alpha} \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du -\int_{\alpha}^1 \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du.\tag{1} }$$

On the left hand side, the argument of $\Lambda$ is negative, whereas on the right hand side it is positive. Other than that, we have little control over the values of these integrals because $F$ could be any distribution function. Consequently our only hope is to make $\Lambda^\prime$ depend only on the sign of its argument, and otherwise it must be constant.

This implies $\Lambda$ will be piecewise linear, potentially with different slopes to the left and right of zero. Clearly it should be decreasing as zero is approached--it is, after all, a loss and not a gain. Moreover, rescaling $\Lambda$ by a constant will not change its properties, so we may feel free to set the left hand slope to $-1$. Let $\tau \gt 0$ be the right hand slope. Then $(1)$ simplifies to

$$0 = \alpha - \tau (1 - \alpha),$$

whence the unique solution is, up to a positive multiple,

$$\Lambda(x) = \cases{-x, \ x \le 0 \\ \frac{\alpha}{1-\alpha}x, \ x \ge 0.}$$

Multiplying this (natural) solution by $1-\alpha$, to clear the denominator, produces the loss function presented in the question.

Clearly all our manipulations are mathematically legitimate when $\Lambda$ has this form.

The way this loss function is expressed is nice and compact but I think it's easier to understand by rewriting it as

$$\rho_\tau(X-m) = (X-m)(\tau-1_{(X-m<0)}) = \begin{cases} \tau |X-m| & if \; X-m \ge 0 \\ (1 - \tau) |X-m| & if \; X-m < 0) \end{cases}$$

If you want to get an intuitive sense of why minimizing this loss function yields the $\tau$th quantile, it's helpful to consider a simple example. Let $X$ be a uniform random variable between 0 and 1. Let's also choose a concrete value for $\tau$, say, $0.25$.

So now the question is why would this loss function be minimized at $m=0.25$? Obviously, there's three times as much mass in the uniform distribution to the right of $m$ than there is to the left. And the loss function weights the values larger than this number at only a third of the weight given to values less than it. Thus, it's sort of intuitive that the scales are balanced when the $\tau$th quantile is used as the inflection point for the loss function.