Kỳ vọng tối đa của biến iid Gumbel

Tôi tiếp tục đọc các tạp chí kinh tế về một kết quả cụ thể được sử dụng trong các mô hình tiện ích ngẫu nhiên. Một phiên bản của kết quả là: if $\epsilon_i \sim_{iid},$ Gumbel ( $\mu, 1), \forall i$ , thì:

E [max_{i} (δ_{i} + ϵ_{i})] = μ + γ + \ln (\sum_{i} \exp {δ_{i}}),

$E[\max_i(\delta_i + \epsilon_i)] = \mu + \gamma + \ln\left(\sum_i \exp\left\{\delta_i \right\} \right),$

trong đó là hằng số Euler-Mascheroni. Tôi đã kiểm tra rằng điều này có ý nghĩa khi sử dụng R, và nó có. CDF cho bản phân phối Gumbel là: $\gamma \approx 0.52277$ $(\mu, 1)$

G (ϵ_{i}) = \exp (- \exp (- (ϵ_{i} - μ)))

$G(\epsilon_i) = \exp(-\exp(-(\epsilon_i - \mu)))$

Tôi đang cố gắng tìm một bằng chứng về điều này và tôi đã không thành công. Tôi đã cố gắng tự chứng minh nhưng tôi không thể vượt qua một bước cụ thể.

Bất cứ ai có thể chỉ cho tôi một bằng chứng về điều này? Nếu không, có lẽ tôi có thể đăng bằng chứng đã cố gắng của mình lên đến nơi tôi gặp khó khăn.

expected-value gumbel

— Jason
nguồn

Liên quan: stats.stackexchange.com/questions/57506/ mài

— Adrian

Tôi đánh giá cao công việc được trưng bày trong câu trả lời của bạn: cảm ơn bạn vì sự đóng góp đó. Mục đích của bài này là để cung cấp một cuộc biểu tình đơn giản hơn. Giá trị của sự đơn giản là sự mặc khải: chúng ta có thể dễ dàng có được toàn bộ phân phối tối đa, không chỉ là kỳ vọng của nó.

Bỏ qua $\mu$ bằng cách hấp thụ nó vào $\delta_i$ và giả định $\epsilon_i$ tất cả đều có một Gumbel $(0,1)$ phân phối. (Tức là, thay thế mỗi $\epsilon_i$ bởi $\epsilon_i-\mu$ và thay đổi $\delta_i$ để $\delta_i+\mu$ ). Điều này không làm thay đổi biến ngẫu nhiên

X = max_{i} (δ_{i} + ϵ_{i}) = max_{i} ((δ_{i} + μ) + (ϵ_{i} - μ)) .

$X = \max_{i}(\delta_i + \epsilon_i) = \max_i((\delta_i+\mu) + (\epsilon_i-\mu)).$

Sự độc lập của $\epsilon_i$ ngụ ý cho tất cả các thực $x$ mà $\Pr(X\le x)$ là sản phẩm của những cơ hội cá nhân $\Pr(\delta_i+\epsilon_i\le x)$ . Lấy nhật ký và áp dụng các tính chất cơ bản của năng suất theo cấp số nhân

\begin{aligned} \log Pr (X \leq x) & = \log \prod_{i} Pr (δ_{i} + ϵ_{i} \leq x) = \sum_{i} \log Pr (ϵ_{i} \leq x - δ_{i}) \\ = - \sum_{i} e^{δ_{i}} e^{- x} = - \exp (- x + \log \sum_{i} e^{δ_{i}}) . \end{aligned}

$\eqalign{ \log \Pr(X\le x) &= \log\prod_{i}\Pr(\delta_i + \epsilon_i \le x) = \sum_i \log\Pr(\epsilon_i \le x - \delta_i)\\ &= -\sum_ie^{\delta_i}\, e^{-x} = -\exp\left(-x + \log\sum_i e^{\delta_i}\right). }$

Đây là logarit của CDF của một phân phối Gumbel với vị trí tham số $\lambda=\log\sum_i e^{\delta_i}.$ Đó là,

$X$ cóphân phốiGumbel $\left(\log\sum_i e^{\delta_i}, 1\right)$ .

Đây là nhiều thông tin hơn yêu cầu. Các trung bình của một phân phối như là $\gamma+\lambda,$ kéo theo những

E [X] = γ + \log \sum_{i} e^{δ_{i}},

$\mathbb{E}[X] = \gamma + \log\sum_i e^{\delta_i},$

QED.

— whuber
nguồn

Nó chỉ ra rằng một bài báo Kinh tế lượng của Kenneth Small và Harvey Rosen đã cho thấy điều này vào năm 1981, nhưng trong một bối cảnh rất chuyên sâu nên kết quả đòi hỏi rất nhiều đào, chưa kể đến một số đào tạo về kinh tế. Tôi quyết định chứng minh điều đó theo cách mà tôi thấy dễ tiếp cận hơn.

Chứng minh : Gọi là số phương án. Tùy thuộc vào giá trị của vector , hàm mất trên các giá trị khác nhau. Thứ nhất, tập trung vào các giá trị của mà . Nghĩa là, chúng tôi sẽ tích hợp $J$ $\boldsymbol{\epsilon} = \{\epsilon_1, ..., \epsilon_J\}$ $\max_i(\delta_i + \epsilon_i)$ $\boldsymbol{\epsilon}$ $\max_i (\delta_i + \epsilon_i) = \delta_1 + \epsilon_1$ trên tập : $\delta_1 + \epsilon_1$ $M_1 \equiv \{\boldsymbol\epsilon : \delta_1 + \epsilon_1 > \delta_j + \epsilon_j, j \neq 1\}$

\begin{aligned} E_{ϵ \in M_{1}} [max_{i} (δ_{i} + ϵ_{i})] = \\ \int_{- \infty}^{\infty} (δ_{1} + ϵ_{1}) f (ϵ_{1}) [\int_{- \infty}^{δ_{1} + ϵ_{1} - δ_{2}} . . . \int_{- \infty}^{δ_{1} + ϵ_{1} - δ_{J}} f (ϵ_{2}) . . . f (ϵ_{J}) d ϵ_{2} . . . d ϵ_{J}] d ϵ_{1} = \\ \int_{- \infty}^{\infty} (δ_{1} + ϵ_{1}) f (ϵ_{1}) (\int_{- \infty}^{δ_{1} + ϵ_{1} - δ_{2}} f (ϵ_{2}) d ϵ_{2}) . . . (\int_{- \infty}^{δ_{1} + ϵ_{1} - δ_{J}} f (ϵ_{J}) d ϵ_{J}) d ϵ_{1} = \\ \int_{- \infty}^{\infty} (δ_{1} + ϵ_{1}) f (ϵ_{1}) F (δ_{1} + ϵ_{1} - δ_{2}) . . . F (δ_{1} + ϵ_{1} - δ_{J}) d ϵ_{1} \end{aligned}

$\begin{equation} \begin{split} E_{\boldsymbol \epsilon \in M_1} [\max_i(\delta_i + \epsilon_i)] = \hspace{3.25in}\\ \int^{\infty}_{-\infty} (\delta_1 + \epsilon_1)f(\epsilon_1) \left[\int_{-\infty}^{\delta_1 + \epsilon_1 - \delta_2} ... \int_{-\infty}^{\delta_1 + \epsilon_1 - \delta_J}f(\epsilon_2) ...f(\epsilon_J) d\epsilon_2 ...d\epsilon_J \right] d\epsilon_1 = \\ \int^{\infty}_{-\infty} (\delta_1 + \epsilon_1)f(\epsilon_1) \left(\int_{-\infty}^{\delta_1 + \epsilon_1 - \delta_2} f(\epsilon_2)d\epsilon_2 \right) ... \left( \int_{-\infty}^{\delta_1 + \epsilon_1 - \delta_J}f(\epsilon_J) d\epsilon_J \right) d\epsilon_1 = \\ \int^{\infty}_{-\infty} \left(\delta_1 + \epsilon_1\right) f(\epsilon_1) F(\delta_1 + \epsilon_1 - \delta_2) ...F(\delta_1 + \epsilon_1 - \delta_J) d\epsilon_1 \end{split} \end{equation}$

The term above is the first of $J$ such terms in $E[\max_i \left(\delta_i + \epsilon_i \right)]$ . Specifically,

E [max_{i} (δ_{i} + ϵ_{i})] = \sum_{i} E_{ϵ \in M_{i}} [max_{i} (δ_{i} + ϵ_{i})] .

$\begin{equation} E\left[\max_i \left(\delta_i + \epsilon_i \right)\right] = \sum_i E_{\boldsymbol \epsilon \in M_i}\left[\max_i\left( \delta_i + \epsilon_i \right) \right]. \end{equation}$

Now we apply the functional form of the Gumbel distribution. This gives

\begin{aligned} E_{ϵ \in M_{i}} [max_{i} (δ_{i} + ϵ_{i})] = \\ \int_{- \infty}^{\infty} (δ_{i} + ϵ_{i}) e^{μ - ϵ_{i}} e^{- e^{μ - ϵ_{i}}} \prod_{j \neq i} e^{- e^{μ - ϵ_{i} + δ_{j} - δ_{i}}} d ϵ_{i} \\ = & \int_{- \infty}^{\infty} (δ_{i} + ϵ_{i}) e^{μ - ϵ_{i}} \prod_{j} e^{- e^{μ - ϵ_{i} + δ_{j} - δ_{i}}} d ϵ_{i} \\ = & \int_{- \infty}^{\infty} (δ_{i} + ϵ_{i}) e^{μ - ϵ_{i}} \exp {\sum_{j} - e^{μ - ϵ_{i} + δ_{j} - δ_{i}}} d ϵ_{i} \\ = & \int_{- \infty}^{\infty} (δ_{i} + ϵ_{i}) e^{μ - ϵ_{i}} \exp {- e^{μ - ϵ_{i}} \sum_{j} e^{δ_{j} - δ_{i}}} d ϵ_{i} \end{aligned}

$\begin{equation} \begin{split} &E_{\boldsymbol \epsilon \in M_i}\left[\max_i\left( \delta_i + \epsilon_i \right) \right] = \hspace{2in} \\ &\int^{\infty}_{-\infty} \left(\delta_i + \epsilon_i\right)e^{\mu - \epsilon_i} e^{- e^{\mu - \epsilon_i}} \prod_{j \neq i} e^{-e^{\mu - \epsilon_i + \delta_j - \delta_i}}d\epsilon_i \\ =&\int^{\infty}_{-\infty} \left(\delta_i + \epsilon_i\right)e^{\mu - \epsilon_i } \prod_{j } e^{-e^{\mu - \epsilon_i + \delta_j - \delta_i}}d\epsilon_i \\ =&\int^{\infty}_{-\infty} \left(\delta_i + \epsilon_i \right) e^{\mu - \epsilon_i} \exp \Bigl\{ \sum_{j} -e^{\mu - \epsilon_i + \delta_j - \delta_i} \Bigr\}d\epsilon_i \\ =&\int^{\infty}_{-\infty} \left(\delta_i + \epsilon_i \right) e^{\mu - \epsilon_i} \exp \Bigl\{ -e^{\mu - \epsilon_i } \sum_{j} e^{ \delta_j - \delta_i} \Bigr\}d\epsilon_i \end{split} \end{equation}$

where the second step comes from collecting one of the exponentiated terms into the product, along with the fact that $\delta_j - \delta_i = 0$ if $i = j$ .

Now we define $D_i \equiv \sum_j e^{\delta_j - \delta_i}$ , and make the substitution $x = D_i\hspace{0.5mm} e^{\mu - \epsilon_i}$ , so that $dx = -D_i e^{\mu - \epsilon_i}d\epsilon_i \Rightarrow -\frac{dx} {D_i} = e^{\mu - \epsilon_i}d\epsilon_i$ and $\epsilon_i = \mu - \log\left(\frac{x}{D_i}\right)$ . Note that as $\epsilon_i$ approaches infinity, $x$ approaches 0, and as $\epsilon_i$ approaches negative infinity, $x$ approaches infinity.

\begin{aligned} E_{ϵ \in M_{i}} [max_{i} (δ_{i} + ϵ_{i})] = \\ \int_{\infty}^{0} (δ_{i} + μ - \log [\frac{x}{D_{i}}]) (- \frac{1}{D_{i}}) \exp {- x} d x \\ = & \frac{1}{D_{i}} \int_{0}^{\infty} (δ_{i} + μ - \log [\frac{x}{D_{i}}]) e^{- x} d x \\ = & \frac{δ_{i} + μ}{D_{i}} \int_{0}^{\infty} e^{- x} d x - \frac{1}{D_{i}} \int_{0}^{\infty} \log [x] e^{- x} d x + \frac{\log [D_{i}]}{D_{i}} \int_{0}^{\infty} e^{- x} d x \end{aligned}

$\begin{equation} \begin{split} &\hspace{3mm} E_{\boldsymbol \epsilon \in M_i}\left[\max_i\left( \delta_i + \epsilon_i \right) \right] = \\ &\hspace{3mm}\int^{0}_{\infty} \left(\delta_i + \mu - \log\left[\frac{x}{D_i} \right]\right)\left(-\frac{1}{D_i}\right)\exp\left\{ -x\right\}dx \\ =&\hspace{3mm}\frac{1}{D_i}\int^{\infty}_{0} \left(\delta_i + \mu - \log\left[\frac{x}{D_i} \right]\right)e^{ -x}dx \\ =&\hspace{3mm} \frac{\delta_i + \mu}{D_i}\int^{\infty}_{0} e^{-x}dx -\frac{1}{D_i}\int^{\infty}_{0} \log[x]e^{-x}dx + \frac{\log[D_i]} {D_i} \int^{\infty}_{0}e^{-x}dx\\ \end{split} \end{equation}$

The Gamma Function is defined as $\Gamma(t) = \int^{\infty}_{0} x^{t - 1}e^{-x}dx$ . For values of $t$ which are positive integers, this is equivalent to $\Gamma(t) = (t - 1)!$ , so $\Gamma(1) = 0! = 1$ . In addition, it is known that the Euler–Mascheroni constant, $\gamma \approx 0.57722$ satisfies

γ = - \int_{0}^{\infty} \log [x] e^{- x} d x .

$\gamma = -\int^{\infty}_{0} \log[x] e^{-x}dx.$

Applying these facts gives

\begin{aligned} E_{ϵ \in M_{i}} [max_{i} (δ_{i} + ϵ_{i})] = \frac{δ_{i} + μ + γ + \log [D_{i}]}{D_{i}} \end{aligned}

$\begin{equation} \begin{split} &\hspace{3mm} E_{\boldsymbol \epsilon \in M_i}\left[\max_i\left( \delta_i + \epsilon_i \right) \right] = \frac{\delta_i + \mu + \gamma + \log[D_i]}{D_i} \end{split} \end{equation}$

Then we sum over $i$ to get

\begin{aligned} E [max_{i} (δ_{i} + ϵ_{i})] = \sum_{i} \frac{δ_{i} + μ + γ + \log [D_{i}]}{D_{i}} \end{aligned}

$\begin{equation} \begin{split} &\hspace{3mm} E\left[\max_i\left( \delta_i + \epsilon_i \right) \right] = \sum_i \frac{\delta_i + \mu + \gamma + \log[D_i]}{D_i} \end{split} \end{equation}$

Recall that $D_i = \sum_j e^{\delta_j - \delta_i} = \frac{\sum_j e^{\delta_j}} {e^{\delta_i}}$ . Notice that the familiar logit choice probabilities $P_i = \frac{e^{\delta_i}}{\sum_j \delta_j}$ are inverses of the $D_i$ 's, or in other words $P_i = 1/D_i$ . Also note that $\sum_i P_i = 1$ . Then we have

\begin{aligned} E [max_{i} (δ_{i} + ϵ_{i})] = & \sum_{i} P_{i} (δ_{i} + μ + γ + \log [D_{i}]) \\ = & (μ + γ) \sum_{i} P_{i} + \sum_{i} P_{i} δ_{i} + \sum_{i} P_{i} \log [D_{i}] \\ = & μ + γ + \sum_{i} P_{i} δ_{i} + \sum_{i} P_{i} \log [\frac{\sum_{j} e^{δ_{j}}}{e^{δ_{i}}}] \\ = & μ + γ + \sum_{i} P_{i} δ_{i} + \sum_{i} P_{i} \log [\sum_{j} e^{δ_{j}}] - \sum_{i} P_{i} \log [e^{δ_{i}}] \\ = & μ + γ + \sum_{i} P_{i} δ_{i} + \log [\sum_{j} e^{δ_{j}}] \sum_{i} P_{i} - \sum_{i} P_{i} δ_{i} \\ = & μ + γ + \log [\sum_{j} \exp {δ_{j}}] . \end{aligned}

$\begin{equation} \begin{split} \hspace{3mm} E\left[\max_i\left( \delta_i + \epsilon_i \right) \right] =& \sum_i P_i\left(\delta_i + \mu + \gamma + \log[D_i]\right)\\ =&\hspace{2mm} (\mu + \gamma) \sum_i P_i + \sum_i P_i\delta_i + \sum_iP_i \log[D_i] \\ =& \hspace{2mm} \mu + \gamma + \sum_i P_i \delta_i + \sum_i P_i \log\left[\frac{\sum_j e^{\delta_j}} {e^{\delta_i}} \right]\\ =& \mu + \gamma + \sum_i P_i \delta_i + \sum_i P_i \log\left[\sum_j e^{\delta_j}\right] - \sum_i P_i \log[e^{\delta_i}]\\ =& \mu + \gamma + \sum_i P_i \delta_i + \log\left[ \sum_j e^{\delta_j}\right] \sum_i P_i - \sum_i P_i \delta_i \\ =& \mu + \gamma + \log\left[ \sum_j \exp\left\{ \delta_j \right\}\right] .\end{split} \end{equation}$ Q.E.D.

— Jason
nguồn

I linked what I believe is the article you're referring to, without actually looking through it to be sure; please correct if wrong.

— Dougal

@Jason Do you know how to prove what this is when the max is conditional on one being the max? See question here that is unsolved: stats.stackexchange.com/questions/260847/…

— wolfsatthedoor