Giá trị mong đợi của biến ngẫu nhiên Gaussian được chuyển đổi bằng hàm logistic

10

Cả hàm logistic và độ lệch chuẩn thường được ký hiệu là . Tôi sẽ sử dụng và cho độ lệch chuẩn. $\sigma$ $\sigma(x) = 1/(1+\exp(-x))$ $s$

Tôi có một neuron hậu cần với một đầu vào ngẫu nhiên mà có nghĩa là và độ lệch chuẩn tôi biết. Tôi hy vọng sự khác biệt từ giá trị trung bình có thể được xấp xỉ bằng một số nhiễu Gaussian. Vì vậy, với việc lạm dụng một chút ký hiệu, giả sử nó tạo ra . Giá trị mong đợi của gì? Độ lệch chuẩn có thể là lớn hay nhỏ so với hoặc . Một xấp xỉ dạng đóng tốt cho giá trị mong đợi sẽ gần như là một giải pháp dạng đóng. $\mu$ $s$ $\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))$ $\sigma(N(\mu,s^2))$ $s$ $\mu$ $1$

Tôi không nghĩ rằng một giải pháp dạng kín tồn tại. Điều này có thể được xem như một tích chập và hàm đặc trưng cho mật độ logistic đã được biết ( ), nhưng tôi không chắc điều đó có ích gì. Máy tính biểu tượng nghịch đảo không thể nhận ra mật độ bằng của tích chập mật độ phân phối logistic và phân phối chuẩn thông thường, điều này cho thấy nhưng không chứng minh rằng không có tích phân sơ cấp đơn giản. Bằng chứng hoàn cảnh hơn: Trong một số bài viết về việc thêm nhiễu đầu vào Gaussian vào các mạng nơ ron có nơ ron logistic, các bài báo cũng không đưa ra biểu thức dạng đóng. $\pi t ~\text{csch} ~\pi t$ $0$

Câu hỏi này nảy sinh trong việc cố gắng hiểu lỗi trong xấp xỉ trường trung bình trong các máy Boltzman.

— Douglas Zare
nguồn

5

Sau đây là những gì tôi đã sử dụng:

Viết trong đó . Chúng ta có thể sử dụng một bản mở rộng Taylor series. $\sigma(N(\mu,s^2)) = \sigma(\mu + X)$ $X \sim N(0,s^2)$

$\sigma(\mu + X) = \sigma(\mu) + X \sigma'(\mu) + \frac{X^2}{2} \sigma''(\mu)+ ... + \frac{X^n}{n!}\sigma^{(n)}(\mu) + ...$

$\begin{eqnarray} E[\sigma(\mu + X)] & =& E[\sigma(\mu)] + E[X \sigma'(\mu)] + E[\frac{X^2}{2} \sigma''(\mu)] + ... \newline & = & \sigma(\mu) + 0 + \frac{s^2}{2}\sigma''(\mu) + 0 + \frac{3s^4}{24}\sigma^{(4)}(\mu)+ ... + \frac{s^{2k}}{2^k k!}\sigma^{(2k)}(\mu) ... \end{eqnarray}$

Có những vấn đề hội tụ. Hàm logistic có một cực trong đó , vì vậy tại , lẻ. Phân kỳ không giống như tiền tố là vô dụng, nhưng xấp xỉ chuỗi này có thể không đáng tin khi là đáng kể. $\exp(-x) = -1$ $x = k \pi i$ $k$ $P(|X| \gt \sqrt{\mu^2 + \pi^2})$

Vì , chúng tôi có thể viết các đạo hàm của dưới dạng đa thức trong . Ví dụ: và . Các hệ số có liên quan đến OEIS A028246 . $\sigma'(x) = \sigma(x) (1-\sigma(x))$ $\sigma(x)$ $\sigma(x)$ $\sigma'' = \sigma-3\sigma^2+2\sigma^3$ $\sigma''' = \sigma - 7\sigma^2 + 12 \sigma^3 - 6\sigma^4$

— Douglas Zare
nguồn

4

Những gì bạn có ở đây là một biến ngẫu nhiên tuân theo phân phối logit-normal (hoặc logistic-normal) (xem wikipedia ), nghĩa là, . Những khoảnh khắc của phân phối logit-bình thường không có giải pháp phân tích. $\mbox{logit}[x] \sim N(\mu, s^2)$

Nhưng tất nhiên người ta có thể có được chúng thông qua tích hợp số. Nếu bạn sử dụng R, có gói logitnorm có mọi thứ bạn cần. Một ví dụ:

install.packages("logitnorm")
library(logitnorm)
momentsLogitnorm(mu=1, sigma=2)

Sản lượng này:

> momentsLogitnorm(mu=1, sigma=2)
      mean        var 
0.64772644 0.08767866

Vì vậy, thậm chí còn có một chức năng tiện lợi sẽ trực tiếp cung cấp cho bạn giá trị trung bình và phương sai.

— Wolfgang
nguồn