Đạo hàm của biến đổi chuẩn hóa cho GLM

$\newcommand{\E}{\mathbb{E}}$ Làm thế nào để biến đổi $A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)}$ cho gia đình hàm mũ nguồn gốc?

Cụ thể hơn : Tôi đã cố gắng theo dõi bản phác thảo mở rộng Taylor ở trang 3, slide 1 ở đây nhưng có một số câu hỏi. Với $X$ từ một gia đình hàm mũ, phép biến đổi $h(X)$ và $\kappa _i$ biểu thị tích lũy $i^{th}$ , các slide lập luận rằng:

$$\kappa _3(h(\bar{X})) \approx h'(\mu)^3\frac{\kappa _3(\bar{X})}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N} + O(N^{-3}),$$ và vẫn chỉ đơn giản là tìm $h(X)$ sao cho các giá trị trên ước tính thành 0.

1. Câu hỏi đầu tiên của tôi là về số học: bản mở rộng Taylor của tôi có các hệ số khác nhau và tôi không thể biện minh cho việc họ đã bỏ qua nhiều điều khoản.

   $$\begin{align} \text{Since }h(x) &\approx h(\mu) + h'(\mu)(x - \mu) + \frac{h''(x)}{2}(x - \mu)^2\text{, we have:} \\ h(\bar{X}) - h(u) &\approx h'(u))(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 \\ \E\left(h(\bar{X}) - h(u)\right)^3 &\approx h'(\mu)^3 \E(\bar{X}-\mu)^3 + \frac{3}{2}h'(\mu)^2h''(\mu) \E(\bar{X} - \mu)^4 + \\ &\quad \frac{3}{4}h'(\mu)h''(\mu)^2 \E(\bar{X}-\mu)^5 + \frac{1}{8}h''(\mu)^3 \E(\bar{X} - \mu)^6. \end{align}$$

   Tôi có thể có được một cái gì đó tương tự bằng cách thay thế các khoảnh khắc trung tâm bằng các tương đương tích lũy của chúng, nhưng nó vẫn không thêm.

2. Câu hỏi thứ hai: tại sao phân tích bắt đầu bằng $\bar{X}$ thay vì $X$ , số lượng chúng ta thực sự quan tâm?

Các slide bạn liên kết đến hơi khó hiểu, bỏ qua các bước và tạo một vài lỗi chính tả, nhưng cuối cùng chúng đều chính xác. Nó sẽ giúp trả lời câu hỏi 2 trước, sau đó 1, và cuối cùng rút ra phép biến đổi đối xứng .$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$

Câu hỏi 2. Chúng tôi đang phân tích vì đây là giá trị trung bình của một mẫu có kích thước của các biến ngẫu nhiên iid . Đây là một đại lượng quan trọng bởi vì việc lấy mẫu phân phối giống nhau và lấy giá trị trung bình xảy ra mọi lúc trong khoa học. Chúng tôi muốn biết mức độ gần của với nghĩa trung thực . Định lý giới hạn trung tâm cho biết nó sẽ hội tụ thành dưới dạng nhưng chúng tôi muốn biết phương sai và độ lệch của .$\bar{X}$$N$$X_1, ..., X_N$$\bar{X}$$\mu$$\mu$$N \to \infty$$\bar{X}$

Câu hỏi 1. Xấp xỉ chuỗi Taylor của bạn không phải là không chính xác, nhưng chúng tôi cần cẩn thận về việc theo dõi so với và quyền hạn của để có được kết luận giống như các slide. Chúng ta sẽ bắt đầu với các định nghĩa về và các khoảnh khắc trung tâm của và rút ra công thức cho :$\bar{X}$$X_i$$N$$\bar{X}$$X_i$$\kappa_3(h(\bar{X}))$

$\bar{X} = \frac{1}{N}\sum_{i=1}^N X_i$

$\mathbb{E}[X_i] = \mu$

$V(X_i) = \mathbb{E}[(X_i - \mu)^2] = \sigma^2$

$\kappa_3(X_i) = \mathbb{E}[(X_i - \mu)^3]$

Bây giờ, những khoảnh khắc trung tâm của :$\bar{X}$

$\mathbb{E}[\bar{X}] = \frac{1}{N}\sum_{i=1}^N \mathbb{E}[X_i] = \frac{1}{N}(N\mu) = \mu$

$\begin{align} V(\bar{X}) &=\mathbb{E}[(\bar{X} - \mu)^2]\\ &=\mathbb{E}[\Big((\frac{1}{N}\sum_{i=1}^N X_i) - \mu\Big)^2]\\ &=\mathbb{E}[\Big(\frac{1}{N}\sum_{i=1}^N (X_i - \mu)\Big)^2]\\ &=\frac{1}{N^2}\Big(N\mathbb{E}[(X_i - \mu)^2] + N(N-1)\mathbb{E}[X_i - \mu]\mathbb{E}[X_j - \mu]\Big)\\ &= \frac{1}{N}\sigma^2 \end{align}$

Bước cuối cùng sau kể từ và . Đây có thể không phải là dẫn xuất dễ nhất của , nhưng đó là quá trình tương tự chúng ta cần làm để tìm và , trong đó chúng tôi chia nhỏ một sản phẩm của tổng kết và đếm số lượng thuật ngữ có quyền hạn của các biến khác nhau. Trong trường hợp trên, có thuật ngữ có dạng và của mẫu .$\mathbb{E}[X_i - \mu] = 0$$\mathbb{E}[(X_i - \mu)^2] = \sigma^2$$V(\bar{X})$$\kappa_3(\bar{X})$$\kappa_3(h(\bar{X}))$$N$$(X_i - \mu)^2$$N(N-1)$$(X_i - \mu)(X_j - \mu)$

$\begin{align} \kappa_3(\bar{X}) &= \mathbb{E}[(\bar{X}-\mu)^3)]\\ &= \mathbb{E}[\Big((\frac{1}{N}\sum_{i=1}^N X_i) - \mu\Big)^3]\\ &= \mathbb{E}[\Big(\frac{1}{N}\sum_{i=1}^N (X_i - \mu)\Big)^3]\\ &= \frac{1}{N^3}\Big(N\mathbb{E}[(X_i - \mu)^3] + 3N(N-1)\mathbb{E}[(X_i - \mu)\mathbb{E}[(X_j - \mu)^2]+N(N-1)(N-2)\mathbb{E}[(X_i - \mu)]\mathbb{E}[(X_j - \mu)]\mathbb{E}[(X_k - \mu)]\\ &= \frac{1}{N^2}\mathbb{E}[(X_i - \mu)^3]\\ &= \frac{\kappa_3(X_i)}{N^2} \end{align}$

Tiếp theo, chúng tôi sẽ mở rộng trong chuỗi Taylor như bạn có:$h(\bar{X})$

$h(\bar{X}) = h(\mu) + h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 + \frac{1}{3}h'''(\mu)(\bar{X}-\mu)^3 + ...$

$\begin{align} \mathbb{E}[h(\bar{X})] &= h(\mu) + h'(\mu)\mathbb{E}[\bar{X} - \mu] + \frac{1}{2}h''(\mu)\mathbb{E}[(\bar{X}-\mu)^2] + \frac{1}{3}h'''(\mu)\mathbb{E}[(\bar{X}-\mu)^3] + ...\\ &= h(\mu) + \frac{1}{2}h''(\mu)\frac{\sigma^2}{N} + \frac{1}{3}h'''(\mu)\frac{\kappa_3(X_i)}{N^2} + ...\\ \end{align}$

Với một số nỗ lực hơn, bạn có thể chứng minh phần còn lại của các điều khoản là . Cuối cùng, vì , (không giống với ), chúng tôi lại thực hiện một phép tính tương tự:$O(N^{-3})$$\kappa_3(h(\bar{X})) = \mathbb{E}[(h(\bar{X})-\mathbb{E}[h(\bar{X})])^3]$$\mathbb{E}[(h(\bar{X})-h(\mu))^3]$

$\begin{align} \kappa_3(h(\bar{X})) &= \mathbb{E}[(h(\bar{X})-\mathbb{E}[h(\bar{X})])^3]\\ &=\mathbb{E}\Big[\Big(h(\mu) + h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 + O((\bar{X}-\mu)^3) - h(\mu) - \frac{1}{2}h''(\mu)\frac{\sigma^2}{N} - O(N^{-2})\Big)^3\Big] \end{align}$

Chúng tôi chỉ quan tâm đến các điều khoản dẫn đến thứ tự và với công việc bổ sung, bạn có thể cho thấy rằng bạn không cần các điều khoản " "hoặc" "trước khi nhận quyền lực thứ ba, vì chúng sẽ chỉ dẫn đến thứ tự . Vì vậy, đơn giản hóa, chúng tôi nhận được$O(N^{-2})$$O((\bar{X}-\mu)^3)$$- O(N^{-2})$$O(N^{-3})$

$\begin{align} \kappa_3(h(\bar{X})) &= \mathbb{E}\Big[\Big(h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 - \frac{1}{2}h''(\mu)\frac{\sigma^2}{N})\Big)^3\Big]\\ &=\mathbb{E}\Big[h'(\mu)^3(\bar{X} - \mu)^3 + \frac{1}{8}h''(\mu)^3(\bar{X}-\mu)^6 - \frac{1}{8}h''(\mu)^3\frac{\sigma^6}{N^3} + \frac{3}{2}h'(\mu)^2h''(\mu)(\bar{X}-\mu)^4 + \frac{3}{4}h'(\mu)h''(\mu)(\bar{X}-\mu)^5 - \frac{3}{2}h'(\mu)^2h''(\mu)(\bar{X} - \mu)^2\frac{\sigma^2}{N} + O(N^{-3})\Big] \end{align}$

Tôi đã bỏ qua một số thuật ngữ rõ ràng là trong sản phẩm này. Bạn sẽ phải thuyết phục bản thân rằng các điều khoản và là là tốt. Tuy nhiên,$O(N^{-3})$$\mathbb{E}[(\bar{X}-\mu)^5]$$\mathbb{E}[(\bar{X}-\mu)^6]$$O(N^{-3})$

$\begin{align} \mathbb{E}[(\bar{X}-\mu)^4] &= \mathbb{E}[\frac{1}{N^4}\Big(\sum_{i=1}^N(\bar{X}-\mu)\Big)^4]\\ &=\frac{1}{N^4}\Big(N\mathbb{E}[(X_i-\mu)^4] + 3N(N-1)\mathbb{E}[(X_i-\mu)^2]\mathbb{E}[(X_j-\mu)^2] + 0\Big)\\ &=\frac{3}{N^2}\sigma^4 + O(N^{-3}) \end{align}$

Sau đó phân phối kỳ vọng vào phương trình của chúng tôi cho , chúng tôi có$\kappa_3(h(\bar{X}))$

$\begin{align}\kappa_3(h(\bar{X})) &= h'(\mu)^3\mathbb{E}[(\bar{X} - \mu)^3] + \frac{3}{2}h'(\mu)^2h''(\mu)\mathbb{E}[(\bar{X}-\mu)^4] - \frac{3}{2}h'(\mu)^2h''(\mu)\mathbb{E}[(\bar{X} - \mu)^2]\frac{\sigma^2}{N} + O(N^{-3})\\ &= h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + \frac{9}{2}h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} - \frac{3}{2}h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} + O(N^{-3})\\ &=h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} + O(N^{-3}) \end{align}$

Điều này kết luận đạo hàm của . Bây giờ, cuối cùng, chúng ta sẽ rút ra biến đổi đối xứng .$\kappa_3(h(\bar{X}))$$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$

Đối với phép chuyển đổi này, điều quan trọng là là từ phân phối gia đình theo cấp số nhân và đặc biệt là một gia đình hàm mũ tự nhiên (hoặc đã được chuyển đổi thành phân phối này), có dạng$X_i$$f_{X_i}(x;\theta) = h(x)\exp(\theta x - b(\theta))$

Trong trường hợp này, các tích lũy của phân phối được cho bởi . Vậy , và . Chúng ta có thể viết tham số là một hàm của chỉ lấy nghịch đảo của , viết . Sau đó$\kappa_k = b^{(k)}(\theta)$$\mu = b'(\theta)$$\sigma^2 = V(\theta) = b''(\theta)$$\kappa_3 = b'''(\theta)$$\theta$$\mu$$b'$$\theta(\mu) = (b')^{-1}(\mu)$

$\theta'(\mu) = \frac{1}{b''((b')^{-1}(\mu))} = \frac{1}{b''(\theta))} = \frac{1}{\sigma^2}$

Tiếp theo, chúng ta có thể viết phương sai là một hàm của và gọi hàm này là :$\mu$$\bar{V}$

$\bar{V}(\mu) = V(\theta(\mu)) = b''(\theta(\mu))$

Sau đó

$\frac{d}{d\mu}\bar{V}(\mu) = V'(\theta(\mu))\theta'(\mu) = b'''(\theta)\frac{1}{\sigma^2} = \frac{\kappa_3}{\sigma^2}$

Vì vậy, là một hàm của , .$\mu$$\kappa_3(\mu) = \bar{V}'(\mu)\bar{V}(\mu)$

Bây giờ, đối với phép chuyển đổi đối xứng, chúng tôi muốn giảm độ lệch của bằng cách tạo sao cho là . Vì vậy, chúng tôi muốn$h(\bar{X})$$h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} = 0$$h(\bar{X})$$O(N^{-3})$

$h'(\mu)^3\kappa_3(X_i) + 3h'(\mu)^2h''(\mu)\sigma^4 = 0$

Thay thế các biểu thức của chúng tôi cho và là các chức năng của , chúng tôi có:$\sigma^2$$\kappa_3$$\mu$

$h'(\mu)^3\bar{V}'(\mu)\bar{V}(\mu) + 3h'(\mu)^2h''(\mu)\bar{V}(\mu)^2 = 0$

Vì vậy, , dẫn đến .$h'(\mu)^3\bar{V}'(\mu) + 3h'(\mu)^2h''(\mu)\bar{V}(\mu) = 0$$\frac{d}{d\mu}(h'(\mu)^3\bar{V}(\mu)) = 0$

Một giải pháp cho phương trình vi phân này là:

$h'(\mu)^3\bar{V}(\mu) = 1$ ,

$h'(\mu) = \frac{1}{[\bar{V}(\mu)]^{1/3}}$

Vì vậy, , với mọi hằng số, . Điều này mang lại cho chúng ta phép biến đổi đối xứng , trong đó là phương sai như một hàm của giá trị trung bình trong một gia đình hàm mũ tự nhiên.$h(\mu) = \int_c^\mu \frac{1}{[\bar{V}(\theta)]^{1/3}} d\theta$$c$$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$$V$

$\blacksquare$ sao tôi không thể có được kết quả tương tự bằng cách tính xấp xỉ về các khoảnh khắc phi tập trung và sau đó tính toán các khoảnh khắc trung tâm bằng cách sử dụng các khoảnh khắc phi tập trung gần đúng?$\mathbb{E}\bar{X}^k$$\mathbb{E}(\bar{X}-\mathbb{E}\bar{X})^k$

Bởi vì bạn thay đổi đạo hàm một cách tùy tiện và bỏ thuật ngữ dư lượng rất quan trọng. Nếu bạn không quen thuộc với ký hiệu O lớn và kết quả có liên quan, một tài liệu tham khảo tốt là [Casella & Lehmann].

$$h(\bar{X}) - h(u) \approx h'(u)(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 +O[(\bar{X} - \mu)^3]$$

$$\mathbb{E}[h(\bar{X}) - h(u)] \approx h'(u)\mathbb{E}(\bar{X} - \mu) + \frac{h''(x)}{2}\mathbb{E}(\bar{X} - \mu)^2+(?)$$

Nhưng ngay cả khi bạn không bỏ phần dư bằng cách lập luận rằng bạn luôn thực hiện (không hợp pháp ...), bước sau: đang nói rằng$N\rightarrow \infty$

$$\E\left(h(\bar{X}) - h(u)\right)^3 \approx h'(\mu)^3 \E(\bar{X}-\mu)^3 + \frac{3}{2}h'(\mu)^2h''(\mu) \E(\bar{X} - \mu)^4 + \frac{3}{4}h'(\mu)h''(\mu)^2 \E(\bar{X}-\mu)^5 + \frac{1}{8}h''(\mu)^3 \E(\bar{X} - \mu)^6. (1)$$ $$\int [h(x)-h(x_0)]^3dx=\int [h'(x_0)(x-x_0)+\frac{1}{2}h''(x_0)(x-x_0)^2+O((x-x_0)^3)]^3dx=(1)$$

nếu điều này vẫn chưa rõ ràng, chúng ta có thể thấy đại số của việc mở rộng tích phân là

$[h'(x_0)(x-x_0)+\frac{1}{2}h''(x_0)(x-x_0)^2+O((x-x_0)^3)]^3(2)$

Để , ,$A=h'(x_0)(x-x_0)$$B=\frac{1}{2}h''(x_0)(x-x_0)^2$$C=O((x-x_0)^3)$ $(2)=[A+B+C]^3$ $\color{red}{\neq}[A^3+3A^2 B+3A B^2+B^3]=[A+B]^3=(1)$

Sai lầm của bạn là bỏ sót phần dư trước khi mở rộng, đó là một lỗi "cổ điển" trong ký hiệu O lớn và sau đó trở thành lời chỉ trích về việc sử dụng ký hiệu O lớn.

$\blacksquare$ sao phân tích bắt đầu bằng thay vì , số lượng chúng ta thực sự quan tâm?$\bar{X}$$X$

Bởi vì chúng tôi muốn phân tích dựa trên số liệu thống kê đầy đủ của mô hình hàm mũ mà chúng tôi đang giới thiệu. Nếu bạn có mẫu có kích thước 1 thì không có sự khác biệt nào cho dù bạn phân tích với HOẶC .$\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i$$X_1$

Đây là một bài học tốt trong ký hiệu O lớn mặc dù nó không liên quan đến GLM ...

Tham khảo [Casella & Lehmann] Lehmann, Erich Leo và George Casella. Lý thuyết ước lượng điểm. Springer Science & Business Media, 2006.