Gia đình theo cấp số nhân: Số liệu thống kê được quan sát so với dự kiến

Câu hỏi của tôi xuất phát từ việc đọc "Ước tính phân phối Dirichlet" của Minka , trong đó nêu rõ những điều sau đây mà không có bằng chứng trong bối cảnh thu được ước tính khả năng tối đa cho phân phối Dirichlet dựa trên quan sát các vectơ ngẫu nhiên:

Như mọi khi với họ theo cấp số nhân, khi độ dốc bằng 0, số liệu thống kê đủ dự kiến sẽ bằng với số liệu thống kê đủ quan sát được.

Tôi chưa thấy ước tính khả năng tối đa trong gia đình hàm mũ được trình bày theo cách này, tôi cũng không tìm thấy bất kỳ lời giải thích phù hợp nào trong tìm kiếm của mình. Ai đó có thể cung cấp cái nhìn sâu sắc về mối quan hệ giữa các số liệu thống kê đầy đủ được quan sát và dự kiến, và có lẽ giúp hiểu được ước tính khả năng tối đa là giảm thiểu sự khác biệt của họ?

— Ben Bray
nguồn

Đây là một khẳng định thông thường về gia đình theo cấp số nhân, nhưng theo tôi, hầu hết các lần nó được nêu theo cách có thể gây nhầm lẫn cho người đọc ít kinh nghiệm. Bởi vì, được lấy theo mệnh giá, có thể hiểu là "nếu biến ngẫu nhiên của chúng ta tuân theo phân phối trong họ hàm mũ, thì nếu chúng ta lấy một mẫu và đưa nó vào thống kê đầy đủ, chúng ta sẽ có được giá trị mong đợi thực sự của thống kê ". Nếu chỉ là như vậy ... Hơn nữa nó không tính đến kích thước của mẫu, điều này có thể gây thêm nhầm lẫn.

Hàm mật độ hàm mũ là

\begin{matrix} (1) & f_{X} (x) = h (x) e^{η (θ) T (x)} e^{- A (θ)} \end{matrix}

$f_X(x) = h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)} \tag{1}$

Trong đó là số liệu thống kê đầy đủ. $T(x)$

Vì đây là mật độ, nó phải tích hợp vào sự thống nhất, vì vậy ( là sự hỗ trợ của ) $S_x$ $X$

\begin{matrix} (2) & \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = 1 \end{matrix}

$\int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =1 \tag{2}$

Phương trình giữ cho tất cả vì vậy chúng tôi có thể phân biệt hai bên liên quan đến nó với: $(2)$ $\theta$

\begin{matrix} (3) & \frac{\partial}{\partial θ} \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = \frac{\partial (1)}{\partial θ} = 0 \end{matrix}

$\frac {\partial}{\partial \theta} \int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =\frac {\partial (1)}{\partial \theta} =0 \tag{3}$

Trao đổi thứ tự phân biệt và tích hợp, chúng ta có được

\begin{matrix} (4) & \int_{S_{x}} \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) d x = 0 \end{matrix}

$\int_{S_x} \frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right)dx =0 \tag{4}$

Thực hiện sự khác biệt chúng ta có

\begin{matrix} (5) & \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) = f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] \end{matrix}

$\frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right) = f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big] \tag{5}$

$(5)$ $(4)$

\int_{S_{x}} f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] d x = 0

$\int_{S_x} f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big]dx =0$

\begin{matrix} (6) & \Rightarrow η^{'} (θ) E [T (X)] - A^{'} (θ) = 0 \Rightarrow E [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} \end{matrix}

$\Rightarrow \eta'(\theta)E[T(X)] - A'(\theta) = 0 \Rightarrow E[T(X)] = \frac {A'(\theta)}{\eta'(\theta)} \tag{6}$

$(6)$ $\theta$ $\theta$ $T(X)$ $\theta_0$ $(6)$

\begin{matrix} (6a) & E_{θ_{0}} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = θ_{0}} \end{matrix}

$E_{\theta_0}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\theta_0} \tag{6a}$

$n$

L (θ ∣ x) = \sum_{i = 1}^{n} \ln h (x_{i}) + η (θ) \sum_{i = 1}^{n} T (x_{i}) - n A (θ)

$L(\theta \mid \mathbf x) = \sum_{i=1}^n\ln h(x_i) +\eta(\theta)\sum_{i=1}^nT(x_i) -nA(\theta)$

$\theta$ $0$

\begin{matrix} (7) & \hat{θ} (x) : \frac{1}{n} \sum_{i = 1}^{n} T (x_{i}) = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$\hat \theta(x) : \frac 1n\sum_{i=1}^nT(x_i) = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat \theta(x)} \tag {7}$

$(7)$ $(6a)$ $2$ $\theta$ $\hat \theta$ $3,4,5,6$ $\hat \theta$ $6a$ $\hat \theta$

\begin{matrix} (6b) & E_{\hat{θ} (x)} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$E_{\hat\theta(x)}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat\theta(x)} \tag{6b}$

$(7)$

E_{\hat{θ} (x)} [T (X)] = \frac{1}{n} \sum_{i = 1}^{n} T (x_{i})

$E_{\hat\theta(x)}[T(X)] = \frac 1n\sum_{i=1}^nT(x_i)$

$\hat \theta(x)$ $\theta$ $\mathbf x$

$n=1$

— Alecos Papadopoulos
nguồn

Bạn có thể giải thích thêm tại sao việc chuyển đổi từ 6a sang 6b là hợp lệ không?

— Theoden

(2)

$(2)$

(3)

$(3)$

(2)

$(2)$

θ

$\theta$

\hat{θ}

$\hat \theta$

3, 4, 5, 6

$3,4,5,6$

\hat{θ}

$\hat \theta$

@AlecosPapadopoulos bằng chứng của bạn dưới đây dường như gợi ý rằng những gì bạn nói khi bắt đầu - "nếu biến ngẫu nhiên của chúng tôi tuân theo phân phối trong họ hàm mũ, thì nếu chúng tôi lấy một mẫu và đưa nó vào thống kê đầy đủ, chúng tôi sẽ có được giá trị mong đợi thực sự của thống kê "là đúng. Ý tôi là tôi luôn có thể làm điều đó cho (2), thay thế nó bằng chỉ số đủ quan sát và nhận được kết quả. Tôi đang thiếu gì ở đây? Tôi không hiểu lắm.

— dùng10024395

6 a

$6a$

θ

$\theta$

6 b

$6b$

Bạn có thể giải thích lý do tại sao chúng ta có thể trao đổi thứ tự phân biệt và tích hợp trong eq. (3) làm ơn?

— Markus777