MLE có yêu cầu dữ liệu iid không? Hay chỉ là tham số độc lập?

16

Ước tính các tham số sử dụng ước tính khả năng tối đa (MLE) liên quan đến việc đánh giá hàm khả năng, ánh xạ xác suất của mẫu (X) xảy ra với các giá trị (x) trên không gian tham số () được cung cấp một họ phân phối (P (X = x | ) trên các giá trị có thể của θ (lưu ý: tôi có đúng về điều này không?). Tất cả các ví dụ tôi đã thấy liên quan đến việc tính P (X = x | θ) bằng cách lấy sản phẩm của F (X) trong đó F là phân phối với cục bộ giá trị cho và X là mẫu (một vectơ).

Vì chúng ta chỉ nhân dữ liệu, nên dữ liệu có độc lập không? Ví dụ: chúng ta không thể sử dụng MLE để phù hợp với dữ liệu chuỗi thời gian? Hay các tham số chỉ phải độc lập?

maximum-likelihood

— Felix
nguồn

14

Hàm likelihood được định nghĩa là xác suất của một sự kiện $E$ (dữ liệu đặt ${\bf x}$ ) là một hàm của các thông số mô hình $\theta$

L (θ; x) \propto P (Event E; θ) = P (observing x; θ) .

${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$

Do đó, không có giả định về tính độc lập của các quan sát. Theo cách tiếp cận cổ điển, không có định nghĩa cho sự độc lập của các tham số vì chúng không phải là các biến ngẫu nhiên; một số khái niệm liên quan có thể là nhận dạng , tính trực giao tham số và tính độc lập của Công cụ ước tính khả năng tối đa (là các biến ngẫu nhiên).

Vài ví dụ,

(1). Trường hợp rời rạc . là một mẫu (độc lập) quan sát rời rạc với , sau đó ${\bf x}=(x_1,...,x_n)$ ${\mathbb P}(\text{observing } x_j ; \theta)>0$

L (θ; x) \propto \prod_{j = 1}^{n} P (observing x_{j}; θ) .

${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$

Đặc biệt, nếu , với biết, chúng ta có điều đó $x_j\sim \text{Binomial}(N,\theta)$ $N$

L (θ; x) \propto \prod_{j = 1}^{n} θ^{x_{j}} (1 - θ)^{N - x_{j}} .

${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$

(2). Xấp xỉ liên tục . Hãy để là một mẫu từ một liên tục biến ngẫu nhiên , với phân phối và mật độ , với sai số đo , đây là, bạn quan sát các bộ . Sau đó ${\bf x}=(x_1,...,x_n)$ $X$ $F$ $f$ $\epsilon$ $(x_j-\epsilon,x_j+\epsilon)$

\begin{array}{rcl} L (θ; x) \propto \prod_{j = 1}^{n} P [observing (x_{j} - ϵ, x_{j} + ϵ); θ] = \prod_{j = 1}^{n} [F (x_{j} + ϵ; θ) - F (x_{j} - ϵ; θ)] \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$

Khi là nhỏ, điều này có thể xấp xỉ (sử dụng Mean Value lý) bởi $\epsilon$

\begin{array}{rcl} L (θ; x) \propto \prod_{j = 1}^{n} f (x_{j}; θ) \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$

Đối với một ví dụ với trường hợp bình thường, hãy xem điều này .

(3). Mô hình phụ thuộc và Markov . Giả sử rằng là một tập hợp các quan sát có thể phụ thuộc và để là mật độ chung của , sau đó ${\bf x}=(x_1,...,x_n)$ $f$ ${\bf x}$

\begin{array}{rcl} L (θ; x) \propto f (x; θ) . \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$

Nếu thêm tài sản Markov được thỏa mãn, thì

\begin{array}{rcl} L (θ; x) \propto f (x; θ) = f (x_{1}; θ) \prod_{j = 1}^{n - 1} f (x_{j + 1} | x_{j}; θ) . \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$

Hãy cũng xem này .

— cộng đồng
nguồn

3

Từ việc bạn viết hàm khả năng như một sản phẩm, bạn đang mặc nhiên thừa nhận một cấu trúc phụ thuộc giữa các quan sát. Vì vậy, đối với MLE, người ta cần hai giả định (a) một về phân phối từng kết quả riêng lẻ và (b) một phụ thuộc vào sự phụ thuộc giữa các kết quả.

10

(+1) Câu hỏi rất hay.

Điều nhỏ, MLE là viết tắt của ước tính khả năng tối đa (không phải nhiều), có nghĩa là bạn chỉ tối đa hóa khả năng. Điều này không xác định rằng khả năng phải được tạo ra bằng cách lấy mẫu IID.

Nếu sự phụ thuộc của việc lấy mẫu có thể được viết trong mô hình thống kê, bạn chỉ cần viết khả năng phù hợp và tối đa hóa nó như bình thường.

Một trường hợp đáng nói khi bạn không giả định sự phụ thuộc là lấy mẫu Gaussian đa biến (ví dụ trong phân tích chuỗi thời gian). Sự phụ thuộc giữa hai biến Gaussian có thể được mô hình hóa bằng thuật ngữ hiệp phương sai của chúng, mà bạn kết hợp trong khả năng.

Để đưa ra một ví dụ đơn giản, giả sử rằng bạn vẽ một mẫu có kích thước từ các biến Gaussian tương quan có cùng giá trị trung bình và phương sai. Bạn sẽ viết khả năng như $2$

\frac{1}{2 π σ^{2} \sqrt{1 - ρ^{2}}} \exp (- \frac{z}{2 σ^{2} (1 - ρ^{2})}),

$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$

trong đó là $z$

z = (x_{1} - μ)^{2} - 2 ρ (x_{1} - μ) (x_{2} - μ) + (x_{2} - μ)^{2} .

$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$

Đây không phải là sản phẩm của khả năng cá nhân. Tuy nhiên, bạn sẽ tối đa hóa này với các thông số để có được MLE của họ. $(\mu, \sigma, \rho)$

— gui11aume
nguồn

2

Đây là những câu trả lời tốt và ví dụ. Điều duy nhất tôi muốn thêm vào để thấy điều này bằng các thuật ngữ đơn giản là ước tính khả năng chỉ yêu cầu một mô hình để tạo dữ liệu được chỉ định theo một số tham số chưa biết được mô tả ở dạng chức năng.

— Michael R. Chernick

(+1) Hoàn toàn đúng! Bạn có một ví dụ về mô hình không thể được chỉ định trong các điều khoản đó không?

— gui11aume

@ gu11aume Tôi nghĩ bạn đang đề cập đến nhận xét của tôi. Tôi sẽ nói rằng tôi đã không đưa ra một câu trả lời trực tiếp cho câu hỏi. Câu trả lời cho câu hỏi là có bởi vì có những ví dụ có thể được hiển thị trong đó hàm khả năng có thể được biểu thị khi dữ liệu được tạo ra bởi các biến ngẫu nhiên phụ thuộc.

— Michael R. Chernick

2

Các ví dụ trong đó điều này không thể được thực hiện sẽ là nơi dữ liệu được đưa ra mà không có bất kỳ mô tả nào về cơ chế tạo dữ liệu hoặc mô hình không được trình bày ở dạng tham số như khi bạn được cung cấp hai bộ dữ liệu iid và được yêu cầu kiểm tra xem chúng có đến từ không phân phối giống nhau trong đó bạn chỉ xác định rằng các phân phối là hoàn toàn liên tục.

— Michael R. Chernick

4

Tất nhiên, các mô hình ARMA Gaussian có khả năng, vì hàm hiệp phương sai của chúng có thể được dẫn xuất rõ ràng. Về cơ bản, đây là phần mở rộng câu trả lời của gui11ame cho hơn 2 quan sát. Googling tối thiểu tạo ra các bài báo như thế này trong đó khả năng được đưa ra ở dạng chung.

y_{i j} = x_{i j}^{'} β + u_{i} + ϵ_{i j},

$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$

j

$j$

i

$i$

j

$j$

i

$i$

ϵ_{i j} ⊥ u_{i}

$\epsilon_{ij} \perp u_i$

\ln L \sim \sum_{i} \ln \int \prod_{j} f (y_{i j} | β, u_{i}) d F (u_{i})

$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$

y_{i j}

$y_{ij}$

— StasK
nguồn

2

Stask và @ gui11aume, ba câu trả lời này rất hay nhưng tôi nghĩ họ bỏ lỡ một điểm: còn tính nhất quán của MLE đối với dữ liệu phụ thuộc thì sao?

— Stéphane Laurent