Khả năng tối đa bị hạn chế là gì và nên sử dụng khi nào?

73

Tôi đã đọc trong bản tóm tắt của bài báo này rằng:

"Quy trình khả năng tối đa (ML) của Hartley aud Rao được sửa đổi bằng cách điều chỉnh chuyển đổi từ Patterson và Thompson, phân vùng khả năng biến tính bình thường thành hai phần, một phần không có hiệu ứng cố định. Tối đa hóa phần này mang lại khả năng tối đa bị hạn chế (REML) người ước tính. "

Tôi cũng đã đọc trong bản tóm tắt của bài báo này rằng REML:

"tính đến sự mất mát về mức độ tự do do ước tính các hiệu ứng cố định."

Đáng buồn là tôi không có quyền truy cập vào toàn văn của những giấy tờ đó (và có lẽ sẽ không hiểu nếu tôi đã làm).

Ngoài ra, những lợi thế của REML so với ML là gì? Trong trường hợp nào, REML có thể được ưu tiên hơn ML (hoặc ngược lại) khi điều chỉnh mô hình hiệu ứng hỗn hợp? Xin vui lòng đưa ra một lời giải thích phù hợp cho một người có nền tảng toán học trung học (hoặc xa hơn)!

mixed-model maximum-likelihood reml

— Joe King
nguồn

xem thống kê.stackexchange.com/questions / 99895 / Google

62

Theo câu trả lời của ocram, ML được thiên vị cho việc ước tính các thành phần phương sai. Nhưng quan sát rằng độ lệch sẽ nhỏ hơn đối với cỡ mẫu lớn hơn. Do đó, trong câu trả lời cho câu hỏi của bạn " ... lợi thế của REML so với ML là gì? Trong trường hợp nào, REML có thể được ưu tiên hơn ML (hoặc ngược lại) khi phù hợp với mô hình hiệu ứng hỗn hợp? ", Đối với kích thước mẫu nhỏ, REML được ưu tiên. Tuy nhiên, các thử nghiệm tỷ lệ khả năng cho REML yêu cầu chính xác cùng một đặc điểm kỹ thuật hiệu ứng cố định trong cả hai mô hình. Vì vậy, để so sánh các mô hình với các hiệu ứng cố định khác nhau (một kịch bản chung) với thử nghiệm LR, ML phải được sử dụng.

REML tính đến số lượng tham số (hiệu ứng cố định) ước tính, mất 1 bậc tự do cho mỗi tham số. Điều này đạt được bằng cách áp dụng ML cho các phần dư bình phương nhỏ nhất, không phụ thuộc vào các hiệu ứng cố định.

— Robert Long
nguồn

8

Thật vậy, công cụ ước tính REML của một thành phần phương sai thường là (xấp xỉ) không thiên vị, trong khi công cụ ước tính ML bị sai lệch âm. Tuy nhiên, công cụ ước tính ML thường có lỗi bình phương trung bình (MSE) thấp hơn công cụ ước tính REML. Vì vậy, nếu bạn muốn trung bình đúng, hãy sử dụng REML, nhưng bạn phải trả tiền cho điều này với sự thay đổi lớn hơn trong các ước tính. Nếu bạn muốn gần hơn với giá trị thực trung bình, hãy đi với ML, nhưng bạn trả tiền cho điều này với độ lệch âm.

— Wolfgang

3

n

$n$

(n - 1)

$(n-1)$

"ML được thiên vị cho việc ước tính các thành phần phương sai". Liệu nó có nghĩa là phương sai của các hiệu ứng ngẫu nhiên hay cũng là các lỗi tiêu chuẩn của các hệ số hiệu ứng cố định?

— skan

54

Đây là một câu trả lời nhanh chóng ...

Ví dụ minh họa tiêu chuẩn

$y = (y_1, \dotsc, y_n)$ $\mathrm{N}(\mu, \sigma^2$ $\mu$ $\sigma^2$ $\sigma^2$ $\sigma^2$

{\hat{σ}}_{ML}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}

$\hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2$

\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}

$\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$

μ

$\mu$

E ({\hat{σ}}_{ML}^{2}) = \frac{n - 1}{n} σ^{2} .

$\mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2.$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

\frac{1}{n} \sum_{i = 1}^{n} {((y_{i} - μ) + (μ - \bar{y}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

μ

$\mu$

σ^{2}

$\sigma^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ $\bar{x}$

σ^{2}

$\sigma^2$

μ

$\mu$

$y$ $Ky$ $K$ $\mathrm{E}[Ky] = 0$

Ước tính REML thường được sử dụng trong bối cảnh phức tạp hơn của các mô hình hỗn hợp. Mỗi cuốn sách về các mô hình hỗn hợp có một phần giải thích ước tính REML chi tiết hơn.

Biên tập

@Joe King: Đây là một trong những cuốn sách yêu thích của tôi về các mô hình hỗn hợp hoàn toàn có sẵn trực tuyến. Mục 2.4.2 đề cập đến việc ước tính các thành phần phương sai. Thích đọc sách của bạn :-)

— bát giác
nguồn

Cảm ơn bạn - điều này rất hữu ích - mặc dù tôi không dễ dàng truy cập sách trên các mô hình hỗn hợp. Xin vui lòng bạn có thể liên hệ câu trả lời của bạn với 2 trích dẫn trong bài viết của tôi?

— Joe King

Tôi tự hỏi làm thế nào một Gaussian đa biến thay đổi câu chuyện? stats.stackexchange.com/questions/167494/ Cách

— Đánh bạc Sibbs 18/8/2015

9

Phương pháp ML đánh giá thấp các tham số phương sai bởi vì nó giả định rằng các tham số cố định được biết mà không có sự không chắc chắn khi ước tính các tham số phương sai.

Phương pháp REML sử dụng một thủ thuật toán học để làm cho các ước tính cho các tham số phương sai độc lập với các ước tính cho các hiệu ứng cố định. REML hoạt động bằng cách nhận phần dư hồi quy đầu tiên cho các quan sát được mô hình hóa bởi phần hiệu ứng cố định của mô hình, bỏ qua điểm này tại bất kỳ thành phần phương sai nào.

Các ước tính ML không thiên vị cho các hiệu ứng cố định nhưng thiên vị cho các hiệu ứng ngẫu nhiên, trong khi các ước tính REML bị sai lệch cho các hiệu ứng cố định và không thiên vị cho các hiệu ứng ngẫu nhiên.

— skan
nguồn