Cái nào là khả năng tối đa tốt hơn hoặc khả năng cận biên và tại sao?

Trong khi thực hiện hồi quy nếu chúng ta đi theo định nghĩa từ: Sự khác biệt giữa khả năng một phần, khả năng hồ sơ và khả năng cận biên là gì?

rằng, Khả năng tối đa
Tìm β và tối đa hóa dữ liệu L (β, |).

Trong khi, Khả năng cận biên
Chúng tôi tích hợp từ phương trình khả năng bằng cách khai thác thực tế là chúng tôi có thể xác định phân phối xác suất của có điều kiện trên.

Đó là phương pháp tốt hơn để tối đa hóa và tại sao?

regression maximum-likelihood

— Ankit Chiplunkar
nguồn

Câu trả lời:

Mỗi trong số đó sẽ cho kết quả khác nhau với một cách giải thích khác nhau. Những phát hiện đầu tiên trên cặp , đó là có khả năng nhất, trong khi những phát hiện thứ hai là (nhẹ) có thể xảy ra nhất. Hãy tưởng tượng rằng bản phân phối của bạn trông như thế này: $\beta$ $\theta$ $\beta$

$\beta=1$ $\beta=2$
$\theta=1$ 0.0 0.2
$\theta=2$ 0.1 0.2
$\theta=3$ 0.3 0.2

Sau đó, khả năng câu trả lời tối đa là ( ), trong khi biên câu trả lời khả năng tối đa là (từ đó, marginalizing trên , ). $\beta=1$ $\theta=3$ $\beta=2$ $\theta$ $P(\beta=2)=0.6$

Tôi nói rằng, nói chung, khả năng cận biên thường là những gì bạn muốn - nếu bạn thực sự không quan tâm đến các giá trị của , thì bạn chỉ nên thu gọn chúng. Nhưng có lẽ trong thực tế các phương pháp này sẽ không mang lại kết quả rất khác nhau - nếu họ làm, sau đó nó có thể trỏ đến một số bất ổn tiềm ẩn trong giải pháp của bạn, ví dụ như nhiều chế độ với kết hợp khác nhau của , rằng tất cả các dự đoán cho tương tự. $\theta$ $\beta$ $\theta$

— Chris
nguồn

Tôi đã tìm thấy kết quả khác nhau cho các phương pháp khả năng tối đa / cận biên và do đó câu hỏi. Tôi sẽ nói rằng hai kết quả trong trường hợp của tôi đưa ra những cách hiểu khác nhau nhưng kết quả có thể.

— Ankit Chiplunkar

Tôi đang vật lộn với câu hỏi này ngay bây giờ. Đây là một kết quả có thể hữu ích. Hãy xem xét mô hình tuyến tính

y = X β + ϵ, ϵ \sim N (0, σ^{2})

$y = X\beta + \epsilon, \quad \epsilon \sim N(0,\sigma^2)$

nơi và $y \in \mathbb{R}^n, \beta \in \mathbb{R}^p,$ $\beta$ và là các thông số quan tâm. Khả năng chung là $\sigma^2$

L (β, σ^{2}) = (2 π σ^{2})^{- n / 2} e x p (- \frac{| | y - X β | |^{2}}{2 σ^{2}})

$L(\beta,\sigma^2) = (2 \pi \sigma^2)^{-n/2} exp\left(-\frac{||y-X\beta||^2}{2\sigma^2}\right)$

Tối ưu hóa năng suất chung

\hat{β} = X^{+} y

$\hat{\beta} = X^+ y$

{\hat{σ}}^{2} = \frac{1}{n} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n}||r||^2$

nơi là pseudoinverse của và là vector còn phù hợp. Lưu ý rằng trong chúng ta có thay vì độ-of-tự do quen thuộc điều chỉnh tỷ lệ . Công cụ ước tính này được biết là sai lệch trong trường hợp mẫu hữu hạn. $X^+$ $X$ $r=y-X\hat{\beta}$ $\hat{\sigma}^2$ $1/n$ $1/(n-p)$

Bây giờ giả sử thay vì tối ưu hóa trên cả và , chúng tôi tích hợp ra và ước tính $\beta$ $\sigma^2$ $\beta$ từ kết quả khả năng tích hợp: $\sigma^2$

{\hat{σ}}^{2} = {max}_{σ^{2}} \int_{R^{p}} L (β, σ^{2}) d β

$\hat{\sigma}^2 = \text{max}_{\sigma^2} \int_{\mathbb{R}^p} L(\beta,\sigma^2) d\beta$

Sử dụng đại số tuyến tính cơ bản và công thức tích phân Gaussian, bạn có thể chỉ ra rằng

{\hat{σ}}^{2} = \frac{1}{n - p} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n-p} ||r||^2$

Điều này có mức độ tự do điều chỉnh làm cho nó không thiên vị và thường được ưa chuộng hơn so với ước tính ML chung.

Từ kết quả này, người ta có thể hỏi liệu có một cái gì đó vốn có lợi thế về khả năng tích hợp, nhưng tôi không biết bất kỳ kết quả chung nào trả lời câu hỏi đó. Sự đồng thuận dường như là ML tích hợp tốt hơn trong việc tính toán sự không chắc chắn trong hầu hết các vấn đề ước tính. Cụ thể, nếu bạn đang ước tính một đại lượng phụ thuộc vào các ước tính tham số khác (thậm chí là ngầm), thì việc tích hợp trên các tham số khác sẽ giải thích tốt hơn cho sự không chắc chắn của chúng.

— Paul
nguồn

Hay đấy. Tôi, tuy nhiên, một chút bối rối bởi thực tế là "tích hợp ra

" sử dụng một phân phối biên không hợp lệ, cũng như bởi sự vắng mặt của bất kỳ biện minh rõ ràng cho việc sử dụng này (không đúng) biên so với bất kỳ khác. Bạn có suy nghĩ gì về những vấn đề này?

β

$\beta$

— whuber

@whuber tôi chia sẻ mối quan tâm của bạn và không có một câu trả lời sẵn sàng, nhưng lưu ý rằng khả năng bị thiệt thòi chỉ là một sau với một bộ đồng phục không đúng cách trước khi vào

, vì vậy tôi nghĩ rằng đây có liên quan đến "quan Bayes" cách tiếp cận. Có một người không quan tâm khi một tham số như

có một phân phối trước không đúng cách, miễn là sau là khả tích.

β

$\beta$

β

$\beta$

— Paul

Trên thực tế, dựa trên bài đăng và bình luận trong đó, tôi nghĩ ML tích hợp, không phải ML cận biên, là thuật ngữ phù hợp cho những gì chúng tôi đang làm ở đây. Chỉnh sửa cho phù hợp.

— Paul

+1 Tôi biết rằng tôi đến khá muộn cho bữa tiệc này nhưng không tích hợp các hiệu ứng cố định bằng cách đặt một bộ đồng phục không phù hợp trước chúng chính xác những gì REML làm, vì vậy bạn thực sự đã có được ước tính REML và điều chỉnh df này chính xác là Lý do ở đây rằng REML là tốt hơn cho các mẫu nhỏ hơn?

— JLD

@Chaconne vâng, bài đăng này đã được thúc đẩy bằng cách cố gắng hiểu REML! Tôi (hầu như) không có giáo dục thống kê chính thức, vì vậy việc tạo ra điều này hoàn toàn mới đối với tôi.

— Paul

$\beta$ $\beta$ $\theta$ $\theta$ $\theta$ $\theta$ $\theta_i$ $p(\theta_i)$ $\theta$ $data$ $\beta$

— Hạt giống
nguồn