Tại sao khả năng tối đa và không mong đợi khả năng?

Tại sao nó quá phổ biến để có được ước tính khả năng tối đa của các thông số, nhưng bạn hầu như không bao giờ nghe về dự kiến ước lượng tham số khả năng (ví dụ, dựa trên các giá trị kỳ vọng chứ không phải là chế độ của một hàm khả năng)? Đây có phải chủ yếu vì lý do lịch sử, hoặc vì lý do kỹ thuật hoặc lý thuyết thực tế hơn?

Sẽ có những lợi thế và / hoặc bất lợi đáng kể để sử dụng các ước tính khả năng dự kiến thay vì ước tính khả năng tối đa?

Có một số lĩnh vực trong đó ước tính khả năng dự kiến được sử dụng thường xuyên?

— Jake Westfall
nguồn

Giá trị kỳ vọng đối với phân phối xác suất nào? ML thường được áp dụng trong các phân tích phi Bayes trong đó (a) dữ liệu được đưa ra (và cố định) và (b) các tham số được coi là hằng số (chưa biết): không có biến ngẫu nhiên nào cả.

— whuber

Câu trả lời:

Phương pháp được đề xuất (sau khi bình thường hóa khả năng là mật độ) tương đương với việc ước tính các tham số bằng cách sử dụng căn hộ trước cho tất cả các tham số trong mô hình và sử dụng giá trị trung bình của phân phối sau làm công cụ ước tính của bạn. Có những trường hợp sử dụng căn hộ trước có thể khiến bạn gặp rắc rối vì bạn không kết thúc với phân phối sau thích hợp nên tôi không biết bạn sẽ khắc phục tình trạng đó ở đây như thế nào.

Tuy nhiên, trong một bối cảnh thường xuyên, phương pháp này không có ý nghĩa gì vì khả năng không tạo thành mật độ xác suất trong hầu hết các bối cảnh và không còn gì ngẫu nhiên nên việc kỳ vọng không có ý nghĩa nhiều. Bây giờ chúng ta chỉ có thể chính thức hóa đây là một hoạt động mà chúng ta áp dụng cho khả năng sau khi thực tế để có được ước tính nhưng tôi không chắc các thuộc tính thường xuyên của công cụ ước tính này sẽ trông như thế nào (trong trường hợp ước tính thực sự tồn tại).

Ưu điểm:

Điều này có thể cung cấp ước tính trong một số trường hợp MLE không thực sự tồn tại.
Nếu bạn không bướng bỉnh, nó có thể đưa bạn vào một khung cảnh Bayes (và đó có lẽ là cách tự nhiên để suy luận với loại ước tính này). Ok, tùy thuộc vào quan điểm của bạn, điều này có thể không phải là một lợi thế - nhưng đối với tôi.

Nhược điểm:

Điều này cũng không đảm bảo tồn tại.
Nếu chúng ta không có không gian tham số lồi, ước tính có thể không phải là giá trị hợp lệ cho tham số.
Quá trình không phải là bất biến đối với việc xác định lại. Vì quá trình này tương đương với việc đặt căn hộ trước các tham số của bạn, nó tạo ra sự khác biệt về các tham số đó là gì (chúng ta đang nói về việc sử dụng làm tham số hay chúng ta đang sử dụng ) $\sigma$ $\sigma^2$

— Dason
nguồn

+1 Một vấn đề lớn khi giả định phân phối đồng đều các tham số là các vấn đề ML thường được cải tổ bằng cách khai thác tính bất biến của các giải pháp của chúng để xác định lại tham số: tuy nhiên, điều đó sẽ thay đổi phân phối trước trên các tham số. Do đó, việc "kỳ vọng" như thể các tham số có phân phối đồng đều là một tạo tác tùy ý và có thể dẫn đến kết quả sai và vô nghĩa.

— whuber

Điểm tốt! Tôi cũng sẽ đề cập đến điều đó nhưng quên không mang nó lên trong khi gõ phần còn lại.

— Dason

Đối với hồ sơ, khả năng tối đa không phải là bất biến đối với việc lặp lại.

— Neil G

@NeilG Có chứ? Có lẽ chúng tôi đang đề cập đến những ý tưởng khác nhau mặc dù. Bạn có ý gì khi bạn nói điều đó?

— Dason

p \in [0, 1]

$p \in [0,1]$

α = β = 2

$\alpha=\beta=2$

o \in [0, \infty)

$o \in [0, \infty)$

α = β = 2

$\alpha=\beta=2$

\frac{1}{2}

$\frac12$

\frac{1}{3}

$\frac13$

\frac{1}{4}

$\frac14$

Một lý do là ước tính khả năng tối đa dễ dàng hơn: bạn đặt đạo hàm của khả năng ghi các tham số về 0 và giải các tham số. Lấy một kỳ vọng có nghĩa là tích hợp số lần khả năng của mỗi tham số.

$\{x_i\}$ $\mu=E(x)$ $\chi=E(x^2)$

Trong một số trường hợp, tham số khả năng tối đa giống như tham số khả năng dự kiến. Ví dụ: trung bình khả năng dự kiến của phân phối bình thường ở trên giống như khả năng tối đa vì giá trị trung bình trước là bình thường và chế độ và giá trị trung bình của phân phối bình thường trùng khớp. Tất nhiên điều đó sẽ không đúng với tham số khác (tuy nhiên bạn đã tham số hóa nó).

Tôi nghĩ lý do quan trọng nhất có lẽ là tại sao bạn muốn có một kỳ vọng về các tham số? Thông thường, bạn đang học một mô hình và các giá trị tham số là tất cả những gì bạn muốn. Nếu bạn sẽ trả về một giá trị duy nhất, đó có phải là khả năng tối đa bạn có thể trả lại không?

— Neil G
nguồn

Đối với dòng cuối cùng của bạn: Có thể - có thể không. Nó phụ thuộc vào chức năng mất của bạn. Tôi chỉ đùa giỡn với ý tưởng của Jake và có vẻ như đối với trường hợp với X ~ Unif (0, theta) mà max (X) * (n-1) / (n-2), đó là phương pháp mà Jake đưa ra, tốt hơn MSE hơn max (X) là MLE (ít nhất là mô phỏng ngụ ý điều này khi n> = 5). Rõ ràng ví dụ Unif (0, theta) không phải là điển hình nhưng nó cho thấy rằng có các phương pháp hợp lý khác để có được các công cụ ước tính.

— Dason

@Dason Một kỹ thuật thường xuyên tiêu chuẩn (và mạnh mẽ) để tìm các công cụ ước tính tốt ( nghĩa là được chấp nhận) là để tính toán các công cụ ước tính Bayes cho các linh mục khác nhau. (Xem, ví dụ , cuốn sách của Lehmann về ước tính điểm.) Bạn vừa khám phá lại một công cụ ước tính như vậy.

— whuber

Cảm ơn câu trả lời của bạn Neil! Bạn nói rằng việc có được các ước tính tham số thông qua sự khác biệt là dễ dàng hơn so với tích hợp và tôi chắc chắn có thể thấy điều này sẽ đúng như thế nào đối với các vấn đề đơn giản (ví dụ: mức độ bút và giấy không quá xa). Nhưng đối với các vấn đề phức tạp hơn nhiều khi chúng ta phải dựa vào các phương pháp số, có thể thực sự không dễ sử dụng tích hợp hơn? Trong thực tế, việc tìm kiếm MLE có thể gây ra một vấn đề tối ưu hóa khá khó khăn. Không thể tính gần đúng số nguyên thực sự dễ dàng hơn về mặt tính toán? Hoặc điều đó khó có thể đúng trong hầu hết các trường hợp?

— Jake Westfall

@JakeWestfall: Làm thế nào bạn sẽ có một kỳ vọng về không gian tham số bằng phương pháp số? Trong một không gian mô hình phức tạp với một không gian tham số lớn, bạn không thể tích hợp trên toàn bộ điều đánh giá xác suất của từng mô hình (cài đặt tham số). Thông thường, bạn sẽ chạy EM trong đó ước tính tham số xảy ra trong bước M để mỗi tham số là một trong những "vấn đề đơn giản" như bạn nói, và trong đó các tham số khả năng tối đa là mong đợi đơn giản của thống kê đầy đủ.

— Neil G

@NeilG Chà, Dason chỉ ra rằng phương pháp tôi đang thảo luận là (sau khi chuẩn hóa) tương đương với ước lượng Bayes với một căn hộ trước và sau đó sử dụng giá trị trung bình như ước tính. Vì vậy, để đáp lại "Làm thế nào bạn sẽ có một kỳ vọng về không gian tham số bằng phương pháp số?" Tôi đoán rằng tôi đã nghĩ rằng chúng ta có thể sử dụng một trong những phương pháp sau: bayesian-inference.com/numericalapproimumation Bạn có suy nghĩ gì về điều này không?

— Jake Westfall

Cách tiếp cận này tồn tại và nó được gọi là Công cụ ước tính tương phản tối thiểu. Ví dụ về bài báo liên quan (và xem các tài liệu tham khảo khác từ bên trong) https://arxiv.org/abs/0901.0655

— Danila Doroshin
nguồn