Tại sao khả năng cận biên khó / khó ước tính?

Tôi có một câu hỏi cơ bản thường được hỏi ở đây đã gây rắc rối cho tôi trong một thời gian. Thông qua hầu hết các bài đọc về thống kê bayes của tôi, nó đã nói một cách thực tế rằng khả năng cận biên thường khó hiểu hoặc khó ước tính. Tại sao?

Các lý do thường được nêu bao gồm các tuyên bố về bản chất chiều cao của tích phân / tổng được ước tính, hoặc rằng lĩnh vực của các mô hình có thể là vô hạn.

Tôi muốn xin cộng đồng này chỉ cho tôi một cái gì đó khai thác lý do tại sao và giải thích vấn đề này bằng ngôn ngữ đơn giản.

Liên kết đến các tài nguyên cũng sẽ được đánh giá cao. Tôi đã googled các thuật ngữ trong tìm kiếm tài nguyên giải thích điều này rõ ràng, nhưng hầu hết trong số họ chỉ nêu vấn đề mà không giải thích. Tôi cũng có nhận dạng mẫu sách trong học máy & sách học máy kevin murphy. Tôi không hài lòng với những giải thích trong các văn bản này, vì vậy tôi đang tìm kiếm một cái gì đó rõ ràng và đơn giản.

Dưới đây là một câu trả lời bằng ví dụ. Giả sử bạn có mô hình phân cấp sau cho các nhóm và quan sát trong a nhóm và các giá trị đã biết và . Với khả năng cận biên là Kích thước của tích phân là

$$Y_{ig} \stackrel{ind}{\sim} N(\theta_g,1) \quad \theta_g \stackrel{ind}{\sim} N(\mu,\tau^2) \quad \mu|\tau^2 \sim N(m,\tau^2/k) \quad \tau^2 \sim IG(a,b)$$ $g=1,\ldots,G$$i=1,\ldots,n_g$$m,k,a,$$b$ $$y = (y_{1,1},\ldots,y_{n_1,1},y_{1,2},\ldots,y_{n_2,2},\ldots,y_{1,G},\ldots,y_{n_G,G}),$$ $$p(y) = \int \cdots \int \prod_{g=1}^G \left[\prod_{i=1}^{n_g} N(y_{ig};\theta_g,1) \right] N(\theta_g; \mu,\tau^2) d\theta_1 \cdots d\theta_G d\mu d\tau^2.$$ $G+2$ và nếu lớn, thì đây là tích phân chiều cao. Hầu hết các kỹ thuật tích hợp số sẽ cần một số lượng cực lớn của các mẫu hoặc số lần lặp để có được xấp xỉ hợp lý cho tích phân này.$G$

Tích phân này xảy ra có khả năng cận biên ở dạng đóng, vì vậy bạn có thể đánh giá mức độ kỹ thuật tích hợp số có thể ước tính khả năng cận biên. Để hiểu tại sao việc tính toán khả năng cận biên là khó khăn, bạn có thể bắt đầu đơn giản, ví dụ: có một quan sát duy nhất, có một nhóm duy nhất, có và , v.v. Bạn có thể từ từ làm cho vấn đề ngày càng khó khăn hơn và xem làm thế nào các kỹ thuật tích hợp số giá vé liên quan đến sự thật. Bạn sẽ nhận thấy rằng chúng ngày càng tệ hơn, tức là chúng sẽ cần ngày càng nhiều mẫu hoặc lặp lại để có được độ chính xác tương tự, khi kích thước của vấn đề, tức là , tăng lên. Cuối cùng, hãy để$\mu$$\sigma^2$$G$$Y_{ig} \stackrel{ind}{\sim} Po(e^{\theta_g})$và bây giờ bạn có khả năng cận biên không có hình thức đóng. Dựa trên kinh nghiệm của bạn khi bạn biết sự thật, bạn sẽ tin bao nhiêu vào một ước tính bằng số khi bạn không biết sự thật? Tôi đoán bạn sẽ không có nhiều niềm tin vào ước tính số.