ý nghĩa của việc tích hợp số là quá đắt?

Tôi đang đọc về suy luận Bayes và tôi đã bắt gặp cụm từ "tích hợp số của khả năng cận biên là quá đắt"

Tôi không có nền tảng về toán học và tôi đã tự hỏi chính xác thì đắt ở đây nghĩa là gì? Có phải chỉ là về sức mạnh tính toán hoặc có một cái gì đó nhiều hơn.

Trong bối cảnh các vấn đề tính toán, bao gồm các phương pháp số cho suy luận Bayes, cụm từ "quá đắt" thường có thể đề cập đến hai vấn đề

1. một đặc biệt vấn đề là quá "lớn" để tính toán cho một "đặc biệt ngân sách "
2. một cách tiếp cận chung quy mô xấu, tức là có độ phức tạp tính toán cao

Trong cả hai trường hợp, tài nguyên tính toán bao gồm "ngân sách" có thể bao gồm những thứ như chu kỳ CPU ( độ phức tạp thời gian ), bộ nhớ ( độ phức tạp không gian ) hoặc băng thông truyền thông ( trong hoặc giữa các nút tính toán). Trong trường hợp thứ hai, "quá đắt" có nghĩa là khó hiểu .

Trong bối cảnh tính toán Bayes, trích dẫn có khả năng đề cập đến các vấn đề với lề ngoài một số lượng lớn các biến .

Ví dụ, bản tóm tắt của bài báo gần đây này bắt đầu

Sự tích hợp bị ảnh hưởng bởi lời nguyền của chiều và nhanh chóng trở nên khó hiểu khi tính chiều hướng của vấn đề tăng lên.

và tiếp tục nói

Chúng tôi đề xuất một thuật toán ngẫu nhiên mà ... lần lượt có thể được sử dụng để tính toán biên hoặc lựa chọn mô hình.

(Để so sánh, chương sách gần đây này thảo luận về các phương pháp được coi là "không quá đắt".)

Tôi sẽ cho bạn một ví dụ về trường hợp riêng biệt để cho thấy tại sao tích hợp / tổng lại rất tốn kém.

$100$$P(X_1, X_2, \cdots, X_{100})$$2^{100}$

$P(X_1)$

$99$$2^{99}$

Trong tài liệu mô hình đồ họa xác suất , cách tính phân phối biên như vậy được gọi là phương pháp "vũ phu" để thực hiện "suy luận". Theo tên, chúng ta có thể biết nó là đắt tiền. Và mọi người sử dụng nhiều cách khác để thực hiện suy luận, ví dụ, có được sự phân phối biên hiệu quả. "Những cách khác" bao gồm suy luận gần đúng , v.v.

Thông thường, khi thực hiện suy luận Bayes, rất dễ gặp phải sự tích hợp nặng nề đối với các biến phiền toái chẳng hạn. Một ví dụ khác có thể là lấy mẫu số như trong trường hợp này từ hàm khả năng, nghĩa là thực hiện lấy mẫu ngẫu nhiên từ một phân phối nhất định. Khi số lượng tham số mô hình tăng lên, việc lấy mẫu này trở nên cực kỳ nặng nề và các phương pháp tính toán khác nhau đã được phát triển để tăng tốc thủ tục và cho phép thực hiện rất nhanh, tất nhiên giữ được độ chính xác cao. Những công cụ này chẳng hạn như MC, MCMC, Metropolis ecc. Hãy xem phân tích dữ liệu Bayes của Gelman et. al nó sẽ cung cấp cho bạn một giới thiệu rộng rãi! chúc may mắn