Những lợi thế của việc sử dụng một mạng lưới thần kinh Bayes là gì

Gần đây tôi đọc một số bài báo về mạng thần kinh Bayes (BNN) [Neal, 1992] , [Neal, 2012] , đưa ra mối quan hệ xác suất giữa đầu vào và đầu ra trong mạng lưới thần kinh. Đào tạo một mạng lưới thần kinh như vậy là thông qua MCMC khác với thuật toán lan truyền ngược truyền thống.

Câu hỏi của tôi là: lợi thế của việc sử dụng một mạng lưới thần kinh như vậy là gì? Cụ thể hơn, bạn có thể cung cấp một số ví dụ phù hợp với BNN hơn là NN không?

Mạng lưới thần kinh Bayes rất hữu ích để giải quyết các vấn đề trong các lĩnh vực mà dữ liệu khan hiếm, như một cách để ngăn chặn quá mức. Họ thường đánh bại tất cả các phương pháp khác trong các tình huống như vậy. Các ứng dụng ví dụ là sinh học phân tử ( ví dụ bài báo này ) và chẩn đoán y tế (lĩnh vực mà dữ liệu thường đến từ công việc hết hạn tốn kém và khó khăn). Trên thực tế, lưới Bayes rất hữu ích và có thể thu được kết quả tốt hơn cho một số lượng lớn các nhiệm vụ nhưng chúng cực kỳ khó khăn để mở rộng cho các vấn đề lớn.

Một lợi thế của BNN so với NN là bạn có thể tự động tính toán một lỗi liên quan đến dự đoán của bạn khi xử lý dữ liệu của các mục tiêu không xác định. Với một BNN, chúng tôi hiện đang thực hiện suy luận Bayes. Hãy xác định dự đoán BNN của chúng tôi là , trong đó là hàm NN, là đầu vào của bạn , là các thông số NN, và x, t là các đầu vào đào tạo và mục tiêu. Điều này phải tương thích với cú pháp được sử dụng bởi Neal trong các liên kết được cung cấp bởi @forecaster. Sau đó, chúng ta có thể tính toán độ lệch chuẩn của phân phối dự báo sau, mà tôi sẽ sử dụng một cách ngây thơ như một độ chính xác cho dự đoán:$\bar{f}(x′|x,t)=∫f(x′,ω)p(ω|x,t)dω$$f$$x'$$ω$$\sigma(x′)=\sqrt{∫[f(x′,ω)−\bar{f}(x′|x,t)]^2p(ω|x,t)dω}$