Có miền nào mà Bayesian Networks vượt trội hơn mạng thần kinh không?

Mạng lưới thần kinh nhận được kết quả hàng đầu trong các nhiệm vụ Thị giác máy tính (xem MNIST , ILSVRC , Thử thách Galaxy Kaggle ). Chúng dường như vượt trội hơn mọi cách tiếp cận khác trong Computer Vision. Nhưng cũng có những nhiệm vụ khác:

• Thử thách hoạt động phân tử Kaggle
• Hồi quy: Dự đoán mưa Kaggle , cũng là vị trí thứ 2
• Nắm và nâng thứ 2 cũng là vị trí thứ ba - Xác định chuyển động tay từ bản ghi EEG

Tôi không chắc lắm về ASR (nhận dạng giọng nói tự động) và dịch máy, nhưng tôi nghĩ rằng tôi cũng đã nghe rằng mạng thần kinh (tái phát) (bắt đầu) vượt trội hơn so với các phương pháp khác.

Tôi hiện đang tìm hiểu về Bayesian Networks và tôi tự hỏi trong trường hợp nào những mô hình đó thường được áp dụng. Vì vậy, câu hỏi của tôi là:

Có bất kỳ cuộc thi thách thức / (Kaggle) nào không, trong đó trạng thái của nghệ thuật là Bayesian Networks hoặc ít nhất là các mô hình rất giống nhau?

(Side lưu ý: Tôi cũng thấy cây quyết định , 2 , 3 , 4 , 5 , 6 , 7 chiến thắng trong một số thách thức gần đây Kaggle)

Một trong những lĩnh vực mà phương pháp tiếp cận Bayes thường được sử dụng, là nơi người ta cần khả năng giải thích của hệ thống dự đoán. Bạn không muốn cung cấp cho các bác sĩ một mạng lưới thần kinh và nói rằng nó chính xác 95%. Bạn muốn giải thích các giả định mà phương thức của bạn đưa ra, cũng như quá trình ra quyết định mà phương thức sử dụng.

Khu vực tương tự là khi bạn có kiến ​​thức tên miền mạnh mẽ trước và muốn sử dụng nó trong hệ thống.

Mạng Bayes và mạng nơ ron không độc quyền với nhau. Trên thực tế, các mạng Bayes chỉ là một thuật ngữ khác của "mô hình đồ họa có hướng". Chúng có thể rất hữu ích trong việc thiết kế các chức năng mục tiêu mạng lưới thần kinh. Yann Lecun đã chỉ ra điều này ở đây: https://plus.google.com/+YannLeCunPhD/posts/gwe7Jca3Zoq .

Một ví dụ.

Bộ mã hóa và dẫn xuất tự động biến đổi là các mô hình đồ họa có hướng có dạngMột mạng nơ ron được sử dụng để triển khai và gần đúng với nghịch đảo của nó: .p ( x | z ) q ( z | x ) ≈ p ( z | x

Câu trả lời tuyệt vời rồi.

Một tên miền mà tôi có thể nghĩ ra và đang hoạt động rộng rãi là miền phân tích khách hàng .

Tôi phải hiểu và dự đoán các động thái và động cơ của khách hàng để thông báo và cảnh báo cả hỗ trợ khách hàng, tiếp thị và cả các nhóm tăng trưởng.

Vì vậy, ở đây, các mạng lưới thần kinh thực hiện công việc rất tốt trong dự đoán khuấy đảo, v.v. Nhưng, tôi đã tìm thấy và thích phong cách mạng Bayes, và đây là những lý do để thích nó:

1. Khách hàng luôn có một khuôn mẫu. Họ luôn có lý do để hành động. Và lý do đó sẽ là điều mà nhóm của tôi đã làm cho họ, hoặc họ đã tự học. Vì vậy, mọi thứ đều có trước ở đây, và trên thực tế lý do đó rất quan trọng vì nó thúc đẩy hầu hết các quyết định của khách hàng.
2. Mỗi động thái của khách hàng và các nhóm tăng trưởng trong kênh tiếp thị / bán hàng là nguyên nhân. Vì vậy, kiến ​​thức trước là rất quan trọng khi nói đến việc chuyển đổi một khách hàng tiềm năng thành khách hàng.

Vì vậy, khái niệm về trước là rất quan trọng khi nói đến phân tích khách hàng, điều này làm cho khái niệm về mạng Bayes rất quan trọng đối với miền này.

Đề xuất học tập:

Phương pháp Bayes cho mạng lưới thần kinh

Mạng Bayes trong phân tích kinh doanh

Đôi khi bạn quan tâm nhiều đến việc thay đổi kết quả như dự đoán kết quả.

Một mạng lưới thần kinh được cung cấp đủ dữ liệu đào tạo sẽ có xu hướng dự đoán kết quả tốt hơn, nhưng một khi bạn có thể dự đoán kết quả, thì bạn có thể muốn dự đoán hiệu quả của việc thay đổi các tính năng đầu vào đối với kết quả.

Một ví dụ từ đời thực, biết rằng ai đó có khả năng bị đau tim là hữu ích, nhưng có thể nói với người đó rằng nếu họ ngừng làm XX, nguy cơ sẽ giảm 30% là lợi ích lớn hơn nhiều.

Tương tự như vậy đối với việc giữ chân khách hàng, biết lý do tại sao khách hàng ngừng mua sắm với bạn, cũng có giá trị như dự đoán các khách hàng có khả năng ngừng mua sắm với bạn.

Ngoài ra, một Mạng Bayes đơn giản hơn dự đoán kém hơn nhưng dẫn đến nhiều hành động được thực hiện thường có thể tốt hơn so với Mạng Bay Bayesian chính xác hơn.

Ưu điểm lớn nhất của mạng Bayes so với mạng thần kinh là chúng có thể được sử dụng để suy luận nguyên nhân. Chi nhánh này có tầm quan trọng cơ bản đối với thống kê và học máy và Judea Pearl đã giành được giải thưởng Turing cho nghiên cứu này.

Mạng Bayes có thể tốt hơn Mạng thần kinh trong cài đặt dữ liệu nhỏ. Nếu thông tin trước được quản lý đúng cách thông qua cấu trúc mạng, các linh mục và các siêu đường kính khác, thì nó có thể có lợi thế hơn Mạng thần kinh. Mạng nơ-ron, đặc biệt là các mạng có nhiều lớp hơn, rất nổi tiếng là đói dữ liệu. Hầu như theo định nghĩa rất nhiều dữ liệu là cần thiết để đào tạo chúng đúng cách.

Tôi đã đăng liên kết này trên Reddit và nhận được rất nhiều phản hồi. Một số đã đăng câu trả lời của họ ở đây, những người khác thì không. Câu trả lời này nên tổng hợp các bài đăng reddit lên. (Tôi đã tạo cộng đồng wiki, để tôi không nhận được điểm cho nó)

• Tự động mã hóa biến đổi Bayes là sự kết hợp của Mạng Bayes và mạng thần kinh. Các mạng lưới thần kinh chuyển đổi Bayesian với suy luận biến đổi gần đúng của Bernoulli dường như đi theo cùng một hướng.
• Bỏ học: Một cách đơn giản để ngăn chặn các mạng nơ-ron quá mức là một ví dụ trong đó các mạng thần kinh Bayes vượt trội hơn so với phương pháp bỏ học của chúng (xem phần 6.4 "So sánh với các mạng thần kinh Bayes")
• Học tập khái niệm ở cấp độ con người thông qua cảm ứng chương trình xác suất là một bài báo "trên mạng lưới Bayesian, phân loại một lần vượt trội hơn so với các mạng thần kinh" (theo thùng rác) - hiện tại tôi không kiểm tra điều đó).
• Yann LeCun đã viết một bài đăng trên Google+, trong đó ông lập luận rằng các mạng lưới thần kinh và các mô hình đồ họa xác suất không phải là khái niệm trực giao.

Mạng Bayes được ưa thích để giải thích bộ gen. Xem, ví dụ, luận án này thảo luận về các phương pháp tính toán để giải thích bộ gen.

Tôi đã làm một ví dụ nhỏ cho điều này một lần. Từ đó, tôi nghĩ Bayesian Networks được ưa thích nếu bạn muốn nắm bắt một bản phân phối nhưng bộ đào tạo đầu vào của bạn không bao gồm phân phối tốt. Trong những trường hợp như vậy, ngay cả một mạng lưới thần kinh có khả năng khái quát tốt cũng sẽ không thể tái cấu trúc phân phối.

Tôi hoàn toàn không đồng ý rằng mạng lưới thần kinh làm tốt những người học khác. Trong thực tế, mạng lưới thần kinh đang làm khá tệ so với các phương pháp khác. Cũng không có phương pháp nào mặc dù có một số lời khuyên về việc chọn tham số mà việc nuôi ong này được thực hiện rất thường xuyên. Có một số anh chàng cũng nói chuyện ngẫu nhiên trên các diễn đàn về việc mạng lưới thần kinh tốt như thế nào, không phải vì họ có một số bằng chứng liên quan đến điều đó, mà bởi vì họ bị thu hút về từ lạ mắt và ồn ào ,, thần kinh ''. Họ cũng rất không ổn định, Bạn đã thử dùng mạng lưới thần kinh để so sánh với xgboost chưa? Tôi sẽ không thử bất kỳ mạng lưới thần kinh nào cho đến khi nó sẽ tự sướng. Vì vậy, cho đến khi đó mạng lưới thần kinh hạnh phúc :)