Lập trình xác suất so với truyền thống ML ML

Tôi đang duyệt repo github cho Pymc và tìm thấy cuốn sổ này:

Suy luận biến đổi: Mạng lưới thần kinh Bayes

Tác giả thể hiện những ưu điểm của lập trình bayes / xác suất nhưng sau đó tiếp tục nói:

Thật không may, khi nói đến các vấn đề ML truyền thống như phân loại hoặc hồi quy (phi tuyến tính), Lập trình xác suất thường chơi trò thứ hai (về độ chính xác và khả năng mở rộng) cho các phương pháp tiếp cận thuật toán hơn như học tập ngẫu nhiên (ví dụ rừng ngẫu nhiên hoặc cây hồi quy tăng cường độ dốc) .

Ai đó có thể vui lòng giải thích:

1. Nếu tuyên bố này nói chung là đúng
2. Tại sao tuyên bố này là đúng

1. Nói chung, điều đó đúng trong kinh nghiệm cá nhân của tôi với tư cách là một nhà khoa học dữ liệu chuyên nghiệp.

2. Đó là sự thật trong trải nghiệm cá nhân của tôi bởi vì đó là điều tôi quan sát hầu hết thời gian. Nếu bạn hỏi tại sao nó xảy ra theo cách này, thì đó là vì một vài lý do:

   1. Nhiều thuật toán ML truyền thống hiện nay đã có sẵn "ngoài giá", bao gồm các phương pháp tập hợp tinh vi, mạng nơ ron, v.v. Các phương pháp xác suất vẫn thường yêu cầu các giải pháp bespoke, được viết bằng DSL như Stan hoặc trực tiếp bằng ngôn ngữ lập trình đa năng.
   2. Ngày nay, nhiều người tham gia vào khoa học dữ liệu đến từ nền tảng khoa học tự nhiên và kỹ thuật, nơi họ có các kỹ năng toán học và "thuật toán" mạnh mẽ nhưng không có nhiều kinh nghiệm hoặc trực giác với mô hình xác suất. Nó không phải trên radar của họ, và họ không thoải mái với các phương pháp và phần mềm cần thiết để thực hiện chúng.
   3. Đưa ra một dự đoán "cứng" từ một mô hình xác suất liên quan đến lý thuyết quyết định vẫy tay hoặc chính thức. Các nhà nghiên cứu AI và các nhà tư vấn thống kê được trả lương cao biết điều này và họ nắm lấy nó. Nhưng đối với nhà khoa học dữ liệu xếp hạng và tệp, không dễ để chuyển sang người quản lý của bạn và bắt đầu nói về các phân phối và xác suất. Doanh nghiệp (hoặc hệ thống tự động bạn đang xây dựng) chỉ cần một câu trả lời chết tiệt. Cuộc sống sẽ dễ dàng hơn rất nhiều khi bạn ngừng thuyết phục về xác suất và công cụ, trong trường hợp đó bạn có thể không bận tâm đến chúng ngay từ đầu.
   4. Mô hình xác suất thường kết thúc rất chuyên sâu về mặt tính toán, đặc biệt là mô hình Bayes trong đó các giải pháp dạng đóng là một thứ xa xỉ hiếm có, và đặc biệt gấp đôi trên các tập dữ liệu "lớn". Tôi sẽ không ngần ngại chạy XGBoost trên một tập dữ liệu với 10 triệu hàng. Tôi thậm chí sẽ không xem xét việc chạy mô hình Stan trên tập dữ liệu có 10 triệu hàng.

Với tất cả các nhược điểm được mô tả ở trên, một nhà khoa học dữ liệu hoặc một nhóm nhỏ các nhà khoa học dữ liệu có thể lặp lại nhanh hơn nhiều bằng cách sử dụng các kỹ thuật học máy ít xác suất và có được kết quả "đủ tốt".

Chỉnh sửa: như đã chỉ ra trong các nhận xét, cả số 1 và số 2 đều có thể là do các phương pháp lập trình xác suất chưa được chứng minh là có hiệu suất vượt trội đối với các vấn đề trong thế giới thực. CNNs trở nên phổ biến vì họ đã thổi bay các kỹ thuật hiện có.

Chỉnh sửa 2: có vẻ như xác suất đang trở nên phổ biến đối với mô hình chuỗi thời gian , trong đó học sâu không có vẻ hiệu quả như trong các lĩnh vực khác.

Để chống lại ShadowTalker trên quan điểm về ML có xác suất chưa hoàn toàn bị bóp nghẹt, chắc chắn là đúng, nhưng đã có một số tiến bộ thực sự thú vị về khả năng mở rộng và độ phức tạp vì suy luận đa dạng vẫn là nghiên cứu tiên tiến. Tôi nghĩ vẫn còn là một câu hỏi thú vị về việc, nếu ML có xác suất có thể mang lại hiệu suất tương tự của các phương pháp truyền thống, liệu chúng ta có thích nó đồng nhất với các phương thức đó không? Trong rất nhiều cách khác nhau, có rất nhiều nhiều thông tin được truyền đạt trong một PML ước tính sau.

Bất kể câu trả lời cho câu hỏi trên, tôi nghĩ rằng hai bộ phương pháp sẽ sống ở những ngóc ngách khác nhau trong những năm tới. Tôi nghĩ có lẽ các phương thức truyền thống sẽ duy trì lợi thế hiệu suất ở một mức độ nào đó, nhưng khi chúng tôi thực sự lo lắng về các biến tiềm ẩn (ẩn số) trong một vấn đề, PML sẽ là máy móc phù hợp cho công việc.