Những sai sót trong khuôn khổ AI của Jeff Hawkins là gì?

Vào năm 2004, Jeff Hawkins , nhà phát minh của phi công cọ, đã xuất bản một cuốn sách rất thú vị có tên On Intelligence , trong đó ông mô tả chi tiết một lý thuyết về cách thức hoạt động của neocortex của con người.

Lý thuyết này được gọi là khung Dự đoán bộ nhớ và nó có một số tính năng nổi bật, ví dụ không chỉ từ dưới lên (tiếp theo), mà còn xử lý thông tin từ trên xuống và khả năng đưa ra dự đoán đồng thời, nhưng rời rạc về các kịch bản tương lai khác nhau (như được mô tả trong bài báo này ).

Lời hứa của khung Dự đoán bộ nhớ là thế hệ không được giám sát của các đại diện cấp cao ổn định về các khả năng trong tương lai. Một cái gì đó sẽ cách mạng hóa có lẽ là một loạt các lĩnh vực nghiên cứu AI.

Hawkins thành lập một công ty và tiến hành thực hiện ý tưởng của mình. Thật không may, hơn mười năm sau, lời hứa về ý tưởng của ông vẫn chưa được thực hiện. Cho đến nay việc triển khai chỉ được sử dụng để phát hiện sự bất thường, điều này trái ngược với những gì bạn thực sự muốn làm. Thay vì trích xuất sự hiểu biết, bạn sẽ trích xuất các trường hợp mà vỏ não nhân tạo của bạn không hiểu.

Câu hỏi của tôi là làm thế nào khuôn khổ của Hawkins thiếu. Các vấn đề cụ thể hoặc khái niệm mà cho đến nay ngăn cản lý thuyết của ông làm việc trong thực tế là gì?

Câu trả lời ngắn gọn là tầm nhìn của Hawkins vẫn chưa được thực hiện theo cách có thể tiếp cận rộng rãi, đặc biệt là những phần không thể thiếu liên quan đến dự đoán.

Câu trả lời dài là tôi đã đọc cuốn sách của Hawkins vài năm trước và rất hào hứng với khả năng của Bộ nhớ tạm thời phân cấp (HTM). Tôi vẫn vậy, mặc dù thực tế là tôi có một vài lưu ý về một số suy nghĩ triết học của ông về ý nghĩa của ý thức, ý chí tự do và các chủ đề khác như vậy. Tôi sẽ không nói chi tiết về những sự hiểu lầm ở đây bởi vì chúng không phải là nguyên nhân chính yếu, lý do áp đảo tại sao lưới HTM không thành công như mong đợi cho đến nay: theo hiểu biết của tôi, Numenta chỉ thực hiện một phiên bản rút gọn của tầm nhìn của mình. Họ đã bỏ qua hầu hết các kiến ​​trúc dự đoán, đóng vai trò quan trọng như vậy trong các lý thuyết của Hawkins. Như Gerod M. Bonhoff đã đưa nó vào một luận án xuất sắc 1 về HTM,

Quyết định thiết kế quan trọng nhất mà Numenta đã thông qua là loại bỏ phản hồi trong hệ thống phân cấp và thay vào đó chọn mô phỏng khái niệm lý thuyết này bằng cách chỉ sử dụng thuật toán gộp dữ liệu để tính trọng số. Quyết định này ngay lập tức bị nghi ngờ và vi phạm các khái niệm chính của HTM. Phản hồi, khẳng định của Hawkins, rất quan trọng đối với chức năng vỏ não và là trung tâm của lý thuyết của ông. Tuy nhiên, Numenta tuyên bố rằng hầu hết các vấn đề áp dụng HTM có thể được giải quyết bằng cách sử dụng thuật toán tổng hợp và triển khai độc quyền của họ. "

Tôi vẫn đang tìm hiểu các sợi dây trong lĩnh vực này và không thể nói liệu Numenta có từ bỏ phương pháp này để ủng hộ việc thực hiện đầy đủ các ý tưởng của Hawkins, đặc biệt là kiến ​​trúc dự đoán quan trọng. Ngay cả khi họ có, quyết định thiết kế này có thể đã trì hoãn việc áp dụng trong nhiều năm. Đó không phải là một lời chỉ trích mỗi se; có lẽ chi phí tính toán của việc theo dõi các giá trị dự đoán và cập nhật chúng nhanh chóng là quá nhiều vào thời điểm đó, trên hết chi phí thông thường của việc xử lý mạng lưới thần kinh, khiến chúng không có con đường nào khác ngoại trừ thử các biện pháp nửa vời như gộp chung cơ chế. Tuy nhiên, tất cả các tài liệu nghiên cứu tốt nhất mà tôi đã đọc về chủ đề này kể từ đó đã chọn thực hiện lại các thuật toán thay vì dựa vào nền tảng của Numenta, thường là do các tính năng dự đoán bị thiếu.Báo cáo kỹ thuật của Maltoni cho Phòng thí nghiệm hệ thống sinh trắc học của Đại học Bologna 2 . Tuy nhiên, trong tất cả các trường hợp đó, không có phần mềm nào có thể truy cập dễ dàng để đưa các HTM biến thể của họ vào sử dụng ngay lập tức (theo như tôi biết). Ý chính của tất cả những điều này giống như câu châm ngôn nổi tiếng về Kitô giáo của GK Chesterton, "HTM chưa được thử và thấy muốn; họ đã gặp khó khăn và chưa được thử thách." Vì Numenta đã bỏ qua các bước dự đoán, tôi cho rằng chúng sẽ là những vấp ngã chính đang chờ đợi bất kỳ ai muốn mã hóa tầm nhìn đầy đủ của Hawkins về những gì một HTM nên có.

1 Bonhoff, Gerod M., 2008, Sử dụng bộ nhớ tạm thời phân cấp để phát hiện hoạt động mạng bất thường. Trình bày vào tháng 3 năm 2008 tại Học viện Công nghệ Không quân, Căn cứ Không quân Wright-Patterson, Ohio.

2 Maltoni, Davide, 2011, Nhận dạng mẫu bằng bộ nhớ tạm thời phân cấp. Báo cáo kỹ thuật DEIS xuất bản ngày 13 tháng 4 năm 2011. Phòng thí nghiệm hệ thống sinh trắc học của Đại học Bologna: Bologna, Ý.

10 năm để sản xuất sẵn sàng?

Hãy đặt điều đó trong viễn cảnh. Perceptionron được giới thiệu vào năm 1957. Nó thậm chí không thực sự bắt đầu nở rộ như một mô hình có thể sử dụng cho đến khi phát hành sách PDP vào năm 1986. Đối với những người giữ điểm: 29 năm.

Từ các sách PDP, chúng tôi đã không thấy rằng mạng lưới sâu có thể sử dụng được cho đến thập kỷ trước. Nếu bạn thực hiện nhiệm vụ nhận dạng mèo Andrew Ng và Jeff Dean như một mạng lưới xác định sự kiện sâu sắc vào năm 2012. Có thể cho rằng hơn 25 năm để sản xuất sẵn sàng.

https://en.wikipedia.org/wiki/Timeline_of_machine_learning