Điều gì sẽ thúc đẩy một máy tính?

Hiện tại, trong lĩnh vực phát triển AI, trọng tâm chính dường như là nhận dạng mẫu và học máy. Học tập là điều chỉnh các biến nội bộ dựa trên vòng phản hồi.

Hệ thống nhu cầu của Maslow là một lý thuyết trong tâm lý học được đề xuất bởi Abraham Maslow, cho rằng nhu cầu cơ bản nhất của mỗi cá nhân phải được đáp ứng trước khi họ có động lực để đạt được nhu cầu cấp cao hơn.

Điều gì có thể thúc đẩy một cỗ máy hành động? Một cỗ máy có cấu trúc giống DNA nào đó sẽ mô tả thứ bậc nhu cầu của nó (tương tự như lý thuyết của Maslow) không? Những gì có thể là nhu cầu cơ bản của một máy tính?

Phương pháp hiện tại để thực hiện động lực là một số loại phần thưởng nhân tạo. Ví dụ , DQN của Deepmind được điều khiển bởi điểm số của trò chơi. Điểm càng cao thì càng tốt. AI học cách điều chỉnh hành động của mình để có được nhiều điểm nhất và do đó phần thưởng cao nhất. Điều này được gọi là gia cố kéo dài . Phần thưởng thúc đẩy AI thích nghi với hành động của nó, có thể nói như vậy.

Trong một thuật ngữ kỹ thuật hơn, AI muốn tối đa hóa tiện ích, phụ thuộc vào chức năng tiện ích được triển khai . Trong trường hợp của DQN, điều này sẽ tối đa hóa điểm số trong trò chơi.

Bộ não con người hoạt động theo kiểu tương tự, mặc dù phức tạp hơn một chút và thường không thẳng tiến. Chúng ta là con người thường cố gắng điều chỉnh hành động của mình để tạo ra sản lượng cao dopamine và serotonin . Đây là một cách tương tự như phần thưởng được sử dụng để kiểm soát AI trong quá trình học tập củng cố. Bộ não con người học được những hành động nào tạo ra lượng chất đó nhiều nhất và tìm ra các chiến lược để tối đa hóa sản lượng. Tất nhiên, đây là một sự đơn giản hóa của quá trình phức tạp này, nhưng bạn có được hình ảnh.

Khi bạn nói về động lực, xin vui lòng không trộn lẫn nó với ý thức hoặc Qualia . Những người không cần thiết cho động lực ở tất cả. Nếu bạn muốn thảo luận về ý thức và chất lượng trong AI, đó là một trò chơi bóng hoàn toàn khác.

Một đứa trẻ không tò mò vì tò mò. Nó được củng cố tích cực khi khám phá vì chức năng tiện ích của việc khám phá não bộ của trẻ bằng cách giải phóng các chất dẫn truyền thần kinh bổ ích. Vì vậy cơ chế là như nhau. Áp dụng điều này cho AI có nghĩa là xác định chức năng tiện ích thưởng cho những trải nghiệm mới. Không có ổ đĩa bên trong mà không có một số loại phần thưởng củng cố.

Đây là một câu hỏi thú vị thực sự.

Có một ý tưởng khá thực tế về "sự tò mò có thể bắt nguồn từ đâu" trong cuốn sách "Về trí thông minh" được viết bởi Jeff Hawkins và Sandra Blakeslee.

Nó dựa trên những tuyên bố như vậy:

• Tâm trí tạo ra mô hình riêng của nó về thế giới mà nó tồn tại.

• Nó đưa ra dự đoán về mọi thứ mọi lúc (thực ra Jeff Hawkins nói rằng đây là đặc điểm chính của trí thông minh).

• Khi dự đoán về một cái gì đó không được theo sau bởi hành vi phù hợp của thế giới, thì điều này trở nên rất thú vị đối với tâm trí (mô hình sai và cần được sửa chữa) và cần được chú ý nhiều hơn.

Ví dụ, khi bạn nhìn vào mắt người bên trái, não của bạn dự đoán rằng đó là khuôn mặt của con người và cần có con mắt thứ hai ở bên phải. Bạn nhìn sang bên phải và thấy một .. mũi! Thật bất ngờ! Bây giờ nó thu hút tất cả sự chú ý của bạn và bạn có động lực này để quan sát nhiều hơn về một điều kỳ lạ không phù hợp với mô hình của bạn.

Vì vậy, tôi muốn nói rằng AI có thể làm một cái gì đó nhất định theo mô hình của nó hoặc hành xử ngẫu nhiên trong khi những dự đoán mà nó đưa ra về thế giới là đúng. Nhưng một khi một số dự đoán bị phá vỡ, AI có động lực để thực hiện sửa lỗi cho mô hình của nó.

Trong một trường hợp đơn giản, một cỗ máy bắt đầu hoàn toàn ngẫu nhiên chỉ cần làm mọi thứ có thể với đầu ra của nó. Mặc dù nó không có mô hình hoặc mô hình ngẫu nhiên khi phát hiện một số loại trật tự hoặc mẫu lặp đi lặp lại, nó đang được "quan tâm" và thêm nó vào mô hình. Sau một thời gian, mô hình trở nên tinh vi hơn khi đưa ra các dự đoán phức tạp hơn và phát hiện các lỗi cấp cao hơn trong một mô hình. Dần dần, nó biết phải làm gì để quan sát thứ gì đó thú vị với nó, thay vì chỉ nhớ mọi thứ.

Tôi đã hỏi giáo sư Richard Sutton một câu hỏi tương tự, trong bài giảng đầu tiên của khóa học tăng cường. Dường như có nhiều cách khác nhau để thúc đẩy máy. Trong thực tế, động lực máy móc đối với tôi giống như một lĩnh vực nghiên cứu chuyên dụng.

Thông thường, máy móc được thúc đẩy bởi cái mà chúng ta gọi là hàm mục tiêu hoặc hàm chi phí hoặc hàm mất mát . Đây là những tên khác nhau cho cùng một khái niệm. Đôi khi, chúng được ký hiệu bởi

Mục tiêu của máy là để giải quyết vấn đề tối thiểu hóa, $\min_a L(a)$hoặc một vấn đề tối đa hóa, $\max_a L(a)$, tùy thuộc vào định nghĩa của $L$.

Tôi đã dành thời gian suy nghĩ về điều này trong bối cảnh của các trò chơi.

Vấn đề với các hàm phần thưởng là chúng thường liên quan đến các nút có trọng số, rất hữu ích nhưng cuối cùng lại vô nghĩa về mặt vật chất.

Đây là hai phần thưởng có ý nghĩa về mặt vật chất:

TÀI NGUYÊN MÁY TÍNH

Hãy xem xét một trò chơi trong đó AI đang cạnh tranh không phải vì điểm, mà là về thời gian và bộ nhớ của bộ xử lý.

Thuật toán thực hiện càng tốt trong trò chơi, càng có nhiều bộ nhớ và xử lý nó có quyền truy cập. Điều này có tác dụng thực tế - càng có nhiều tài nguyên cho automata, khả năng của nó càng mạnh. (tức là tính hợp lý của nó ít bị ràng buộc về thời gian và không gian để đưa ra quyết định.) Do đó, thuật toán sẽ được "thúc đẩy" để thắng cuộc thi như vậy.

NĂNG LƯỢNG

Bất kỳ automata nào có đủ mức độ "tự nhận thức", ở đây đề cập cụ thể đến kiến ​​thức mà nó cần năng lượng để xử lý, sẽ được thúc đẩy để tự tối ưu hóa mã của chính mình để loại bỏ các bit không cần thiết (tiêu thụ năng lượng không cần thiết).

Một thuật toán như vậy cũng sẽ được thúc đẩy để đảm bảo cung cấp năng lượng của nó để nó có thể tiếp tục hoạt động.