Tôi sẽ trả lời câu hỏi này trong một số phần:
Tại sao các hệ thống AGI cần phải có ý thức chung?
Con người theo lý do hoang dã và giao tiếp bằng cách sử dụng ý thức thông thường nhiều hơn so với logic chặt chẽ, bạn có thể thấy điều này bằng cách lưu ý rằng nó dễ thu hút cảm xúc của ai đó hơn logic. Vì vậy, bất kỳ hệ thống nào tìm cách tái tạo nhận thức của con người (như trong AGI) cũng nên sao chép xu hướng sử dụng thông thường này.
Nói một cách đơn giản hơn, chúng tôi muốn rằng hệ thống AGI của chúng tôi có thể nói chuyện với chúng tôi bằng ngôn ngữ thông thường đơn giản vì đó là điều chúng tôi hiểu rõ nhất (nếu không chúng tôi sẽ không hiểu AGI thân thiện của mình thì sao?). Lý thuyết khó hiểu và logic chặt chẽ về mặt kỹ thuật có thể đúng, nhưng không thu hút sự hiểu biết của chúng tôi.
Không phải mục tiêu của AGI là tạo ra hệ thống tiến bộ nhận thức nhất sao? Tại sao hệ thống AGI "hoàn hảo nhất" cần phải đối phó với sự không hoàn hảo và thiếu chính xác như vậy theo nghĩa thông thường?
Đầu tiên, nó chỉ có vẻ là trường hợp logic thông thường là "phi lý". Có lẽ có một cách toán học nhất quán để mô hình hóa ý thức chung sao cho tất cả sự tinh tế của lẽ thường được thể hiện một cách nghiêm ngặt.
Thứ hai, nghiên cứu ban đầu về Trí tuệ nhân tạo bắt đầu trong nghiên cứu về khoa học nhận thức, trong đó các nhà nghiên cứu đã cố gắng sao chép "thuật toán của tâm trí", hay chính xác hơn là: các thủ tục có thể quyết định sao chép suy nghĩ của con người. Ở mức độ đó, nghiên cứu về AI không phải để tạo ra "tác nhân nhận thức tối cao nhất" mà chỉ đơn thuần là sao chép suy nghĩ / hành vi của con người. Một khi chúng ta có thể tái tạo hành vi của con người, có lẽ chúng ta có thể cố gắng tạo ra một thứ gì đó siêu nhân bằng cách cho nó sức mạnh tính toán nhiều hơn, nhưng điều đó không được đảm bảo.
Tôi vẫn không thấy lý do tại sao cần có ý thức chung trong các hệ thống AGI. Không phải AGI về việc trở thành hệ thống tính toán thông minh và mạnh mẽ nhất sao? Tại sao nó phải quan tâm hoặc phù hợp với giới hạn hiểu biết của con người, đòi hỏi lẽ phải thông thường?
Có lẽ sau đó bạn có một chút hiểu biết sai lệch về những gì AGI đòi hỏi. AGI không có nghĩa là sức mạnh tính toán không giới hạn (không thể thực hiện được do các ràng buộc vật lý đối với tính toán như giới hạn của Bremermann ) hoặc trí thông minh không bị ràng buộc (có lẽ là không thể về mặt vật lý do các ràng buộc trước đó). Nó thường chỉ có nghĩa là "trí thông minh chung" nhân tạo, nghĩa chung là rộng và phổ biến.
Cân nhắc về các tác nhân không bị ràng buộc được nghiên cứu chi tiết hơn trong các lĩnh vực như khoa học máy tính lý thuyết (lý thuyết loại tôi tin), lý thuyết quyết định và thậm chí có thể đặt ra lý thuyết, nơi chúng ta có thể đặt câu hỏi về các tác nhân có sức mạnh tính toán không giới hạn. Chúng ta có thể nói rằng có những câu hỏi thậm chí một hệ thống AGI với sức mạnh vô biên không thể trả lời do các vấn đề ngăn chặn , nhưng chỉ khi các giả định về những lĩnh vực bản đồ vào cấu trúc của AGI đưa ra, trong đó có thể không đúng.
Để hiểu rõ hơn về những gì AGI có thể đòi hỏi và mục tiêu của nó, tôi có thể giới thiệu hai cuốn sách: Trí tuệ nhân tạo: Ý tưởng rất của John Haugeland cho cách tiếp cận thực tế hơn (có thể thực dụng như triết lý AI và Về nguồn gốc của các đối tượng Brian Cantwell Smith cho một cách tiếp cận nghiêng về triết học hơn.
Như một niềm vui sang một bên, bộ sưu tập của Zen koan: Cổng không cánh, bao gồm đoạn văn sau: (trích dẫn và chỉnh sửa từ wikipedia )
Một nhà sư hỏi Zhaozhou, một thiền sư Trung Quốc, "Có một con chó Phật tự nhiên hay không?" Triệu Châu trả lời: "Wú"
Wú (無) dịch thành "không", "không", hoặc "không có gì", có thể được hiểu là để tránh trả lời có hoặc không. Cá nhân giác ngộ này không tìm cách trả lời nghiêm túc mọi câu hỏi, mà chỉ trả lời theo cách có ý nghĩa. Nó thực sự không quan trọng bằng việc con chó có bản chất Phật hay không (dù ý nghĩa của Phật là gì), vì vậy, chủ nhân mặc định loại bỏ câu hỏi thay vì giải quyết nó.