Giới hạn nào, nếu có, vấn đề tạm dừng đặt lên Trí tuệ nhân tạo?

Với vấn đề tạm dừng đã được chứng minh cho các máy Turing , chúng ta có thể suy ra các giới hạn về khả năng của Trí tuệ nhân tạo mạnh mẽ không?

Có phải vấn đề tạm dừng ngụ ý bất kỳ giới hạn nào đối với nhận thức của con người?

Vâng, hoàn toàn - rằng có những đoạn mã mà con người có thể nhìn vào và không chắc chắn liệu nó có dừng lại trong thời gian hữu hạn hay không. (Chắc chắn có những đoạn mã mà con người có thể nhìn và nói "có" hoặc "không" chắc chắn, nhưng chúng ta đang nói về những đoạn mã thực sự khá khó phân tích.)

Vấn đề tạm dừng có nghĩa là có những loại phân tích mã mà không máy tính nào có thể làm được, bởi vì về mặt toán học là không thể. Nhưng lĩnh vực khả năng vẫn đủ lớn để cho phép trí tuệ nhân tạo mạnh mẽ (theo nghĩa mã có thể hiểu bản thân đủ tốt để cải thiện chính nó).

Các vấn đề ngăn chặn là một ví dụ về một hiện tượng chung được gọi là undecidability , mà cho thấy rằng có những vấn đề không thể giải quyết máy trong thời gian hữu hạn Turing. Chúng ta hãy xem xét khái quát rằng không thể xác định được liệu Máy Turing có thỏa mãn một số thuộc tính không tầm thường P hay không, gọi là định lý Rice .

Đầu tiên lưu ý rằng vấn đề tạm dừng chỉ áp dụng nếu máy Turing có đầu vào dài tùy ý. Nếu đầu vào bị giới hạn, có thể liệt kê tất cả các trường hợp có thể và vấn đề không còn là vấn đề nữa. Nó có thể vẫn không hiệu quả để tính toán nó, nhưng sau đó chúng ta đang chuyển sang lý thuyết phức tạp, đó là một câu hỏi riêng biệt.

Định lý của Rice ngụ ý rằng một trí thông minh (một con người) không thể xác định liệu một trí thông minh khác (như AGI) có sở hữu một tài sản nhất định hay không, chẳng hạn như thân thiện . Điều này không có nghĩa là chúng ta không thể thiết kế một AGI thân thiện, nhưng điều đó có nghĩa là chúng ta không thể kiểm tra xem một AGI tùy ý có thân thiện hay không. Vì vậy, trong khi chúng ta có thể tạo ra một AI được đảm bảo thân thiện, chúng ta cũng cần đảm bảo rằng CNTT không thể tạo ra một AI khác không thân thiện.