Không chỉ Hawking, bạn còn nghe thấy nhiều biến thể của sự kiềm chế này từ nhiều người. Và cho rằng họ hầu hết là những người rất thông minh, có học thức, có hiểu biết (chẳng hạn như Elon Musk là một người khác), có lẽ điều đó không nên bị gạt ra khỏi tầm tay.
Dù sao, ý tưởng cơ bản dường như là thế này: Nếu chúng ta tạo ra trí thông minh nhân tạo "thực sự", đến một lúc nào đó, nó sẽ có thể tự cải thiện, giúp cải thiện khả năng tự cải thiện, có nghĩa là nó có thể cải thiện khả năng tự cải thiện ngay cả hơn nữa, v.v ... một thác chạy trốn dẫn đến "trí thông minh siêu phàm". Đó là để nói, dẫn đến một cái gì đó thông minh hơn chúng ta khu vực.
Vậy chuyện gì xảy ra nếu có một thực thể trên hành tinh này thực sự thông minh hơn chúng ta (con người)? Nó sẽ là một mối đe dọa cho chúng tôi? Chà, có vẻ hợp lý để suy đoán rằng nó có thể là như vậy. OTOH, chúng tôi không có lý do cụ thể, ngay bây giờ, để nghĩ rằng nó sẽ là như vậy.
Vì vậy, có vẻ như Hawking, Musk, v.v. đang đi xuống ở khía cạnh thận trọng / đáng sợ hơn của mọi thứ. Vì chúng ta không biết liệu AI siêu phàm có nguy hiểm hay không, và cho rằng nó không thể bị ngăn chặn nếu nó trở nên độc hại (hãy nhớ rằng, nó thông minh hơn chúng ta!), Đó là một điều hợp lý để xem xét.
Eliezer Yudkowsky cũng đã viết khá nhiều về chủ đề này, bao gồm cả việc đưa ra thí nghiệm "AI Box" nổi tiếng. Tôi nghĩ rằng bất cứ ai quan tâm đến chủ đề này nên đọc một số tài liệu của mình.
http://www.yudkowsky.net/singularity/aibox/