Có vẻ như không có gì phải bàn cãi khi nói rằng các phương pháp tiếp cận dựa trên NN đang trở thành công cụ khá mạnh mẽ trong nhiều lĩnh vực AI - cho dù nhận dạng và phân tách hình ảnh (khuôn mặt ở biên giới, cảnh đường phố trong ô tô, ra quyết định trong tình huống không chắc chắn / phức tạp hoặc với dữ liệu một phần). Gần như chắc chắn, một số trong những sử dụng đó sẽ phát triển thành các tình huống trong đó AI dựa trên NN đảm nhận một phần hoặc toàn bộ gánh nặng của con người, và nói chung là nó tốt hơn mọi người thường làm.
Các ví dụ có thể bao gồm NN được sử dụng theo giả thuyết như các bước trong xe tự lái, chẩn đoán y tế, xác minh người / nhận dạng, xác minh mạch / thiết kế, cảnh báo giao dịch đáng ngờ. Có lẽ nhiều lĩnh vực trong thập kỷ tới hoặc lâu hơn.
Giả sử điều này xảy ra và thường được coi là thành công (ví dụ: nó được chẩn đoán đúng 80% cho bác sĩ của con người 65% hoặc một cái gì đó, hoặc những chiếc xe có AI bao gồm một thành phần NN bị hỏng ít hơn 8% so với xe hơi do người điều khiển hoặc thay thế, hay bất cứ cái gì).
Bây giờ - giả sử một trong những điều này một cách bất thường và nghiêm túc làm điều gì đó rất sai trong một trường hợp. Làm thế nào người ta có thể tiếp cận nó? Với các bước logic chính thức, người ta có thể theo dõi một quy trình quyết định chính thức, nhưng với NN có thể không có logic chính thức, đặc biệt là nếu nó đủ phức tạp (trong một vài thập kỷ nói), chỉ có 20 tỷ bộ xử lý thần kinh và trọng số I / O của chúng và các kết nối, có thể không xác định được nguyên nhân gây ra sự cố nào đó ngay cả khi mạng sống bị mất. Cũng có thể không thể nói nhiều hơn các hệ thống liên tục học hỏi và những sự cố như vậy là rất hiếm.
Tôi cũng chưa từng nghe về bất kỳ cách có ý nghĩa nào để thực hiện "hộp đen" hoặc máy ghi âm chuyến bay tương đương với NN, (ngay cả khi tôi không sử dụng trường hợp quan trọng trong cuộc sống), điều đó sẽ cho phép chúng tôi hiểu và tránh một quyết định tồi tệ. Không giống như các phản hồi khác về lỗi sản phẩm, nếu NN có thể được đào tạo sau sự kiện để khắc phục một trường hợp như vậy, thì rõ ràng chúng tôi không muốn chắc chắn rằng thiết lập NN mới đã khắc phục sự cố hoặc không giảm rủi ro và cân bằng của các vấn đề khác khi làm như vậy. Nó rất mờ đục. Tuy nhiên, rõ ràng, nó hầu như rất có giá trị như một cách tiếp cận AI.
Trong 20 năm, nếu NN là thành phần (được coi là an toàn và thành công) trong thiết kế máy bay hoặc máy bay, hoặc được xây dựng trong hệ thống bệnh viện để theo dõi các trường hợp khẩn cấp, hoặc phát hiện gian lận tại ngân hàng, và như thường lệ đã thông qua bất kỳ quy định nào và Các yêu cầu thị trường có thể tồn tại và được thực hiện với một hồ sơ tốt trong nhiều năm trên thị trường chung, và sau đó trong một trường hợp, một hệ thống như vậy sau đó đã bị trục trặc một cách nguy hiểm - nó đã hiểu sai một cách nguy hiểm, khuyến cáo các loại thuốc gây hại cho cuộc sống hoặc chẩn đoán sai một cách trắng trợn, hoặc xóa một giao dịch lừa đảo trắng trợn 200 triệu bảng tại một ngân hàng thanh toán bù trừ mà chỉ tình cờ bắt gặp trước khi tiền được gửi.
Nhà sản xuất có thể làm gì để giải quyết các mối quan tâm của công chúng hoặc thị trường, hoặc để giải thích vụ việc? Đội ngũ công nghệ làm gì khi được hội đồng quản trị nói "làm thế nào điều này xảy ra và chắc chắn rằng nó đã được sửa"? Những loại nhật ký có ý nghĩa có thể được lưu giữ, vv? Xã hội sẽ phải chấp nhận rằng sự không chắc chắn và hành vi lập dị thỉnh thoảng có thể là cố hữu (chúc may mắn với xã hội thuyết phục về điều đó!)? Hoặc có cách nào tốt hơn để tiếp cận hoạt động ghi nhật ký / gỡ lỗi / quyết định phù hợp hơn với NN không?