Làm thế nào có thể các mạng lưới thần kinh sâu rất dễ bị lừa?

Trang / nghiên cứu sau đây chứng minh rằng các mạng lưới thần kinh sâu dễ bị đánh lừa bằng cách đưa ra dự đoán có độ tin cậy cao cho các hình ảnh không thể nhận ra, ví dụ:

Làm thế nào điều này là có thể? Bạn có thể vui lòng giải thích lý tưởng bằng tiếng Anh đơn giản?

Đầu tiên, những hình ảnh đó (thậm chí là một vài hình ảnh đầu tiên) không hoàn toàn là rác mặc dù là rác đối với con người; chúng thực sự được tinh chỉnh với các kỹ thuật tiên tiến khác nhau, bao gồm cả một mạng lưới thần kinh khác.

Mạng lưới thần kinh sâu là mạng được đào tạo trước được mô hình hóa trên AlexNet do Caffe cung cấp . Để phát triển hình ảnh, cả hình ảnh được mã hóa trực tiếp và được mã hóa gián tiếp, chúng tôi sử dụng khung tiến hóa Sferes . Toàn bộ cơ sở mã để tiến hành các thí nghiệm tiến hóa có thể được tải xuống [sic] tại đây . Mã cho các hình ảnh được tạo ra bởi độ dốc tăng dần có sẵn ở đây .

Hình ảnh thực sự là rác ngẫu nhiên đã được công nhận chính xác là không có ý nghĩa:

Để đáp ứng với một hình ảnh không thể nhận ra, các mạng có thể tạo ra độ tin cậy thấp cho mỗi trong số 1000 lớp, thay vì giá trị độ tin cậy cực cao cho một trong các lớp. Trên thực tế, họ chỉ làm điều đó đối với các hình ảnh được tạo ngẫu nhiên (ví dụ: những người ở thế hệ 0 của quá trình tiến hóa)

Mục tiêu ban đầu của các nhà nghiên cứu là sử dụng các mạng thần kinh để tự động tạo ra hình ảnh trông giống như thật (bằng cách lấy phản hồi của người nhận và cố gắng thay đổi hình ảnh để có kết quả tự tin hơn), nhưng cuối cùng họ đã tạo ra nghệ thuật trên . Lưu ý rằng ngay cả trong các hình ảnh giống như tĩnh có các mảnh vụn nhỏ - thường ở gần trung tâm - điều đó, công bằng mà nói, đang kích hoạt sự công nhận.

Chúng tôi đã không cố gắng để tạo ra hình ảnh nghịch cảnh, không thể nhận ra. Thay vào đó, chúng tôi đã cố gắng tạo ra những hình ảnh dễ nhận biết, nhưng những hình ảnh không thể nhận ra này đã xuất hiện.

Rõ ràng, những hình ảnh này có các đặc điểm phân biệt đúng để phù hợp với những gì AI tìm kiếm trong ảnh. Hình ảnh "mái chèo" có hình dạng giống như mái chèo, "bánh mì tròn" có hình tròn và màu sắc phù hợp, hình ảnh "máy chiếu" là một vật giống như ống kính máy ảnh, "bàn phím máy tính" là một hình chữ nhật (như các khóa riêng lẻ) và "hàng rào chainlink" trông giống như một hàng rào liên kết chuỗi với tôi.

Hình 8. Phát triển hình ảnh để phù hợp với các lớp DNN tạo ra sự đa dạng to lớn của hình ảnh. Hiển thị là hình ảnh được chọn để thể hiện sự đa dạng từ 5 lần tiến hóa. Sự đa dạng cho thấy rằng các hình ảnh là không ngẫu nhiên, nhưng thay vào đó, các diễn biến tạo ra các đặc điểm phân biệt [sic] của mỗi lớp mục tiêu.

Đọc thêm: giấy gốc (PDF lớn)

Những hình ảnh mà bạn cung cấp có thể không được nhận dạng đối với chúng tôi. Chúng thực sự là những hình ảnh mà chúng ta nhận ra nhưng được phát triển bằng cách sử dụng khuôn khổ tiến hóa của Sferes .

Mặc dù những hình ảnh này gần như không thể cho con người gắn nhãn với bất cứ thứ gì ngoài nghệ thuật trừu tượng, Mạng lưới thần kinh sâu sẽ gắn nhãn chúng là những vật thể quen thuộc với độ tin cậy 99,99%.

Kết quả này nêu bật sự khác biệt giữa cách DNN và con người nhận ra vật thể. Hình ảnh được mã hóa trực tiếp (hoặc gián tiếp)

Theo video này

Thay đổi hình ảnh ban đầu được phân loại chính xác theo cách không thể chấp nhận được đối với con người có thể khiến nguyên nhân khiến DNN phân loại nó thành một thứ khác.

Trong hình bên dưới con số ở phía dưới là những hình ảnh được cho là trông giống chữ số Nhưng mạng tin rằng hình ảnh ở trên cùng (giống như nhiễu trắng) là chữ số thực với độ chắc chắn 99,99%.

Lý do chính khiến những thứ này dễ bị lừa là Mạng lưới thần kinh sâu không nhìn thế giới giống như tầm nhìn của con người. Chúng tôi sử dụng toàn bộ hình ảnh để xác định mọi thứ trong khi DNN phụ thuộc vào các tính năng. Miễn là DNN phát hiện một số tính năng nhất định, nó sẽ phân loại hình ảnh thành một đối tượng quen thuộc mà nó đã được đào tạo. Các nhà nghiên cứu đã đề xuất một cách để ngăn chặn sự đánh lừa đó bằng cách thêm các hình ảnh đánh lừa vào tập dữ liệu trong một lớp mới và đào tạo DNN về tập dữ liệu mở rộng. Trong thử nghiệm, điểm tin cậy giảm đáng kể đối với ImageNet AlexNet. Lần này không dễ để đánh lừa DNN đã được đào tạo lại. Nhưng khi các nhà nghiên cứu áp dụng phương pháp như vậy vào MNIST LeNet, quá trình tiến hóa vẫn tạo ra nhiều hình ảnh không thể nhận ra với điểm tin cậy 99,99%.

Thêm chi tiết ở đây và ở đây .

Tất cả các câu trả lời ở đây đều tuyệt vời, nhưng, vì một số lý do, cho đến nay, không có gì được nói về lý do tại sao hiệu ứng này không làm bạn ngạc nhiên . Tôi sẽ điền vào chỗ trống.

Hãy để tôi bắt đầu với một yêu cầu hoàn toàn cần thiết để làm việc này: kẻ tấn công phải biết kiến ​​trúc mạng thần kinh (số lớp, kích thước của mỗi lớp, v.v.). Hơn nữa, trong tất cả các trường hợp mà tôi đã tự kiểm tra, kẻ tấn công biết ảnh chụp nhanh của mô hình được sử dụng trong sản xuất, tức là tất cả các trọng lượng. Nói cách khác, "mã nguồn" của mạng không phải là một bí mật.

Bạn không thể đánh lừa một mạng lưới thần kinh nếu bạn coi nó như một hộp đen. Và bạn không thể sử dụng lại hình ảnh đánh lừa tương tự cho các mạng khác nhau. Trên thực tế, bạn phải tự "huấn luyện" mạng đích, và ở đây bằng cách đào tạo tôi có nghĩa là chạy về phía trước và backprop, nhưng được chế tạo đặc biệt cho mục đích khác.

Tại sao nó hoạt động cả?

Bây giờ, đây là trực giác. Hình ảnh có chiều rất cao: ngay cả không gian của hình ảnh màu 32x32 nhỏ cũng có 3 * 32 * 32 = 3072kích thước. Nhưng tập dữ liệu huấn luyện tương đối nhỏ và chứa hình ảnh thật, tất cả đều có cấu trúc và thuộc tính thống kê đẹp (ví dụ độ mịn của màu). Vì vậy, tập dữ liệu huấn luyện được đặt trên một đa tạp nhỏ của không gian hình ảnh khổng lồ này.

Các mạng chập hoạt động rất tốt trên đa tạp này, nhưng về cơ bản, không biết gì về phần còn lại của không gian. Việc phân loại các điểm bên ngoài đa tạp chỉ là phép ngoại suy tuyến tính dựa trên các điểm bên trong đa tạp. Không có gì ngạc nhiên khi một số điểm cụ thể được ngoại suy không chính xác. Kẻ tấn công chỉ cần một cách để điều hướng đến những điểm gần nhất.

Thí dụ

Hãy để tôi cho bạn một ví dụ cụ thể làm thế nào để đánh lừa một mạng lưới thần kinh. Để làm cho nó nhỏ gọn, tôi sẽ sử dụng một mạng hồi quy logistic rất đơn giản với một phi tuyến (sigmoid). Nó nhận một đầu vào 10 chiều x, tính một số duy nhất p=sigmoid(W.dot(x)), đó là xác suất của lớp 1 (so với lớp 0).

Giả sử bạn biết W=(-1, -1, 1, -1, 1, -1, 1, 1, -1, 1)và bắt đầu với một đầu vào x=(2, -1, 3, -2, 2, 2, 1, -4, 5, 1). Một vượt qua chuyển tiếp cho sigmoid(W.dot(x))=0.0474hoặc xác suất 95% xlà ví dụ lớp 0.

Chúng tôi muốn tìm một ví dụ khác, yrất gần với xnhưng được mạng phân loại là 1. Lưu ý xlà 10 chiều, vì vậy chúng tôi có quyền tự do nâng cấp 10 giá trị, rất nhiều.

Vì W[0]=-1là tiêu cực, tốt hơn là nên có một khoản nhỏ y[0]để đóng góp tổng số y[0]*W[0]nhỏ. Do đó, hãy thực hiện y[0]=x[0]-0.5=1.5. Tương tự như vậy, W[2]=1là tích cực, vì vậy tốt hơn là tăng y[2]để làm cho y[2]*W[2]lớn hơn : y[2]=x[2]+0.5=3.5. Và như vậy.

Kết quả là y=(1.5, -1.5, 3.5, -2.5, 2.5, 1.5, 1.5, -3.5, 4.5, 1.5), và sigmoid(W.dot(y))=0.88. Với thay đổi này, chúng tôi đã cải thiện xác suất lớp 1 từ 5% lên 88%!

Sự khái quát

Nếu bạn nhìn kỹ vào ví dụ trước, bạn sẽ nhận thấy rằng tôi biết chính xác cách điều chỉnh xđể di chuyển nó đến lớp mục tiêu, bởi vì tôi biết độ dốc mạng. Những gì tôi đã làm thực sự là một backpropagation , nhưng liên quan đến dữ liệu, thay vì trọng lượng.

Nói chung, kẻ tấn công bắt đầu với phân phối mục tiêu (0, 0, ..., 1, 0, ..., 0)(không ở mọi nơi, ngoại trừ lớp mà nó muốn đạt được), sao lưu dữ liệu vào dữ liệu và thực hiện một bước di chuyển nhỏ theo hướng đó. Trạng thái mạng không được cập nhật.

Bây giờ, rõ ràng đó là một tính năng phổ biến của các mạng chuyển tiếp xử lý một đa tạp dữ liệu nhỏ, bất kể nó sâu hay bản chất của dữ liệu (hình ảnh, âm thanh, video hoặc văn bản).

Bình thuốc

Cách đơn giản nhất để ngăn hệ thống khỏi bị lừa là sử dụng một nhóm các mạng thần kinh, tức là một hệ thống tổng hợp phiếu bầu của một số mạng cho mỗi yêu cầu. Việc sao lưu lại đồng thời khó khăn hơn nhiều đối với một số mạng. Kẻ tấn công có thể cố gắng thực hiện tuần tự, mỗi mạng một lần, nhưng bản cập nhật cho một mạng có thể dễ dàng gây rối với kết quả thu được cho một mạng khác. Càng nhiều mạng được sử dụng, một cuộc tấn công càng trở nên phức tạp.

Một khả năng khác là làm mịn đầu vào trước khi truyền nó vào mạng.

Sử dụng tích cực cùng một ý tưởng

Bạn không nên nghĩ rằng backpropagation cho hình ảnh chỉ có các ứng dụng tiêu cực. Một kỹ thuật rất giống nhau, được gọi là deconvolution , được sử dụng để trực quan hóa và hiểu rõ hơn những gì tế bào thần kinh đã học.

Kỹ thuật này cho phép tổng hợp một hình ảnh khiến một nơ-ron cụ thể phát hỏa, về cơ bản nhìn thấy "những gì nơ-ron đang tìm kiếm", nói chung làm cho mạng lưới thần kinh tích chập dễ hiểu hơn.

Một câu hỏi quan trọng chưa có câu trả lời thỏa đáng trong nghiên cứu mạng thần kinh là làm thế nào DNN đưa ra dự đoán mà họ đưa ra. DNN hoạt động hiệu quả (mặc dù không chính xác) bằng cách ghép các miếng vá trong hình ảnh với một "từ điển" các miếng vá, một miếng được lưu trữ trong mỗi nơ-ron (xem bài viết trên mèo youtube ). Do đó, nó có thể không có chế độ xem hình ảnh ở mức độ cao vì nó chỉ nhìn vào các bản vá và hình ảnh thường được hạ thấp ở độ phân giải thấp hơn nhiều để có được kết quả trong các hệ thống thế hệ hiện tại. Các phương pháp xem xét cách các thành phần của hình ảnh tương tác có thể tránh được những vấn đề này.

Một số câu hỏi để hỏi cho công việc này là: Mạng lưới tự tin đến mức nào khi họ đưa ra những dự đoán này? Làm thế nào nhiều khối lượng làm cho hình ảnh nghịch cảnh như vậy chiếm trong không gian của tất cả các hình ảnh?

Một số công việc tôi biết về vấn đề này đến từ Phòng thí nghiệm của Dhruv Batra và Devi Parikh tại Virginia Tech, người xem xét vấn đề này để trả lời các hệ thống: Phân tích hành vi của các mô hình trả lời câu hỏi trực quan và các mô hình trả lời câu hỏi trực quan .

Cần nhiều công việc như vậy và cũng giống như hệ thống thị giác của con người cũng bị đánh lừa bởi những "ảo ảnh quang học" như vậy, những vấn đề này có thể không thể tránh khỏi nếu chúng ta sử dụng DNN, mặc dù về mặt lý thuyết hay thực nghiệm vẫn chưa thể biết được.

Làm thế nào có thể các mạng lưới thần kinh sâu rất dễ bị lừa?

Mạng lưới thần kinh sâu dễ bị đánh lừa bằng cách đưa ra dự đoán có độ tin cậy cao cho hình ảnh không thể nhận ra. Sao có thể như thế được? Bạn có thể vui lòng giải thích lý tưởng bằng tiếng Anh đơn giản ?

Theo trực giác, các lớp ẩn thêm phải làm cho mạng có thể tìm hiểu các chức năng phân loại phức tạp hơn và do đó thực hiện phân loại công việc tốt hơn. Trong khi nó có thể được đặt tên là học sâu, nó thực sự là một sự hiểu biết nông cạn.

Kiểm tra kiến ​​thức của riêng bạn: Loài vật nào trong lưới dưới đây là một con mèo Felis silvestris , hãy dành thời gian của bạn và không gian lận. Đây là một gợi ý: đó là một con mèo nhà?

Để hiểu rõ hơn về kiểm tra: " Tấn công bất lợi vào các hình ảnh dễ bị tổn thương " và " Tại sao các mạng lưới thần kinh sâu khó đào tạo? ".

Vấn đề tương tự như răng cưa , một hiệu ứng làm cho các tín hiệu khác nhau trở nên không thể phân biệt (hoặc bí danh của nhau) khi được lấy mẫu, và hiệu ứng bánh xe stagecoach , trong đó một bánh xe bị kích thích dường như quay khác với xoay thật của nó.

Mạng lưới thần kinh không biết nó đang nhìn gì hoặc đang đi theo hướng nào.

Mạng lưới thần kinh sâu sắc không phải là một chuyên gia về một cái gì đó, họ được đào tạo để quyết định về mặt toán học rằng một số mục tiêu đã được đáp ứng, nếu họ không được đào tạo để từ chối các câu trả lời sai, họ không có khái niệm về những gì sai; họ chỉ biết điều gì đúng và điều gì không đúng - sai và "không đúng" không nhất thiết là điều tương tự, cũng không phải là "đúng" và đúng.

Mạng lưới thần kinh không biết đúng sai.

Giống như hầu hết mọi người sẽ không biết một con mèo nhà nếu họ nhìn thấy một, hai hoặc nhiều hơn hoặc không có. Có bao nhiêu con mèo nhà trong lưới ảnh trên, không có. Bất kỳ lời buộc tội bao gồm hình ảnh con mèo dễ thương là không có cơ sở, đó đều là những động vật hoang dã nguy hiểm.

Đây là một ví dụ khác. Có phải việc trả lời câu hỏi làm cho Bart và Lisa thông minh hơn, người mà họ đang hỏi thậm chí còn biết, có những biến số chưa biết có thể xảy ra không?

Chúng tôi chưa có nhưng mạng lưới thần kinh có thể nhanh chóng cung cấp một câu trả lời có khả năng là chính xác, đặc biệt là nếu nó được đào tạo đúng cách để tránh tất cả các sai lầm.

Các mạng thần kinh có thể dễ dàng bị đánh lừa hoặc bị tấn công bằng cách thêm nhiễu có cấu trúc nhất định vào không gian hình ảnh ( Szegedy 2013 , Nguyen 2014 ) do bỏ qua thông tin không phân biệt đối xử trong đầu vào của chúng.

Ví dụ:

Học cách phát hiện báo đốm bằng cách ghép các điểm độc đáo trên bộ lông của chúng trong khi bỏ qua thực tế là chúng có bốn chân. ²⁰¹⁵

Vì vậy, về cơ bản, dự đoán độ tin cậy cao trong các mô hình nhất định tồn tại do " sự kết hợp giữa bản chất tuyến tính cục bộ của chúng và không gian đầu vào chiều cao ". ²⁰¹⁵

Được xuất bản như một tài liệu hội nghị tại ICLR 2015 (công trình của Dai) đề xuất rằng việc chuyển các tham số được đào tạo phân biệt đối xử sang các mô hình thế hệ, có thể là một lĩnh vực tuyệt vời để cải thiện hơn nữa.

Không thể nhận xét (do yêu cầu 50 đại diện), nhưng tôi muốn phản hồi cho Vishnu JK và OP. Tôi nghĩ rằng các bạn đang bỏ qua thực tế rằng mạng lưới thần kinh chỉ thực sự đang nói thực sự từ quan điểm lập trình rằng "điều này giống như".

Ví dụ, trong khi chúng ta có thể liệt kê các ví dụ hình ảnh ở trên là "nghệ thuật trừu tượng", thì chắc chắn chúng giống như đã được liệt kê. Hãy nhớ rằng các thuật toán học tập có một phạm vi về những gì chúng nhận ra là một đối tượng và nếu bạn xem tất cả các ví dụ trên ... và nghĩ về phạm vi của thuật toán ... chúng có ý nghĩa (ngay cả những cái nhìn thoáng qua chúng ta sẽ nhận ra là tiếng ồn trắng). Trong ví dụ về Vishnu của các con số, nếu bạn làm mờ mắt và đưa hình ảnh ra khỏi tiêu điểm, bạn thực sự có thể trong mọi trường hợp mô hình điểm thực sự phản ánh chặt chẽ các con số trong câu hỏi.

Vấn đề đang được chỉ ra ở đây là thuật toán dường như không có "trường hợp không xác định". Về cơ bản khi nhận dạng mẫu nói rằng nó không tồn tại trong phạm vi đầu ra. (vì vậy một nhóm nút đầu ra cuối cùng nói rằng đây không phải là thứ mà tôi biết). Ví dụ, mọi người cũng làm điều này, vì đó là một điều mà con người và các thuật toán học tập có điểm chung. Đây là một liên kết để hiển thị những gì tôi đang nói (sau đây là gì, xác định nó) chỉ sử dụng các động vật đã biết tồn tại:

Bây giờ với tư cách là một người, bị giới hạn bởi những gì tôi biết và có thể nói, tôi phải kết luận rằng sau đây là một con voi. Nhưng nó không phải là. Các thuật toán học tập (đối với hầu hết các phần) không có câu lệnh "giống như một", việc đưa ra luôn xác nhận tỷ lệ phần trăm tin cậy. Vì vậy, việc lừa một người theo kiểu này không có gì đáng ngạc nhiên ... tất nhiên điều đáng ngạc nhiên là dựa trên bộ kiến ​​thức của nó, nó thực sự đến điểm mà nếu bạn nhìn vào các trường hợp trên được liệt kê bởi OP và Vishnu mà một người. .. với một chút tìm kiếm ... có thể thấy thuật toán học tập có thể tạo ra sự liên kết như thế nào.

Vì vậy, tôi thực sự sẽ không gọi nó là một nhãn sai trên một phần của thuật toán, hoặc thậm chí gọi nó là trường hợp nó bị lừa ... thay vào đó là trường hợp phạm vi của nó được phát triển không chính xác.

Đã có nhiều câu trả lời hay, tôi sẽ chỉ thêm vào những câu trả lời trước tôi:

Loại hình ảnh mà bạn đang đề cập được gọi là nhiễu loạn nghịch cảnh , (xem 1 và không giới hạn đối với hình ảnh, nó đã được hiển thị để áp dụng cho văn bản, xem Jia & Liang, EMNLP 2017. Trong văn bản, giới thiệu về một câu không liên quan mà không mâu thuẫn với đoạn văn đã được nhìn thấy khiến mạng đi đến một câu trả lời hoàn toàn khác (xem xem Jia & Liang, EMNLP 2017 ).

Lý do chúng hoạt động là do mạng lưới thần kinh xem hình ảnh theo một cách khác với chúng tôi, cùng với độ mờ cao của không gian vấn đề. Khi chúng ta nhìn thấy toàn bộ bức tranh, họ thấy một sự kết hợp của các tính năng kết hợp để tạo thành một đối tượng ( Moosavi-Dezfooli et al., CVPR 2017 ). Theo sự nhiễu loạn được tạo ra đối với một mạng đã được nhìn thấy có khả năng cao để hoạt động trên các mạng khác:

Trong hình trên, có thể thấy rằng các nhiễu loạn phổ quát được tính toán cho mạng VGG-19, chẳng hạn, có tỷ lệ đánh lừa trên 53% cho tất cả các kiến ​​trúc được thử nghiệm khác.

Vậy làm thế nào để bạn đối phó với các mối đe dọa của nhiễu loạn nghịch cảnh? Vâng, đối với một, bạn có thể cố gắng tạo ra nhiều nhiễu loạn nhất có thể và sử dụng chúng để tinh chỉnh mô hình của bạn. Tại sao điều này phần nào giải quyết vấn đề, nó không giải quyết vấn đề hoàn toàn. Trong ( Moosavi-Dezfooli et al., CVPR 2017 ), tác giả đã báo cáo rằng, lặp lại quy trình bằng cách tính toán các nhiễu loạn mới và sau đó tinh chỉnh lại dường như không mang lại sự cải thiện nào nữa, bất kể số lần lặp lại, với tỷ lệ đánh lừa xung quanh 80%.

Perturbations là một dấu hiệu của sự phù hợp mẫu nông mà các mạng thần kinh thực hiện, cùng với sự thiếu hiểu biết tối thiểu về vấn đề trong tay. Vẫn còn nhiều việc phải làm.

Hầu hết các câu trả lời khác đều thú vị, và một số cho thấy sự khắt khe, vì vậy tôi sẽ không lặp lại cách đối xử đó, nhưng tôi sẽ đưa ra một câu trả lời định tính nói nhiều về tình trạng nghiên cứu hơn là đánh giá chính xác về sự thiếu bảo vệ an ninh trong thiết kế mạng nhân tạo hiện nay.

Nếu ai đó hỏi: "Làm thế nào mà con người dễ bị lừa như vậy?" Tôi mỉm cười đồng ý và nói, "Tôi cho rằng chúng ta không sâu sắc đến thế."

Đó là đánh giá của tôi về tình trạng của các mạng nhân tạo quá. Tuy nhiên, sự đổi mới và khám phá nhiều hơn có thể xảy ra và câu hỏi về bảo mật trong đào tạo, triển khai và sử dụng các thành phần AI chắc chắn sẽ được giải quyết khi các cuộc tấn công thành công làm mất uy tín và thiện chí của các tập đoàn.

Việc bán công nghệ bảo mật kém không phải là điều mới. Không ai ở đây trong phòng thí nghiệm sẽ đưa bất kỳ lý thuyết khoa học, dữ liệu hoặc quy trình nào lên đám mây trừ khi chúng tôi đã mở nguồn tài nguyên hoặc sáng tạo được cấp phép.