Những công cụ nào được sử dụng để đối phó với vấn đề ví dụ đối nghịch?

Vấn đề của các ví dụ đối nghịch được biết là rất quan trọng đối với các mạng lưới thần kinh. Ví dụ, một bộ phân loại hình ảnh có thể được xử lý bằng cách cộng gộp một hình ảnh có biên độ thấp khác nhau cho mỗi ví dụ đào tạo trông giống như nhiễu nhưng được thiết kế để tạo ra các phân loại sai cụ thể.

Vì các mạng lưới thần kinh được áp dụng cho một số vấn đề nghiêm trọng về an toàn (ví dụ: ô tô tự lái), tôi có câu hỏi sau đây

Những công cụ nào được sử dụng để đảm bảo các ứng dụng quan trọng về an toàn có khả năng chống lại việc tiêm các ví dụ bất lợi vào thời gian huấn luyện?

Nghiên cứu trong phòng thí nghiệm nhằm phát triển an ninh phòng thủ cho mạng lưới thần kinh tồn tại. Đây là một vài ví dụ.

• đào tạo đối thủ (xem ví dụ A. Kurakin và cộng sự, ICLR 2017 )

• chưng cất phòng thủ (xem ví dụ: N. Papernot và cộng sự, SSP 2016 )

• Phòng thủ MMSTV ( Maudry et al., ICLR 2018 ).

Tuy nhiên, các chiến lược và phương pháp phòng thủ sẵn sàng cho sức mạnh công nghiệp, sẵn sàng sản xuất có tồn tại không? Có các ví dụ đã biết về các mạng kháng nghịch lý được áp dụng cho một hoặc nhiều loại cụ thể (ví dụ: đối với các giới hạn nhiễu loạn nhỏ) không?

Đã có (ít nhất) hai câu hỏi liên quan đến vấn đề hack và đánh lừa mạng lưới thần kinh. Tuy nhiên, mối quan tâm chính của câu hỏi này là liệu có công cụ nào tồn tại có thể bảo vệ chống lại một số cuộc tấn công ví dụ đối nghịch hay không.

Tuy nhiên, liệu sức mạnh công nghiệp, chiến lược phòng thủ sẵn sàng sản xuất có tồn tại? Có các ví dụ đã biết về các mạng kháng nghịch lý được áp dụng cho một hoặc nhiều loại cụ thể (ví dụ: đối với các giới hạn nhiễu loạn nhỏ) không?

Tôi nghĩ thật khó để biết liệu có bất kỳ sự bảo vệ sức mạnh công nghiệp nào ngoài đó hay không (mà tôi cho rằng điều đó có nghĩa là chúng đáng tin cậy chống lại tất cả hoặc các phương thức tấn công đã biết nhất). Adversarial Machine Learning thực sự là một lĩnh vực nghiên cứu rất tích cực và đang phát triển . Không chỉ là những cách tiếp cận mới để bảo vệ được xuất bản khá thường xuyên, mà còn có những nghiên cứu tích cực về các cách tiếp cận khác nhau để "tấn công". Với các phương thức tấn công mới được phát hiện thường xuyên, không ai có thể tuyên bố rằng họ có những cách tiếp cận đáng tin cậy để chống lại tất cả.

Tuy nhiên, mối quan tâm chính của câu hỏi này là liệu có công cụ nào tồn tại có thể bảo vệ chống lại một số cuộc tấn công ví dụ đối nghịch hay không.

Thứ gần nhất với "công cụ" sẵn sàng sử dụng mà tôi có thể tìm thấy là Hộp công cụ chống bạo lực của IBM , dường như có nhiều phương thức tấn công và phòng thủ được triển khai. Nó dường như là trong sự phát triển tích cực, đó là điều tự nhiên khi xem xét lĩnh vực nghiên cứu cũng rất tích cực. Tôi chưa bao giờ thử sử dụng nó, vì vậy tôi không thể chứng minh cá nhân về mức độ dễ sử dụng như một công cụ cho ngành công nghiệp, hoặc nếu nó thực sự chỉ phù hợp cho nghiên cứu.

Dựa trên ý kiến ​​của Ilya , các khung công tác khác có thể hữu ích để xem xét là Cleverhans và Foolbox .