So sánh giữa SHAP (Giải thích phụ gia Shapley) và LIME (Giải thích mô hình không thể giải thích cục bộ)

Tôi đang đọc về hai kỹ thuật diễn giải mô hình bài hoc phổ biến: LIME và SHAP

Tôi gặp khó khăn trong việc hiểu sự khác biệt chính trong hai kỹ thuật này.

Để trích dẫn Scott Lundberg , bộ não đằng sau SHAP:

Các giá trị SHAP đi kèm với các lợi thế ước tính cục bộ của hộp đen của LIME, nhưng cũng đi kèm với các đảm bảo về mặt lý thuyết về tính nhất quán và độ chính xác cục bộ từ lý thuyết trò chơi (các thuộc tính từ các phương pháp khác mà chúng tôi thống nhất)

Tôi gặp một số khó khăn trong việc hiểu "điều này đảm bảo về mặt lý thuyết về tính nhất quán và độ chính xác cục bộ từ lý thuyết trò chơi ". Vì SHAP được phát triển sau LIME, tôi cho rằng nó sẽ lấp đầy một số khoảng trống mà LIME không giải quyết được. Đó là những gì?

Cuốn sách của Christoph Molnar trong một chương về Dự toán Shapley nêu rõ:

Sự khác biệt giữa dự đoán và dự đoán trung bình được phân phối khá công bằng giữa các giá trị tính năng của thể hiện - thuộc tính hiệu quả của shapley. Thuộc tính này đặt giá trị Shapley ngoài các phương thức khác như LIME. LIME không đảm bảo phân phối hoàn hảo các hiệu ứng. Nó có thể làm cho giá trị Shapley là phương pháp duy nhất để đưa ra lời giải thích đầy đủ

Đọc điều này, tôi có cảm giác rằng SHAP không phải là một địa phương mà là một lời giải thích rõ ràng về điểm dữ liệu. Tôi có thể sai ở đây và cần một số hiểu biết sâu sắc về ý nghĩa của trích dẫn trên. Để tóm tắt câu hỏi của tôi: LIME tạo ra các giải thích địa phương. Giải thích của SHAP khác với LIME như thế nào?

model-interpretation shapley-value lime

— người dùng248884
nguồn

Câu hỏi hay (+1), tôi sẽ thử trả lời nó khi tôi có thời gian nhưng điều rõ ràng cần chú ý là LIME không đưa ra lời giải thích thống nhất toàn cầu trong khi SHAP thì có. Ngoài ra, SHAP chắc chắn đã được phát triển trước LIME. SHAP xây dựng chủ yếu dựa trên công việc của Strumbelj & Kononenko từ latE 00 / đầu 10 cũng như hoạt động về kinh tế trên các trò chơi hợp tác tiện ích có thể chuyển nhượng (ví dụ: Lipovetsky & Conklin (2001)). Ngoài ra, rất nhiều công việc về các phép đo phân tích độ nhạy (ví dụ Sobol Indices) cũng đi theo hướng đó. Các ý tưởng SHAP cốt lõi thường được biết đến nhiều trước NIPS 2017.

— usεr11852 nói rằng Rebstate Monic

(Chỉ cần nói rõ về nửa sau của nhận xét của tôi ở trên: Tôi không cho rằng bài báo NIPS 2017 là sản phẩm của đạo văn hoặc bất cứ điều gì từ xa như thế. Chỉ là tôi thường thấy mọi người coi thường rất nhiều công việc trước đây về lĩnh vực và điều trị một mặt cắt ngang gần đây của sự tiến hóa khác hữu của một lĩnh vực kiến thức như một bước đột phá về phương pháp chủ yếu trong trường hợp đặc biệt này:. lý thuyết trò chơi thuật toán đã được xung quanh trong nhiều thập kỷ như là một phần của AI, chỉ là bây giờ nó đã trở thành bán mát mẻ . )

— usεr11852 nói Phục hồi Monic

@ usεr11852 Đang chờ câu trả lời của bạn. Xin hãy đóng góp ý kiến của bạn về điều này.

— user248884

Chưa có tất cả thời gian cần thiết; Tôi đã viết khoảng 400 từ nhưng nó cần ít nhất 6-7 giờ làm việc vì tôi phải đọc lại một số giấy tờ và thắt chặt văn bản của mình - giải thích SHAP mà không đơn giản hóa quá mức là một thách thức (ít nhất là đối với tôi). Có lẽ tôi sẽ thực hiện nó trước giữa tháng 12 ... :)

— usεr11852 nói rằng Rebstate Monic

@ usεr11852 Chắc chắn. Sẽ chờ đợi :)

— user248884 7/12/18

LIME tạo ra một mô hình thay thế cục bộ xung quanh đơn vị dự đoán mà bạn muốn hiểu. Do đó, nó vốn là địa phương. Các giá trị hình thành 'phân tách' dự đoán cuối cùng thành phần đóng góp của từng thuộc tính - đây là ý nghĩa của 'nhất quán' (các giá trị này bổ sung cho dự đoán thực tế của mô hình thực, đây không phải là thứ bạn có được với LIME). Nhưng để thực sự có được các giá trị tạo hình, có một số quyết định phải được đưa ra về việc phải làm / cách xử lý các giá trị của các thuộc tính 'bỏ đi', đây là cách các giá trị được đưa ra. Trong quyết định này, có một số lựa chọn có thể thay đổi việc giải thích. Nếu tôi 'bỏ đi' một thuộc tính tôi có trung bình tất cả các khả năng không? Bạn có chọn một số 'đường cơ sở' không?

Vì vậy, Shapely thực sự cho bạn biết, theo một cách phụ gia, làm thế nào bạn có được điểm số của mình, nhưng có một số lựa chọn về 'điểm bắt đầu' (nghĩa là quyết định về các thuộc tính bị bỏ qua).

LIME chỉ đơn giản cho bạn biết, theo nghĩa địa phương, thuộc tính quan trọng nhất xung quanh điểm dữ liệu quan tâm là gì.

— Giê-rê-mi
nguồn

Bạn cũng có thể thêm cách mỗi mô hình tạo điểm số của họ (ví dụ: điểm shap) - Tôi thấy những điểm số này khá khó chịu vì chúng không được bình thường hóa và tôi không hiểu ý nghĩa của chúng!

— dùng4581