Tầm quan trọng / Tác động đối với Dự đoán cá nhân


8

Ở cấp độ mô hình, để đánh giá sự đóng góp / tầm quan trọng của người dự đoán, chúng ta có thể sử dụng:

  • Các kỹ thuật cụ thể của mô hình - ví dụ độ tinh khiết (Chỉ số Gini) cho mô hình dựa trên cây, hệ số mô hình khi áp dụng, v.v.
  • Mô hình Kỹ thuật Độc lập - ví dụ: Tầm quan trọng của Tính năng Hoán vị, Sự phụ thuộc một phần, v.v.

Điều này không truyền tải được cho một dự đoán cụ thể (giả sử phân loại nhị phân cung cấp xác suất 92% là thành viên của lớp 1) những gì mà các nhà dự đoán đã có ảnh hưởng lớn nhất trong việc đưa ra dự đoán đó.

Nghĩ về vấn đề này một chút, dường như có một vài cách tiếp cận có thể được thực hiện:

Dường như đối với tôi, cách tiếp cận có giá trị nhất sẽ là một kỹ thuật độc lập mô hình dựa trên bản chất của nhiều thuật toán có phần đen của nhiều thuật toán và cung cấp khả năng diễn giải các thuật toán và kỹ thuật mới.

Một phương pháp ngây thơ, được mô tả ở đây ( http://amunargetui.github.io/actionable-instights/index.html ) là lấy từng người dự đoán, làm trung hòa hóa tác động của nó bằng cách nói ra ý nghĩa của "dân số" và chạy lại dự đoán nhận được sự khác biệt giữa dự đoán ban đầu và phiên bản trung hòa cung cấp một thước đo quan trọng. Đây có vẻ là một trường hợp đặc biệt của một phương pháp loại nhiễu loạn kiểu gợi ý ở trên. Một vài sai sót mà tôi thấy trong đó là 1) dường như ngụ ý rằng một dự đoán có nghĩa là có nghĩa là (có nghĩa là tương đương) của mỗi tính năng nhất thiết phải là một dự đoán có lẽ là trung gian và có thể là 2) Xấu (hoặc tương đương) có nhất thiết không ảnh hưởng?

Nói chung, bất kỳ kỹ thuật nào cũng sẽ phải tính đến:

  • Cách xử lý các loại dữ liệu khác nhau (số, phân loại, v.v.)
  • Cách xử lý dữ liệu bị thiếu
  • Làm thế nào để xử lý tầm quan trọng có điều kiện (có nghĩa là các yếu tố dự đoán có thể chỉ quan trọng trong các cặp, v.v.)
  • Hiệu quả tính toán (có thực sự thiết thực khi chạy dự đoán lần trong đó là số lượng dự đoán hoặc cho phương pháp nhiễu loạn trong đó là số dự đoán trên mỗi dự đoán, v.v.)ppkpk

Với những suy nghĩ lỏng lẻo và có lẽ không chính xác về vấn đề được đặt ra, tôi tự hỏi những cách tiếp cận vấn đề mà mọi người nhận thức được, đã xem xét, đã sử dụng, sẽ khuyên v.v.?

Câu trả lời:


8

Chủ đề bạn đang giải quyết được gọi là giải thích mô hình hoặc giải thích mô hình và là một chủ đề khá tích cực trong nghiên cứu. Ý tưởng chung là tìm ra, tính năng nào đóng góp cho mô hình, và tính năng nào không.

Bạn đã đề cập đến một số kỹ thuật phổ biến, chẳng hạn như Lô phụ thuộc một phần (PDP) hoặc LIME. Trong PDP, ảnh hưởng của giá trị của các tính năng đến đầu ra mô hình được hiển thị bằng cách tạo các phiên bản mới từ dữ liệu có giá trị tính năng được sửa đổi và dự đoán chúng theo mô hình. LIME tạo ra một xấp xỉ cục bộ của mô hình bằng cách lấy mẫu các trường hợp xung quanh một thể hiện được yêu cầu và tìm hiểu một mô hình đơn giản hơn, dễ hiểu hơn.

Trong phương pháp ngây thơ mà bạn mô tả, tác động của một tính năng được vô hiệu hóa bằng cách đặt nó thành trung bình dân số. Bạn hoàn toàn đúng, rằng đây không phải là một phương pháp thích hợp, vì dự đoán về giá trị trung bình có lẽ không phải là dự đoán trung bình. Ngoài ra, nó không phản ánh phân phối tính năng và không hoạt động cho các thuộc tính phân loại.

Robnik-Sikonja và Kononenko [1] đã giải quyết vấn đề này. Ý tưởng cơ bản của họ là như nhau: sự khác biệt dự đoán giữa thể hiện không thay đổi và một thể hiện có tính năng trung hòa. Tuy nhiên, thay vì lấy giá trị trung bình để loại bỏ tác động của các tính năng, họ tạo ra một số bản sao, mỗi bản sao có một giá trị khác nhau. Đối với các giá trị phân loại , chúng lặp đi lặp lại trên tất cả các loại có thể; đối với các giá trị số , chúng phân tách dữ liệu thành các thùng. Các trường hợp phân tách được tính theo tần số giá trị tính năng trong dữ liệu. Thiếu dữ liệu có thể được bỏ qua bằng cách sử dụng các trình phân loại có thể xử lý dữ liệu hoặc xử lý dữ liệu đó, ví dụ: bằng cách đặt các giá trị về giá trị trung bình. Điều kiện quan trọngđã được giải quyết trong một ấn phẩm thứ hai bởi Strumbelj et al [2]. Họ đã mở rộng cách tiếp cận ban đầu bằng cách không chỉ tạo ra các phiên bản phân tách của một tính năng, mà còn quan sát cách dự đoán thay đổi cho từng tập hợp con của tập hợp giá trị tính năng. Điều này tất nhiên là rất tốn kém về mặt tính toán (khi họ đề cập đến bản thân và cố gắng cải thiện bằng cách lấy mẫu thông minh hơn ở Strumbelj và Kononenko [3]).

Nhân tiện: đối với dữ liệu nhị phân, vấn đề này trở nên dễ dàng hơn nhiều, vì bạn chỉ cần so sánh dự đoán giữa thuộc tính có mặtkhông có mặt . Martens và Provost [4] đã thảo luận điều này để phân loại tài liệu.

Một cách tiếp cận khác để tìm các nhóm tính năng có ý nghĩa đã được Andreas Henelius đề xuất trong [5] và [6]. Ý tưởng về thuật toán GoldenEye của anh ấy là hoán vị dữ liệu trong nhóm tính năng và nhóm tính năng. Tưởng tượng một bảng dữ liệu trong đó mỗi hàng đại diện cho một thể hiện và mỗi cột là một tính năng. Trong mỗi cột, tất cả các hàng chia sẻ cùng một lớp được hoán vị. Các tính năng được nhóm lại, tức là hoán vị với nhau. Nếu phân loại trên dữ liệu được cho phép rất khác (tệ hơn) so với dữ liệu gốc, thì nhóm hiện tại không phản ánh nhóm thực sự. Kiểm tra các ấn phẩm, nó được mô tả tốt hơn ở đó. Cách tiếp cận này cũng trở nên đắt đỏ .

Tôi cũng muốn tham khảo các ấn phẩm của Josua Krause [7], [8]. Ông đã phát triển các quy trình phân tích hình ảnh tương tác để phân tích các vấn đề phân loại dựa trên cá thể nhị phân, bao gồm cả PDP nâng cao. Chúng được viết tốt và đọc thú vị.


[1] Robnik-Šikonja, M. (2004, tháng 9). Cải thiện rừng ngẫu nhiên. Trong hội nghị châu Âu về học máy (trang 359-370). Springer, Berlin, Heidelberg.

[2] Štrumbelj, E., Kononenko, I., & Šikonja, MR (2009). Giải thích các phân loại thể hiện với các tương tác của các tập hợp con của các giá trị tính năng. Kỹ thuật dữ liệu & kiến ​​thức, 68 (10), 886-904.

[3] Štrumbelj, E., & Kononenko, I. (2014). Giải thích các mô hình dự đoán và dự đoán cá nhân với các đóng góp tính năng. Hệ thống kiến ​​thức và thông tin, 41 (3), 647-665.

[4] Martens, D., & Provost, F. (2013). Giải thích phân loại tài liệu dựa trên dữ liệu.

[5] Henelius, A., Puolamäki, K., Boström, H., Asker, L., & Papapetrou, P. (2014). Một cái nhìn vào hộp đen: khám phá các phân loại bằng cách ngẫu nhiên. Khai thác dữ liệu và khám phá kiến ​​thức, 28 (5-6), 1503-1529. #

[6] Henelius, A., Puolamäki, K., Karlsson, I., Zhao, J., Asker, L., Boström, H., & Papapetrou, P. (2015, Tháng 4). Goldeneye ++: Nhìn kỹ hơn vào hộp đen. Trong Hội thảo quốc tế về học tập thống kê và khoa học dữ liệu (trang 96-105). Mùa xuân, Chăm.

[7] Krause, J., Perer, A., & Ng, K. (2016, tháng 5). Tương tác với các dự đoán: Kiểm tra trực quan các mô hình học máy hộp đen. Trong Kỷ yếu của Hội nghị CHI 2016 về các yếu tố con người trong các hệ thống máy tính (trang 5686-5697). ACM.

[8] Krause, J., Dasgupta, A., Swartz, J., Aphinyanaphongs, Y., & Bertini, E. (2017). Một quy trình làm việc để chẩn đoán trực quan các phân loại nhị phân bằng cách sử dụng các giải thích cấp độ trường hợp. bản in sẵn arXiv arXiv: 1705.01968.


Thật là một câu trả lời tuyệt vời, và phù hợp với nhiều suy nghĩ của tôi về chủ đề này. Cảm ơn bạn rất nhiều vì thời gian và chuyên môn của bạn. Các tài liệu tham khảo đặc biệt hữu ích.
mở hộp đen

2
+1 Bài báo Štrumbelj & Kononenko năm 2014 không nhận được từ xa sự công nhận mà nó xứng đáng. Cách tiếp cận lý thuyết trò chơi của họ giống như " WOW! "
usεr11852

0

Hai phương pháp khác đáng nói ở đây là:

1) Thuật toán SHAP của Lundberg & Lee , một phần mở rộng của phương pháp lý thuyết trò chơi của Štrumbelj & Kononenko mà họ tuyên bố thống nhất LIME và một số biện pháp quan trọng khác của địa phương; và

2) Phương pháp phản tác dụng của Wachter và cộng sự , dựa trên các mạng đối nghịch tổng quát.

Cả hai phương pháp đều có ưu điểm và nhược điểm. SHAP rất nhanh và đi kèm với việc triển khai Python thân thiện với người dùng . Thật không may, tuy nhiên, nó luôn so sánh các điểm so với trung tâm dữ liệu, có thể không phải là sự tương phản có liên quan trong một số trường hợp. Ngoài ra, giống như LIME và một số thuật toán khác, nó giả định (hoặc thực thi) tuyến tính cục bộ, có thể dẫn đến kết quả không ổn định hoặc không chính xác khi trường hợp quan tâm của chúng ta ở gần vùng phi tuyến rõ ràng của ranh giới quyết định hoặc bề mặt hồi quy.

Giải pháp của Wachter và cộng sự linh hoạt hơn trong vấn đề này, một sự sai lệch mới mẻ so với cái mà Lundberg & Lee gọi là mô hình "phân bổ tính năng phụ gia". Tuy nhiên, tôi không biết về bất kỳ triển khai nguồn mở nào. Chi phí đào tạo GAN bổ sung cũng có thể cực kỳ khó chịu đối với một số bộ dữ liệu.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.