Ở cấp độ mô hình, để đánh giá sự đóng góp / tầm quan trọng của người dự đoán, chúng ta có thể sử dụng:
- Các kỹ thuật cụ thể của mô hình - ví dụ độ tinh khiết (Chỉ số Gini) cho mô hình dựa trên cây, hệ số mô hình khi áp dụng, v.v.
- Mô hình Kỹ thuật Độc lập - ví dụ: Tầm quan trọng của Tính năng Hoán vị, Sự phụ thuộc một phần, v.v.
Điều này không truyền tải được cho một dự đoán cụ thể (giả sử phân loại nhị phân cung cấp xác suất 92% là thành viên của lớp 1) những gì mà các nhà dự đoán đã có ảnh hưởng lớn nhất trong việc đưa ra dự đoán đó.
Nghĩ về vấn đề này một chút, dường như có một vài cách tiếp cận có thể được thực hiện:
- Các kỹ thuật cụ thể của mô hình - ví dụ: hệ số của các mô hình tuyến tính áp dụng, các kỹ thuật như được mô tả ở đây để nói XGBoost ( https://medium.com/applied-data-science/new-r-package-the-xgboost-explainer-51dd7d1aa211 )
- Các kỹ thuật độc lập mô hình - ví dụ như một số phương pháp nhiễu loạn khác, tương tự như phụ thuộc một phần để hiểu cách dự đoán thay đổi khi chúng ta làm nhiễu dự đoán và có lẽ mô hình đó?, Hoặc các kỹ thuật như LIME được mô tả trong bài viết này ( https://arxiv.org/ pdf / 1602.04938.pdf và https://github.com/marcotcr/lime ), một kỹ thuật Quan trọng cho phép được sửa đổi?
Dường như đối với tôi, cách tiếp cận có giá trị nhất sẽ là một kỹ thuật độc lập mô hình dựa trên bản chất của nhiều thuật toán có phần đen của nhiều thuật toán và cung cấp khả năng diễn giải các thuật toán và kỹ thuật mới.
Một phương pháp ngây thơ, được mô tả ở đây ( http://amunargetui.github.io/actionable-instights/index.html ) là lấy từng người dự đoán, làm trung hòa hóa tác động của nó bằng cách nói ra ý nghĩa của "dân số" và chạy lại dự đoán nhận được sự khác biệt giữa dự đoán ban đầu và phiên bản trung hòa cung cấp một thước đo quan trọng. Đây có vẻ là một trường hợp đặc biệt của một phương pháp loại nhiễu loạn kiểu gợi ý ở trên. Một vài sai sót mà tôi thấy trong đó là 1) dường như ngụ ý rằng một dự đoán có nghĩa là có nghĩa là (có nghĩa là tương đương) của mỗi tính năng nhất thiết phải là một dự đoán có lẽ là trung gian và có thể là 2) Xấu (hoặc tương đương) có nhất thiết không ảnh hưởng?
Nói chung, bất kỳ kỹ thuật nào cũng sẽ phải tính đến:
- Cách xử lý các loại dữ liệu khác nhau (số, phân loại, v.v.)
- Cách xử lý dữ liệu bị thiếu
- Làm thế nào để xử lý tầm quan trọng có điều kiện (có nghĩa là các yếu tố dự đoán có thể chỉ quan trọng trong các cặp, v.v.)
- Hiệu quả tính toán (có thực sự thiết thực khi chạy dự đoán lần trong đó là số lượng dự đoán hoặc cho phương pháp nhiễu loạn trong đó là số dự đoán trên mỗi dự đoán, v.v.)
Với những suy nghĩ lỏng lẻo và có lẽ không chính xác về vấn đề được đặt ra, tôi tự hỏi những cách tiếp cận vấn đề mà mọi người nhận thức được, đã xem xét, đã sử dụng, sẽ khuyên v.v.?