Làm thế nào tôi có thể hình dung tầm quan trọng của các đầu vào khác nhau đối với dự báo cho mô hình phi tuyến tính hộp đen?


9

Tôi đang xây dựng một công cụ dự báo tương tác (bằng python) như một sự trợ giúp cho việc dự báo được thực hiện trong tổ chức của tôi. Cho đến nay, quá trình dự báo chủ yếu do con người điều khiển, với các nhà dự báo đồng hóa dữ liệu trong mạng lưới thần kinh tự nhiên của họ và sử dụng cảm giác ruột đã học để đưa ra dự đoán. Từ một nghiên cứu xác minh dự báo dài hạn và nghiên cứu mô hình dự đoán tôi đã thực hiện, tôi đã tìm thấy những gì bạn có thể mong đợi; các nhà dự báo khác nhau thể hiện những thành kiến ​​khác nhau, ảnh hưởng của một số dự báo dường như bị cường điệu hóa và những dự báo quan trọng khác dường như bị bỏ qua và nói chung hiệu suất dự báo là tầm thường so với các mô hình thực nghiệm tương đối đơn giản.

Các dự báo sẽ tiếp tục là thủ công, nhưng tôi đang cố gắng xây dựng một công cụ hữu ích để cung cấp cho các nhà dự báo một lượng hóa tốt hơn về các tác động tương đối của các yếu tố dự báo. Ngoài ra còn có các hiệu ứng quan trọng như ảnh hưởng theo mùa thường bị bỏ qua mà tôi muốn công cụ này làm nổi bật cho người dùng. Tôi đang mong đợi một mức độ phản ứng dữ dội và sự hoài nghi về quy trình mô hình hóa từ một số nhà dự báo 'có kinh nghiệm' hơn (nhiều người trong số họ có ít kiến ​​thức chính thức về thống kê), vì vậy, việc truyền thông ít nhất cũng quan trọng và chính hiệu suất của mô hình đạt được một sự cải thiện có thể đo lường được trong độ chính xác dự báo.

Các mô hình tôi đang phát triển có thành phần hồi quy tự động mạnh, đôi khi được sửa đổi đáng kể bởi các sự kiện hiển thị dưới dạng giá trị đo được trong một số dự đoán, trong thời gian không có sự kiện, gần bằng không. Điều này phù hợp với mô hình tinh thần mà các nhà dự báo sử dụng. Phần quan trọng là có thể chứng minh các phép đo 'sự kiện' nào có ảnh hưởng nhất trong việc đưa dự đoán ra khỏi giá trị hồi quy tự động cho bất kỳ dự báo cụ thể nào. Tôi hình ảnh quá trình theo cách này; người dự báo sẽ đoán giá trị đoán tốt nhất của họ, mô hình gợi ý một giá trị khác và người dự báo hỏi tại sao. Mô hình trả lời một cái gì đó như "xem ở đây, giá trị của công cụ dự đoán này làm tăng giá trị dự báo trong Mùa hè. Nếu là Mùa đông, nó sẽ di chuyển theo cách khác. Tôi biết có những phép đo khác,

Bây giờ, hãy tưởng tượng mô hình là một hồi quy tuyến tính đơn giản. Người ta có thể tưởng tượng việc hiển thị 'hiệu ứng' tương đối của các yếu tố dự đoán dựa trên sự kiện bằng cách nhân giá trị với mô hình đồng hiệu quả và hiển thị dưới dạng biểu đồ thanh đơn giản. Tất cả các thanh từ các yếu tố dự đoán khác nhau cộng với độ lệch tổng so với giá trị AR, và điều này cho thấy rõ ràng và rõ ràng những cái mà trong trường hợp này, có ảnh hưởng mạnh mẽ.

Vấn đề là quá trình được dự báo hiển thị mức độ phi tuyến tính cao trong các yếu tố dự đoán, hoặc ít nhất, tôi đã thành công hơn nhiều với các thuật toán học máy phi tuyến tính hộp đen (rừng ngẫu nhiên và GBM) so với GLM tập dữ liệu này. Lý tưởng nhất là tôi muốn có thể thay đổi liền mạch mô hình hoạt động 'dưới mui xe' mà không cần thay đổi trải nghiệm người dùng, vì vậy tôi cần một số cách chung để chứng minh một cách đơn giản tầm quan trọng của các phép đo khác nhau mà không cần sử dụng một số phương pháp cụ thể của thuật toán. Cách tiếp cận hiện tại của tôi sẽ là bán tuyến tính các hiệu ứng bằng cách đặt tất cả các giá trị về 0 ngoại trừ một yếu tố dự đoán, ghi lại độ lệch dự đoán và sau đó lặp lại cho tất cả các yếu tố dự đoán, hiển thị kết quả trong biểu đồ thanh được đề cập ở trên. Trong sự hiện diện của phi tuyến tính mạnh, điều này có thể không hoạt động tốt.


1
Bạn đã kết thúc với cái gì - bạn có thể đưa ra một hoặc hai bức tranh không? Ngoài ra, "đặt tất cả các giá trị về 0 ngoại trừ một công cụ dự đoán" - bạn không muốn độ dốc xung quanh các giá trị tốt nhất hiện tại, không phải xung quanh tất cả 0?
chối

Câu trả lời:


4

Một cách mà bạn có thể đánh giá ảnh hưởng của người dự đoán đối với các dự báo là ước tính độ dốc của đầu ra đối với các yếu tố dự đoán. Điều này có thể được thực hiện bằng cách ước tính các đạo hàm riêng của hàm dự đoán phi tuyến tính đối với từng yếu tố dự đoán bằng các khác biệt hữu hạn.

Lý tưởng nhất là bạn sẽ làm điều này trên các đầu vào thử nghiệm thực tế quan sát được. Ví dụ: bạn có thể tính trung bình các giá trị tuyệt đối của độ dốc ước tính tại tất cả các đầu vào thử nghiệm trong 2 ngày trước đó. Độ lớn của độ dốc trung bình này có thể được sử dụng để sắp xếp tầm quan trọng của các yếu tố dự đoán. (Bạn sẽ cần cẩn thận với ước tính độ dốc để sử dụng các đơn vị phù hợp bằng cách tính điểm z hoặc một số phương pháp như vậy.) Bạn có thể lưu các độ dốc ước tính này theo mùa để phân tích so sánh.

Xem " Cách giải thích các quyết định phân loại cá nhân " của David Baehrens et. al. trong JMLR để biết thêm về ý tưởng này. Bài viết đề cập đến phân loại nhưng cũng dễ dàng khái quát đến hồi quy.


Điều đó thật tuyệt! Một tài liệu tham khảo rất hữu ích sẽ hữu ích cho vấn đề này tôi có và ở nơi khác.
Bogdanovist

2

Bạn đã thử mô-đun scikit-learn trong python.

Bạn có thể "computer_importance" cho các tính năng của RandomForestClassifier của nó


1
Đầu tiên tôi cũng nghĩ rằng việc tính toán tầm quan trọng của tính năng có thể hữu ích, nhưng cuối cùng, đó là một cách tiếp cận tương đối kém khi người ta sẽ giải thích giá trị dự đoán cho một trường hợp cụ thể. Tính năng quan trọng chỉ cung cấp gợi ý mơ hồ cho các chuyên gia của con người.
steffen

Ngoài ra, OP đã yêu cầu một cách tiếp cận độc lập kiểu mẫu ...
steffen

Vấn đề với các biện pháp quan trọng khác nhau là trung bình chúng áp dụng cho toàn bộ dữ liệu, thay vì cho bạn biết điều gì thực sự quan trọng trong bất kỳ trường hợp cụ thể nào.
Bogdanovist

Trên thực tế tôi nghĩ rằng đây là một cách tiếp cận độc lập mô hình, bạn thực sự có thể áp dụng nó cho các phân loại khác ngoài các khu rừng ngẫu nhiên. Trong trang web của Breiman có một nhận xét tinh tế về cách bạn có thể tính toán tầm quan trọng khác nhau cho một trường hợp. stat.berkeley.edu/~breiman/RandomForests/cc_home.htm#varimp (câu cuối cùng) tôi nghĩ rằng điều này chưa được nghiên cứu rộng rãi chưa, hoặc ít nhất là thử nghiệm rộng rãi. Tầm quan trọng của biến trung bình không phải lúc nào cũng là điều bạn muốn. Ví dụ, đó không phải là khi bạn muốn giúp một học viên đưa ra quyết định về một trường hợp. Đây là một chủ đề rất thú vị.
Simone

Có một bài viết thú vị nơi Breiman thảo luận một chút về phương pháp này về hồi quy logistic: "Mô hình thống kê: Hai nền văn hóa". Một đọc tốt đẹp. Câu mà tôi thích nhất là: "Định nghĩa về tầm quan trọng của biến dựa trên dự đoán. Một biến có thể được coi là quan trọng nếu xóa nó ảnh hưởng nghiêm trọng đến độ chính xác dự đoán." Tuyên bố này áp dụng cho bất kỳ phân loại bạn có thể sử dụng.
Simone
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.