tính năng quan trọng thông qua rừng ngẫu nhiên và hồi quy tuyến tính là khác nhau

Áp dụng Lasso để xếp hạng các tính năng và nhận được kết quả sau:

rank feature prob.
==================================
1       a     0.1825477951589229
2       b     0.07858498115577893
3       c     0.07041793111843796

Lưu ý rằng bộ dữ liệu có 3 nhãn. Xếp hạng của các tính năng cho các nhãn khác nhau là như nhau.

Sau đó, áp dụng rừng ngẫu nhiên vào cùng một tập dữ liệu:

rank feature score
===================================
1       b     0.17504808300002753
6       a     0.05132699243632827
8       c     0.041690685195283385

Lưu ý rằng xếp hạng rất khác so với xếp hạng do Lasso sản xuất.

Làm thế nào để giải thích sự khác biệt? Liệu nó ngụ ý mô hình cơ bản vốn là phi tuyến?

Vì vậy, truy vấn của bạn là so sánh hồi quy tuyến tính với tầm quan trọng của các biến được lấy từ mô hình rừng ngẫu nhiên.

$R^2$

Một cách tiếp cận phổ biến khác là tính trung bình theo thứ tự (LMG, 1980). LMG hoạt động như thế này:

• $SS_a/SS_{total}$$R^2$$a$
• $a,b,c$$b,a,c$$b,c,a$
• Tìm trung bình của các mối tương quan bán một phần cho mỗi đơn hàng này. Đây là mức trung bình trên thứ tự.

Thuật toán rừng ngẫu nhiên phù hợp với nhiều cây, mỗi cây trong rừng được xây dựng bằng cách chọn ngẫu nhiên các tính năng khác nhau từ bộ dữ liệu. Các nút của mỗi cây được xây dựng bằng cách chọn và tách để đạt được giảm phương sai tối đa. Trong khi dự đoán trên tập dữ liệu thử nghiệm, đầu ra của từng cây được lấy trung bình để có được đầu ra cuối cùng. Mỗi biến được hoán vị giữa tất cả các cây và sự khác biệt trong lỗi mẫu của trước và sau khi hoán vị được tính toán. Các biến có chênh lệch cao nhất được coi là quan trọng nhất và các biến có giá trị thấp hơn ít quan trọng hơn.

Phương pháp mà mô hình phù hợp với dữ liệu huấn luyện rất khác nhau đối với mô hình hồi quy tuyến tính so với mô hình rừng ngẫu nhiên. Nhưng cả hai mô hình không chứa bất kỳ mối quan hệ cấu trúc giữa các biến.

Về truy vấn của bạn về tính phi tuyến tính của biến phụ thuộc: Lasso về cơ bản là một mô hình tuyến tính sẽ không thể đưa ra dự đoán tốt cho các quy trình phi tuyến tính cơ bản, so với các mô hình dựa trên cây. Bạn sẽ có thể kiểm tra điều này bằng cách xác minh hiệu suất của các mô hình qua một bộ kiểm tra dành riêng, nếu rừng ngẫu nhiên hoạt động tốt hơn, quy trình cơ bản có thể không tuyến tính. Ngoài ra, bạn có thể bao gồm các hiệu ứng tương tác biến và các biến bậc cao hơn được tạo bằng a, b và c trong mô hình Lasso và xác minh xem mô hình này có hoạt động tốt hơn so với lasso chỉ với sự kết hợp tuyến tính của a, b và c. Nếu có, thì quá trình cơ bản có thể là phi tuyến tính.

Người giới thiệu:

• https://en.wikipedia.org/wiki/Decision_tree_learning
• https://en.wikipedia.org/wiki/Random_forest
• Tầm quan trọng tương đối của các hồi quy tuyến tính trong R
• Tầm quan trọng và giá trị tương đối, Barry Feldman (phương pháp PMD)