Sự khác biệt giữa việc chọn các tính năng dựa trên hồi quy của F F và dựa trên các giá trị ?

Là so sánh các tính năng sử dụng F-regressiongiống như các tính năng tương quan với nhãn riêng lẻ và quan sát giá trị ?$R^2$

Tôi thường thấy các đồng nghiệp của mình sử dụng một F regressionlựa chọn tính năng trong đường ống học máy của họ từ sklearn:

sklearn.feature_selection.SelectKBest(score_func=sklearn.feature_selection.f_regression...)`  

Một số xin vui lòng cho tôi biết - tại sao nó cho kết quả tương tự như chỉ tương quan với biến / nhãn phụ thuộc?

Tôi không rõ lợi thế của việc sử dụng F_regressiontrong lựa chọn tính năng.

Đây là mã của tôi: Tôi đang sử dụng mtcarsbộ dữ liệu từ R:

import pandas as pd
import numpy as np
from sklearn import feature_selection
from sklearn.linear_model import LinearRegression

#....load mtcars dataset into a pandas dataframe called "df", not shown here for conciseness

# only using these numerical columns as features ['mpg', 'disp', 'drat', 'wt']
# using this column as the label:  ['qsec']

model = feature_selection.SelectKBest(score_func=feature_selection.f_regression,\
                                      k=4)

results = model.fit(df[columns], df['qsec'])

print results.scores_
print results.pvalues_

# Using just correlation coefficient:

columns = ['mpg', 'disp', 'drat', 'wt']
for col in columns:
    lm = LinearRegression(fit_intercept=True)
    lm.fit(df[[col]], df['qsec'])
    print lm.score(df[[col]], df['qsec'])

Như nghi ngờ, thứ hạng của các tính năng hoàn toàn giống nhau:

scores using f_regression:

[ 6.376702    6.95008354  0.25164249  0.94460378]


 scores using coefficient of determination:

0.175296320261  
0.18809385182
0.00831830818303
0.0305256382746

Như bạn có thể thấy, tính năng thứ hai được xếp hạng cao nhất, tính năng thứ nhất là thứ hai, tính năng thứ tư là thứ ba và tính năng thứ ba là cuối cùng, trong cả hai trường hợp.

Có bao giờ một trường hợp mà F_regressionsẽ cho kết quả khác nhau, hoặc sẽ xếp hạng các tính năng khác nhau theo một cách nào đó?

EDIT: Để tóm tắt, tôi muốn biết liệu hai bảng xếp hạng các tính năng này có cho kết quả khác nhau không:

1) tính năng xếp hạng theo thống kê F của họ khi hồi quy chúng với kết quả riêng lẻ (đây là những gì sklearn làm) VÀ,

2) xếp hạng các tính năng theo giá trị bình phương R của chúng khi hồi quy chúng với kết quả, một lần nữa riêng lẻ.

TL: DR

Sẽ không có sự khác biệt nếu F-regressionchỉ tính toán thống kê F và chọn các tính năng tốt nhất. Có thể có một sự khác biệt trong bảng xếp hạng, giả sử F-regressionthực hiện như sau:

• Bắt đầu với một mô hình không đổi, $M_0$
• Hãy thử tất cả các mẫu bao gồm một tính năng và chọn sản phẩm tốt nhất theo thống kê F$M_1$
• Hãy thử tất cả các mẫu bao gồm M 1 cộng với một tính năng khác và chọn ...$M_2$$M_1$

Vì sự tương quan sẽ không giống nhau ở mỗi lần lặp. Nhưng bạn vẫn có thể có được thứ hạng này bằng cách chỉ tính toán tương quan ở mỗi bước, vậy tại sao lại F-regressioncần thêm một bước? Nó làm hai việc:

• Lựa chọn tính năng: Nếu bạn muốn chọn tính năng tốt nhất trong đường ống học máy, nơi bạn chỉ quan tâm đến độ chính xác và có các biện pháp điều chỉnh dưới / quá mức, bạn có thể chỉ quan tâm đến xếp hạng và tính toán bổ sung không hữu ích.$k$
• Kiểm tra mức độ quan trọng: Nếu bạn đang cố gắng hiểu tác động của một số biến đối với đầu ra trong một nghiên cứu, bạn có thể muốn xây dựng một mô hình tuyến tính và chỉ bao gồm các biến đang cải thiện đáng kể mô hình của bạn, đối với một số giá trị . Ở đây, có ích.$p$F-regression

---

Bài kiểm tra F là gì

Một chiếc F-test (Wikipedia) là một cách để so sánh tầm quan trọng của việc cải thiện một mô hình, liên quan đến việc bổ sung các biến mới. Bạn có thể sử dụng nó khi có một mô hình cơ bản và một mô hình M 1 phức tạp hơn , chứa tất cả các biến từ M 0 và một số biến khác. Thử nghiệm F cho bạn biết nếu M 1 tốt hơn đáng kể so với M 0 , liên quan đến giá trị p .$M_0$$M_1$$M_0$$M_1$$M_0$$p$

Để làm như vậy, nó sử dụng tổng bình phương còn lại làm thước đo lỗi và so sánh mức giảm lỗi với số lượng biến được thêm và số lượng quan sát (chi tiết hơn trên Wikipedia ). Việc thêm các biến, ngay cả khi chúng hoàn toàn ngẫu nhiên, được kỳ vọng sẽ luôn giúp mô hình đạt được lỗi thấp hơn bằng cách thêm một chiều khác. Mục tiêu là tìm hiểu xem các tính năng mới có thực sự hữu ích hay chúng là số ngẫu nhiên nhưng vẫn giúp mô hình vì chúng thêm một thứ nguyên.

---

Điều gì f_regressionlàm

Lưu ý rằng tôi không quen với việc triển khai tìm hiểu Scikit, nhưng hãy thử tìm hiểu xem f_regressionđang làm gì. Các tài liệu nói rằng các thủ tục là tuần tự. Nếu từ tuần tự có nghĩa giống như trong các gói thống kê khác, chẳng hạn như Lựa chọn tính năng tuần tự Matlab , thì đây là cách tôi mong đợi nó sẽ tiếp tục:

• Bắt đầu với một mô hình không đổi, $M_0$
• Hãy thử tất cả các mẫu bao gồm một tính năng và chọn sản phẩm tốt nhất theo thống kê F$M_1$
• Hãy thử tất cả các mẫu bao gồm M 1 cộng với một tính năng khác và chọn ...$M_2$$M_1$

Hiện tại, tôi nghĩ rằng đó là một xấp xỉ đủ gần để trả lời câu hỏi của bạn; có sự khác biệt giữa xếp hạng f_regressionvà xếp hạng theo tương quan.

Nếu bạn bắt đầu với mô hình không đổi và cố gắng tìm mô hình tốt nhất chỉ có một tính năng, M 1 , bạn sẽ chọn tính năng tương tự cho dù bạn sử dụng hoặc phương pháp dựa trên tương quan của bạn, vì cả hai đều là thước đo của sự phụ thuộc tuyến tính. Nhưng nếu bạn đi từ M 0 đến M 1 và sau đó đến M 2 , sẽ có một sự khác biệt trong cách tính điểm của bạn.$M_0$$M_1$f_regression$M_0$$M_1$$M_2$

Giả sử bạn có ba tính năng, , trong đó cả x 1 và x 2 có tương quan cao với đầu ra y , nhưng cũng tương quan cao với nhau, trong khi x 3 chỉ tương quan trung bình với y . Phương pháp tính điểm của bạn sẽ chỉ định điểm số tốt nhất cho x 1 và x 2 , nhưng phương pháp tuần tự có thể không. Trong vòng đầu tiên, nó sẽ chọn tính năng tốt nhất, giả sử x 1 , để tạo M 1 . Sau đó, nó sẽ đánh giá cả hai$x_1, x_2, x_3$$x_1$$x_2$$y$$x_3$$y$$x_1$$x_2$$x_1$$M_1$ và x 3 cho M 2 . Vì x 2 tương quan cao với một tính năng đã được chọn, hầu hết thông tin chứa trong đó đã được tích hợp vào mô hình và do đó, quy trình có thể chọn x 3 . Mặc dù nó ít tương quan với y , nhưng nó tương quan nhiều hơn với phầndư, phần mà x 1 chưa giải thích, so với x 2 . Đây là cách hai thủ tục bạn đề xuất là khác nhau.$x_2$$x_3$$M_2$$x_2$$x_3$$y$$x_1$$x_2$

Bạn vẫn có thể mô phỏng hiệu ứng tương tự với ý tưởng của mình bằng cách xây dựng mô hình của mình một cách tuần tự và đo lường sự khác biệt về mức tăng cho từng tính năng bổ sung thay vì so sánh chúng với mô hình không đổi như bạn hiện đang làm. Kết quả sẽ không khác với kết quả. Lý do cho chức năng này tồn tại là để cung cấp lựa chọn tính năng tuần tự này và bổ sung chuyển đổi kết quả thành thước đo F mà bạn có thể sử dụng để đánh giá tầm quan trọng.$M_0$f_regression

---

Mục tiêu của F-test là cung cấp mức ý nghĩa. Nếu bạn muốn đảm bảo các tính năng mà bạn đang đưa vào có ý nghĩa đối với giá trị của bạn , bạn sử dụng F-test. Nếu bạn chỉ muốn bao gồm các k tính năng tốt nhất, bạn có thể chỉ sử dụng các mối tương quan.$p$$k$

---

Tài liệu bổ sung: Dưới đây là phần giới thiệu về F-test mà bạn có thể thấy hữu ích

Tôi đã dành một chút thời gian để xem qua mã nguồn Scikit để hiểu những gì f_regressionnó làm, và tôi muốn đăng những quan sát của mình ở đây.

Câu hỏi ban đầu là:

Q : Có SelectKBest(f_regression, k = 4)tạo ra kết quả giống như sử dụng LinearRegression(fit_intercept=True)và chọn 4 tính năng đầu tiên có điểm số cao nhất không?

Câu trả lời là có . Hơn nữa, thứ tự tương đối được đưa ra bởi điểm số là như nhau.

f_regression$X$$y$$X[:, i]$$y$

$$\rho_i = \frac{(X[:, i] - mean(X[:, i])) * (y - mean(y))}{std(X[:, i]) * std(y)}.$$ $$F_i = \frac{\rho_i^2}{1 - \rho_i^2}*(n-2),$$ $n = len(y)$centerFalse$n-1$SelectKBest$k$$X$với số điểm cao nhất. Không có ứng dụng tuần tự hoặc bất cứ điều gì và giá trị p cũng không được sử dụng.

$R_i^2$LinearRegression$X[:, i]$$y$$R_i^2 = \rho_i^2$

$$R_i^2 < R_j^2 \Leftrightarrow \frac{\rho_i^2}{1 - \rho_i^2} < \frac{\rho_j^2}{1 - \rho_j^2} \Leftrightarrow F_i < F_j.$$ f_regressionLinearRegressionSelectKBest