Biến cộng tuyến trong đào tạo LDA Multiclass

Tôi đang đào tạo một trình phân loại LDA nhiều lớp với 8 lớp dữ liệu.

Trong khi thực hiện đào tạo, tôi nhận được một cảnh báo: " Biến là cộng tuyến "

Tôi đang nhận được độ chính xác đào tạo hơn 90% .

Tôi đang sử dụng thư viện scikits-learn trong Python để đào tạo và kiểm tra dữ liệu Nhiều lớp.

Tôi cũng nhận được độ chính xác kiểm tra khá (khoảng 85% -95% ).

Tôi không hiểu ý nghĩa của lỗi / cảnh báo. Hãy giúp tôi ra.

Đa sắc có nghĩa là các yếu tố dự đoán của bạn có mối tương quan. Tại sao điều này là xấu?

Bởi vì LDA, giống như các kỹ thuật hồi quy liên quan đến việc tính toán nghịch đảo ma trận, điều này không chính xác nếu hệ số xác định gần bằng 0 ( tức là hai hoặc nhiều biến gần như là một tổ hợp tuyến tính của nhau).

Quan trọng hơn, nó làm cho các hệ số ước tính không thể giải thích. Nếu sự gia tăng , chẳng hạn, có liên quan đến giảm X 2 và cả hai đều tăng biến Y , mọi thay đổi trong X 1 sẽ được bù đắp bằng một sự thay đổi trong X 2 và bạn sẽ đánh giá thấp ảnh hưởng của X 1 trên Y . Trong LDA, bạn sẽ đánh giá thấp hiệu quả của X $X_1$$X_2$$Y$$X_1$$X_2$$X_1$$Y$$X_1$ đến phân loại.

Nếu tất cả những gì bạn quan tâm là phân loại theo từng se và sau khi đào tạo mô hình của bạn trên một nửa dữ liệu và kiểm tra nó trên nửa còn lại, bạn sẽ nhận được độ chính xác 85-95% tôi sẽ nói là ổn.

Như tôi nghĩ rằng gui11aume đã cho bạn một câu trả lời tuyệt vời, tôi muốn đưa ra một ví dụ từ một góc độ hơi khác có thể được chiếu sáng. Hãy xem xét rằng một đồng biến trong hàm phân biệt đối xử của bạn trông như sau:

. $X_1= 5X_2 +3X_3 -X_4$

Giả sử LDA tốt nhất có ranh giới tuyến tính sau:

$X_1+2X_2+X_3-2X_4 =5$

Sau đó, chúng ta có thể thay cho X 1 n phương trình biên LDA, vì vậy: $5X_2+3X_3-X_4$$X_1$

$5X_2+3X_3-X_4+2X_2+X_3-2X_4=5$

hoặc là

$7X_2+4X_3-3X_4=5$

$1, 2, 1,-2$ for $X_1$, $X_2$, $X_3$, and $X_4$ respectively, while the other has coefficients $0, 7, 3, -1$.

So the coefficient are quite different but the two equations give the same boundary and identical prediction rule. If one form is good the other is also. But now you can see why gui11ame says the coefficients are uninterpretable.

There are several other ways to express this boundary as well by substituting for $X_2$ to give it the $0$ coefficient and the same could be done for $X_3$ or $X_4$. But in practice the collinearity is approximate. This makes things worse because the noise allows for a unique answer. Very slight perturbations of the data will cause the coefficients to change drastically. But for prediction you are okay because each equation defines almost the same boundary and so LDA will result in nearly identical predictions.

While the answer that was marked here is correct, I think you were looking for a different explanation to find out what happened in your code. I had the exact same issue running through a model.

Here's whats going on: You're training your model with the predicted variable as part of your data set. Here's an example of what was occurring to me without even noticing it:

df = pd.read_csv('file.csv')
df.columns = ['COL1','COL2','COL3','COL4']
train_Y = train['COL3']
train_X = train[train.columns[:-1]]

In this code, I want to predict the value of 'COL3'... but, if you look at train_X, I'm telling it to retrieve every column except the last one, so its inputting COL1 COL2 and COL3, not COL4, and trying to predict COL3 which is part of train_X.

I corrected this by just moving the columns, manually moved COL3 in Excel to be the last column in my data set (now taking place of COL4), and then:

df = pd.read_csv('file.csv')
df.columns = ['COL1','COL2','COL3','COL4']
train_Y = train['COL4']
train_X = train[train.columns[:-1]]

If you don't want to move it in Excel, and want to just do it by code then:

df = pd.read_csv('file.csv')
df.columns = ['COL1','COL2','COL3','COL4']
train_Y = train['COL3']
train_X = train[train.columns['COL1','COL2','COL4']]

Note now how I declared train_X, to include all columns except COL3, which is part of train_Y.

I hope that helps.