Sau khi tôi phát triển mô hình dự đoán của mình bằng Rừng ngẫu nhiên, tôi nhận được các số liệu sau:

        Train Accuracy ::  0.9764634601043997
        Test Accuracy  ::  0.7933284397683713
         Confusion matrix  [[28292  1474]
                            [ 6128   889]]

Đây là kết quả từ mã này:

  training_features, test_features, training_target, test_target, = train_test_split(df.drop(['bad_loans'], axis=1),
                                                  df['target'],
                                                  test_size = .3,
                                                  random_state=12)
clf = RandomForestClassifier()
trained_model = clf.fit(training_features, training_target)
trained_model.fit(training_features, training_target)
predictions = trained_model.predict(test_features)      

Train Accuracy: accuracy_score(training_target, trained_model.predict(training_features))
Test Accuracy: accuracy_score(test_target, predictions)
Confusion Matrix: confusion_matrix(test_target, predictions)

Tuy nhiên tôi đang có một chút nhầm lẫn để giải thích và giải thích các giá trị này.

Chính xác thì 3 biện pháp này cho tôi biết gì về mô hình của tôi?

Cảm ơn!

Định nghĩa

• Độ chính xác: Số lượng phân loại chính xác / tổng số lượng phân loại.
• Độ chính xác của tàu: Độ chính xác của một mô hình trên các ví dụ được xây dựng trên.
• Độ chính xác kiểm tra là độ chính xác của một mô hình trên các ví dụ mà nó chưa từng thấy.
• Ma trận nhầm lẫn: Một bảng của lớp dự đoán (thường là theo chiều dọc) so với lớp thực tế (do đó theo chiều ngang).

Quá mức

Những gì tôi sẽ làm cho kết quả của bạn là mô hình của bạn đang quá mức . Bạn có thể nói rằng từ sự khác biệt lớn về độ chính xác giữa kiểm tra và độ chính xác của đào tạo. Quá mức có nghĩa là nó đã học các quy tắc cụ thể cho tập tàu, những quy tắc đó không khái quát tốt ngoài tập tàu.

Ma trận nhầm lẫn của bạn cho chúng tôi biết bao nhiêu là quá mức, bởi vì lớp lớn nhất của bạn chiếm hơn 90% dân số. Giả sử rằng bộ kiểm tra và bộ huấn luyện của bạn có phân phối tương tự, bất kỳ mô hình hữu ích nào cũng sẽ phải đạt điểm chính xác hơn 90%: Mô hình 0R đơn giản sẽ. Mô hình của bạn đạt điểm dưới 80% trong tập kiểm tra.

Nhìn sâu vào ma trận nhầm lẫn

Nếu bạn nhìn vào ma trận nhầm lẫn tương đối (tính theo tỷ lệ phần trăm) thì nó sẽ giống như thế này:

               Actual    TOT
               1    2
Predicted 1 | 77% | 4% | 81%  
Predicted 2 | 17% | 2% | 19%
TOT         | 94% | 6% |

Bạn có thể suy ra từ tổng số trong hàng đầu tiên mà mô hình của bạn dự đoán Lớp 1 81% thời gian, trong khi sự xuất hiện thực tế của Lớp 1 là 94%. Do đó mô hình của bạn đang đánh giá thấp lớp này. Nó có thể là trường hợp nó học các quy tắc cụ thể (phức tạp) trên tập tàu, hoạt động chống lại bạn trong tập kiểm tra.

Nó cũng có thể là đáng chú ý là mặc dù âm tính giả của lớp 1 (17% -point, dòng 2, cột 1)) đang làm tổn thương hiệu suất tổng thể của bạn nhất, âm tính giả của Class 2 (4% -point, dòng 1 cột 2) thực sự phổ biến hơn đối với tổng dân số của các lớp tương ứng (94%, 6%). Điều này có nghĩa là mô hình của bạn rất tệ trong việc dự đoán Lớp 1 , nhưng thậm chí còn tệ hơn khi dự đoán Lớp 2 . Độ chính xác chỉ dành cho Class 1 là 77/99 trong khi độ chính xác cho Class 2 là 2/6.