Câu hỏi quá mức

Bạn sẽ xem xét rằng quá mức?

overfitting

Câu trả lời:

Không, đó không phải là một ví dụ về việc quá mức! Sẽ là quá mức nếu tổn thất hợp lệ bắt đầu tăng trong khi tổn thất đào tạo đang tiếp tục giảm.

Chỉnh sửa: câu trả lời cho câu hỏi thứ hai Thật đáng để xem xét cách tính toán của auc. Chúng tôi có xác suất của từng trường hợp thuộc về lớp tích cực. Sau đó, chúng tôi sắp xếp các xác suất này. Nếu tất cả các trường hợp tích cực xuất hiện trong phần đầu tiên của danh sách được sắp xếp và tất cả các tiêu cực nằm trong phần thứ hai, thì auc là 1 ("hiệu suất hoàn hảo" theo quan sát của auc).

$loss = -1/N * \sum{y_i * log(p(y_i)) + (1 - y_i)*log(1 - p(y_i))}$ $y_i$ $p(y_i)$ $y_i$

Đó là lý do tại sao tôi đoán, chúng ta phải đánh giá mất mát.

— Lana
nguồn

Cảm ơn bạn Lana, mặc dù sự khác biệt về mất mát giữa đào tạo và xác nhận không phải là biểu hiện quá mức?

— Nickolas Papanikolaou

@NickolasPapanikolaou, điều đó là bình thường, khi mất khác nhau ở tập huấn luyện và xác nhận, bởi vì mô hình trở nên quen thuộc hơn với dữ liệu, điều mà nó đã thấy trong tập huấn luyện (đó là lý do, tại sao việc chia thành kiểm tra, xác thực, đào tạo thường được thực hiện). Tuy nhiên, hiệu suất mô hình trên dữ liệu thử nghiệm cho thấy, mô hình đó tiếp tục trích xuất một số thông tin hữu ích, do đó quá trình học tập đang diễn ra nhưng chậm hơn trước.

— Lana

Không, điều này không phải là quá mức.

Trước hết, AUC hoàn toàn giống nhau giữa các bộ xác nhận và đào tạo. Các tổn thất có thể có một khoảng cách nhưng vì tổn thất xác nhận vẫn giảm (ngay cả khi chậm), bạn vẫn ổn.

— Xì gà
nguồn

Cái này thì sao? Trong trường hợp đó, tổn thất xác nhận đang gia tăng nhưng AUC không theo cùng một mô hình, cái nào để tin rằng mất hoặc hiệu suất?

— Nickolas Papanikolaou
nguồn

Quên đề cập đến AUC trên bộ kiểm tra nắm giữ là 0,928

— Nickolas Papanikolaou

Bạn có mất mát gì? Phân phối các lớp trong đào tạo và bộ kiểm tra là gì?

— Lana

Tôi đã trả lời câu hỏi này, chỉnh sửa câu trả lời đầu tiên của tôi. Trong trường hợp này, cần đánh giá hiệu suất quá mức và mất mát

— Lana

Vì vậy, câu hỏi mới của bạn và các phiên bản của tôi là lập luận chống lại giả định, được đưa ra bởi Javier: "Trước hết, AUC hoàn toàn giống nhau giữa các bộ tàu và bộ xác nhận". Đó không thể là lý do chính

— Lana

Tất cả ba bộ (đào tạo, xác nhận, kiểm tra) hoàn toàn cân bằng, tôi đã sử dụng binary_crossentropy. Tôi tin rằng vấn đề có liên quan đến AUC, vì nếu tôi sử dụng độ chính xác thì các đường cong bị lệch (dấu hiệu quá mức), cảm ơn rất nhiều vì câu trả lời của bạn

— Nickolas Papanikolaou