Tại sao quá mức xấu?

Tôi đã nghiên cứu rất nhiều điều này và họ nói rằng việc thực hiện quá mức các hành động trong học máy là điều tồi tệ, nhưng các tế bào thần kinh của chúng ta trở nên rất mạnh mẽ và tìm ra những hành động / giác quan tốt nhất mà chúng ta đi qua hoặc tránh, cộng với có thể bị giảm / tăng từ xấu / tốt bởi các tác nhân xấu hoặc tốt, có nghĩa là các hành động sẽ tăng cấp và kết thúc bằng các hành động tự tin siêu mạnh (phải), tốt nhất. Làm thế nào điều này thất bại? Nó sử dụng các kích hoạt ý nghĩa tích cực và tiêu cực để giảm / tăng lại các hành động nói từ 44pose. đến 22neg.

Giải thích tốt nhất mà tôi đã nghe là đây:

Khi bạn đang học máy, bạn cho rằng bạn đang cố gắng học từ dữ liệu tuân theo một số phân phối xác suất.

Điều này có nghĩa là trong bất kỳ tập dữ liệu nào, do tính ngẫu nhiên, sẽ có một số nhiễu : dữ liệu sẽ thay đổi ngẫu nhiên.

Khi bạn tập luyện quá sức, bạn sẽ học được từ tiếng ồn của mình và đưa nó vào mô hình của bạn.

Sau đó, khi đến lúc đưa ra dự đoán từ dữ liệu khác, độ chính xác của bạn sẽ giảm: tiếng ồn xuất hiện trong mô hình của bạn, nhưng nó đặc trưng cho dữ liệu đào tạo của bạn, vì vậy nó làm tổn hại đến độ chính xác của mô hình của bạn. Mô hình của bạn không khái quát hóa: nó quá cụ thể đối với tập dữ liệu bạn đã chọn để đào tạo.

Phiên bản ELI5

Về cơ bản, đây là cách tôi giải thích cho đứa con 6 tuổi của mình.

Khi đã có một cô gái tên Mel ( "Hiểu không? ML?" "Bố, con thật khập khiễng." ). Và mỗi ngày Mel chơi với một người bạn khác, và mỗi ngày cô chơi là một ngày nắng đẹp, tuyệt vời.

Mel chơi với Jordan vào thứ hai, Lily vào thứ ba, Mimi vào thứ tư, Olive vào thứ năm .. và sau đó vào thứ sáu Mel chơi với Brianna, và trời mưa. Đó là một cơn giông bão khủng khiếp!

Nhiều ngày hơn, nhiều bạn bè hơn! Mel chơi với Kwan vào thứ bảy, Grayson vào Chủ nhật, Asa vào thứ hai ... và sau đó vào thứ ba Mel chơi với Brooke và trời lại mưa, thậm chí còn tồi tệ hơn trước!

Bây giờ mẹ của Mel đã tạo ra tất cả các vở kịch, vì vậy đêm đó trong bữa tối, cô ấy bắt đầu kể cho Mel tất cả về những vở kịch mới mà cô ấy đã xếp hàng. "Luis vào thứ Tư, Ryan vào thứ năm, Jemini vào thứ sáu, Bianca vào thứ bảy -"

Mel nhíu mày.

Mẹ của Mel hỏi, "Có chuyện gì vậy, Mel, con không thích Bianca à?"

Mel trả lời: "Ồ, chắc chắn, cô ấy rất tuyệt, nhưng mỗi khi tôi chơi với một người bạn có tên bắt đầu bằng B thì trời mưa!"

Có gì sai với câu trả lời của Mel?

Vâng, nó có thể không mưa vào thứ bảy.

Chà, tôi không biết, ý tôi là, Brianna đến và trời mưa, Brooke đến và trời mưa ...

Vâng, tôi biết, nhưng mưa không phụ thuộc vào bạn bè của bạn.

$N$$N$

Nói một cách đơn giản, sự phù hợp quá mức thường xảy ra khi tỷ lệ

là quá cao.

Hãy nghĩ về sự phù hợp quá mức như một tình huống trong đó mô hình của bạn học thuộc dữ liệu huấn luyện thay vì học những bức tranh lớn khiến nó không thể khái quát hóa dữ liệu thử nghiệm: điều này xảy ra khi mô hình quá phức tạp đối với kích thước của dữ liệu đào tạo, nghĩa là khi kích thước của dữ liệu đào tạo nhỏ so với độ phức tạp của mô hình.

Ví dụ:

• nếu dữ liệu của bạn theo hai chiều, bạn có 10000 điểm trong tập huấn luyện và mô hình là một dòng, bạn có khả năng dưới -fit.
• nếu dữ liệu của bạn có hai chiều, bạn có 10 điểm trong tập huấn luyện và mô hình là đa thức 100 độ, bạn có khả năng quá phù hợp.

Từ quan điểm lý thuyết, lượng dữ liệu bạn cần để đào tạo đúng mô hình của bạn là một câu hỏi quan trọng nhưng vẫn chưa được trả lời trong học máy. Một cách tiếp cận như vậy để trả lời câu hỏi này là kích thước VC . Một cái khác là sự đánh đổi sai lệch .

Từ quan điểm thực nghiệm, mọi người thường vẽ lỗi đào tạo và lỗi kiểm tra trên cùng một âm mưu và đảm bảo rằng họ không giảm lỗi đào tạo với chi phí của lỗi kiểm tra:

Tôi sẽ khuyên bạn nên xem khóa học về Machine Learning của Coursera , phần "10: Lời khuyên cho việc áp dụng Machine Learning".

Tôi nghĩ chúng ta nên xem xét hai tình huống:

Đào tạo hữu hạn

Có một lượng dữ liệu hữu hạn mà chúng tôi sử dụng để đào tạo mô hình của chúng tôi. Sau đó chúng tôi muốn sử dụng mô hình.

Trong trường hợp này, nếu bạn quá phù hợp, bạn sẽ không tạo ra một mô hình của hiện tượng mang lại dữ liệu, nhưng bạn sẽ tạo một mô hình của tập dữ liệu của mình. Nếu bộ dữ liệu của bạn không hoàn hảo - tôi gặp khó khăn khi tưởng tượng một bộ dữ liệu hoàn hảo - mô hình của bạn sẽ không hoạt động tốt trong nhiều hoặc một số tình huống, tùy thuộc vào chất lượng dữ liệu bạn sử dụng để đào tạo. Vì vậy, quá mức sẽ dẫn đến chuyên môn hóa trên tập dữ liệu của bạn, khi bạn muốn khái quát hóa để mô hình hóa hiện tượng cơ bản.

Học hỏi không ngừng

Mô hình của chúng tôi sẽ nhận được dữ liệu mới mọi lúc và tiếp tục học hỏi. Có thể có một giai đoạn ban đầu của độ co giãn tăng để có được điểm bắt đầu chấp nhận được.

Trường hợp thứ hai này giống với cách mà bộ não con người được đào tạo. Khi một con người còn rất trẻ, những ví dụ mới về những gì bạn muốn học có ảnh hưởng rõ rệt hơn so với khi bạn già đi.

Trong trường hợp này, quá mức cung cấp một vấn đề hơi khác nhưng tương tự: các hệ thống thuộc trường hợp này thường là các hệ thống được dự kiến ​​sẽ thực hiện một chức năng trong khi học. Xem xét làm thế nào một con người không chỉ ngồi ở đâu đó trong khi dữ liệu mới được trình bày cho nó để học hỏi. Một con người đang tương tác và tồn tại trên thế giới mọi lúc.

Bạn có thể lập luận rằng vì dữ liệu tiếp tục đến, kết quả cuối cùng sẽ hoạt động tốt, nhưng trong khoảng thời gian này, những gì đã học cần phải được sử dụng! Quá mức sẽ cung cấp các hiệu ứng thời gian ngắn giống như trong trường hợp 1, làm cho mô hình của bạn hoạt động kém hơn. Nhưng bạn phụ thuộc vào hiệu suất của mô hình của bạn để hoạt động!

Hãy nhìn theo cách này, nếu bạn tập luyện quá sức, bạn có thể nhận ra rằng kẻ săn mồi đang cố gắng ăn thịt bạn trong tương lai sau nhiều ví dụ khác, nhưng khi kẻ săn mồi ăn thịt bạn thì đó là moot.

Giả sử bạn muốn dạy máy tính xác định giữa các sản phẩm tốt và xấu và cung cấp cho nó bộ dữ liệu sau để tìm hiểu:

0 có nghĩa là sản phẩm bị lỗi, 1 có nghĩa là nó ổn. Như bạn có thể thấy, có một mối tương quan mạnh mẽ giữa trục X và Y. Nếu giá trị đo được dưới hoặc bằng 50 thì rất có thể (~ 98%) rằng sản phẩm bị lỗi và ở trên nó rất giống (~ 98%) thì không sao. 52 và 74 là các ngoại lệ (có thể đo sai hoặc không đo các yếu tố đóng vai trò; còn được gọi là nhiễu). Giá trị đo có thể là độ dày, nhiệt độ, độ cứng hoặc thứ gì khác và đơn vị của nó không quan trọng trong ví dụ này Vì vậy, thuật toán chung sẽ là

if(I<=50)
    return faulty;
else
    return OK;

Nó sẽ có cơ hội 2% phân loại sai.

Một thuật toán quá mức sẽ là:

if(I<50)
    return faulty;
else if(I==52)
    return faulty;
else if(I==74)
    return faulty;
else
    return OK;

Vì vậy, thuật toán quá mức sẽ phân loại sai tất cả các sản phẩm đo 52 hoặc 74 là lỗi mặc dù có khả năng cao là chúng ổn khi được cung cấp bộ dữ liệu mới / được sử dụng trong sản xuất. Nó sẽ có cơ hội 3,92% phân loại sai. Đối với một người quan sát bên ngoài, việc phân loại sai này sẽ là lạ nhưng có thể giải thích được khi biết bộ dữ liệu gốc đã bị quá mức.

Đối với tập dữ liệu gốc, thuật toán quá mức là tốt nhất, đối với các tập dữ liệu mới, thuật toán chung (không quá mức) rất có thể là tốt nhất. Câu cuối cùng mô tả về ý nghĩa cơ bản của quá mức.

Trong khóa học AI ở trường đại học của tôi, người hướng dẫn của chúng tôi đã đưa ra một ví dụ tương tự như của Kyle Hale:

Một cô gái và mẹ cô đang ra ngoài đi bộ trong rừng cùng nhau thì bất ngờ một con hổ nhảy ra khỏi bàn chải và nuốt chửng mẹ cô. Ngày hôm sau cô đang đi bộ trong rừng với cha mình, và một lần nữa con hổ nhảy ra khỏi bàn chải. Bố cô la mắng cô chạy đi, nhưng cô trả lời "Ồ, không sao đâu bố, hổ chỉ ăn mẹ thôi."

Nhưng mặt khác:

Một cô gái và mẹ cô đang ra ngoài đi bộ trong rừng cùng nhau thì bất ngờ một con hổ nhảy ra khỏi bàn chải và nuốt chửng mẹ cô. Ngày hôm sau, cha cô thấy cô thu mình lại trong phòng và hỏi cô tại sao cô không ra ngoài chơi với bạn bè. Cô trả lời "Không! Nếu tôi đi ra ngoài một con hổ chắc chắn sẽ ăn tôi!"

Cả quá mức và thiếu cân nhắc đều có thể xấu, nhưng tôi sẽ nói rằng nó phụ thuộc vào bối cảnh của vấn đề mà bạn đang cố gắng giải quyết vấn đề nào làm bạn lo lắng hơn.

Một cái mà tôi đã thực sự gặp phải là một cái gì đó như thế này. Đầu tiên, tôi đo lường một cái gì đó mà tôi mong đợi tỷ lệ đầu vào / đầu ra là gần như tuyến tính. Đây là dữ liệu thô của tôi:

Input   Expected Result
1.045   0.268333453
2.095   0.435332226
3.14    0.671001483
4.19    0.870664399
5.235   1.073669373
6.285   1.305996464
7.33    1.476337174
8.38    1.741328368
9.425   1.879004941
10.47   2.040661489

Và đây là một biểu đồ:

Chắc chắn xuất hiện để phù hợp với kỳ vọng của tôi về dữ liệu tuyến tính. Nên khá đơn giản để suy ra phương trình, phải không? Vì vậy, bạn để chương trình của mình phân tích dữ liệu này một chút và cuối cùng nó báo cáo rằng nó đã tìm thấy phương trình đạt tất cả các điểm dữ liệu này, với độ chính xác như 99,99%! Tuyệt vời! Và phương trình đó là ... 9 giây (x) + x / 5. Trông như thế này:

Chà, phương trình chắc chắn dự đoán dữ liệu đầu vào với độ chính xác gần như hoàn hảo, nhưng vì nó quá phù hợp với dữ liệu đầu vào, nên nó khá vô dụng để làm bất cứ điều gì khác.

Hãy xem bài viết này, nó giải thích quá mức và thiếu hụt khá tốt.

http://scikit-learn.org/urdy/auto_examples/model_selection/plot_underfitting_overfitting.html

Bài báo xem xét một ví dụ về dữ liệu tín hiệu từ hàm cosine. Mô hình quá mức dự đoán tín hiệu có chức năng phức tạp hơn một chút (điều này cũng dựa trên chức năng cosine). Tuy nhiên, mô hình quá mức kết luận điều này không dựa trên khái quát hóa mà dựa trên việc ghi nhớ nhiễu trong dữ liệu tín hiệu.

Không có kinh nghiệm về học máy và đánh giá từ câu trả lời của @ jmite ở đây là một hình dung về những gì tôi nghĩ rằng anh ấy có nghĩa là:

Giả sử các thanh riêng lẻ trong biểu đồ trên là dữ liệu của bạn, trong đó bạn cố gắng tìm ra các xu hướng chung để áp dụng cho các bộ dữ liệu lớn hơn. Mục tiêu của bạn là tìm đường cong. Nếu bạn quá phù hợp - thay vì đường cong được hiển thị, bạn kết nối đỉnh của mỗi thanh riêng lẻ với nhau, sau đó áp dụng điều đó cho tập dữ liệu của bạn - và nhận được phản hồi nhọn không chính xác kỳ lạ khi tiếng ồn (biến thể từ dự kiến) bị phóng đại vào bộ dữ liệu thực hành của bạn.

Hy vọng tôi đã giúp phần nào ...

Quá sức trong cuộc sống thực:

Người da trắng thấy tin tức về người da đen phạm tội. Người da trắng nhìn thấy một câu chuyện tin tức khác về người da đen phạm tội. Người da trắng nhìn thấy một câu chuyện tin tức thứ ba về người da đen phạm tội. Người da trắng thấy tin tức về người da trắng mặc áo đỏ, cha mẹ giàu có và tiền sử bệnh tâm thần phạm tội. Người da trắng kết luận rằng tất cả những người da đen phạm tội, và chỉ những người da trắng mặc áo đỏ, cha mẹ giàu có và có tiền sử bệnh tâm thần phạm tội.

Nếu bạn muốn hiểu lý do tại sao loại quá mức này là "xấu", chỉ cần thay thế "màu đen" ở trên bằng một số thuộc tính mà ít nhiều xác định duy nhất bạn.

Bất kỳ dữ liệu nào bạn kiểm tra sẽ có các thuộc tính bạn muốn nó tìm hiểu và một số thuộc tính không liên quan mà bạn KHÔNG muốn nó học.

John 11 tuổi
Jack là 19 tuổi
Kate Kate 31 tuổi
Lana 39 tuổi

Phù hợp đúng cách: Độ tuổi xấp xỉ tuyến tính, trải qua ~ tuổi 20
Overfit: Hai người không thể cách nhau 10 năm (tính chất của tiếng ồn trong dữ liệu)
Underfit: 1/4 của tất cả mọi người là 19 (rập khuôn)