Thống kê và dữ liệu lớn overfitting

21

Một ví dụ trong thế giới thực của việc vượt quá giới hạn là gì?

Tôi hiểu được "quá mức" nghĩa là gì, nhưng tôi cần sự giúp đỡ về cách đưa ra một ví dụ trong thế giới thực áp dụng cho việc quá mức.

107 overfitting

6

Là hồi quy sườn núi vô dụng trong kích thước cao ( )? Làm thế nào OLS có thể không phù hợp?

Xem xét một vấn đề hồi quy cũ tốt với các yếu tố dự đoán và cỡ mẫu . Sự khôn ngoan thông thường là công cụ ước tính OLS sẽ vượt trội và thường sẽ vượt trội hơn so với công cụ ước tính hồi quy sườn:Đó là tiêu …

50 cross-validation regularization overfitting ridge-regression shrinkage

6

Rừng ngẫu nhiên - Cách xử lý quá mức

Tôi có một nền tảng khoa học máy tính nhưng tôi đang cố gắng dạy cho mình khoa học dữ liệu bằng cách giải quyết các vấn đề trên internet. Tôi đã làm việc về vấn đề này trong vài tuần qua (khoảng 900 hàng và 10 tính năng). Ban …

41 random-forest overfitting

4

Tạp chí Khoa học đã chứng thực Phân tích Con đường Ngã ba chưa?

Ý tưởng của phân tích dữ liệu thích ứng là bạn thay đổi kế hoạch phân tích dữ liệu khi bạn tìm hiểu thêm về nó. Trong trường hợp phân tích dữ liệu thăm dò (EDA), đây thường là một ý tưởng tốt (bạn thường tìm kiếm các mẫu không …

29 hypothesis-testing overfitting eda out-of-sample differential-privacy

5

Quá nhiều mô hình hồi quy logistic

Có thể vượt qua một mô hình hồi quy logistic? Tôi đã xem một video nói rằng nếu khu vực của tôi dưới đường cong ROC cao hơn 95%, thì rất có thể nó sẽ được trang bị quá mức, nhưng liệu có thể phù hợp với mô hình hồi …

28 logistic overfitting regression-strategies

4

Làm thế nào có thể mất xác thực đang tăng trong khi độ chính xác xác nhận cũng tăng

Tôi đang đào tạo một mạng lưới thần kinh đơn giản trên bộ dữ liệu CIFAR10. Sau một thời gian, mất xác nhận bắt đầu tăng, trong khi độ chính xác xác nhận cũng tăng. Mất kiểm tra và độ chính xác kiểm tra tiếp tục cải thiện. Sao có …

27 neural-networks deep-learning conv-neural-network overfitting

6

Tại sao trọng lượng nhỏ hơn dẫn đến các mô hình đơn giản hơn trong chính quy?

Tôi đã hoàn thành khóa học Machine Learning của Andrew Ng khoảng một năm trước và hiện đang viết bài khám phá Toán học ở trường trung học về các hoạt động của Hồi quy logistic và các kỹ thuật để tối ưu hóa hiệu suất. Một trong những kỹ …

27 regression machine-learning optimization regularization overfitting

2

Có đúng là các phương pháp Bayes không phù hợp?

Có đúng là các phương pháp Bayes không phù hợp? (Tôi đã thấy một số giấy tờ và hướng dẫn đưa ra yêu cầu này) Ví dụ: nếu chúng ta áp dụng Quy trình Gaussian cho MNIST (phân loại chữ số viết tay), nhưng chỉ hiển thị cho nó một …

25 bayesian nonparametric gaussian-process overfitting misspecification

5

Là một mô hình quá mức nhất thiết phải vô dụng?

Giả sử rằng một mô hình có độ chính xác 100% trên dữ liệu huấn luyện, nhưng độ chính xác 70% trên dữ liệu thử nghiệm. Là đối số sau đây đúng về mô hình này? Rõ ràng rằng đây là một mô hình quá mức. Độ chính xác kiểm …

25 model accuracy overfitting

2

Liệu nó có ý nghĩa để kết hợp PCA và LDA?

Giả sử tôi có một bộ dữ liệu cho một nhiệm vụ phân loại thống kê được giám sát, ví dụ, thông qua trình phân loại của Bayes. Bộ dữ liệu này bao gồm 20 tính năng và tôi muốn tổng hợp thành 2 tính năng thông qua các kỹ …

25 classification pca regularization discriminant-analysis overfitting

4

Học Semi có giám sát học tập - có phải là quá mức?

Tôi đang đọc báo cáo về giải pháp chiến thắng của một cuộc thi Kaggle ( Phân loại phần mềm độc hại ). Các báo cáo có thể được tìm thấy trong bài diễn đàn này . Vấn đề là một vấn đề phân loại (chín lớp, số liệu là …

21 machine-learning random-forest boosting overfitting semi-supervised

9

Quá mức và thiếu

Tôi đã thực hiện một số nghiên cứu về quá mức và thiếu chất lượng, và tôi đã hiểu chính xác chúng là gì, nhưng tôi không thể tìm thấy lý do. Các lý do chính cho việc thừa và thiếu là gì? Tại sao chúng ta phải đối mặt …

20 machine-learning dataset overfitting

1

Thảo luận về overfit trong xgboost

Thiết lập của tôi là như sau: Tôi đang làm theo hướng dẫn trong "Mô hình dự đoán ứng dụng". Vì vậy, tôi đã lọc các tính năng tương quan và kết thúc với các điều sau đây: 4900 điểm dữ liệu trong tập huấn luyện và 1600 điểm dữ …

20 machine-learning boosting overfitting

5

Tránh lạm dụng quá mức trong hồi quy: các lựa chọn thay thế cho chính quy

Chính quy trong hồi quy (tuyến tính, logistic ...) là cách phổ biến nhất để giảm sự phù hợp quá mức. Khi mục tiêu là độ chính xác dự đoán (không giải thích), có sự thay thế tốt nào cho việc chính quy hóa, đặc biệt phù hợp với các …

19 regression regularization overfitting

2

Tăng cường: tại sao tỷ lệ học tập được gọi là tham số chính quy?

Các tỷ lệ học tham số ( ) trong Gradient Đẩy mạnh co lại sự đóng góp của mỗi mô hình cơ sở mới -typically một tree- cạn mà được thêm vào trong chuỗi. Nó đã được chứng minh là làm tăng đáng kể độ chính xác của tập kiểm …

19 machine-learning data-mining predictive-models boosting overfitting

Câu hỏi được gắn thẻ «overfitting»