Thống kê và dữ liệu lớn overfitting

1

Định nghĩa độ phức tạp của cây trong xgboost

Nghiên cứu về thuật toán xgboost tôi đã xem qua tài liệu này . Trong cách tiếp cận này, cây được chuẩn hóa bằng định nghĩa độ phức tạp trong đó và là các tham số, là số lá cuối cùng và là điểm số trong mỗi lá.Ω(f)=γT+12λ∑j=1Tw2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = …

9 cart regularization boosting gradient-descent overfitting

1

Mạng lưới thần kinh quá phù hợp

Tôi đã học được rằng sự phù hợp quá mức có thể được phát hiện bằng cách vẽ lỗi đào tạo và lỗi kiểm tra so với các kỷ nguyên. Giống như trong: Tôi đã đọc blogpost này nơi họ nói rằng mạng lưới thần kinh, net5 quá phù hợp …

9 neural-networks overfitting

1

Xu hướng cộng gộp trong xgboost (và hiệu chỉnh của nó?)

Tôi đang tham gia một cuộc thi ngay bây giờ. Tôi biết công việc của mình là làm tốt điều đó, nhưng có lẽ ai đó muốn thảo luận về vấn đề của tôi và giải pháp của nó ở đây vì điều này có thể là chính mình cho …

9 machine-learning boosting overfitting bias-correction

1

Làm thế nào để xác định quá mức trong mạng lưới thần kinh chuyển đổi?

Tôi hiểu rằng bỏ học được sử dụng để giảm sự phù hợp trong mạng. Đây là một kỹ thuật khái quát. Trong mạng lưới thần kinh tích chập làm thế nào tôi có thể xác định quá mức? Một tình huống mà tôi có thể nghĩ đến là khi …

9 machine-learning overfitting conv-neural-network dropout

1

Bao nhiêu là quá nhiều quá mức?

Về mặt khái niệm, bạn vẽ đường thẳng giữa một mô hình overfit và mô hình phù hợp đầy đủ? Rõ ràng rằng nếu mô hình của bạn đang thực hiện tốt hơn một vài phần trăm trên tập huấn luyện của bạn so với tập kiểm tra của bạn, …

9 machine-learning model overfitting supervised-learning

3

Quá mức vào mục đích

Nó sẽ có ý nghĩa để phù hợp với một mô hình trên mục đích? Nói rằng tôi có một trường hợp sử dụng mà tôi biết dữ liệu sẽ không thay đổi nhiều so với dữ liệu đào tạo. Tôi đang suy nghĩ ở đây về dự đoán lưu …

8 machine-learning time-series forecasting prediction overfitting

1

Độ mịn của lưới và quá mức khi điều chỉnh trong LASSO, sườn, lưới đàn hồi

tôi tự hỏi về độ mịn lưới tối ưu và mối quan hệ giữa độ mịn lưới và quá mức là gì trong các phương pháp chính quy hóa như LASSO, hồi quy sườn hoặc lưới đàn hồi. Giả sử tôi muốn điều chỉnh mô hình hồi quy bằng LASSO …

8 lasso regularization ridge-regression overfitting elastic-net

3

Dừng sớm so với xác nhận chéo

Tôi hiện đang sử dụng dừng sớm trong công việc của mình để ngăn chặn sự phù hợp. Cụ thể những hình thức được dừng lại sớm nhưng khi nào? . Bây giờ tôi muốn so sánh với các thuật toán phân loại khác trong đó có vẻ như xác …

8 cross-validation overfitting

2

Tại sao một mô hình thống kê sẽ phù hợp hơn nếu được cung cấp một bộ dữ liệu khổng lồ?

Dự án hiện tại của tôi có thể yêu cầu tôi xây dựng một mô hình để dự đoán hành vi của một nhóm người nhất định. tập dữ liệu huấn luyện chỉ chứa 6 biến (id chỉ dành cho mục đích nhận dạng): id, age, income, gender, job category, …

8 modeling large-data overfitting clustering algorithms error spatial r regression predictive-models linear-model average measurement-error weighted-mean error-propagation python standard-error weighted-regression hypothesis-testing time-series machine-learning self-study arima regression correlation anova statistical-significance excel r regression distributions statistical-significance contingency-tables regression optimization measurement-error loss-functions image-processing java panel-data probability conditional-probability r lme4-nlme model-comparison time-series probability probability conditional-probability logistic multiple-regression model-selection r regression model-based-clustering svm feature-selection feature-construction time-series forecasting stationarity r distributions bootstrap r distributions estimation maximum-likelihood garch references probability conditional-probability regression logistic regression-coefficients model-comparison confidence-interval r regression r generalized-linear-model outliers robust regression classification categorical-data r association-rules machine-learning distributions posterior likelihood r hypothesis-testing normality-assumption missing-data convergence expectation-maximization regression self-study categorical-data regression simulation regression self-study self-study gamma-distribution modeling microarray synthetic-data

2

Xử lý hiệu suất tốt về dữ liệu đào tạo và xác nhận, nhưng hiệu suất rất tệ đối với dữ liệu thử nghiệm

Tôi có một vấn đề hồi quy với 5-6k biến. Tôi chia dữ liệu của mình thành 3 bộ không chồng chéo: đào tạo, xác nhận và kiểm tra. Tôi huấn luyện chỉ sử dụng tập huấn luyện và tạo ra rất nhiều mô hình hồi quy tuyến tính khác …

8 regression cross-validation model-selection r-squared overfitting

1

Quá mức cao hơn bằng cách sử dụng dữ liệu tăng cường với tiếng ồn?

Tôi đang đào tạo một mạng lưới thần kinh để phân loại âm thanh. Tôi đã đào tạo nó trên bộ dữ liệu UrbanSound8K (Model1) , và sau đó tôi muốn đánh giá mức độ nhiễu khác nhau đối với các đầu vào ảnh hưởng đến độ chính xác dự …

8 classification neural-networks dataset overfitting

2

Mạng lưới thần kinh: Tại sao tôi không thể quá sức?

Tôi có một mạng nơ ron (lớp đơn chuyển tiếp) mà tôi cố gắng dự đoán một biến liên quan đến môi trường từ hai biến tài chính (hồi quy). Tôi sử dụng chức năng "tàu" từ gói caret. Tôi sử dụng nnet()thuật toán trong gói caret. Tôi có hai …

8 r neural-networks overfitting caret

2

Làm thế nào để một người dễ dàng nhất overfit?

Đây là một câu hỏi kỳ lạ, tôi biết. Tôi chỉ là một người mới và cố gắng tìm hiểu về các tùy chọn phân loại khác nhau và cách chúng hoạt động. Vì vậy, tôi đang đặt câu hỏi: Đưa ra một tập dữ liệu về các kích thước …

7 overfitting

2

Là xác thực chéo là vô dụng trừ khi các giả thuyết được lồng nhau?

Nếu tôi tạo nhiều mô hình ngẫu nhiên (hoàn toàn không xem xét dữ liệu) trong cài đặt hồi quy chỉ bằng cách gán ngẫu nhiên các giá trị hệ số và sau đó đánh giá các mô hình này qua tập dữ liệu với số liệu lỗi và chọn …

7 cross-validation overfitting ridge-regression

2

Tại sao thường xuyên hóa tất cả các tham số theo cùng một cách?

Câu hỏi của tôi liên quan đến chính quy trong hồi quy tuyến tính và hồi quy logistic. Tôi hiện đang làm tuần thứ 3 của khóa học Machine Learning của Andrew Ng trên Coursera. Tôi hiểu làm thế nào quá mức có thể là một vấn đề phổ biến …

7 regression machine-learning regularization overfitting

Câu hỏi được gắn thẻ «overfitting»