Thống kê và dữ liệu lớn cross-validation

4

Lựa chọn mô hình và hiệu suất mô hình trong hồi quy logistic

Tôi có một câu hỏi về lựa chọn mô hình và hiệu suất mô hình trong hồi quy logistic. Tôi có ba mô hình dựa trên ba giả thuyết khác nhau. Hai mô hình đầu tiên (cho phép đặt tên chúng là z và x) chỉ có một biến giải …

9 logistic model-selection cross-validation

2

AUC trong hồi quy logistic thường

Tôi đang sử dụng 2 loại hồi quy logistic - một là loại đơn giản, để phân loại nhị phân và loại còn lại là hồi quy logistic thông thường. Để tính toán độ chính xác của lần đầu tiên, tôi đã sử dụng xác nhận chéo, trong đó tôi …

9 logistic cross-validation roc auc ordered-logit

2

Xác nhận chéo cho các mô hình hỗn hợp?

Đồng nghiệp của tôi và tôi đang điều chỉnh một loạt các mô hình hiệu ứng hỗn hợp tuyến tính và phi tuyến trong R. Chúng tôi được yêu cầu thực hiện xác nhận chéo trên các mô hình được trang bị để người ta có thể xác minh rằng …

9 mixed-model cross-validation

2

Làm thế nào để người ta áp dụng xác nhận chéo một cách thích hợp trong bối cảnh chọn tham số học tập cho các máy vectơ hỗ trợ?

Gói libsvm tuyệt vời cung cấp giao diện python và tệp "easy.py" tự động tìm kiếm các tham số học tập (chi phí & gamma) để tối đa hóa độ chính xác của trình phân loại. Trong một tập hợp các tham số học tập nhất định, độ chính xác …

9 cross-validation svm

1

Tôi có nên xáo trộn lại dữ liệu của mình?

Chúng tôi có một bộ mẫu sinh học khá đắt tiền để có được. Chúng tôi đặt các mẫu này thông qua một loạt các thử nghiệm để tạo dữ liệu được sử dụng để xây dựng mô hình dự đoán. Với mục đích này, chúng tôi đã chia các …

9 classification modeling experiment-design cross-validation bootstrap

2

Tính toán đường cong ROC cho dữ liệu

Vì vậy, tôi có 16 thử nghiệm trong đó tôi đang cố gắng xác thực một người từ một đặc điểm sinh trắc học bằng cách sử dụng Hamming Khoảng cách. Ngưỡng của tôi được đặt thành 3,5. Dữ liệu của tôi ở bên dưới và chỉ có bản dùng …

9 mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

2

Liệu việc thực hiện xác nhận chéo có ảnh hưởng đến kết quả của nó?

Như bạn đã biết, có hai loại xác thực chéo phổ biến là K-Fold và lấy mẫu ngẫu nhiên (như được mô tả trong Wikipedia ). Tuy nhiên, tôi biết rằng một số nhà nghiên cứu đang tạo và xuất bản các bài báo trong đó một cái gì đó …

9 machine-learning cross-validation

1

Hồi quy tuyến tính: Làm thế nào để ưu tiên các tham số ít nhạy cảm hơn

Tôi có một mô hình hồi quy đơn giản ( y = param1 * x1 + param2 * x2 ). Khi tôi khớp mô hình với dữ liệu của mình, tôi tìm thấy hai giải pháp tốt: Giải pháp A, params = (2,7), là tốt nhất trên tập huấn luyện …

9 regression cross-validation overfitting sensitivity-analysis

2

Tối ưu hóa SVM để tránh âm tính giả trong phân loại nhị phân

Tôi đang đào tạo một trình phân loại nhị phân SVM bằng Scikit learn. Do bản chất của vấn đề của tôi, tôi cần tránh những tiêu cực sai. Vì không có gì là miễn phí, tôi ổn khi nhận được tỷ lệ dương tính giả cao hơn để giảm …

9 machine-learning cross-validation svm python scikit-learn

1

Kỹ thuật phát hiện quá mức

Tôi đã có một cuộc phỏng vấn việc làm cho một vị trí khoa học dữ liệu. Trong cuộc phỏng vấn, tôi được hỏi tôi phải làm gì để đảm bảo người mẫu không bị thừa. Câu trả lời đầu tiên của tôi là sử dụng xác nhận chéo để …

9 cross-validation regularization overfitting

2

Dữ liệu đào tạo bị mất cân bằng - nhưng bộ xác nhận của tôi cũng nên?

Tôi đã gắn nhãn dữ liệu gồm 10000 ví dụ tích cực và 50000 ví dụ tiêu cực, đưa ra tổng số 60000 ví dụ. Rõ ràng dữ liệu này là mất cân bằng. Bây giờ hãy để chúng tôi nói rằng tôi muốn tạo bộ xác thực của mình …

9 machine-learning neural-networks cross-validation dataset unbalanced-classes

2

Bonferroni Sửa chữa & học máy

Trong các nghiên cứu tâm lý học, tôi đã học được rằng chúng ta nên sử dụng phương pháp Bonferroni để điều chỉnh mức ý nghĩa khi kiểm tra một số giả thuyết trên một tập dữ liệu. Hiện tại tôi đang làm việc với các phương pháp học máy …

9 machine-learning cross-validation svm overfitting bonferroni

1

Lựa chọn mô hình chuỗi thời gian: AIC so với SSE ngoài mẫu và tính tương đương của chúng

AIC thường được đề xuất làm tiêu chí để so sánh các mô hình cho dự báo chuỗi thời gian. Xem ví dụ này trong bối cảnh mô hình hồi quy động : AIC có thể được tính cho mô hình cuối cùng và giá trị này có thể được …

9 time-series cross-validation model-selection arima aic

1

Làm thế nào để đối phó với các yếu tố với mức độ hiếm trong xác nhận chéo?

Giả sử trong phân tích hồi quy trong R, tôi có một biến độc lập loại yếu tố với 3 cấp độ trong tập dữ liệu đào tạo của tôi. Nhưng trong tập dữ liệu thử nghiệm, biến nhân tố tương tự có 5 cấp độ. Do đó, tôi không …

9 r regression categorical-data cross-validation rare-events

2

Thống kê PRESS cho hồi quy sườn

Trong các bình phương tối thiểu thông thường, hồi quy một vectơ đích so với tập hợp các yếu tố dự đoán X , ma trận mũ được tính làyyyXXX H= X( XtX)- 1XtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t và PRESS (dự đoán tổng bình phương còn lại) được tính bằng …

9 regression cross-validation ridge-regression

Câu hỏi được gắn thẻ «cross-validation»