Thống kê và dữ liệu lớn scoring-rules

7

Tại sao độ chính xác không phải là biện pháp tốt nhất để đánh giá các mô hình phân loại?

Đây là một câu hỏi chung được hỏi gián tiếp nhiều lần ở đây, nhưng nó thiếu một câu trả lời có thẩm quyền duy nhất. Sẽ thật tuyệt khi có một câu trả lời chi tiết cho điều này để tham khảo. Độ chính xác , tỷ lệ phân …

107 machine-learning classification accuracy model-evaluation scoring-rules

3

Nguyên nhân sâu xa của vấn đề mất cân bằng lớp học là gì?

Gần đây tôi đã suy nghĩ rất nhiều về "vấn đề mất cân bằng lớp học" trong học máy / thống kê, và ngày càng đi sâu vào cảm giác mà tôi không hiểu chuyện gì đang xảy ra. Trước tiên hãy để tôi xác định (hoặc cố gắng) xác …

30 classification predictive-models unbalanced-classes scoring-rules

1

Số liệu lỗi cho các mô hình Poisson xác thực chéo

Tôi đang xác thực chéo một mô hình đang cố gắng dự đoán số lượng. Nếu đây là một vấn đề phân loại nhị phân, tôi sẽ tính toán AUC ngoài luồng và nếu đây là vấn đề hồi quy, tôi sẽ tính RMSE hoặc MAE ngoài luồng. Đối với …

29 cross-validation poisson-distribution count-data deviance scoring-rules

2

Khi nào thì thích hợp để sử dụng quy tắc chấm điểm không đúng?

Merkle & Steyvers (2013) viết: Để chính thức xác định quy tắc chấm điểm thích hợp, hãy coi là dự báo xác suất của thử nghiệm Bernoulli với xác suất thành công thực sự . Quy tắc chấm điểm thích hợp là các số liệu có giá trị dự kiến …

27 classification forecasting scoring-rules

6

Làm thế nào để chọn giữa điểm số ROC AUC và F1?

Gần đây tôi đã hoàn thành một cuộc thi Kaggle trong đó điểm số roc auc được sử dụng theo yêu cầu của cuộc thi. Trước dự án này, tôi thường sử dụng điểm số F1 làm số liệu để đo hiệu suất mô hình. Đi về phía trước, tôi …

26 machine-learning modeling roc scoring-rules

1

Lựa chọn trong số các quy tắc chấm điểm thích hợp

Hầu hết các tài nguyên về quy tắc tính điểm thích hợp đề cập đến một số quy tắc tính điểm khác nhau như mất log, điểm Brier hoặc ghi hình cầu. Tuy nhiên, họ thường không đưa ra nhiều hướng dẫn về sự khác biệt giữa chúng. (Triển lãm …

22 machine-learning classification model-selection theory scoring-rules

3

Làm thế nào chúng ta có thể đánh giá tính chính xác của dự đoán của Nate Silver?

Thứ nhất, ông đưa ra xác suất kết quả. Vì vậy, ví dụ, dự đoán của ông cho cuộc bầu cử ở Mỹ hiện là 82% Clinton so với 18% Trump. Bây giờ, ngay cả khi Trump thắng, làm sao tôi biết rằng đó không chỉ là 18% thời gian …

19 forecasting prediction validation accuracy scoring-rules

1

Điều đó có nghĩa là AUC là một quy tắc chấm điểm bán đúng?

Quy tắc chấm điểm thích hợp là quy tắc được tối đa hóa theo mô hình 'đúng' và nó không cho phép 'phòng ngừa rủi ro' hoặc chơi trò chơi trên hệ thống (cố tình báo cáo các kết quả khác nhau như niềm tin thực sự của mô hình …

16 classification references roc measurement-error scoring-rules

1

Độ chính xác có phải là quy tắc chấm điểm không phù hợp trong cài đặt phân loại nhị phân không?

Gần đây tôi đã học về các quy tắc chấm điểm thích hợp cho các phân loại xác suất. Một số chủ đề trên trang web này đã đưa ra quan điểm nhấn mạnh rằng độ chính xác là quy tắc chấm điểm không phù hợp và không nên được …

13 probability accuracy scoring-rules

2

Làm thế nào để chọn chiều rộng thùng tối ưu trong khi hiệu chỉnh mô hình xác suất?

Bối cảnh: Có một số câu hỏi / câu trả lời tuyệt vời ở đây về cách hiệu chỉnh các mô hình dự đoán xác suất của kết quả xảy ra. Ví dụ Điểm Brier , và sự phân hủy của nó thành độ phân giải, độ không chắc chắn …

12 probability predictive-models binary-data calibration scoring-rules

1

Tên của lỗi tương đối tuyệt đối trung bình với điểm Brier?

Câu hỏi ngày hôm qua Xác định độ chính xác của mô hình ước tính xác suất của sự kiện khiến tôi tò mò về tính điểm xác suất. Điểm Brier là số đo bình phương trung bình. Liệu hiệu suất lỗi tuyệt đối có nghĩa là11NΣi = 1N( p …

12 classification error validation scoring-rules brier-score

1

Xác định độ chính xác của mô hình ước tính xác suất của sự kiện

Tôi đang lập mô hình một sự kiện với hai kết quả, a và b. Tôi đã tạo một mô hình ước tính xác suất xảy ra a hoặc b (tức là mô hình sẽ tính toán rằng điều đó sẽ xảy ra với 40% cơ hội và b sẽ …

12 predictive-models scoring-rules

3

Làm cách nào để chọn số liệu tốt nhất để đo hiệu chuẩn của tôi?

Tôi lập trình và làm phát triển dựa trên thử nghiệm. Sau khi tôi thực hiện thay đổi mã, tôi chạy thử nghiệm. Đôi khi họ thành công và đôi khi họ thất bại. Trước khi tôi chạy thử nghiệm, tôi ghi lại một số từ 0,01 đến 0,99 để …

10 forecasting decision-theory calibration scoring-rules

6

Hồi quy logistic đang dự đoán tất cả 1 và không 0

Tôi đang chạy một phân tích về xác suất vỡ nợ cho vay bằng cách sử dụng hồi quy logistic và rừng ngẫu nhiên. Khi tôi sử dụng hồi quy logistic, dự đoán luôn luôn là '1' (có nghĩa là khoản vay tốt). Tôi chưa bao giờ thấy điều này …

10 regression logistic predictive-models unbalanced-classes scoring-rules

1

Mô hình học sâu nào có thể phân loại các danh mục không loại trừ lẫn nhau

Ví dụ: Tôi có một câu trong mô tả công việc: "Kỹ sư cao cấp Java ở Anh". Tôi muốn sử dụng một mô hình học tập sâu để dự đoán nó thành 2 loại: English và IT jobs. Nếu tôi sử dụng mô hình phân loại truyền thống, nó …

9 machine-learning deep-learning natural-language tensorflow sampling distance non-independent application regression machine-learning logistic mixed-model control-group crossover r multivariate-analysis ecology procrustes-analysis vegan regression hypothesis-testing interpretation chi-squared bootstrap r bioinformatics bayesian exponential beta-distribution bernoulli-distribution conjugate-prior distributions bayesian prior beta-distribution covariance naive-bayes smoothing laplace-smoothing distributions data-visualization regression probit penalized estimation unbiased-estimator fisher-information unbalanced-classes bayesian model-selection aic multiple-regression cross-validation regression-coefficients nonlinear-regression standardization naive-bayes trend machine-learning clustering unsupervised-learning wilcoxon-mann-whitney z-score econometrics generalized-moments method-of-moments machine-learning conv-neural-network image-processing ocr machine-learning neural-networks conv-neural-network tensorflow r logistic scoring-rules probability self-study pdf cdf classification svm resampling forecasting rms volatility-forecasting diebold-mariano neural-networks prediction-interval uncertainty

Câu hỏi được gắn thẻ «scoring-rules»