Thống kê và dữ liệu lớn missing-data

3

Một ví dụ: Hồi quy LASSO bằng glmnet cho kết quả nhị phân

Tôi bắt đầu say mê với việc sử dụng glmnetvới LASSO Regression trong đó kết quả quan tâm của tôi là phân đôi. Tôi đã tạo một khung dữ liệu giả nhỏ bên dưới: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, …

77 r self-study lasso regression interpretation anova statistical-significance survey conditional-probability independence naive-bayes graphical-model r time-series forecasting arima r forecasting exponential-smoothing bootstrap outliers r regression poisson-distribution zero-inflation genetic-algorithms machine-learning feature-selection cart categorical-data interpretation descriptive-statistics variance multivariate-analysis covariance-matrix r data-visualization generalized-linear-model binomial proportion pca matlab svd time-series correlation spss arima chi-squared curve-fitting text-mining zipf probability categorical-data distance group-differences bhattacharyya regression variance mean data-visualization variance clustering r standard-error association-measure somers-d normal-distribution integral numerical-integration bayesian clustering python pymc nonparametric-bayes machine-learning svm kernel-trick hyperparameter poisson-distribution mean continuous-data univariate missing-data dag python likelihood dirichlet-distribution r anova hypothesis-testing statistical-significance p-value rating data-imputation censoring threshold

7

Tại sao Rừng ngẫu nhiên không xử lý các giá trị bị thiếu trong các yếu tố dự đoán?

Lý do lý thuyết để không xử lý các giá trị thiếu là gì? Máy tăng cường độ dốc, cây hồi quy xử lý các giá trị bị thiếu. Tại sao Rừng ngẫu nhiên không làm điều đó?

42 random-forest missing-data gbm

3

Kết hợp điểm số sau khi nhiều lần cắt

Tôi đề cập đến bài báo này : Hayes JR, Groner JI. "Sử dụng nhiều điểm số chỉ tiêu và xu hướng để kiểm tra ảnh hưởng của ghế xe và sử dụng dây an toàn đối với mức độ nghiêm trọng của chấn thương từ dữ liệu đăng ký …

34 missing-data propensity-scores

5

Tại sao một số người sử dụng -999 hoặc -9999 để thay thế các giá trị bị thiếu?

Tôi có một bộ dữ liệu. Có rất nhiều giá trị còn thiếu. Đối với một số cột, giá trị bị thiếu đã được thay thế bằng -999, nhưng các cột khác, giá trị bị thiếu được đánh dấu là 'NA'. Tại sao chúng ta sẽ sử dụng -999 để …

32 missing-data

3

Làm thế nào để R xử lý các giá trị thiếu trong lm?

Tôi muốn hồi quy một vectơ B đối với từng cột trong ma trận A. Đây là chuyện nhỏ nếu không có dữ liệu bị thiếu, nhưng nếu ma trận A chứa các giá trị bị thiếu, thì hồi quy của tôi đối với A bị ràng buộc chỉ bao …

32 r missing-data linear-model

3

R: Rừng ngẫu nhiên ném NaN / Inf vào chức năng nước ngoài gọi lỗi Lỗi mặc dù không có dữ liệu NaN trong tập dữ liệu [đã đóng]

Tôi đang sử dụng dấu mũ để chạy một rừng ngẫu nhiên được xác thực chéo qua tập dữ liệu. Biến Y là một yếu tố. Không có NaN, Inf, hoặc NA trong tập dữ liệu của tôi. Tuy nhiên, khi chạy rừng ngẫu nhiên, tôi nhận được Error in …

29 r random-forest caret regression prediction fitting social-science poisson-distribution distributions characteristic-function bayesian prior regression normal-distribution interaction nonparametric skewness svm standard-deviation standard-error regression-coefficients igraph natural-language word2vec word-embeddings regression machine-learning sampling r regression machine-learning random-forest ensemble sampling unbiased-estimator proof estimators mse probability conditional-probability bayes anova missing-data neural-networks recommender-system r confidence-interval sample multiple-imputation r time-series forecasting mase

3

R caret và NA

Tôi rất thích sự chăm sóc cho khả năng điều chỉnh tham số và giao diện thống nhất của nó, nhưng tôi đã quan sát thấy rằng nó luôn yêu cầu bộ dữ liệu hoàn chỉnh (tức là không có NA) ngay cả khi mô hình "trần trụi" được áp …

26 r missing-data data-imputation caret

5

Các thuật toán học máy để xử lý dữ liệu bị thiếu

Tôi đang cố gắng phát triển một mô hình dự đoán bằng cách sử dụng dữ liệu lâm sàng chiều cao bao gồm các giá trị trong phòng thí nghiệm. Không gian dữ liệu thưa thớt với 5k mẫu và 200 biến. Ý tưởng là xếp hạng các biến bằng …

25 machine-learning missing-data

2

Tại sao thuật toán Tối đa hóa kỳ vọng được đảm bảo hội tụ đến mức tối ưu cục bộ?

Tôi đã đọc một vài lời giải thích về thuật toán EM (ví dụ từ Nhận dạng mẫu và Học máy của Giám mục và từ Khóa học đầu tiên của Roger và Gerolami về Học máy). Đạo hàm của EM là ok, tôi hiểu nó. Tôi cũng hiểu lý …

24 missing-data convergence expectation-maximization

4

Ước tính khả năng tối đa EM cho phân phối Weibull

Lưu ý: Tôi đang đăng một câu hỏi từ một cựu sinh viên của tôi không thể tự mình đăng bài vì lý do kỹ thuật. Cho một mẫu iid từ phân phối Weibull với pdf có đại diện biến thiếu hữu ích và do đó thuật toán EM (tối …

24 optimization missing-data expectation-maximization weibull gumbel

4

Tranh chấp các giá trị còn thiếu cho PCA

Tôi đã sử dụng prcomp()chức năng để thực hiện PCA (phân tích thành phần chính) trong R. Tuy nhiên, có một lỗi trong chức năng đó khiến na.actiontham số không hoạt động. Tôi đã yêu cầu giúp đỡ về stackoverflow ; Hai người dùng ở đó đưa ra hai cách …

23 r pca missing-data data-imputation

1

Làm thế nào để các thuật toán học cây quyết định xử lý các giá trị bị thiếu (dưới mui xe)

Các phương pháp mà các thuật toán học cây quyết định sử dụng để đối phó với các giá trị còn thiếu là gì. Có phải họ chỉ đơn giản là điền vào chỗ trống trong việc sử dụng một giá trị được gọi là thiếu? Cảm ơn.

21 missing-data cart

5

Một cách tiếp cận thống kê để xác định nếu dữ liệu bị mất ngẫu nhiên

Tôi có một tập hợp lớn các vectơ đặc trưng mà tôi sẽ sử dụng để tấn công một vấn đề phân loại nhị phân (sử dụng scikit learn trong Python). Trước khi tôi bắt đầu suy nghĩ về việc cắt bỏ, tôi quan tâm đến việc cố gắng xác …

21 missing-data randomness

2

Làm thế nào tôi có thể gộp các phương tiện sau và khoảng tin cậy sau nhiều lần cắt bỏ?

Tôi đã sử dụng nhiều lần cắt bỏ để có được một số bộ dữ liệu hoàn thành. Tôi đã sử dụng các phương thức Bayes trên mỗi bộ dữ liệu đã hoàn thành để có được các bản phân phối sau cho một tham số (một hiệu ứng ngẫu …

20 bayesian mixed-model missing-data

1

Sự khác biệt giữa dữ liệu bị thiếu và dữ liệu thưa thớt trong thuật toán học máy

Sự khác biệt chính giữa dữ liệu thưa và dữ liệu bị thiếu là gì? Và nó ảnh hưởng đến việc học máy như thế nào? Cụ thể hơn, những gì ảnh hưởng đến dữ liệu thưa thớt và dữ liệu bị thiếu đối với các thuật toán phân loại …

20 machine-learning dataset missing-data sparse

Câu hỏi được gắn thẻ «missing-data»