Thống kê và dữ liệu lớn

Đây là một câu hỏi xuất phát từ một tình huống thực tế, mà tôi đã thực sự bối rối về câu trả lời của nó. Con trai tôi chuẩn bị bắt đầu học tiểu học ở London. Vì chúng tôi là người Ý, tôi tò mò muốn biết có …

37 probability  self-study  average 

TL, DR: Dường như, trái với lời khuyên oft-lặp đi lặp lại, nghỉ-one-out kiểm chứng chéo (Loo-CV) - có nghĩa là,-fold CV với(số nếp gấp) tương đương với(số về quan sát đào tạo) - đưa ra các ước tính về lỗi tổng quát hóa là biến số nhỏ nhất cho …

37 regression  machine-learning  variance  cross-validation  predictive-models 

Rất nhiều lần lấy được MLE của GLMM rất khó và trong thực tế, tôi biết, chúng ta không nên sử dụng tối ưu hóa vũ lực (ví dụ, sử dụng optimmột cách đơn giản). Nhưng với mục đích giáo dục của riêng tôi, tôi muốn thử nó để đảm …

37 r  maximum-likelihood  optimization  lme4-nlme 

Ai đó có thể vui lòng cho tôi một số trực giác khi nào nên chọn SVM hoặc LR không? Tôi muốn hiểu trực giác đằng sau sự khác biệt giữa các tiêu chí tối ưu hóa việc học siêu phẳng của hai người, trong đó các mục tiêu tương …

37 regression  logistic  svm  optimization 

Tôi muốn có được một khoảng dự đoán xung quanh một dự đoán từ mô hình lmer (). Tôi đã tìm thấy một số cuộc thảo luận về điều này: http://rstudio-pub-static.s3.amazonaws.com/24365_2804ab8299934e888a60e7b16113f619.html http://glmm.wikidot.com/faq nhưng dường như họ không tính đến sự không chắc chắn của các hiệu ứng ngẫu nhiên. Đây …

37 r  mixed-model  prediction  prediction-interval  lme4-nlme 

Tôi có ba nhóm dữ liệu, mỗi nhóm có phân phối nhị thức (tức là mỗi nhóm có các yếu tố là thành công hoặc thất bại). Tôi không có xác suất dự đoán thành công, nhưng thay vào đó chỉ có thể dựa vào tỷ lệ thành công của …

37 statistical-significance  binomial  bernoulli-distribution 

Tôi đang làm việc trên một tập dữ liệu với hơn 200.000 mẫu và khoảng 50 tính năng cho mỗi mẫu: 10 biến liên tục và ~ 40 biến khác là các biến phân loại (quốc gia, ngôn ngữ, lĩnh vực khoa học, v.v.). Đối với các biến phân loại …

37 machine-learning  classification  categorical-data  random-forest  many-categories 

Tập dữ liệu của tôi nhỏ (120 mẫu), tuy nhiên số lượng tính năng lớn thay đổi từ (1000-200.000). Mặc dù tôi đang thực hiện lựa chọn tính năng để chọn một tập hợp con các tính năng, nhưng nó vẫn có thể quá phù hợp. Câu hỏi đầu tiên …

37 classification  svm 

Tôi bắt đầu muốn nâng cao kỹ năng của riêng mình và tôi luôn bị cuốn hút bởi học máy. Tuy nhiên, sáu năm trước thay vì theo đuổi điều này, tôi quyết định lấy bằng cấp hoàn toàn không liên quan đến khoa học máy tính. Tôi đã phát …

37 machine-learning  references  mathematical-statistics 

Đối với âm mưu 1, tôi có thể kiểm tra mối liên hệ giữa x và y bằng cách thực hiện một mối tương quan đơn giản. Đối với ô 2, trong đó mối quan hệ là phi tuyến nhưng có mối quan hệ rõ ràng giữa x và y, …

37 nonlinear-regression  non-independent  association-measure 

Tôi đang lên kế hoạch cho đám cưới của mình. Tôi muốn ước tính có bao nhiêu người sẽ đến đám cưới của tôi. Tôi đã tạo ra một danh sách những người và cơ hội mà họ sẽ tham dự theo tỷ lệ phần trăm. Ví dụ Dad 100% …

37 probability 

Tôi muốn giả sử rằng nhiệt độ mặt nước biển của Biển Baltic là cùng năm này qua năm khác, và sau đó mô tả điều đó bằng một mô hình hàm / tuyến tính. Ý tưởng tôi có là chỉ nhập năm dưới dạng số thập phân (hoặc num_months …

37 r  regression  time-series  lm 

Dưới đây là trích dẫn từ cuốn sách "Nhận dạng mẫu và học máy" của Giám mục, phần 12.2.4 "Phân tích nhân tố": Theo phần đánh dấu, phân tích yếu tố chụp hiệp phương sai giữa các biến trong ma trậnWWW . Tôi tự hỏi NHƯ THẾ NÀO ? Đây …

37 pca  factor-analysis  geometry 

Ai đó có thể đưa ra một danh sách tốt về sự khác biệt giữa Bayesian và cách tiếp cận thường xuyên để xác suất? Từ những gì tôi hiểu: Quan điểm của những người thường xuyên là dữ liệu là một mẫu ngẫu nhiên có thể lặp lại (biến …

37 probability  bayesian  frequentist 

Hôm nay, tại Câu lạc bộ Tạp chí Xác thực chéo (tại sao bạn không ở đó?), @Mbq hỏi: Bạn có nghĩ rằng chúng ta (các nhà khoa học dữ liệu hiện đại) biết ý nghĩa quan trọng không? Và làm thế nào nó liên quan đến sự tự tin …

37 hypothesis-testing  p-value  large-data