Thống kê và dữ liệu lớn

Giả sử tôi có một bộ dữ liệu cho một nhiệm vụ phân loại thống kê được giám sát, ví dụ, thông qua trình phân loại của Bayes. Bộ dữ liệu này bao gồm 20 tính năng và tôi muốn tổng hợp thành 2 tính năng thông qua các kỹ …

25 classification  pca  regularization  discriminant-analysis  overfitting 

Tôi có một số câu hỏi liên quan đến hình phạt sườn núi trong bối cảnh bình phương nhỏ nhất: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Biểu thức cho thấy ma trận hiệp phương sai của X được thu nhỏ theo ma trận đường chéo, nghĩa là (giả sử …

25 regression  pca  regularization  ridge-regression 

Các khu rừng ngẫu nhiên được biết đến là thực hiện khá tốt trên nhiều nhiệm vụ khác nhau và được gọi là người làm phương pháp học tập . Có bất kỳ loại vấn đề hoặc điều kiện cụ thể nào trong đó người ta nên tránh sử dụng …

25 machine-learning  classification  random-forest 

Tôi có một sự nhầm lẫn về các ước tính khả năng tối đa (ML) sai lệch . Toán học của toàn bộ khái niệm này khá rõ ràng đối với tôi nhưng tôi không thể tìm ra lý do trực giác đằng sau nó. Đưa ra một tập dữ …

25 maximum-likelihood  bias 

Trong mô hình hồi quy đơn giản, y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, các công cụ ước tính OLS và có mối tương quan với nhau.ββ^OLS0β^0OLS\hat{\beta}_0^{OLS}β^OLS1β^1OLS\hat{\beta}_1^{OLS} Công thức cho mối tương quan giữa hai công cụ ước tính là (nếu tôi đã dẫn xuất chính xác): Corr(β^OLS0,β^OLS1)=−∑ni=1xin−−√∑ni=1x2i−−−−−−−√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. …

25 regression  least-squares  estimators 

Tôi hiện đang chạy một số mô hình tuyến tính hiệu ứng hỗn hợp. Tôi đang sử dụng gói "lme4" trong R. Mô hình của tôi có dạng: model <- lmer(response ~ predictor1 + predictor2 + (1 | random effect)) Trước khi chạy các mô hình của mình, tôi đã …

25 r  correlation  mixed-model  lme4-nlme  multicollinearity 

Hãy xem xét ví dụ R dưới đây: plot( hclust(dist(USArrests), "ave") ) Chính xác thì "chiều cao" trục y có nghĩa là gì? Nhìn vào Bắc Carolina và California (thay vì bên trái). California có "gần" với Bắc Carolina hơn Arizona không? Tôi có thể thực hiện giải thích này? …

25 interpretation  hierarchical-clustering  dendrogram 

Tôi là một sinh viên CS bậc thầy tại một trường đại học Đức hiện đang viết luận án. Tôi sẽ được thực hiện trong hai tháng tôi phải đưa ra quyết định rất khó khăn nếu tôi nên tiếp tục với bằng tiến sĩ hoặc tìm một công việc …

25 machine-learning  data-mining  careers 

Tôi muốn tạo một ma trận tương quan ngẫu nhiên có kích thước sao cho có một số tương quan mạnh vừa phải hiện diện: n × nCC\mathbf Cn×nn×nn \times n ma trận đối xứng thực vuông có kích thước , ví dụ ;n = 100n×nn×nn \times nn=100n=100n=100 tích cực-xác …

25 random-generation  covariance-matrix  correlation-matrix 

Tôi đang cố gắng để hiểu rõ hơn về ước tính mật độ hạt nhân. Sử dụng định nghĩa từ Wikipedia: https://en.wikipedia.org/wiki/Kernel_d mật_estimation # DefDef fh^( x ) = 1nΣni = 1Kh( x - xtôi)= 1n hΣni = 1K( x - xtôih)fh^(x)=1n∑i=1nKh(x−xi)=1nh∑i=1nK(x−xih) \hat{f_h}(x) = \frac{1}{n}\sum_{i=1}^n K_h (x - x_i) \quad …

25 r  kernel-smoothing  convolution 

Tôi đã chạy một thiết kế lặp đi lặp lại, qua đó tôi đã thử nghiệm 30 nam và 30 nữ qua ba nhiệm vụ khác nhau. Tôi muốn hiểu hành vi của nam và nữ khác nhau như thế nào và điều đó phụ thuộc vào nhiệm vụ như …

25 r  mixed-model  assumptions  lme4-nlme 

Tôi có một data.frame với 800 obs. trong số 40 biến và muốn sử dụng Phân tích thành phần nguyên tắc để cải thiện kết quả dự đoán của tôi (cho đến nay vẫn hoạt động tốt nhất với Support Vector Machine trên khoảng 15 biến được chọn bằng tay). …

25 r  pca 

Tôi là một sinh viên chưa tốt nghiệp và tôi có một dự án cho lớp xác suất của mình. Về cơ bản, tôi có một bộ dữ liệu về những cơn bão ảnh hưởng đến đất nước của tôi trong một loạt năm. Trong Sách xác suất của tôi, …

25 r  self-study  poisson-distribution  poisson-process 

Tôi đang điều tra các kỹ thuật khác nhau được sử dụng trong phân cụm tài liệu và tôi muốn xóa một số nghi ngờ liên quan đến PCA (phân tích thành phần chính) và LSA (phân tích ngữ nghĩa tiềm ẩn). Điều đầu tiên - sự khác biệt giữa …

25 clustering  pca  data-mining  svd  lsa 

Tôi đã thực hiện một phân tích dữ liệu cố gắng phân cụm dữ liệu theo chiều dọc bằng cách sử dụng R và gói kml . Dữ liệu của tôi chứa khoảng 400 quỹ đạo riêng lẻ (như được gọi trong bài báo). Bạn có thể thấy kết quả …

25 r  clustering  panel-data