Thống kê và dữ liệu lớn

Cách tốt nhất để tính toán phân rã giá trị số ít (SVD) của ma trận dương rất lớn (65M x 3,4M) trong đó dữ liệu cực kỳ thưa thớt? Ít hơn 0,1% của ma trận là khác không. Tôi cần một cách: sẽ phù hợp với bộ nhớ (tôi …

26 svd  numerics 

Tôi có đầu ra sau: Generalized linear mixed model fit by the Laplace approximation Formula: aph.remain ~ sMFS2 +sAG2 +sSHDI2 +sbare +season +crop +(1|landscape) AIC BIC logLik deviance 4062 4093 -2022 4044 Random effects: Groups Name Variance Std.Dev. landscape (Intercept) 0.82453 0.90804 Number of obs: 239, groups: landscape, 45 Fixed …

26 mixed-model  poisson-distribution  lme4-nlme 

Tôi đã từng nghe một phương pháp sử dụng Lasso hai lần (như một Lasso đôi) trong đó bạn thực hiện Lasso trên tập biến ban đầu, giả sử S1, lấy một tập thưa thớt gọi là S2, và sau đó thực hiện lại Lasso trên tập S2 để lấy …

26 regression  lasso  regularization  shrinkage  lars 

Tôi la một chut Nhâm lân. Tại sao các quá trình Gaussian được gọi là mô hình không tham số? Họ giả định rằng các giá trị chức năng, hoặc một tập hợp con của chúng, có Gaussian trước với giá trị trung bình 0 và hàm hiệp phương sai …

26 nonparametric  gaussian-process 

Tôi đang cố gắng thực hiện một hồi quy bội trong R. Tuy nhiên, biến phụ thuộc của tôi có âm mưu sau: Đây là một ma trận phân tán với tất cả các biến của tôi ( WARlà biến phụ thuộc): Tôi biết rằng tôi cần thực hiện chuyển …

26 r  regression  multiple-regression  data-transformation 

Tôi làm việc chủ yếu với những người không thống kê trong các lĩnh vực như y học, khoa học xã hội và giáo dục. Cho dù tôi đang tư vấn với các nghiên cứu sinh, giúp các nhà nghiên cứu viết bài hoặc xem xét các bài báo cho …

26 consulting 

Các mô hình chủ đề phổ biến như LDA thường phân cụm các từ có xu hướng cùng xuất hiện trong cùng một chủ đề (cụm). Sự khác biệt chính giữa các mô hình chủ đề như vậy và các phương pháp phân cụm dựa trên sự xuất hiện đơn …

26 machine-learning  text-mining  natural-language  topic-models 

Phép thử Mantel thường được áp dụng cho ma trận khoảng cách / ma trận đối xứng. Theo tôi hiểu, một giả định của thử nghiệm là biện pháp được sử dụng để xác định sự khác biệt ít nhất phải là một nửa số liệu (đáp ứng các yêu …

26 statistical-significance  assumptions  distance 

Tôi đang tự hỏi làm thế nào để giải thích các lỗi tiêu chuẩn hệ số của hồi quy khi sử dụng hàm hiển thị trong R. Ví dụ trong đầu ra sau: lm(formula = y ~ x1 + x2, data = sub.pyth) coef.est coef.se (Intercept) 1.32 0.39 x1 0.51 …

26 r  regression  interpretation 

Mặc dù tôi đã đọc bài đăng này , tôi vẫn không biết làm thế nào để áp dụng điều này vào dữ liệu của riêng tôi và hy vọng rằng ai đó có thể giúp tôi. Tôi có các dữ liệu sau: y <- c(11.622967, 12.006081, 11.760928, 12.246830, 12.052126, …

26 r  regression  fitting 

Tôi đang sử dụng một mô hình hỗn hợp trong R( lme4) để phân tích một số dữ liệu đo lặp lại. Tôi có một biến phản ứng (hàm lượng chất xơ của phân) và 3 hiệu ứng cố định (khối lượng cơ thể, v.v.). Nghiên cứu của tôi chỉ …

26 mixed-model  sample-size 

Tôi biết rằng hồi quy tuyến tính có thể được coi là "đường thẳng gần nhất với tất cả các điểm" : Nhưng có một cách khác để xem nó, bằng cách hình dung không gian cột, là "hình chiếu lên không gian được kéo dài bởi các cột của …

26 regression  intuition  geometry 

Đây là một câu hỏi tiếp theo cho những gì Frank Harrell đã viết ở đây : Theo kinh nghiệm của tôi, cỡ mẫu yêu cầu để phân phối t chính xác thường lớn hơn cỡ mẫu trong tay. Bài kiểm tra xếp hạng có chữ ký của Wilcoxon cực …

26 t-test  wilcoxon-mann-whitney 

Theo ngữ cảnh: Khi làm việc với một tập dữ liệu rất lớn, đôi khi tôi được hỏi liệu chúng ta có thể tạo một tập dữ liệu tổng hợp trong đó chúng ta "biết" mối quan hệ giữa các yếu tố dự đoán và biến phản ứng hoặc mối …

26 modeling  reproducible-research  synthetic-data 

Tôi muốn tạo một mô hình logistic từ dữ liệu khảo sát của tôi. Đó là một cuộc khảo sát nhỏ về bốn thuộc địa dân cư trong đó chỉ có 154 người được phỏng vấn. Biến phụ thuộc của tôi là "chuyển đổi thỏa đáng để làm việc". Tôi …

26 logistic  sample-size  assumptions  power  unbalanced-classes