Thống kê và dữ liệu lớn

Sai số tỷ lệ tuyệt đối trung bình (MASE) là thước đo độ chính xác dự báo được đề xuất bởi Koehler & Hyndman (2006) . MMột chữ SE= MMột EMMột Ei n - s a m p l e ,n a i v eMASE=MAEMAEin−sample,naiveMASE=\frac{MAE}{MAE_{in-sample, \, naive}} Trong đó là …

22 time-series  forecasting  accuracy  mase 

Tuyên bố Phân phối mẫu của phương sai mẫu là phân phối chi bình phương với mức độ tự do bằng , trong đó là cỡ mẫu (với điều kiện là biến quan tâm ngẫu nhiên thường được phân phối).nn−1n−1n-1nnn Nguồn Trực giác của tôi Nó có ý nghĩa trực …

22 distributions  normal-distribution  sampling  chi-squared  sample-size 

Câu hỏi này đã được di chuyển từ Stack Overflow vì nó có thể được trả lời trên Cross xác thực. Di cư 5 năm trước . Tôi đã đọc qua các chủ đề khác về các lô phụ thuộc một phần và hầu hết trong số chúng là về …

22 r  classification  data-visualization  random-forest  interpretation 

Tôi có dữ liệu bán hàng lịch sử từ một tiệm bánh (hàng ngày, hơn 3 năm). Bây giờ tôi muốn xây dựng một mô hình để dự đoán doanh số trong tương lai (sử dụng các tính năng như ngày trong tuần, biến thời tiết, v.v.). Làm thế nào …

22 cross-validation  partitioning 

Chúng tôi đã chạy một hồi quy logistic hiệu ứng hỗn hợp bằng cú pháp sau; # fit model fm0 <- glmer(GoalEncoding ~ 1 + Group + (1|Subject) + (1|Item), exp0, family = binomial(link="logit")) # model output summary(fm0) Chủ đề và Mục là các hiệu ứng ngẫu nhiên. Chúng tôi …

22 r  mixed-model  stata  glmm  lme4-nlme 

Tại sao nó quá phổ biến để có được ước tính khả năng tối đa của các thông số, nhưng bạn hầu như không bao giờ nghe về dự kiến ước lượng tham số khả năng (ví dụ, dựa trên các giá trị kỳ vọng chứ không phải là chế …

22 probability  mathematical-statistics  maximum-likelihood  optimization  expected-value 

Chúng tôi biết rằng trong trường hợp phân phối trước thích hợp, P(θ∣X)=P(X∣θ)P(θ)P(X)P(θ∣X)=P(X∣θ)P(θ)P(X)P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)} ∝P(X∣θ)P(θ)∝P(X∣θ)P(θ) \propto P(X \mid \theta)P(\theta) . Sự biện minh thông thường cho bước này là phân phối biên của , , không đổi đối với và do đó có thể bị …

22 distributions  bayesian  prior  posterior 

Khi chúng tôi thực hiện các thí nghiệm (trên các cỡ mẫu nhỏ (thường là cỡ mẫu trên mỗi nhóm xử lý khoảng 7 ~ 8)) trên hai nhóm, chúng tôi sử dụng thử nghiệm t để kiểm tra sự khác biệt. Tuy nhiên, khi chúng tôi thực hiện ANOVA …

22 anova  multiple-comparisons  post-hoc  bonferroni  fishers-lsd 

Khi tôi bắt đầu phân tích khám phá trên một tập dữ liệu lớn (nhiều mẫu, nhiều biến), tôi thường thấy mình có hàng trăm biến xuất phát và hàng tấn các ô khác nhau và không có cách nào thực sự để theo dõi những gì đang diễn ra. …

22 eda  project-management 

Gần đây tôi đã đọc về bài kiểm tra Mann-Whitney U. Hóa ra để thực hiện bài kiểm tra này trong R, bạn thực sự cần phải chạy thử nghiệm Wilcoxon! Câu hỏi của tôi: thống kê W wilcox.testtrong R có giống với thống kê U không?

22 r  wilcoxon-mann-whitney 

Andrew Gelman trong một trong những bài đăng trên blog gần đây của mình nói: Tôi không nghĩ rằng các tác dụng phụ hoặc kết quả tiềm năng là cần thiết cho nghịch lý của Simpson. Tôi nói điều này bởi vì người ta có thể thiết lập nghịch lý …

22 regression  interaction  simpsons-paradox 

Tôi có một ma trận bán nhỏ các tính năng nhị phân có kích thước 250k x 100. Mỗi hàng là một người dùng và các cột là "thẻ" nhị phân của một số hành vi người dùng, ví dụ: "thích_cats". user 1 2 3 4 5 ... ------------------------- A …

22 r  clustering  binary-data 

Tôi đang thực hiện hồi quy logistic mạng đàn hồi trên bộ dữ liệu chăm sóc sức khỏe bằng cách sử dụng glmnetgói trong R bằng cách chọn các giá trị lambda qua lưới từ 0 đến 1. Mã viết tắt của tôi ở bên dưới:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet …

22 machine-learning  cross-validation  glmnet  elastic-net 

Tôi hiểu rằng bài kiểm tra Wald cho các hệ số hồi quy dựa trên thuộc tính sau có tính chất tiệm cận (ví dụ: Wasserman (2006): Tất cả các số liệu thống kê , trang 153, 214-215): Trong đó biểu thị hệ số hồi quy ước tính, biểu thị …

22 r  regression  hypothesis-testing  generalized-linear-model 

Tôi muốn hiểu rõ hơn về các gói R Larsvà Glmnet, được sử dụng để giải quyết vấn đề Lasso: (đối với Biến và mẫu, xem www.stanford.edu/~hastie/Papers/glmnet.pdf trên trang 3)pmin(β0β)∈Rp+1[12N∑i=1N(yi−β0−xTiβ)2+λ||β||l1]min(β0β)∈Rp+1[12N∑i=1N(yi−β0−xiTβ)2+λ||β||l1]min_{(\beta_0 \beta) \in R^{p+1}} \left[\frac{1}{2N}\sum_{i=1}^{N}(y_i-\beta_0-x_i^T\beta)^2 + \lambda||\beta ||_{l_{1}} \right]pppNNN Do đó, tôi đã áp dụng cả hai trên cùng một tập …

22 r  regression  machine-learning  lasso  regularization