Thống kê và dữ liệu lớn

Nate Silver đã khá thành công trong việc dự đoán kết quả của các cuộc bầu cử ở Hoa Kỳ trong quá khứ, một điều được mô tả trong cuốn sách Tín hiệu và tiếng ồn của ông . Cuốn sách chứa một số mô tả về mô hình được …

8 references  prediction 

Tôi có dữ liệu mô tả tần suất một sự kiện diễn ra trong một giờ ("số lượng mỗi giờ", nph) và thời gian các sự kiện kéo dài ("thời gian tính bằng giây mỗi giờ", dph). Đây là dữ liệu gốc: nph <- c(2.50000000003638, 3.78947368414551, 1.51456310682008, 5.84686774940732, 4.58823529414907, 5.59999999993481, …

8 normal-distribution  data-transformation  logistic  generalized-linear-model  ridge-regression  t-test  wilcoxon-signed-rank  paired-data  naive-bayes  distributions  logistic  goodness-of-fit  time-series  eviews  ecm  panel-data  reliability  psychometrics  validity  cronbachs-alpha  self-study  random-variable  expected-value  median  regression  self-study  multiple-regression  linear-model  forecasting  prediction-interval  normal-distribution  excel  bayesian  multivariate-analysis  modeling  predictive-models  canonical-correlation  rbm  time-series  machine-learning  neural-networks  fishers-exact  factorisation-theorem  svm  prediction  linear  reinforcement-learning  cdf  probability-inequalities  ecdf  time-series  kalman-filter  state-space-models  dynamic-regression  index-decomposition  sampling  stratification  cluster-sample  survey-sampling  distributions  maximum-likelihood  gamma-distribution 

Tôi biết rằng nếu tôi có thể có hai phân phối có cùng giá trị trung bình và phương sai thì hình dạng khác nhau, bởi vì tôi có thể có N (x, s) và U (x, s) Nhưng nếu min, Q1, median, Q3 và max của chúng giống hệt …

8 distributions  descriptive-statistics 

Câu hỏi của tôi liên quan đến chủ đề Giá trị âm cho AIC trong Mô hình hỗn hợp chung . Tôi thường nhận được các giá trị AIC âm từ phần mềm tôi sử dụng. Tôi nhận thấy nó nhiều nhất khi tôi đang làm chuỗi thời gian. Nhưng …

8 aic 

Tôi có 2 bộ dữ liệu phân tán theo cấp số nhân và tôi muốn chắc chắn rằng chúng đến từ các bản phân phối khác nhau. Thật không may, một lỗi cần thiết trong việc phát hiện dữ liệu buộc tôi phải loại bỏ tất cả dữ liệu dưới …

8 hypothesis-testing  exponential 

Một tiêu chí để chọn giá trị tối ưu của với mạng đàn hồi hoặc hồi quy bị phạt tương tự là kiểm tra sơ đồ sai lệch so với phạm vi của và chọn khi độ lệch được giảm thiểu (hoặc trong một lỗi tiêu chuẩn của tối thiểu).bước …

8 r  glmnet 

Tôi muốn xác định xem sử dụng nhiều phép thử so sánh có phù hợp với dữ liệu của tôi không. Tôi đã sử dụng thử nghiệm Kruskal-Wallis để xác định xem có sự khác biệt về ức chế trung bình giữa nhóm khác nhau hay không. Phân tích cho …

8 multiple-comparisons  post-hoc  kruskal-wallis  dunn-test 

Tôi đã sử dụng hàm glm.fit trong R để khớp các tham số với mô hình hồi quy logistic. Theo mặc định, glm.fit sử dụng các bình phương tối thiểu lặp lại để phù hợp với các tham số. Một số lý do thuật toán này sẽ không hội tụ, …

8 r  logistic  generalized-linear-model  convergence  irls 

Tôi đang cố gắng hiểu EM và cố gắng suy ra các tham số của mô hình này bằng kỹ thuật này nhưng gặp khó khăn trong việc hiểu làm thế nào để bắt đầu: Vì vậy, tôi có một mô hình hồi quy tuyến tính có trọng số như …

8 bayesian  expectation-maximization 

Vấn đề xuất phát từ trang 377-379 của bài báo [0] này. Cho phân phối liên tục và cố định , hãy xem xét:FFFz∈Rz∈Rz\in\mathbb{R} Lz(t)=PF(|z−Z|≤t)Lz(t)=PF(|z−Z|≤t)L_z(t)=P_F(|z-Z|\leq t) và H(z)=L−1z(0.5)=medZ∼F|z−Z|H(z)=Lz−1(0.5)=medZ∼F|z−Z|H(z)=L^{-1}_z(0.5)=\underset{Z\sim F}{\mbox{med}}|z-Z| Trong đó là nghịch đảo liên tục đúng. Vì vậy, đối với một z cố định , đây là khoảng cách …

8 mathematical-statistics  quantiles  cdf  numerics  quantile-function 

Tôi đang cố gắng để hiểu rõ hơn về ý nghĩa thống kê, kích thước hiệu ứng và những thứ tương tự. Tôi có một nhận thức (có lẽ là sai) rằng ngay cả các hồi quy không liên quan thường trở nên có ý nghĩa thống kê trong các …

8 regression  statistical-significance  effect-size  large-data 

Hãy xem xét một mẫu của các số thực. Nói rằng chúng tôi muốn ước tính xu hướng trung tâm của dân số và hiểu được sự không chắc chắn của chúng tôi xung quanh ước tính này. Chúng ta hãy đặt các giả định về phân bổ dân số …

8 estimation  bootstrap 

Hai phương pháp tính giá trị p phải tương đương nhau: t.test(rats.drug,mu=1.2)$p.value 2*pt((mean(rats.drug)-1.2)*sqrt(n)/sd(rats.drug),df=n-1) Vấn đề với phương pháp thứ hai là có nguy cơ nhận được các giá trị lớn hơn (thực tế lên đến ):111222 2*pt((1.5-1.2)*sqrt(100)/.5,df=100-1) [1] 2 Điều này tất nhiên có thể được khắc phục bằng 2*pt((1.5-1.2)*sqrt(100)/.5,df=100-1,lower=F) …

8 r  t-test  p-value 

Tôi có một tập hợp lớn dữ liệu quốc gia đông đúc (như bạn có thể thấy bên dưới), nhưng tôi cần nhãn và các ngoại lệ - Tôi cũng có rất nhiều biểu đồ, vì vậy sẽ rất tẻ nhạt khi đặt lại cửa sổ và thêm dữ liệu …

8 data-visualization 

Tôi đã tìm thấy trực tuyến một dự thảo của một đánh giá xuất sắc giấy bởi Zhe Chen mang tên "Bayesian Filtering: Từ Bộ lọc Kalman để lọc hạt, and Beyond". Theo Google Scholar, trích dẫn cho phiên bản đã xuất bản là "Thống kê 182 (1), 1-69, 2003" …

8 references  particle-filter  journals