Thống kê và dữ liệu lớn

Mọi người thường nói một số sự kiện có 50-60% cơ hội xảy ra. Đôi khi tôi thậm chí sẽ thấy mọi người đưa ra các thanh lỗi rõ ràng về các bài tập xác suất. Những tuyên bố này có bất kỳ ý nghĩa hay chúng chỉ là một …

25 probability  error 

Trong Jaynes' cuốn sách 'Lý Thuyết Xác Suất: Logic Khoa học' , Jaynes có một chương (Ch 18) mang tên 'The phân phối và quy tắc của kế', trong đó ông giới thiệu ý tưởng về một p phân phối, mà đoạn này giúp minh họa:ApApA_pApApA_p [...] Để thấy điều …

25 probability  bayesian  beta-distribution 

Tôi đã trở thành một phần của một kẻ hư vô khi nói đến thứ hạng quan trọng khác nhau (trong bối cảnh của các mô hình đa biến các loại). Thông thường trong quá trình làm việc, tôi được yêu cầu hỗ trợ một nhóm khác tạo ra một …

25 multiple-regression  multivariate-analysis  importance 

Tôi hiện đang vật lộn với việc tìm đúng mô hình cho dữ liệu đếm khó (biến phụ thuộc). Tôi đã thử nhiều mô hình khác nhau (mô hình hiệu ứng hỗn hợp là cần thiết cho loại dữ liệu của tôi) như lmervà lme4(với biến đổi nhật ký) cũng …

25 generalized-linear-model  residuals  negative-binomial  count-data  glmm 

Đọc qua CV kinh điển mọi thời đại tôi đã bắt gặp một tuyên bố mà tôi muốn làm rõ. Đây là bài đăng và câu hỏi của tôi đề cập đến nhận xét kết thúc: "Tôi phải lưu ý rằng tất cả kiến ​​thức tôi vừa truyền đạt có …

25 hypothesis-testing  t-test  permutation-test  wilcoxon-mann-whitney 

Tôi đang làm một số thí nghiệm số mà bao gồm trong lấy mẫu một bản phân phối lognormal X∼LN(μ,σ)X∼LN(μ,σ)X\sim\mathcal{LN}(\mu, \sigma) , và cố gắng để ước lượng những khoảnh khắc bằng hai phương pháp:E[Xn]E[Xn]\mathbb{E}[X^n] Nhìn vào giá trị trung bình mẫu củaXnXnX^n Ước tính và bằng cách sử dụng …

25 estimation  bias  lognormal  moments 

Ước tính khả năng tối đa thường dẫn đến các công cụ ước tính sai lệch (ví dụ: ước tính của nó cho phương sai mẫu được thiên vị cho phân phối Gaussian). Điều gì sau đó làm cho nó trở nên phổ biến? Tại sao chính xác là nó …

25 normal-distribution  maximum-likelihood  method-of-moments 

Gần đây tôi đã làm việc với các tập dữ liệu lớn và tìm thấy rất nhiều bài viết về phương pháp phát trực tuyến. Đến tên một vài: Theo dõi thường xuyên và lãnh đạo gương: Định lý tương đương và chính quy hóa L1 ( http://jmlr.org/proceedings/ con / …

25 machine-learning  references  large-data  online 

Xem xét mô hình chướng ngại vật dự đoán dữ liệu đếm ytừ một người dự đoán bình thường x: set.seed(1839) # simulate poisson with many zeros x <- rnorm(100) e <- rnorm(100) y <- rpois(100, exp(-1.5 + x + e)) # how many zeroes? table(y == 0) FALSE TRUE …

25 r  count-data  zero-inflation 

Tôi muốn chỉ ra cách các giá trị của các biến số nhất định (~ 15) thay đổi theo thời gian, nhưng tôi cũng muốn chỉ ra các biến số khác nhau như thế nào trong mỗi năm. Vì vậy, tôi đã tạo ra cốt truyện này: Nhưng ngay cả …

25 r  data-visualization 

Tôi biết rằng các cộng đồng vật lý và toán học rất thích ArXiv, nhưng cộng đồng thống kê thì sao? Có thông thường để gửi ở đó trước khi trình?

25 references  academia 

Tôi đã đọc một bài báo nói rằng khi sử dụng độ tương phản theo kế hoạch để tìm các phương tiện khác nhau theo một cách ANOVA, các cấu trúc nên trực giao để chúng không bị lỗi và tránh lỗi loại I bị thổi phồng. Tôi không hiểu …

25 correlation  independence 

Các lmerTestgói cung cấp một anova()chức năng cho các mô hình hỗn hợp tuyến tính với tùy chọn xấp xỉ của bậc tự do (df) Satterthwaite của (mặc định) hoặc Kenward-Roger. Sự khác biệt giữa hai phương pháp này là gì? Khi nào nên chọn cái nào?

25 r  anova  mixed-model  lme4-nlme  degrees-of-freedom 

Trong một số bài giảng và hướng dẫn tôi đã thấy, họ đề nghị chia dữ liệu của bạn thành ba phần: đào tạo, xác nhận và kiểm tra. Nhưng không rõ làm thế nào để sử dụng tập dữ liệu thử nghiệm, cũng như cách tiếp cận này tốt …

25 machine-learning  cross-validation  validation 

Giả sử tôi đang chạy một hồi quy . Tại sao bằng cách chọn các thành phần nguyên tắc hàng đầu của , mô hình có giữ được khả năng dự đoán của nó trên không?Y∼ XY∼XY \sim XkkkXXXYYY Tôi hiểu rằng từ chiều giảm / điểm tính năng lựa …

25 regression  classification  pca  dimensionality-reduction  regularization