Thống kê và dữ liệu lớn

Giả sử là độc lập vàY=(Y1,…,Yn)′Y=(Y1,…,Yn)′ \textbf{Y} = (Y_1, \dots, Y_n)' Yi=0Yi=kwith probability pi+(1−pi)e−λiwith probability (1−pi)e−λiλki/k!Yi=0with probability pi+(1−pi)e−λiYi=kwith probability (1−pi)e−λiλik/k!\eqalign{ Y_i = 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ Y_i = k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! } Giả sử các thông số và p = ( p 1 , …

14 poisson-regression  zero-inflation 

Tôi có một số dữ liệu nhị phân, chỉ có các biến nhị phân và ông chủ của tôi đã yêu cầu tôi thực hiện phân tích nhân tố bằng cách sử dụng ma trận tương quan tetrachoric. Trước đây tôi đã có thể tự dạy mình cách chạy các …

14 r  factor-analysis  psychometrics  binary-data 

Có lẽ chỉ là tôi mệt, nhưng tôi gặp khó khăn khi cố gắng hiểu thuật toán Hồi quy theo giai đoạn chuyển tiếp. Từ "Các yếu tố của học thống kê" trang 60: Hồi quy theo giai đoạn chuyển tiếp (FS) thậm chí còn hạn chế hơn so với …

14 regression  algorithms  feature-selection 

Tôi có một bộ dữ liệu về các trường hợp sự cố theo mùa của một căn bệnh hiếm gặp. Ví dụ, giả sử có 180 trường hợp vào mùa xuân, 90 trường hợp vào mùa hè, 45 trường hợp vào mùa thu và 210 trường hợp vào mùa đông. …

14 poisson-distribution  standard-error  count-data 

Dường như nếu tôi có một mô hình hồi quy như yi∼β0+β1xi+β2x2i+β3x3iyi∼β0+β1xi+β2xi2+β3xi3y_i \sim \beta_0 + \beta_1 x_i+\beta_2 x_i^2 +\beta_3 x_i^3Tôi có thể điều chỉnh một đa thức thô và nhận được kết quả không đáng tin cậy hoặc phù hợp với đa thức trực giao và nhận các hệ số …

14 regression  linear-model  regression-coefficients  polynomial 

Tôi đã phát triển một bằng chứng về hệ thống khái niệm để nhận dạng âm thanh bằng cách sử dụng mfcc và các mô hình markov ẩn. Nó cho kết quả đầy hứa hẹn khi tôi kiểm tra hệ thống trên các âm thanh đã biết. Mặc dù hệ …

14 machine-learning  hidden-markov-model  pattern-recognition 

Tôi đang sử dụng libsvm và tôi nhận thấy rằng mỗi khi tôi gọi svmtrain (), tôi tạo một mô hình mới và dường như không có tùy chọn nào để đưa dữ liệu vào một mô hình hiện có. Điều này có thể làm được tuy nhiên? Tôi chỉ …

14 svm  libsvm 

Tôi đã thực hiện một thí nghiệm nơi tôi nuôi các gia đình khác nhau đến từ hai quần thể nguồn khác nhau. Mỗi gia đình được chỉ định một trong hai phương pháp điều trị. Sau thí nghiệm tôi đã đo được một vài đặc điểm trên từng cá …

14 r  anova  variance  lme4-nlme 

Tôi đang cố gắng tìm cực đại cục bộ cho hàm mật độ xác suất (được tìm thấy bằng densityphương pháp R ). Tôi không thể thực hiện một phương pháp "nhìn xung quanh hàng xóm" đơn giản (trong đó người ta nhìn quanh một điểm để xem đó có …

14 r  pdf  splines  maximum 

Tôi đang phân tích dữ liệu về 300.000 học sinh ở 175 trường với mô hình hiệu ứng hỗn hợp tuyến tính logistic (chặn ngẫu nhiên). Mỗi học sinh xảy ra chính xác một lần và dữ liệu kéo dài 6 năm. Làm cách nào để phân vùng phương sai …

14 mixed-model  binary-data 

Đây rõ ràng chỉ là một vấn đề về định nghĩa hoặc quy ước, và hầu như không có tầm quan trọng thực tế. Nếu được đặt thành giá trị truyền thống 0,05, giá trị p là 0,0500000000000 ... có được coi là có ý nghĩa thống kê hay không? …

14 hypothesis-testing  statistical-significance  definition 

Nếu bạn phù hợp với một mô hình tuyến tính hoặc một mô hình hỗn hợp, có sẵn các loại mã hóa khác nhau để biến đổi một biến thể phân loại hoặc danh nghĩa thành một số biến được ước tính, như giả lập (mặc định R) và mã …

14 regression  mixed-model  categorical-data  contrasts  categorical-encoding 

Lấy cảm hứng từ câu hỏi này , tôi tự hỏi liệu có bất kỳ công việc nào đã được thực hiện trên các mô hình chủ đề cho các bộ sưu tập lớn các văn bản cực ngắn. Trực giác của tôi là Twitter nên là nguồn cảm hứng …

14 references  text-mining  topic-models  natural-language 

Tôi đang sử dụng spotfire (S ++) để phân tích thống kê trong dự án của mình và tôi phải chạy hồi quy logistic đa phương thức cho một tập dữ liệu lớn. Tôi biết thuật toán tốt nhất sẽ là mlogit, nhưng tiếc là điều đó không có sẵn …

14 generalized-linear-model  logistic 

Tôi có một loạt (khoảng 1000) ước tính và tất cả chúng đều được coi là ước tính về độ co giãn dài hạn. Hơn một nửa trong số này được ước tính bằng phương pháp A và phần còn lại sử dụng phương pháp B. Ở đâu đó tôi …

14 mean  outliers  robust  references