Thống kê và dữ liệu lớn

Giả sử rằng tôi đang cố gắng tái tham số một hàm khả năng được phân phối theo cấp số nhân. Nếu chức năng khả năng ban đầu của tôi là: p(y∣θ)=θe−θyp(y∣θ)=θe−θy p(y \mid \theta) = \theta e^{-\theta y} và tôi muốn tham số lại nó bằng cách sử dụng …

10 regression  bayesian  mathematical-statistics 

Nếu có, giữa việc khớp một dòng với nhiều "thí nghiệm" riêng biệt thì lấy trung bình các mức khớp hoặc lấy trung bình dữ liệu từ các thử nghiệm riêng biệt sau đó khớp với dữ liệu trung bình. Hãy để tôi giải thích: Tôi thực hiện mô phỏng …

10 error  fitting  average 

Tôi có một câu hỏi liên quan đến tính hợp lệ của việc sử dụng RMSE (Lỗi trung bình bình phương gốc) để so sánh các mô hình logistic khác nhau. Câu trả lời là 0hoặc 1và dự đoán là xác suất giữa 0- 1? Là cách áp dụng dưới …

10 regression  logistic  generalized-linear-model  glmnet  rms 

Tôi muốn ước tính giá trị trung bình của hàm f, tức là trong đó và là các biến ngẫu nhiên độc lập. Tôi có các mẫu của f nhưng không phải iid: Có các mẫu iid cho và với mỗi có mẫu từ :X Y Y 1 , Y …

10 variance  unbiased-estimator  estimators 

Tôi có một số dữ liệu tồn tại trên biểu đồ . Các đỉnh thuộc về một trong hai lớp và tôi quan tâm đến việc đào tạo một SVM để phân biệt giữa hai lớp. Một hạt nhân thích hợp cho điều này là hạt nhân khuếch tán , …

10 svm  cross-validation  kernel-trick  graph-theory 

Tôi đang thử nghiệm tính độc lập trong bảng dự phòngTôi không biết bài kiểm tra chi bình phương của G-test hay Pearson là tốt hơn. Kích thước mẫu là hàng trăm nhưng có một số lượng tế bào thấp. Như đã nêu trên trang Wikipedia , phép tính gần …

10 chi-squared  p-value  monte-carlo  contingency-tables 

Có gói R (hoặc thậm chí là hàm R cơ sở) thực hiện phương pháp của Fisher hoặc Stouffer để kết hợp các giá trị p không? Mã hóa điều này sẽ gần như không đáng kể, nhưng tôi muốn sử dụng (và trích dẫn) một gói. Mã ví dụ …

10 r  combining-p-values 

Tôi đang xem hàm chi phí entropy chéo được tìm thấy trong hướng dẫn này : C=−1n∑x[ylna+(1−y)ln(1−a)]C=−1n∑x[yln⁡a+(1−y)ln⁡(1−a)]C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)] Chính xác thì chúng ta đang tổng kết những gì? Đó là, tất nhiên, trên , nhưng và không thay đổi với . Tất cả các là …

10 neural-networks  error-propagation 

Tôi đã tự hỏi nơi có một công thức chung để liên kết giá trị mong đợi của một biến ngẫu nhiên liên tục là hàm của các lượng tử của cùng một rv Giá trị mong đợi của rv được định nghĩa là: và lượng tử được định nghĩa …

10 expected-value  quantiles  quantile-regression 

Khi nào trọng số của bằng chứng (WOE) biến đổi các biến phân loại hữu ích? Ví dụ có thể được nhìn thấy trong chuyển đổi WOE (Vì vậy, đối với phản hồi , và một công cụ dự đoán phân loại với loại, & thành công trong số các …

10 logistic  categorical-data  regression-strategies 

Cách cổ điển của phân tích thành phần chính (PCA) là thực hiện nó trên ma trận dữ liệu đầu vào mà các cột có giá trị trung bình bằng 0 (sau đó PCA có thể "tối đa hóa phương sai"). Điều này có thể đạt được một cách dễ …

10 pca  algorithms  dimensionality-reduction  large-data  sparse 

Câu hỏi này là từ Giới thiệu về Thống kê toán học Phiên bản thứ 6 của Robert Hogg, vấn đề 7.4.9 ở trang 38. Đặt là iid với pdf zero ở nơi khác, trong đó .X1,...,XnX1,...,XnX_1,...,X_nf(x;θ)=1/3θ,−θ<x<2θ,f(x;θ)=1/3θ,−θ<x<2θ,f(x;\theta)=1/3\theta,-\theta0 (a) Tìm mle củaθ^θ^\hat{\theta}θθ\theta (b) có đủ số liệu thống kê cho không? …

10 self-study  maximum-likelihood  order-statistics  sufficient-statistics  umvue 

Trước đây tôi đã có một số câu hỏi được hỏi về tôi liên quan đến các bài báo được xuất bản trong một số lĩnh vực mà hồi quy (và các mô hình liên quan, chẳng hạn như mô hình bảng điều khiển hoặc GLM) được sử dụng trên …

10 regression  references  instrumental-variables  observational-study 

Tôi đang xây dựng một mô hình Bayes phân cấp khá phức tạp để phân tích tổng hợp bằng R và JAGS. Đơn giản hóa một chút, hai cấp độ chính của mô hình có trong đó là quan sát thứ của điểm cuối (trong trường hợp này, năng suất …

10 autocorrelation  multilevel-analysis  mcmc  jags 

Theo như tôi đã thấy, các ý kiến ​​có xu hướng khác nhau về điều này. Thực tiễn tốt nhất chắc chắn sẽ ra lệnh bằng cách sử dụng xác thực chéo (đặc biệt nếu so sánh RF với các thuật toán khác trên cùng một tập dữ liệu). Mặt …

10 cross-validation  random-forest  overfitting  out-of-sample