Thống kê và dữ liệu lớn

Thiết lập nào là chính xác cho sự khác biệt trong mô hình hồi quy khác biệt bằng cách sử dụng Yist=α+γs∗T+λdt+δ∗(T∗dt)+ϵistYist=α+γs∗T+λdt+δ∗(T∗dt)+ϵistY_{ist} = \alpha +\gamma_s*T + \lambda d_t + \delta*(T*d_t)+ \epsilon_{ist} Trong đó T là một hình nộm bằng 1 nếu quan sát từ nhóm điều trị và d là …

9 regression  econometrics  difference-in-difference 

Cho số, trong đó giá trị của mỗi số là khác nhau, được ký hiệu là và xác suất chọn từng số lần lượt là .nnnv1,v2,...,vnv1,v2,...,vnv_1, v_2, ..., v_np1,p2,...,pnp1,p2,...,pnp_1, p_2, ..., p_n Bây giờ nếu tôi chọn số dựa trên xác suất đã cho, trong đó , kỳ vọng về …

9 probability 

Giả sử, tôi đã làm: n1n1n_1 thử nghiệm độc lập với tỷ lệ thành công chưa biết và quan sát thấy thành công.k 1p1p1p_1k1k1k_1 n2n2n_2 thử nghiệm độc lập với tỷ lệ thành công chưa biết và quan sát thấy thành công.k 2p2p2p_2k2k2k_2 Nếu, bây giờ nhưng vẫn chưa được …

9 hypothesis-testing  binomial  references 

1) Làm cách nào tôi có thể thay đổi ngưỡng phân loại (tôi nghĩ là 0,5 theo mặc định) trong RandomForest trong sklearn? 2) làm thế nào tôi có thể dưới mẫu trong sklearn? 3) Tôi có kết quả sau từ trình phân loại RandomForest: [[1635 1297] [520 3624]] precision …

9 classification  random-forest  precision-recall  unbalanced-classes 

Tôi có nhiều hình ảnh raster vệ tinh có sẵn từ các cảm biến khác nhau. Từ những cái này, những cái thô hơn có độ phân giải thời gian rất phong phú. Các raster độ phân giải trung bình có xu hướng có ngày mua ít hơn nhưng vẫn …

9 time-series  machine-learning  predictive-models  multivariate-regression 

Có vẻ như để quản lý với các phép đo được đặt hàng, các nhà nghiên cứu thường đối phó với Polychoric Correlation . (Ví dụ: để tạo ma trận trước khi thực hiện Phân tích nhân tố.) Tại sao vậy? Hệ số tương quan xếp hạng của Kendall Tau …

9 correlation  ordinal-data  spearman-rho  kendall-tau  polychoric 

Chỉ số ổn định dân số định lượng sự thay đổi của phân phối biến bằng cách so sánh các mẫu dữ liệu trong hai khoảng thời gian. Nó rất thường được sử dụng để đo sự thay đổi trong điểm số. Nó được tính như sau: 1) Mẫu từ …

9 distributions  kullback-leibler 

Tôi muốn mã hóa một kmeans clustering trong python bằng cách sử dụng gấu trúc và scikit tìm hiểu. Để chọn k tốt, tôi muốn viết mã thống kê Gap từ Tibshirani và al 2001 ( pdf ). Tôi muốn biết liệu tôi có thể sử dụng kết quả quán …

9 clustering  python  k-means  scikit-learn  metric 

Tôi đã không tìm thấy bất kỳ tài liệu về việc áp dụng rừng ngẫu nhiên để MNIST, CIFAR, STL-10, vv để tôi nghĩ rằng tôi muốn thử chúng với hoán vị bất biến MNIST bản thân mình. Trong R , tôi đã thử: randomForest(train$x, factor(train$y), test$x, factor(test$y), ntree=500) Điều …

9 r  machine-learning  classification  random-forest  scikit-learn 

Tôi chưa quen với thống kê và tôi đang cố gắng tìm hiểu sự khác biệt giữa ANOVA và hồi quy tuyến tính. Tôi đang sử dụng R để khám phá điều này. Tôi đọc các bài viết khác nhau về lý do tại sao ANOVA và hồi quy khác …

9 r  regression  anova 

Tôi có một bộ dữ liệu với hai biến danh nghĩa phân loại (cả hai có 5 loại). Tôi muốn biết nếu (và làm thế nào) tôi có thể xác định mối tương quan tiềm năng giữa các loại từ hai biến này. Nói cách khác, cho dù kết quả …

9 correlation  residuals  contingency-tables  categorical-data 

CẬP NHẬT ngày 25 tháng 1 năm 2014: lỗi hiện đã được sửa. Vui lòng bỏ qua các giá trị được tính của Giá trị mong đợi trong hình ảnh được tải lên - chúng sai - Tôi không xóa hình ảnh vì nó đã tạo ra câu trả lời …

9 normal-distribution  expected-value  order-statistics  minimum 

Tôi đang chuẩn bị cho một cuộc phỏng vấn đòi hỏi kiến ​​thức tốt về xác suất cơ bản (ít nhất là để vượt qua chính cuộc phỏng vấn). Tôi đang làm việc thông qua bảng dưới đây từ những ngày sinh viên của tôi như là sửa đổi. Điều …

9 probability  self-study  random-variable 

Giả sử tôi có dữ liệu theo chiều dọc có dạng (Tôi có nhiều quan sát, đây chỉ là dạng của một quan sát duy nhất). Tôi quan tâm đến các hạn chế đối với . không bị hạn chế tương đương với việc lấy với .Σ Σ Y j …

9 feature-selection  lasso  shrinkage 

Tôi muốn đánh giá độ chính xác của các phép thử quy phạm đối với các cỡ mẫu khác nhau trong R (Tôi nhận ra rằng các phép thử quy tắc có thể gây hiểu nhầm ). Ví dụ, để xem xét nghiệm Shapiro-Wilk, tôi đang tiến hành mô phỏng …

9 r  simulation  power-analysis  normality-assumption