Thống kê và dữ liệu lớn

Tôi đã tự hỏi, tại sao các phương pháp lựa chọn mô hình LASSO và LARS lại phổ biến như vậy mặc dù về cơ bản chúng chỉ là các biến thể của lựa chọn chuyển tiếp theo bước (và do đó bị phụ thuộc vào đường dẫn)? Tương tự, …

15 feature-selection  model-selection  lasso  stepwise-regression  lars 

Tôi cần đào tạo một trình phân loại tuyến tính trên máy tính xách tay của mình với hàng trăm nghìn điểm dữ liệu và khoảng mười nghìn tính năng. Những lựa chọn của tôi là gì? Tình trạng của nghệ thuật cho loại vấn đề này là gì? Có …

15 classification 

Giả sử tôi đã xây dựng một mô hình dự đoán cho sự xuất hiện của một bệnh cụ thể trong một tập dữ liệu (tập dữ liệu xây dựng mô hình) và bây giờ muốn kiểm tra xem mô hình đó hoạt động tốt như thế nào trong một …

15 predictive-models  cross-validation  survival  roc 

Tôi đang làm việc với một bộ dữ liệu có N khoảng 200.000. Trong hồi quy, tôi thấy các giá trị có ý nghĩa rất nhỏ << 0,001 liên quan đến kích thước hiệu ứng rất nhỏ, ví dụ r = 0,028. Những gì tôi muốn biết là, có một …

15 regression  probability  statistical-significance  sample-size 

Lâu lắm rồi tôi mới nhìn phân vùng cây. Lần trước tôi đã làm điều này, tôi thích tiệc tùng trong R (được tạo bởi Hothorn). Ý tưởng về suy luận có điều kiện thông qua lấy mẫu có ý nghĩa với tôi. Nhưng rpart cũng đã kháng cáo. Trong …

15 r  cart  rpart  partitioning 

Đã có một số câu hỏi hay và bộ câu trả lời về sách giới thiệu hoặc phương pháp tiếp cận để học R, ví dụ ở đây và đây . Nhưng tôi có một vấn đề hơi khác - cách tốt nhất để chạy một phiên dài một giờ …

15 r  teaching 

Tôi thực sự đang viết một triển khai Rừng ngẫu nhiên nhưng tôi tin rằng câu hỏi dành riêng cho cây quyết định (không phụ thuộc vào RF). Vì vậy, bối cảnh là tôi đang tạo một nút trong cây quyết định và cả hai biến dự đoán và biến …

15 algorithms  cart  random-forest 

Có ai có tham khảo một bản tóm tắt các phân tích thời gian chạy cho các thuật toán học máy thông thường (các hương vị khác nhau của NN, SVM, v.v.) không?

15 machine-learning  references  algorithms 

Một trong những điều làm cho kinh tế lượng trở nên độc đáo là việc sử dụng kỹ thuật Phương pháp tổng quát về các khoảnh khắc. Những loại vấn đề nào làm cho GMM phù hợp hơn các kỹ thuật ước tính khác? Điều gì sử dụng GMM mua …

15 econometrics  generalized-moments 

Câu hỏi tôi muốn hỏi là: tỷ lệ mẫu trong 1 SD của giá trị trung bình của phân phối bình thường thay đổi như thế nào khi số lượng biến thiên tăng? (Hầu hết) mọi người đều biết rằng trong phân phối chuẩn 1 chiều, có thể tìm thấy …

15 normal-distribution  multivariate-analysis 

Giả sử tôi có một tập hợp lớn các giá trị đôi khi lặp lại. Tôi muốn ước tính tổng số giá trị duy nhất trong tập lớn.SSS Nếu tôi lấy một mẫu ngẫu nhiên các giá trị và xác định rằng nó chứa các giá trị duy nhất T …

15 estimation  sampling 

Theo tôi hiểu, chúng ta có thể có được mối tương quan bằng cách bình thường hóa hiệp phương sai bằng phương trình ρi,j=cov(Xi,Xj)σiσjρi,j=cov(Xi,Xj)σiσj\rho_{i,j}=\frac{cov(X_i, X_j)}{\sigma_i \sigma_j} trong đó là độ lệch chuẩn củaXi.σi=E[(Xi−μi)2]−−−−−−−−−−−√σi=E[(Xi−μi)2]\sigma_i=\sqrt{E[(X_i-\mu_i)^2]}XiXiX_i Mối quan tâm của tôi là gì nếu độ lệch chuẩn bằng 0? Có điều kiện nào …

15 correlation  standard-deviation  covariance 

Tôi chưa quen với Machine Learning. Hiện tại tôi đang sử dụng trình phân loại Naive Bayes (NB) để phân loại các văn bản nhỏ trong 3 lớp là dương, âm hoặc trung tính, sử dụng NLTK và python. Sau khi tiến hành một số thử nghiệm, với bộ dữ …

15 machine-learning  classification  naive-bayes  precision-recall 

Tôi hy vọng đây là nơi thích hợp để đăng bài này, tôi đã cân nhắc việc đăng nó trên những người hoài nghi, nhưng tôi cho rằng họ chỉ nói rằng nghiên cứu này sai về mặt thống kê. Tôi tò mò về mặt trái của câu hỏi đó …

15 time-series  change-point 

Tôi có một số lưới 3D hình tam giác. Số liệu thống kê cho các khu vực tam giác là: Tối thiểu 0,000 Tối đa 2341.141 Trung bình 56.317 Std dev 98.720 Vì vậy, nó có nghĩa là bất cứ điều gì đặc biệt hữu ích về độ lệch chuẩn …

15 distributions  mean  standard-deviation