Thống kê và dữ liệu lớn

Tôi đang làm việc trên một tập văn bản nhỏ (200M) mà tôi muốn khám phá với một số phân tích cụm. Những cuốn sách hoặc bài viết về chủ đề đó bạn muốn giới thiệu?

12 machine-learning  references  clustering 

Tôi cần trợ giúp để giải thích và trích dẫn các văn bản thống kê cơ bản, bài báo hoặc các tài liệu tham khảo khác, tại sao nói chung là không chính xác khi sử dụng thống kê biên lỗi (MOE) được báo cáo trong bỏ phiếu để tuyên …

12 polling 

Câu hỏi của tôi hướng đến các kỹ thuật để xử lý dữ liệu không đầy đủ trong quá trình phân loại / đào tạo mô hình / phù hợp. Chẳng hạn, trong một tập dữ liệu có vài trăm hàng, mỗi hàng có giả sử năm chiều và nhãn …

12 missing-data 

Tôi muốn thực hiện thử nghiệm T hai mẫu để kiểm tra sự khác biệt giữa hai mẫu độc lập mà mỗi mẫu tuân theo các giả định của thử nghiệm T (mỗi phân phối có thể được giả định là độc lập và được phân phối chính xác là …

12 t-test 

Khi nào bạn có xu hướng sử dụng các đường cong ROC trong một số thử nghiệm khác để xác định khả năng dự đoán của một số phép đo đối với kết quả? Khi xử lý các kết quả rời rạc (còn sống / đã chết, hiện tại / …

12 regression  roc 

Tôi có một bộ dữ liệu gồm các thành phần từ ba nhóm, hãy gọi chúng là G1, G2 và G3. Tôi đã phân tích một số đặc điểm của các yếu tố này và chia chúng thành 3 loại "hành vi" T1, T2 và T3 (Tôi đã sử dụng …

12 contingency-tables 

Có ai biết về một biến thể của Thử nghiệm chính xác của Fisher có tính đến trọng số không? Ví dụ trọng lượng lấy mẫu . Vì vậy, thay vì bảng chéo 2x2 thông thường, mọi điểm dữ liệu đều có giá trị "khối lượng" hoặc "kích thước" cân …

12 hypothesis-testing 

Trong tiếng Anh đơn giản, làm thế nào một người diễn giải một âm mưu Bland-Altman? Những lợi thế của việc sử dụng biểu đồ Bland-Altman so với các phương pháp khác để so sánh hai phương pháp đo khác nhau là gì?

12 data-visualization  bland-altman-plot 

Tôi đã thừa hưởng một số mã phân tích dữ liệu mà, không phải là một nhà kinh tế lượng, tôi đang đấu tranh để hiểu. Một mô hình chạy hồi quy biến công cụ bằng lệnh Stata sau ivreg my_dv var1 var2 var3 (L.my_dv = D2.my_dv D3.my_dv D4.my_dv) Bộ …

12 regression  stata  instrumental-variables 

Giới thiệu, nâng cao, và thậm chí tối nghĩa, xin vui lòng. Chủ yếu là để kiểm tra bản thân. Tôi muốn chắc chắn rằng tôi biết tôi đang nói cái quái gì vậy :) Cảm ơn

12 teaching 

Tôi đang phân tích giỏ hàng, tập dữ liệu của tôi được thiết lập các vectơ giao dịch, với các mặt hàng mà sản phẩm được mua. Khi áp dụng phương tiện k trên các giao dịch, tôi sẽ luôn nhận được một số kết quả. Một ma trận ngẫu …

12 clustering  statistical-significance  binary-data 

Câu hỏi của tôi rất đơn giản như vậy: ước tính chung là gì? Và nó có nghĩa gì trong bối cảnh phân tích hồi quy? Làm thế nào được thực hiện? Tôi lang thang trong Internet hùng mạnh trong một thời gian nhưng không tìm thấy câu trả lời …

12 regression  estimation  terminology 

Giả sử chúng ta có một bộ (có thể đo lường được và hoạt động tốt phù hợp) , trong đó nhỏ gọn. Hơn nữa, giả sử chúng ta có thể vẽ các mẫu từ phân phối đồng đều trên , hãy đo số đo Lebesgue và chúng ta biết …

12 probability  monte-carlo  unbiased-estimator  measure-theory 

Tôi đã trang bị mô hình của mình và đang cố gắng để hiểu liệu nó có tốt không. Tôi đã tính các số liệu được đề xuất để đánh giá nó ( / AUC / độ chính xác / lỗi dự đoán / vv) nhưng không biết cách diễn …

12 goodness-of-fit  r-squared  accuracy  auc  diagnostic 

Trong phân tích Conjugate Bayesian của Kevin Murphy về phân phối Gaussian , ông viết rằng phân phối dự báo sau là p(x∣D)=∫p(x∣θ)p(θ∣D)dθp(x∣D)=∫p(x∣θ)p(θ∣D)dθ p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta Trong đó DDD là dữ liệu mà mô hình phù hợp và xxx là …

12 bayesian  predictive-models  inference  posterior