Thống kê và dữ liệu lớn

Với bộ dữ liệu "Sự sống còn của hành khách trên tàu Titanic" nổi tiếng, tôi có một hành vi kỳ lạ bằng cách vẽ giá vé so với tuổi (xem bên dưới). Không có ràng buộc về P class, mối tương quan là tích cực. Ngược lại đối với …

8 simpsons-paradox 

Tôi có hai bộ ( sourcvà target) các điểm (x,y)mà tôi muốn căn chỉnh. Những gì tôi đã làm cho đến nay là: tìm trọng tâm của từng bộ điểm sử dụng sự khác biệt giữa các bản dịch trung tâm điểm trong xvày Những gì tôi muốn là tìm …

8 r  data-transformation  geometry  rotation  procrustes-analysis 

Tôi có dữ liệu chuỗi thời gian của các ngôi nhà khác nhau. Giả sử đó là dữ liệu tiêu thụ năng lượng. Bây giờ, tôi muốn phân cụm các ngôi nhà theo mô hình tiêu thụ năng lượng tương tự tối đa. Vì vậy, các số liệu khoảng cách …

8 time-series  clustering  similarities  smoothing 

Tôi đã thấy nhiều lần mọi người sử dụng phương pháp Delta để tìm phân phối tiệm cận của , hệ số tương quan mẫu, cho dữ liệu thông thường bivariate. Phân phối này được đưa ra bởirrr n--√( r- ρ )-→DN( 0 ,( 1 -ρ2)2)n(r-ρ)→DN(0,(1-ρ2)2)\sqrt{n} \left( r-\rho \right) \xrightarrow{D} …

8 normal-distribution  mathematical-statistics  maximum-likelihood  inference  asymptotics 

Tôi tiếp tục gặp vấn đề trong việc hiểu tỷ lệ nguy hiểm. Tôi biết, ví dụ, theo một nghĩa nghiêm ngặt, tỷ lệ nguy hiểm không phải là xác suất và nó liên tục được đề cập rằng vì điều này, tỷ lệ nguy hiểm không có giới hạn …

8 survival  hazard  bounds 

Tôi đang sử dụng from sklearn.linear_model import Lassotrong Python 2.7.6 Tôi đã viết một kịch bản mà tôi đã sử dụng để thực hiện hồi quy Lasso cho các Tính năng (X) và Mục tiêu của tôi (y). Tôi đã sử dụng nó trước đây và nó hoạt động, tôi …

8 regression  python  lasso  scikit-learn 

Tôi có đầu vào x1Giáo dụcxnx1…xnx_1\ldots x_n đã biết 1 σ1σ1\sigma sự không chắc chắn ε1Giáo dụcεnϵ1…ϵn\epsilon_1 \ldots \epsilon_n. Tôi đang sử dụng chúng để dự đoán đầu ray1Giáo dụcymy1…ymy_1 \ldots y_mtrên một mạng lưới thần kinh được đào tạo. Làm thế nào tôi có thể có được 1σσ\sigma sự …

8 machine-learning  neural-networks  predictive-models  prediction  error-propagation 

Ai đó có thể giải thích tại sao Richard McElreath nói rằng bài kiểm tra chính xác của Fisher hiếm khi được sử dụng một cách thích hợp trong cuốn sách giới thiệu xuất sắc Bayesian của ông ( Suy nghĩ lại thống kê )? Để tham khảo, bối cảnh …

7 hypothesis-testing  bayesian  fishers-exact 

Có nhiều phiên bản của thuật toán Metropolis Hastings thích ứng. Một được thực hiện trong chức năng Metro_Hastingscủa Rgói MHadaptive, xem ở đây . Các tài liệu tham khảo được liệt kê ở đó, Spiegelhalter et al. (2002), thật không may, không chứa một mô tả về bất kỳ …

7 r  mcmc  metropolis-hastings 

Đây là một bài chéo từ Math SE . Tôi có một số dữ liệu (thời gian chạy của thuật toán) và tôi nghĩ rằng nó tuân theo luật công suất yr e g= k xmộtyreg= =kxmộty_\mathrm{reg} = k x^a Tôi muốn xác định và . Những gì tôi đã …

7 regression  fitting  logarithm  power-law 

Tôi có một danh sách các sản phẩm, bao gồm các biến như tên sản phẩm (như xuất hiện trên biên lai) và thương gia nơi sản phẩm được mua. Tôi có rất nhiều trong số họ được phân loại thủ công thành một nhóm cố định (ví dụ như …

7 machine-learning  classification 

Tôi đã thực hiện một bài kiểm tra tổng xếp hạng Wilcoxon để tìm hiểu xem có sự khác biệt nào trong việc phân phối Biến cho hai nhóm không. Kết quả kiểm tra cho thấy sự khác biệt không tồn tại.X1X1X_1 Tuy nhiên, tôi nghi ngờ rằng có một …

7 nonparametric  wilcoxon-mann-whitney  confounding 

Tại Skeptics.StackExchange , một câu trả lời trích dẫn một nghiên cứu về quá mẫn điện từ: McCarty, Carrubba, Chesson, Frilot, Gonzalez-Toledo & Marino, Mẫn cảm điện từ: Bằng chứng cho một Hội chứng thần kinh học mới lạ Tạp chí quốc tế về thần kinh học, 00, 1, 7, …

7 statistical-significance  chi-squared 

Giáo sư của tôi tuyên bố rằng limp→∞χ2plimp→∞χp2\lim_{p\to\infty}\chi^2_pcó phân phối bình thường. Khiếu nại được đưa ra trên cơ sở Định lý giới hạn trung tâm: vì , chúng tôi có Bình thường . Tôi không thấy điều này hợp lệ hay đúng như thế nào, vì yêu cầu này …

7 normal-distribution  chi-squared  convergence  central-limit-theorem 

Đây là những gì tôi hiểu là: p-value - xác suất tìm thấy quan sát, hoặc cực đoan hơn, kết quả khi giả thuyết null (H0) của câu hỏi nghiên cứu là đúng nghĩa là p-value . Bây giờ khi giá trị p nằm dưới một ngưỡng nhất định ( …

7 hypothesis-testing  bayesian  p-value  frequentist  fallacy