Thống kê và dữ liệu lớn

Giả sử tôi thực hiện xác thực chéo K-Fold với K = 10 lần. Sẽ có một ma trận nhầm lẫn cho mỗi lần gấp. Khi báo cáo kết quả, tôi nên tính toán ma trận nhầm lẫn trung bình là gì, hay chỉ tổng các ma trận nhầm lẫn?

18 machine-learning  cross-validation  accuracy 

Câu hỏi Điều gì để kết luận từ cốt truyện Lasso này (glmnet) cho thấy các đường dẫn giải pháp cho công cụ ước tính Lasso không đơn điệu. Đó là, một số quan tài phát triển về giá trị tuyệt đối trước khi chúng co lại. Tôi đã áp …

18 lasso  ridge-regression  elastic-net 

Có một bài viết cũ trên blog của William Briggs , xem xét những cạm bẫy của việc làm mịn dữ liệu và mang dữ liệu được làm mịn đó để phân tích. Đối số chính là: Nếu trong một khoảnh khắc điên rồ, bạn thực hiện dữ liệu chuỗi …

18 time-series  smoothing 

Từ Giới thiệu về Học thống kê của James và cộng sự, ước tính xác thực chéo một lần (LOOCV) được xác định bởi CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i nơiMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i = (y_i-\hat{y}_i)^2. Không có bằng chứng, phương trình (5.2) nói rằng đối với hồi quy bình phương nhỏ nhất hoặc đa thức …

18 regression  self-study  cross-validation  least-squares 

Tôi đang sử dụng phương tiện K để phân cụm dữ liệu của mình và đang tìm cách đề xuất số cụm "tối ưu". Thống kê khoảng cách dường như là một cách phổ biến để tìm một số cụm tốt. Vì một số lý do, nó trả về 1 …

18 r  machine-learning  clustering  k-means 

Tôi đến từ Civil Engineering, trong đó chúng tôi sử dụng Lý thuyết giá trị cực đoan , như phân phối GEV để dự đoán giá trị của một số sự kiện nhất định, như Tốc độ gió lớn nhất , tức là giá trị mà 98,5% tốc độ gió …

18 quantiles  extreme-value 

Tôi đang tìm cách triển khai một biplot để phân tích thành phần chính (PCA) trong JavaScript. Câu hỏi của tôi là, làm thế nào để tôi xác định tọa độ của các mũi tên từ đầu ra của phân tách vectơ số ít (SVD) của ma trận dữ liệu?Bạn, …

18 pca  svd  biplot 

Hoàn cảnh của tôi như sau: Tôi muốn, thông qua một nghiên cứu Monte-Carlo, để so sánh -values của hai bài kiểm tra khác nhau cho ý nghĩa thống kê của một tham số ước tính (null là "không có tác dụng - tham số là không", và ngụ ý …

18 hypothesis-testing  p-value 

Trong cả tài liệu về tỷ lệ lỗi thông minh của gia đình (FWER) và tỷ lệ phát hiện sai (FDR), các phương pháp kiểm soát FWER hoặc FDR cụ thể được cho là phù hợp với các thử nghiệm phụ thuộc hoặc độc lập. Ví dụ, trong bài báo …

18 multiple-comparisons  independence  non-independent  familywise-error  false-discovery-rate 

Một cuốn sách hay về triết học Bayes, những người theo chủ nghĩa tương phản chống lại những người theo chủ nghĩa khách quan, giải thích quan điểm về xác suất là trạng thái của kiến ​​thức trong thống kê Bayes, v.v.? Có lẽ cuốn sách của Savage? Lúc đầu …

18 bayesian  references  philosophical 

Nói rằng tôi có hai tiêu chuẩn biến ngẫu nhiên bình thường và mà là cùng nhau bình thường với hệ số tương quan .X1X1X_1X2X2X_2rrr Hàm phân phối của gì?max(X1,X2)max(X1,X2)\max(X_1, X_2)

18 correlation  normal-distribution  extreme-value 

Trong thí nghiệm nếm trà của người phụ nữ nổi tiếng của RA Fisher, người phụ nữ được thông báo về việc có bao nhiêu cốc sữa đầu tiên / tách trà đầu tiên (4 cho mỗi trong số 8 cốc). Điều này tôn trọng tổng giả định biên cố …

18 hypothesis-testing  statistical-significance  fishers-exact  conditioning 

Đối với luận án thạc sĩ của tôi, tôi đang nghiên cứu phát triển một mô hình thống kê cho sự chuyển đổi giữa các trạng thái khác nhau, được xác định bởi trạng thái huyết thanh học. Hiện tại, tôi sẽ không cung cấp quá nhiều chi tiết cho …

18 machine-learning  self-study  hidden-markov-model 

Giả sử rằng tôi có dữ liệu với hai nhóm độc lập: g1.lengths <- c (112.64, 97.10, 84.18, 106.96, 98.42, 101.66) g2.lengths <- c (84.44, 82.10, 83.26, 81.02, 81.86, 86.80, 85.84, 97.08, 79.64, 83.32, 91.04, 85.92, 73.52, 85.58, 97.70, 89.72, 88.92, 103.72, 105.02, 99.48, 89.50, 81.74) group = rep (c …

18 r  hypothesis-testing  bootstrap  small-sample  permutation-test 

Tôi muốn phát hiện những thay đổi trong dữ liệu chuỗi thời gian, thường có hình dạng tương tự. Cho đến nay tôi đã làm việc với các changepointgói cho R và cpt.mean(), cpt.var()và cpt.meanvar()chức năng. cpt.mean()với phương pháp PELT hoạt động tốt khi dữ liệu thường ở một mức. …

18 r  time-series  change-point  structural-change