Thống kê và dữ liệu lớn

Tôi đang kiểm tra một phần của bộ dữ liệu của mình chứa 46840 giá trị gấp đôi từ 1 đến 1690 được nhóm thành hai nhóm. Để phân tích sự khác biệt giữa các nhóm này, tôi đã bắt đầu bằng cách kiểm tra phân phối các giá trị …

12 r  normal-distribution  normality-assumption  large-data 

Tôi đã điều hành một doanh nghiệp trực tuyến trong hai năm liên tiếp, vì vậy tôi có dữ liệu bán hàng hàng tháng của mình trong khoảng hai năm. Công việc kinh doanh của tôi hàng tháng chắc chắn bị ảnh hưởng bởi sự thay đổi theo mùa (hoạt …

12 time-series  forecasting 

Làm thế nào để kích thước tương đối của giá trị ap thay đổi ở các kích thước mẫu khác nhau? Giống như nếu bạn có tại cho tương quan và sau đó tại bạn có cùng giá trị p là 0,20, kích thước tương đối của giá trị p …

12 p-value  sample-size 

Các định nghĩa của các linh mục bán liên hợp và của các linh mục liên hợp có điều kiện là gì? Tôi đã tìm thấy chúng trong Phân tích dữ liệu Bayes của Gelman , nhưng tôi không thể tìm thấy định nghĩa của chúng.

12 bayesian 

Trong các phương pháp MCMC , tôi tiếp tục đọc về burn-inthời gian hoặc số lượng mẫu "burn". Điều này chính xác là gì, và tại sao nó lại cần thiết? Cập nhật: Khi MCMC ổn định, nó có ổn định không? Làm thế nào là khái niệm về burn-inthời …

12 sampling  mcmc 

Tôi muốn phân cụm một tập dữ liệu lớn mà tôi chỉ có khoảng cách theo cặp. Tôi đã triển khai thuật toán k-medoid, nhưng nó mất quá nhiều thời gian để chạy nên tôi muốn bắt đầu bằng cách giảm kích thước của vấn đề bằng cách áp dụng …

12 pca  dimensionality-reduction  multidimensional-scaling 

Tôi đang đánh giá hai (2) chất làm lạnh (khí) được sử dụng trong cùng một hệ thống lạnh. Tôi có dữ liệu nhiệt độ hút bão hòa ( ), nhiệt độ ngưng tụ ( ) và dữ liệu cường độ dòng điện ( ) để đánh giá. Có hai …

12 regression  regression-coefficients 

Hadley Wickham đã viết một bài báo xuất sắc có tên "Dữ liệu gọn gàng" ( liên kết ) trong JSS năm ngoái về thao tác dữ liệu và đưa dữ liệu vào điều kiện "tối ưu" để thực hiện phân tích. Tuy nhiên, tôi đã tự hỏi những thực …

12 dataset  tables 

Ở đây trong Wikipedia có ghi: Đối với các giá trị đủ lớn của λλλ , (nói λ>1000λ>1000λ>1000 ), phân phối chuẩn với trung bình λλλ và phương sai λλλ (độ lệch chuẩn λ−−√λ\sqrt{\lambda} ), là một xấp xỉ tuyệt vời để phân phối Poisson. Nếuλλλlớn hơn khoảng 10, sau …

12 normal-distribution  poisson-distribution  approximation 

Nền tảng của tôi là khoa học máy tính. Tôi còn khá mới mẻ với các phương pháp lấy mẫu monte carlo và, mặc dù tôi hiểu toán, tôi gặp khó khăn khi đưa ra các ví dụ trực quan để lấy mẫu quan trọng. Chính xác hơn, ai đó …

12 probability  distributions  sampling  importance-sampling 

Tôi muốn hiểu thử nghiệm chính xác của ngư dân tốt hơn, vì vậy tôi đã nghĩ ra ví dụ đồ chơi sau đây, trong đó f và m tương ứng với nam và nữ, và n và y tương ứng với "tiêu thụ soda" như thế này: > soda_gender …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

Đây là nhiều hơn một lịch sử của câu hỏi khoa học, nhưng tôi hy vọng nó là chủ đề ở đây. Tôi đã đọc rằng Thomas Bayes chỉ có thể khám phá định lý của Bayes cho trường hợp đặc biệt của một bộ đồng phục trước đó, và …

12 bayesian  bayes  history 

Tôi sử dụng gói caret để huấn luyện một đối tượng RandomForest với 10x10CV. library(caret) tc <- trainControl("repeatedcv", number=10, repeats=10, classProbs=TRUE, savePred=T) RFFit <- train(Defect ~., data=trainingSet, method="rf", trControl=tc, preProc=c("center", "scale")) Sau đó, tôi kiểm tra RandomForest trên testset (dữ liệu mới) RF.testSet$Prediction <- predict(RFFit, newdata=testSet) Ma trận nhầm lẫn …

12 r  random-forest  prediction  caret 

Nó được thiết lập tốt, ít nhất là trong số các nhà thống kê của một số tầm cỡ cao hơn, rằng các mô hình có giá trị của thống kê AIC trong một ngưỡng nhất định của giá trị tối thiểu phải được coi là phù hợp như mô …

12 time-series  model-selection  aic 

Có ai có ý tưởng về lý do tại sao tương quan có điều kiện giữa 2 biến được gọi là tương quan "một phần" và tương quan đơn giản giữa chúng (vì vậy, khi không dựa trên bất kỳ biến nào khác) được gọi là tương quan "cận biên" …

12 correlation  terminology  marginal  partial-correlation