Thống kê và dữ liệu lớn

Tôi còn khá mới đối với nhận dạng chữ số và tôi đã nhận thấy rằng nhiều hướng dẫn sử dụng phân loại SVM, ví dụ: http://hanzratech.in/2015/02/24/handwritten-digit-recognition-USE-opencv-sklearn-and-python.html http://scikit-learn.org/ sóng / auto_examples / classifying /pl_d_ds_groupification.html Tôi muốn biết nếu có bất kỳ lợi ích (tên miền cụ thể) nào cho công …

8 svm  deep-learning  k-means  pattern-recognition  image-processing 

Tôi đã gặp phải vấn đề này một vài lần bây giờ, với các nhà đánh giá yêu cầu biện minh nhiều hơn cho việc sử dụng LMM, các thử nghiệm truyền thống thay vì hoặc ngoài LMM và các bảng tham số đầy đủ ước tính gần giống với …

8 mixed-model  lme4-nlme  reporting 

BBC đã phân tích thêm dữ liệu trưng cầu dân ý về Brexit; biểu đồ đầu tiên trong bài viết của họ khiến tôi chú ý: Có vẻ lạ khi chia trục x ở mức 50%. Chắc chắn điều này nên được phân chia ở vị trí trung bình của …

8 data-visualization  statistics-in-media 

Tôi hơi bối rối về công thức tính hiệp phương sai trong quy trình Gaussian (việc thêm phương sai luôn làm tôi bối rối vì nó không phải lúc nào cũng được ký hiệu rõ ràng). Nguồn gốc của sự nhầm lẫn là các công thức được đưa ra trong …

8 machine-learning  covariance  covariance-matrix  kernel-trick  gaussian-process 

Tôi khá bối rối về cách tôi có thể tính toán các giá trị AP hoặc mAP vì dường như có khá nhiều phương pháp khác nhau. Tôi đặc biệt muốn nhận các giá trị AP / mAP để phát hiện đối tượng. Tất cả những gì tôi biết chắc …

8 machine-learning  precision-recall  model-evaluation  average-precision  object-detection 

Theo trang Wikipedia giá trị p : Khi giá trị p được tính toán chính xác, thử nghiệm này đảm bảo tỷ lệ lỗi Loại I nhiều nhất là .αα\alpha Tuy nhiên, tiếp tục xuống trang công thức này được đưa ra: Pr(RejectH|H)=Pr(p≤α|H)=αPr(RejectH|H)=Pr(p≤α|H)=α\Pr(\mathrm{Reject}\; H|H) = \Pr(p \leq \alpha|H) = \alpha …

8 hypothesis-testing  p-value  type-i-and-ii-errors 

Khi thực hiện phân tích dữ liệu thăm dò, tôi sẽ thường in ra các biểu đồ và viết ra các bình luận / chú thích, v.v. Mọi người có đề xuất cho một phương pháp điện tử tốt hơn? Tôi đặc biệt quan tâm đến python / R. Tôi …

8 data-visualization  eda  project-management 

Các chuyên gia! Có lẽ, bạn biết cách tính khoảng tin cậy cho xgboost? Công thức cổ điển với phân phối t không thể giúp đỡ, vì dữ liệu của tôi thường không được phân phối. Hay không quan trọng? Nếu bạn sẽ đề xuất một số tài liệu, nó …

8 confidence-interval  xgboost 

Tôi muốn ước tính khoảng tin cậy cho độ lệch chuẩn cho một số dữ liệu. Mã R trông như sau: library(boot) sd_boot <- function (x, ind) { res <- sd(x$ReadyChange[ind], na.rm = TRUE) return(res) } data_boot <- boot::boot(data, statistic = sd_boot, R = 10000) plot(data_boot) Và tôi đã có …

8 r  confidence-interval  standard-deviation  bootstrap 

Tôi đã thực hiện Lasso và sau đó xác nhận chéo một lần cv<-cv.glmnet(df, df$Price, nfolds = 1500) Khi tôi vẽ cv tôi nhận được như sau: Tôi cũng nhận thấy rằng tôi nhận được 2 lambdas khác nhau: lambda.minvàlambda.1se Sự khác biệt giữa những lambdas là gì? Tôi có …

8 r  cross-validation  interpretation  lasso 

Nói chung, nếu chúng ta có một tập dữ liệu lớn, chúng ta có thể chia nó thành (1) đào tạo, (2) xác nhận và (3) kiểm tra. Chúng tôi sử dụng xác nhận để xác định các siêu âm tốt nhất trong xác thực chéo (ví dụ: C trong …

8 machine-learning  cross-validation  scikit-learn  hyperparameter  optimization 

Tôi đã thấy bằng chứng sau đây cho thử nghiệm Wald của giả thuyết null cho tham số vô hướng . Khi là MLE cho ước tính từ một mẫu độc lập có kích thước n , theo giả thuyết null, chúng ta có \ sqrt {n} \ left (\ …

8 hypothesis-testing  maximum-likelihood 

Mới học thống kê và học máy và tham gia một số khóa học trực tuyến. Tôi đang cố gắng để hiểu hồi quy logistic chi tiết hơn, và nhận thấy sự khác biệt trong công thức giữa khóa học Andrew Ng và khóa học thống kê Stanford. Dưới đây …

8 regression  machine-learning  logistic 

Tôi hiểu rằng cảm biến nén tìm thấy giải pháp ít nhất cho trong đó , và , .x ∈ R D Một ∈ R k × D y ∈ R k k &lt; &lt; Dy=Axy=Axy = Axx∈RDx∈RDx \in \mathbb{R}^DA∈Rk×DA∈Rk×DA \in \mathbb{R}^{k \times D}y∈Rky∈Rky \in \mathbb{R}^{k}k&lt;&lt;Dk&lt;&lt;Dk << D Bằng cách …

8 lasso  sparse 

Hãy bắt đầu giả sử rằng tôi có dữ liệu cắt ngang trên , , (xem bên dưới để biết , , ).x 1 x 2 y x 1 x 2yyyx1x1x_1x2x2x_2yyyx1x1x_1x2x2x_2 Tôi muốn ước tính tác động của các biến và và sự tương tác của chúng ( ) đối …

8 econometrics  bootstrap  instrumental-variables  resampling  errors-in-variables