Thống kê và dữ liệu lớn

Tôi đang thử xem có nên sử dụng hồi quy sườn , LASSO , hồi quy thành phần chính (PCR) hay Bình phương tối thiểu (PLS) trong tình huống có số lượng lớn biến / tính năng ( ppp ) và số lượng mẫu nhỏ hơn ( n<pn<pn np>10np>10np>10n Các …

15 regression  pca  lasso  ridge-regression  partial-least-squares 

Câu hỏi ban đầu (25/11/14): Liệu trích dẫn này từ các phương tiện truyền thông có ý nghĩa hay không, có cách thống kê nào tốt hơn để xem các tai nạn máy bay gần đây không? Tuy nhiên, Barnett cũng thu hút sự chú ý đến lý thuyết phân …

15 probability  poisson-distribution 

Có ý nghĩa và có thể thực hiện kiểm tra KS một đầu không? Giả thuyết khống về bài kiểm tra như vậy sẽ là gì? Hoặc là xét nghiệm KS vốn đã là một thử nghiệm hai đuôi? Tôi sẽ được hưởng lợi từ một câu trả lời giúp …

15 hypothesis-testing  goodness-of-fit  kolmogorov-smirnov 

Có tồn tại bất kỳ luận điểm tham khảo cho thống kê và thuật ngữ học máy? Tôi biết rằng các bài viết trên Wikipedia thường chứa các từ đồng nghĩa, nhưng tôi muốn có một từ điển đồng nghĩa mà tôi có thể đi qua dễ dàng (so với …

15 machine-learning  terminology 

Tôi có một vấn đề với tính quy tắc của một số dữ liệu tôi có: Tôi đã thực hiện một thử nghiệm Kolmogorov nói rằng nó không bình thường với p = .0000, tôi không hiểu: độ lệch của phân phối của tôi = -. 497 và sự suy …

15 normal-distribution  spss  kolmogorov-smirnov  histogram  qq-plot 

Tôi đang cố gắng thực hiện hồi quy trên dữ liệu không đồng nhất trong đó tôi đang cố gắng dự đoán các phương sai lỗi cũng như các giá trị trung bình theo mô hình tuyến tính. Một cái gì đó như thế này: y(x,t)ξ(x,t)y¯(x,t)σ(x,t)=y¯(x,t)+ξ(x,t),∼N(0,σ(x,t)),=y0+ax+bt,=σ0+cx+dt.y(x,t)=y¯(x,t)+ξ(x,t),ξ(x,t)∼N(0,σ(x,t)),y¯(x,t)=y0+ax+bt,σ(x,t)=σ0+cx+dt.\begin{align}\\ y\left(x,t\right) &= \bar{y}\left(x,t\right)+\xi\left(x,t\right),\\ \xi\left(x,t\right) …

15 regression  spss  variance  residuals  heteroscedasticity 

Tôi có một bộ dữ liệu với vài triệu hàng và ~ 100 cột. Tôi muốn phát hiện khoảng 1% các ví dụ trong bộ dữ liệu, thuộc về một lớp chung. Tôi có một ràng buộc chính xác tối thiểu, nhưng do chi phí rất bất đối xứng, tôi …

15 machine-learning  classification  unbalanced-classes  precision-recall 

Cụ thể, tôi tự hỏi tại sao chúng ta có khái niệm Nhiều R (mà tôi có thể hiểu là mối tương quan giữa điểm số được quan sát và dự đoán trong hồi quy bội), và sau đó là một khái niệm R bình phương riêng biệt chỉ là …

15 multiple-regression 

Tôi đã nghe nói rằng hồi quy sườn có thể được coi là giá trị trung bình của phân phối sau, nếu ưu tiên được chọn đầy đủ. Có phải trực giác rằng các ràng buộc như được đặt trên các hệ số hồi quy theo trước (ví dụ: phân …

15 bayesian  prior  ridge-regression 

Tôi muốn thử sử dụng Support Vector Machines (SVM) trên tập dữ liệu của mình. Trước khi tôi thử vấn đề, tôi đã được cảnh báo rằng các SVM không hoạt động tốt trên dữ liệu cực kỳ mất cân bằng. Trong trường hợp của tôi, tôi có thể có …

15 svm  libsvm  unbalanced-classes 

Tôi đang làm việc trên thước đo tầm quan trọng của tính năng Gini cho rừng ngẫu nhiên. Do đó, tôi cần tính toán giảm Gini trong tạp chất nút. Đây là cách tôi làm như vậy, dẫn đến mâu thuẫn với định nghĩa, cho thấy tôi phải sai ở …

15 feature-selection  random-forest  cart 

Nếu tôi có hệ thống xếp hạng sao, nơi người dùng có thể thể hiện sở thích của họ đối với sản phẩm hoặc vật phẩm, làm thế nào tôi có thể phát hiện thống kê nếu phiếu bầu được "chia" cao. Có nghĩa là, ngay cả khi trung bình …

15 variance  average  dispersion 

Tôi đã thử tính AIC của hồi quy tuyến tính trong R nhưng không sử dụng AIChàm, như thế này: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Tuy nhiên, AICđưa ra một giá trị khác: AIC(lm_mtcars) [1] 190.7999 Ai đó có thể cho tôi biết những gì tôi …

15 r  aic  information-theory 

Vì vậy, trong mô hình văn bản (không được giám sát), Phân bổ Dirichlet tiềm ẩn (LDA) là một phiên bản Bayes của Phân tích ngữ nghĩa tiềm ẩn xác suất (PLSA). Về cơ bản, LDA = PLSA + Dirichlet trước các tham số của nó. Tôi hiểu rằng LDA …

15 bayesian  multinomial  prior  naive-bayes  dirichlet-distribution 

Tôi đã đạt được mối quan hệ tuyến tính mạnh mẽ giữa biến XXX và YYY sau khi chuyển đổi gấp đôi đáp ứng. Mô hình này là Y∼XY∼XY\sim X nhưng tôi chuyển nó đến cải thiệnR2từ 0,19 đến 0,76.YX−−√∼X−−√YX∼X\sqrt{\frac{Y}{X}}\sim \sqrt{X}R2R2R^2 Rõ ràng tôi đã làm một số phẫu thuật …

15 regression  data-transformation  r-squared