Thống kê và dữ liệu lớn

Tôi biết rằng cả lựa chọn tính năng và giảm kích thước đều hướng tới việc giảm số lượng tính năng trong bộ tính năng ban đầu. Sự khác biệt chính xác giữa hai là gì nếu chúng ta đang làm điều tương tự ở cả hai?

13 machine-learning  pca  feature-selection  dimensionality-reduction 

Trong mô hình , chúng tôi có thể ước tính bằng phương trình bình thường.y=Xβ+ϵy=Xβ+ϵ{y} = X \beta + \epsilonββ\beta y =X β .β^=(X′X)−1X′y,β^=(X′X)−1X′y,\hat{\beta} = (X'X)^{-1}X'y, và chúng tôi có thể nhận đượcy^=Xβ^.y^=Xβ^.\hat{y} = X \hat{\beta}. Vectơ của phần dư được ước tính bởi ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,\hat{\epsilon} = y - X \hat{\beta} …

13 regression  least-squares  inference 

Tôi đang làm việc trong một dự án nhỏ nơi chúng tôi đang cố gắng dự đoán giá cả hàng hóa (Dầu, Nhôm, Tin, v.v.) trong 6 tháng tới. Tôi có 12 biến như vậy để dự đoán và tôi có dữ liệu từ tháng 4 năm 2008 - tháng …

13 r  time-series  forecasting  neural-networks  arima 

Tôi có thể sử dụng các ô hình hộp và râu cũng để phân phối đa phương thức hay chỉ để phân phối không theo phương thức?

13 distributions  data-visualization  boxplot 

Trong khi thực hiện hồi quy nếu chúng ta đi theo định nghĩa từ: Sự khác biệt giữa khả năng một phần, khả năng hồ sơ và khả năng cận biên là gì? rằng, Khả năng tối đa Tìm β và tối đa hóa dữ liệu L (β, |). Trong …

13 regression  maximum-likelihood 

Nói, phụ thuộc vào α . Nói một cách nghiêm túc,XXXαα\alpha nếu và α đều là hai biến ngẫu nhiên, chúng ta có thể viết p ( X ∣ α ) ;XXXαα\alphap ( X∣ a )p(X|α)p(X\mid\alpha) tuy nhiên, nếu là biến ngẫu nhiên và α là tham số, chúng ta …

13 machine-learning  terminology 

Tôi đang tìm cách kiểm tra sự hợp nhất giữa hai chuỗi thời gian. Cả hai loạt có dữ liệu hàng tuần kéo dài ~ 3 năm. Tôi đang cố gắng thực hiện Phương pháp hai bước Engle-Granger. Thứ tự hoạt động của tôi sau đây. Kiểm tra từng chuỗi …

13 time-series  cointegration  unit-root  augmented-dickey-fuller 

(Mặc dù tôi nhận thấy điều này không nghiêm túc về thống kê, nhưng đó là về việc phổ biến số liệu thống kê trong môi trường kinh doanh nên tôi đã cho rằng nó vẫn nằm trong phạm vi chủ đề của CV) Một chút nền tảng: Môi trường …

13 business-intelligence  consulting 

Điều nổi tiếng là hiệu quả tương đối tiệm cận (IS) của bài kiểm tra xếp hạng có chữ ký của Wilcoxon là so với t- test của Student , nếu dữ liệu được rút ra từ dân số phân phối bình thường. Điều này đúng cho cả thử nghiệm …

13 nonparametric  wilcoxon-mann-whitney  asymptotics  efficiency  wilcoxon-signed-rank 

Theo Fritz, Morris và Richler (2011; xem bên dưới), có thể được tính là kích thước hiệu ứng cho phép thử Mann-Whitney U bằng cách sử dụng công thức Điều này thuận tiện cho tôi, như tôi báo cáo cũng vào những dịp khác Tôi muốn báo cáo khoảng tin …

13 confidence-interval  effect-size  wilcoxon-mann-whitney  spearman-rho 

Tôi muốn làm một bài kiểm tra W của Shapiro Wilk và bài kiểm tra Kolmogorov-Smirnov trên phần dư của mô hình tuyến tính để kiểm tra tính chuẩn. Tôi chỉ tự hỏi những gì còn lại nên được sử dụng cho điều này - phần dư thô, phần dư …

13 r  regression  residuals  normality-assumption  lm 

Làm thế nào để tôi giảm thời gian chuỗi? Có ổn không khi chỉ cần lấy sự khác biệt đầu tiên và chạy thử nghiệm Dickey Fuller, và nếu nó đứng yên, chúng tôi có tốt không? Tôi cũng tìm thấy trên mạng rằng tôi có thể làm mất chuỗi …

13 regression  time-series  stata  stationarity 

Khoảng 600 sinh viên có điểm trên một bản đánh giá sâu rộng, có thể được coi là có độ tin cậy / giá trị tốt. Đánh giá được chấm điểm trong số 100 và đây là bài kiểm tra trắc nghiệm được đánh dấu bằng máy tính. 600 học …

13 agreement-statistics 

Tôi đã học được trong các số liệu thống kê cơ bản rằng, với một mô hình tuyến tính tổng quát, để các suy luận có giá trị, các quan sát phải độc lập. Khi phân cụm xảy ra, tính độc lập có thể không còn dẫn đến suy luận …

13 r  mixed-model  inference  independence 

Tôi đã thu được một mô hình hồi quy logistic (thông qua train) cho một phản ứng nhị phân, và tôi đã thu được ma trận nhầm lẫn logistic qua confusionMatrixtrong caret. Nó cho tôi ma trận nhầm lẫn mô hình logistic, mặc dù tôi không chắc ngưỡng nào đang …

13 r  classification  roc  caret  confusion-matrix