Thống kê và dữ liệu lớn

Tôi sử dụng phân tách Cholesky để mô phỏng các biến ngẫu nhiên tương quan được đưa ra một ma trận tương quan. Điều này là, kết quả không bao giờ tái tạo cấu trúc tương quan như nó được đưa ra. Dưới đây là một ví dụ nhỏ trong …

19 correlation  random-generation  cholesky 

Tôi đang cố gắng để có được sự hiểu biết trực quan về cách phân tích thành phần chính (PCA) hoạt động trong không gian chủ đề (kép) . Xem xét tập dữ liệu 2D có hai biến, và và điểm dữ liệu (ma trận dữ liệu là và được …

19 pca  linear-algebra  intuition  geometry 

Sau đây là sơ đồ của glmnet với alpha mặc định (1, do đó là lasso) sử dụng mtcarsdữ liệu được đặt trong R với mpgDV và các biến khác làm biến dự đoán. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Những gì chúng ta có thể kết luận từ cốt truyện này liên quan …

19 regression  feature-selection  lasso  glmnet 

Rõ ràng hệ số tương quan của Pearson là tham số và rho của Spearman là không tham số. Tôi đang gặp khó khăn để hiểu điều này. Theo tôi hiểu thì Pearson được tính là và Spearman được tính theo cùng một cách, ngoại trừ chúng tôi thay thế …

19 nonparametric  pearson-r  parametric  spearman-rho 

Sự hiểu biết của tôi về t-SNE và xấp xỉ Barnes-Hut là tất cả các điểm dữ liệu được yêu cầu để tất cả các tương tác lực có thể được tính toán cùng một lúc và mỗi điểm có thể được điều chỉnh trong bản đồ 2d (hoặc chiều …

19 data-visualization  dimensionality-reduction  multidimensional-scaling  tsne 

Tôi đã đọc bài báo tuyệt vời này của David Colquhoun: Một cuộc điều tra về tỷ lệ phát hiện sai và giải thích sai về giá trị p (2014). Về bản chất, ông giải thích tại sao tỷ lệ phát hiện sai (FDR) có thể lên tới mặc dù …

19 hypothesis-testing  statistical-significance  p-value  multiple-comparisons  false-discovery-rate 

Trong sách giáo khoa và các bài giảng trên youtube, tôi đã học được rất nhiều về các mô hình lặp như tăng tốc, nhưng tôi chưa bao giờ thấy bất cứ điều gì về việc tạo ra một khoảng dự đoán. Xác nhận chéo được sử dụng cho các …

19 cross-validation  boosting  prediction-interval 

RNN có thể được sử dụng để dự đoán hoặc trình tự ánh xạ trình tự. Nhưng làm thế nào RNN có thể được sử dụng để phân loại? Ý tôi là, chúng tôi đưa ra một chuỗi toàn bộ một nhãn.

19 machine-learning  neural-networks  rnn 

Nếu chúng ta có 2 biến ngẫu nhiên bình thường, không tương quan X1,X2X1,X2X_1, X_2 thì chúng ta có thể tạo 2 biến ngẫu nhiên tương quan với công thức Y=ρX1+1−ρ2−−−−−√X2Y=ρX1+1−ρ2X2Y=\rho X_1+ \sqrt{1-\rho^2} X_2 và sau đó YYY sẽ có một tương quan ρρ\rho với X1X1X_1 . Ai đó có …

19 correlation  normal-distribution  covariance 

Tôi đang thực sự quan tâm đến thủ tục mạng đàn hồi cho sự co ngót / lựa chọn dự đoán. Có vẻ như rất mạnh mẽ. Nhưng từ quan điểm khoa học, tôi không biết phải làm gì một khi đã có hệ số. Tôi đang trả lời câu …

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

Một số định lý có thể giải thích (nghĩa là nói chung) tại sao dữ liệu trong thế giới thực có thể được dự kiến ​​sẽ được phân phối bình thường? Có hai cái mà tôi biết: Định lý giới hạn trung tâm (tất nhiên), cho chúng ta biết rằng …

19 normal-distribution  central-limit-theorem 

Ngoại trừ thực tế là lợi nhuận có thể âm trong khi giá phải dương, có lý do nào khác đằng sau việc mô hình hóa giá cổ phiếu như một bản phân phối bình thường nhưng mô hình trả lại cổ phiếu như một bản phân phối bình thường …

19 normal-distribution  lognormal  finance 

Xem xét các dữ liệu sau từ hai chiều trong thiết kế chủ đề: df <- "http://personality-project.org/r/datasets/R.appendix4.data" df <- read.table(df,header=T) head(df) Observation Subject Task Valence Recall 1 1 Jim Free Neg 8 2 2 Jim Free Neu 9 3 3 Jim Free Pos 5 4 4 Jim Cued Neg 7 …

19 mixed-model  repeated-measures  model-selection  lme4-nlme  likelihood-ratio 

Chúng tôi thường được giới thiệu phương pháp ước tính khoảnh khắc bằng cách "đánh đồng khoảnh khắc dân số với đối tác mẫu của họ" cho đến khi chúng tôi ước tính tất cả các tham số của dân số; do đó, trong trường hợp phân phối bình thường, …

19 mathematical-statistics  lognormal  moments  method-of-moments 

Đối với phân phối không theo phương thức, nếu mean = trung vị thì có đủ để nói rằng phân phối là đối xứng không? Wikipedia nói trong mối quan hệ giữa trung bình và trung bình: "Nếu phân phối đối xứng thì giá trị trung bình bằng trung bình …

19 distributions  mean  median  symmetry