Thống kê và dữ liệu lớn

Gần đây tôi đã bắt tay vào các mô hình hỗn hợp hồi quy phù hợp trong khung Bayes, sử dụng thuật toán MCMC (thực sự có chức năng MCMCglmm trong R). Tôi tin rằng tôi đã hiểu làm thế nào để chẩn đoán sự hội tụ của quá trình …

21 r  bayesian  mixed-model  mcmc  residuals 

Đoạn trích dưới đây là từ Wizzards Market Market Wizzards của Schwager's (tháng 5 năm 2012), một cuộc phỏng vấn với người quản lý quỹ phòng hộ thành công liên tục Jaffray Woodriff: Với câu hỏi: "Một số lỗi tồi tệ nhất mà mọi người mắc phải khi khai thác …

21 data-mining  curve-fitting  out-of-sample 

Tôi đang thực hiện một số nghiên cứu nhưng đã bị mắc kẹt ở giai đoạn phân tích (nên chú ý nhiều hơn đến các bài giảng thống kê của tôi). Tôi đã thu thập hai tín hiệu đồng thời: tốc độ dòng chảy được tích hợp cho âm lượng …

21 r  time-series  signal-processing  measurement 

Tôi thường thấy mình đào tạo một số mô hình dự đoán khác nhau bằng cách sử dụng carettrong R. Tôi sẽ huấn luyện tất cả chúng trên cùng một nếp gấp xác thực chéo caret::: createFolds, sau đó chọn mô hình tốt nhất dựa trên lỗi xác thực chéo. …

21 r  caret  ensemble 

Tôi đã bắt gặp một kịch bản trong đó tôi có 10 tín hiệu / người cho 10 người (vì vậy 100 mẫu) chứa 14000 điểm dữ liệu (kích thước) mà tôi cần chuyển đến bộ phân loại. Tôi muốn giảm tính chiều của dữ liệu này và PCA dường …

21 pca  dimensionality-reduction  svd 

Tôi tự hỏi mối quan hệ chính xác giữa một phần và các hệ số trong mô hình tuyến tính là gì và liệu tôi chỉ nên sử dụng một hoặc cả hai để minh họa tầm quan trọng và ảnh hưởng của các yếu tố.R2R2R^2 Theo như tôi biết, …

21 r  regression  multiple-regression  regression-coefficients  r-squared 

Giả sử bạn đang phân tích một bộ dữ liệu khổng lồ theo giai điệu của hàng tỷ quan sát mỗi ngày, trong đó mỗi quan sát có một vài nghìn biến số và danh mục có thể dư thừa và có thể dư thừa. Giả sử có một vấn …

21 r  machine-learning  data-mining  large-data 

Trong sách giáo khoa của họ, Mô hình đồ họa, Gia đình hàm mũ và Suy luận biến đổi , M. Jordan và M. Wainwright thảo luận về mối liên hệ giữa các gia đình hàm mũ và Trường ngẫu nhiên Markov (mô hình đồ họa vô hướng). Tôi đang …

21 mathematical-statistics  graphical-model 

\newcommand{\P}{\mathbb{P}} Giả sử chúng ta có biến ngẫu nhiên độc lập X_1 , \ ldots , X_n với phương tiện hữu hạn \ mu_1 \ leq \ ldots \ leq \ mu_N và phương sai \ sigma_1 ^ 2 , \ ldots , \ sigma_N ^ 2 . Tôi đang …

21 probability  bounds  maximum 

Tôi đang đọc các slide "Làm phân tích dữ liệu Bayesian" của John Kruschke , nhưng thực sự có một câu hỏi về cách giải thích của ông về các bài kiểm tra t và / hoặc toàn bộ khung kiểm tra ý nghĩa giả thuyết null. Ông lập luận …

21 hypothesis-testing 

Có thể là hai biến ngẫu nhiên có cùng phân phối và chúng gần như chắc chắn khác nhau?

21 distributions  probability 

SPSS sử dụng thử nghiệm Levene để đánh giá tính đồng nhất của phương sai trong quy trình thử nghiệm t nhóm độc lập. Tại sao phép thử Levene tốt hơn tỷ lệ F đơn giản của tỷ lệ phương sai của hai nhóm?

21 hypothesis-testing  anova  variance  t-test  heteroscedasticity 

Tôi đã tự hỏi liệu có ai có bất kỳ cái nhìn sâu sắc hay trực giác nào đằng sau sự khác biệt giữa Biến thể Thông tin và Chỉ số Rand để so sánh các cụm. Tôi đã đọc bài báo " So sánh các cụm - Khoảng cách …

21 machine-learning  clustering  metric 

Một hạn chế của các thuật toán mạng thần kinh tiêu chuẩn (như backprop) là bạn phải đưa ra quyết định thiết kế về số lượng lớp ẩn và nơ-ron mỗi lớp mà bạn muốn. Thông thường, tỷ lệ học tập và khái quát hóa rất nhạy cảm với những …

21 neural-networks 

Tôi vừa được giới thiệu (mơ hồ) về hiệp phương sai / khoảng cách / tương quan . Nó có vẻ đặc biệt hữu ích trong nhiều tình huống phi tuyến tính, khi kiểm tra sự phụ thuộc. Nhưng nó dường như không được sử dụng rất thường xuyên, mặc …

21 correlation  covariance  distance-covariance