Thống kê và dữ liệu lớn

Gói âm mưu R ggplot2 có một chức năng tuyệt vời gọi là stat_smooth để vẽ đường hồi quy (hoặc đường cong) với dải tin cậy liên quan. Tuy nhiên, tôi đang gặp khó khăn trong việc tìm ra chính xác cách tạo ra dải tin cậy này, cho mỗi …

15 r  regression  confidence-interval  ggplot2 

Tôi cần "học" phân phối một gaussian bivariate với một vài mẫu, nhưng một giả thuyết tốt về phân phối trước, vì vậy tôi muốn sử dụng phương pháp bayesian. Tôi định nghĩa trước của tôi: P(μ)∼N(μ0,Σ0)P(μ)∼N(μ0,Σ0) \mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0}) μ0=[00] Σ0=[160027]μ0=[00] Σ0=[160027] \mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} …

15 distributions  bayesian  estimation  covariance  posterior 

Tôi có một cơ sở dữ liệu về các sự kiện (tức là một biến số của ngày) và các hiệp phương thức liên quan. Các sự kiện được tạo ra bởi quá trình Poisson không cố định với tham số là một hàm chưa biết (nhưng có thể tuyến …

15 r  poisson-distribution  poisson-process 

Cách tiếp cận phổ biến để ước tính các tham số của phân phối chuẩn là sử dụng giá trị trung bình và độ lệch chuẩn / phương sai mẫu. Tuy nhiên, nếu có một số ngoại lệ, độ lệch trung bình và độ lệch trung bình so với trung …

15 normal-distribution  estimation  outliers  robust  unbiased-estimator 

Tôi đã suy nghĩ về vấn đề này. Hàm logistic thông thường để mô hình hóa dữ liệu nhị phân là: Tuy nhiên là hàm logit, mà là một đường cong hình chữ S, luôn luôn là tốt nhất để mô hình hóa dữ liệu? Có thể bạn có lý …

15 logistic  references  link-function 

Tôi đã bắt gặp sự biến đổi ổn định phương sai trong khi đọc phương pháp Kaggle Essay Eval . Họ sử dụng một phép biến đổi ổn định phương sai để biến đổi các giá trị kappa trước khi lấy giá trị trung bình của chúng và sau đó …

15 variance  mathematical-statistics 

Tôi đang sử dụng gói gbm để phân loại. Như mong đợi, kết quả là tốt. Nhưng tôi đang cố gắng để hiểu đầu ra của phân loại. Có năm điều khoản trong đầu ra. `Iter TrainDeviance ValidDeviance StepSize Improve` Bất cứ ai cũng có thể giải thích ý nghĩa …

15 r  machine-learning 

Những lợi ích của việc chỉ định cấu trúc hiệp phương sai trong GLM (thay vì xử lý tất cả các mục ngoài đường chéo trong ma trận hiệp phương sai là 0) là gì? Ngoài việc phản ánh những gì người ta biết về dữ liệu, nó còn cải …

15 generalized-linear-model  covariance 

MAD = Độ lệch tuyệt đối trung bình MSE = Lỗi bình phương trung bình Tôi đã thấy các đề xuất từ ​​nhiều nơi khác nhau mà MSE được sử dụng mặc dù có một số phẩm chất không mong muốn (ví dụ: http://www.stat.nus.edu.sg/~staxyc/T12.pdf , nói trên p8 "Người ta …

15 forecasting  error  mse  mae 

Một trong những vấn đề tôi luôn gặp phải với các mô hình hỗn hợp là tìm ra trực quan hóa dữ liệu - loại có thể kết thúc trên giấy hoặc áp phích - một khi có kết quả. Ngay bây giờ, tôi đang làm việc trên một mô …

15 r  data-visualization  mixed-model 

Tôi đang cố gắng sử dụng Hồi quy rừng ngẫu nhiên trong scikits-learn. Vấn đề là tôi đang nhận được một lỗi kiểm tra thực sự cao: train MSE, 4.64, test MSE: 252.25. Đây là cách dữ liệu của tôi trông: (màu xanh: dữ liệu thực, màu xanh lá cây: …

15 regression  random-forest  scikit-learn 

Gần đây tôi có một khách hàng đến gặp tôi để thực hiện phân tích bootstrap vì một nhà phê bình của FDA nói rằng hồi quy lỗi trong biến của họ là không hợp lệ vì khi gộp dữ liệu từ các trang web, phân tích bao gồm dữ …

15 regression  errors-in-variables  deming-regression  pooling 

Từ randoness thống kê của Wikipedia : Tính ngẫu nhiên toàn cầu và tính ngẫu nhiên cục bộ là khác nhau. Hầu hết các quan niệm triết học về tính ngẫu nhiên là toàn cầu vì chúng dựa trên ý tưởng rằng "về lâu dài" một chuỗi trông thực sự …

15 mathematical-statistics  random-generation 

Tôi đang tìm kiếm một số ví dụ hay về các tình huống không phù hợp với mô hình với phân phối Poisson, để giúp tôi giải thích phân phối Poisson cho sinh viên. Người ta thường sử dụng số lượng khách hàng đến cửa hàng trong một khoảng thời …

15 poisson-distribution  teaching 

TLDR: Tập dữ liệu của tôi là khá nhỏ (120) mẫu. Trong khi thực hiện xác nhận chéo 10 lần, tôi nên: Thu thập các kết quả đầu ra từ mỗi lần kiểm tra, ghép chúng thành một vectơ và sau đó tính toán sai số trên vectơ đầy đủ …

15 classification  cross-validation  small-sample