Thống kê và dữ liệu lớn

Vấn đề Tôi muốn phù hợp với các tham số mô hình của quần thể hỗn hợp 2 Gauss đơn giản. Với tất cả sự cường điệu xung quanh các phương pháp Bayes tôi muốn hiểu nếu đối với vấn đề này, suy luận Bayes là một công cụ tốt …

10 bayesian  gaussian-mixture  frequentist  pymc  method-comparison 

Tôi có mô hình sau m_plotđược trang bị lme4::lmercác hiệu ứng ngẫu nhiên chéo cho người tham gia ( lfdn) và vật phẩm ( content): Random effects: Groups Name Variance Std.Dev. Corr lfdn (Intercept) 172.173 13.121 role1 62.351 7.896 0.03 inference1 24.640 4.964 0.08 -0.30 inference2 52.366 7.236 -0.05 0.17 …

10 mixed-model  lme4-nlme  intraclass-correlation 

Tôi đã nghe một câu chuyện gần đây trong đó có người nói rằng nếu họ muốn giết ai đó (và tránh xa nó) thì họ sẽ làm điều đó với chiếc xe của họ. Họ đã trích dẫn nhiều số liệu thống kê khác nhau về số người chết …

10 statistical-significance 

Giả sử tôi có cỡ mẫu nhỏ, ví dụ N = 100 và hai lớp. Tôi nên chọn kích cỡ tập huấn, xác thực chéo và tập kiểm tra cho máy học như thế nào? Tôi sẽ chọn trực giác Tập kích thước tập là 50 Xác thực chéo đặt …

10 machine-learning  sampling  svm  cross-validation  sample-size 

Tôi đã đọc một số tài liệu rằng các khu rừng ngẫu nhiên không thể phù hợp. Trong khi điều này nghe có vẻ tuyệt vời, nó có vẻ quá tốt là đúng. Có thể cho rf của overfit?

10 random-forest  overfitting 

Vì vậy, nếu Thống kê Chi bình phương của Pearson được đưa ra cho bảng , thì hình thức của nó là:1 × N1×N1 \times N Σi = 1n( ÔTôi- ETôi)2ETôi∑i=1n(Oi−Ei)2Ei\sum_{i=1}^n\frac{(O_i - E_i)^2}{E_i} Sau đó, giá trị này xấp xỉ , Phân phối Chi bình phương với n - 1 …

10 chi-squared  asymptotics 

Tất cả các tài liệu Mô hình hóa phân bố loài cho thấy rằng khi dự đoán sự hiện diện / vắng mặt của một loài bằng cách sử dụng một mô hình đưa ra xác suất (ví dụ RandomForests), việc lựa chọn ngưỡng xác định theo đó thực sự …

10 r  classification  random-forest  threshold 

Tôi đã viết một hàm đơn giản trong Python để tính giá trị trung bình theo cấp số nhân: def test(): x = [1,2,3,4,5] alpha = 0.98 s_old = x[0] for i in range(1, len(x)): s = alpha * x[i] + (1- alpha) * s_old s_old = s return s …

10 standard-deviation  python  exponential-smoothing 

Giả sử chúng ta có một mẫu ngẫu nhiên từ một phân phối chuẩn bivariate có số không là phương tiện và là phương sai, vì vậy tham số chưa biết duy nhất là hiệp phương sai. MLE của hiệp phương sai là gì? Tôi biết nó phải giống như …

10 normal-distribution  mathematical-statistics  maximum-likelihood  bivariate 

Khi tiến hành phân tích can thiệp với dữ liệu chuỗi thời gian (còn gọi là chuỗi Thời gian bị gián đoạn) như đã thảo luận ở đây, ví dụ, một yêu cầu tôi có là ước tính tổng mức tăng (hoặc mất) do can thiệp - tức là số …

10 regression  time-series  intervention-analysis  dynamic-regression 

Tôi hiểu rằng nếu tôi có hai mô hình A và B và A được lồng trong B thì, với một số dữ liệu, tôi có thể điều chỉnh các tham số của A và B bằng MLE và áp dụng thử nghiệm tỷ lệ khả năng nhật ký tổng …

10 maximum-likelihood  model-selection  likelihood-ratio 

Đóng gói là quá trình tạo N người học trên N mẫu bootstrap khác nhau, sau đó lấy ý nghĩa dự đoán của họ. Câu hỏi của tôi là: Tại sao không sử dụng bất kỳ loại lấy mẫu nào khác? Tại sao nên sử dụng mẫu bootstrap?

10 bagging 

Tôi gặp khó khăn khi hiểu cách thức varImphoạt động của mô hình RandomForest với caretgói. Trong ví dụ dưới đây, tính năng var3 có mức độ quan trọng bằng 0 khi sử dụng varImpchức năng của caret , nhưng mô hình cuối cùng RandomForest cơ bản có tầm quan …

10 r  caret  random-forest 

Tôi đã giám sát vấn đề học tập trong đó mục tiêu là góc. Nếu tôi thực hiện hồi quy đơn giản thì các số 360 và 1 sẽ ở rất xa đối với mô hình của tôi, nhưng thực tế chúng rất gần và dự đoán tọa độ x …

10 regression  circular-statistics 

Tôi đã suy nghĩ lại về một câu trả lời tôi đã đưa ra cho một câu hỏi vài tuần trước Xác thực chéo giữ lại tạo ra một bộ thử nghiệm duy nhất có thể được sử dụng nhiều lần để trình diễn. Tất cả chúng ta dường như …

10 cross-validation