Thống kê và dữ liệu lớn

Phương pháp lấy mẫu thích hợp nhất để đánh giá hiệu suất của bộ phân loại trên một tập dữ liệu cụ thể và so sánh nó với các bộ phân loại khác là gì? Xác thực chéo có vẻ là thông lệ tiêu chuẩn, nhưng tôi đã đọc rằng …

24 machine-learning  classification  predictive-models  cross-validation  bootstrap 

Câu hỏi này đã được di chuyển từ Trao đổi ngăn xếp toán học vì nó có thể được trả lời trên Xác thực chéo. Di cư 6 năm trước . Tôi đã nghiên cứu mô hình Nguy cơ theo tỷ lệ Cox và câu hỏi này được đưa ra …

24 survival  cox-model 

Tôi có các giá trị cho True Positive (TP)và False Negative (FN)như sau: TP = 0.25 FN = 0.75 Từ những giá trị đó, chúng ta có thể tính toán False Positive (FP)và True Negative (TN)?

24 roc  confusion-matrix  sensitivity-specificity 

Vì vậy, tôi nghĩ rằng tôi đã nắm bắt được những điều cơ bản về xác suất và phân tích thống kê thường xuyên (và nó có thể được sử dụng tệ đến mức nào). Trong một thế giới thường xuyên, thật hợp lý khi đặt một câu hỏi như …

24 distributions  bayesian 

Có một phương pháp phổ biến được sử dụng để xác định có bao nhiêu mẫu đào tạo được yêu cầu để đào tạo một bộ phân loại (LDA trong trường hợp này) để có được độ chính xác tổng quát hóa ngưỡng tối thiểu? Tôi đang hỏi bởi vì …

24 classification 

Tôi có một bảng cơ sở dữ liệu chuyển dữ liệu giữa các nút khác nhau. Đây là một cơ sở dữ liệu khổng lồ (với gần 40 triệu lượt chuyển). Một trong những thuộc tính là số lượng byte (nbyte) chuyển từ 0 byte đến 2 tera byte. Tôi …

24 clustering  k-means 

Vấn đề Trong hồi quy, người ta thường tính sai số bình phương trung bình (MSE) cho một mẫu: MSE=1n∑i=1n(g(xi)−gˆ(xi))2MSE=1n∑i=1n(g(xi)−g^(xi))2 \text{MSE} = \frac{1}{n} \sum_{i=1}^n\left(g(x_i) - \widehat{g}(x_i)\right)^2 để đo lường chất lượng của một yếu tố dự báo. Ngay bây giờ tôi đang làm việc với một vấn đề hồi quy …

24 regression  error  loss-functions 

Tôi có 17 năm (1995 đến 2011) dữ liệu giấy chứng tử liên quan đến cái chết tự tử cho một tiểu bang ở Mỹ Có rất nhiều huyền thoại về những vụ tự tử và những tháng / mùa, phần lớn là mâu thuẫn và về tài liệu tôi …

24 r  chi-squared  arima  count-data  seasonality 

Tôi có một bộ dữ liệu quan sát mẫu, được lưu trữ dưới dạng đếm trong các thùng phạm vi. ví dụ: min/max count 40/44 1 45/49 2 50/54 3 55/59 4 70/74 1 Bây giờ, việc tìm kiếm một ước tính trung bình từ điều này là khá dễ …

24 variance  standard-deviation  weighted-sampling 

Tôi đã đọc rằng t -test là "hợp lý mạnh mẽ" khi phân phối của các mẫu khởi hành từ tính quy tắc. Tất nhiên, đó là phân phối mẫu của những khác biệt quan trọng. Tôi có dữ liệu cho hai nhóm. Một trong các nhóm bị sai lệch …

24 t-test  assumptions  normality-assumption  robust 

Trong phân tích hồi quy tuyến tính, chúng tôi phân tích các ngoại lệ, điều tra tính đa hình, kiểm tra độ không đồng nhất. Câu hỏi là: Có bất kỳ thứ tự để áp dụng những? Ý tôi là, trước tiên chúng ta phải phân tích các ngoại lệ, …

24 regression  multiple-regression  outliers 

Nếu xấp xỉ tuyến tính tốt nhất (sử dụng bình phương tối thiểu) của các điểm dữ liệu của tôi là dòng , làm thế nào tôi có thể tính được lỗi xấp xỉ? Nếu tôi tính độ lệch chuẩn của sự khác biệt giữa các quan sát và dự …

24 regression  normal-distribution  least-squares  prediction-interval 

Trên thực tế, tôi muốn hỏi bạn làm thế nào tôi có thể xác định điều kiện kết thúc cho việc giảm độ dốc. Tôi có thể dừng nó dựa trên số lần lặp, tức là xem xét các giá trị tham số cho 100 lần lặp không? Hoặc tôi …

24 algorithms  optimization  gradient-descent 

Vì vậy, tôi đã được hỏi một câu hỏi về các biện pháp trung tâm L1 (tức là lasso) và L2 (nghĩa là hồi quy sườn núi) ước tính. Câu trả lời là L1 = trung vị và L2 = trung bình. Có bất kỳ loại lý luận trực quan …

24 lasso  regularization  loss-functions  ridge-regression 

Tôi có hai biến: Tên thuốc (DN) và Sự kiện bất lợi (AE) tương ứng, đứng trong mối quan hệ nhiều-nhiều. Có 33.556 tên thuốc và 9.516 tác dụng phụ. Cỡ mẫu là khoảng 5,8 triệu quan sát. Tôi muốn nghiên cứu và hiểu mối liên hệ / mối quan …

24 r  categorical-data  data-visualization  large-data  association-measure