Thống kê và dữ liệu lớn

Tôi đang làm việc để phát triển một mô hình dự báo rủi ro bảo hiểm. Các mô hình này là "sự kiện hiếm" như dự đoán hàng không, phát hiện lỗi phần cứng, v.v. Khi tôi chuẩn bị bộ dữ liệu của mình, tôi đã thử áp dụng phân …

11 classification  predictive-models  scikit-learn  poisson-process 

Tôi có 100.000 quan sát (9 biến chỉ số giả) với 1000 dương. Hồi quy logistic sẽ hoạt động tốt trong trường hợp này nhưng xác suất cắt bỏ đánh đố tôi. Trong tài liệu phổ biến, chúng tôi chọn mức cắt 50% để dự đoán 1s và 0. Tôi …

11 regression  logistic  classification  generalized-linear-model  roc 

Tôi đã nghiên cứu thống kê trong hai năm qua. Hầu hết mọi thứ tôi đã học là về thống kê tham số. Bây giờ tôi muốn tìm hiểu thêm về thống kê không tham số. Bất cứ ai có thể đề nghị một số giới thiệu ngắn gọn (có …

11 self-study  nonparametric  references 

Có thể thực hiện một bài kiểm tra quan trọng chỉ dựa trên điểm chính xác / thu hồi / F1 không? Ví dụ: nếu bạn bắt gặp 2 hệ thống trong một bài báo chỉ báo cáo P / R / F1 (trên cùng một tập dữ liệu, v.v.), …

11 statistical-significance  precision-recall 

Tôi có một ma trận lớn (650K hàng * 62 cột) dữ liệu nhị phân (chỉ 0-1 mục). Ma trận chủ yếu là thưa thớt: khoảng 8% được lấp đầy. Tôi muốn phân cụm nó thành 5 nhóm - giả sử được đặt tên từ 1 đến 5. Tôi đã …

11 clustering  dataset  k-means  binary-data 

Tôi dường như không thể tìm thấy một phương pháp chung để phát sinh lỗi tiêu chuẩn ở bất cứ đâu. Tôi đã xem trên google, trang web này và thậm chí trong sách giáo khoa nhưng tất cả những gì tôi có thể tìm thấy là công thức cho …

11 standard-error 

Đã đi qua cuộc thảo luận này, tôi đang đặt ra câu hỏi về các quy ước về khoảng tin cậy được chuyển đổi ngược. Theo bài viết này , phạm vi bảo hiểm danh nghĩa được chuyển đổi trở lại CI cho giá trị trung bình của biến ngẫu …

11 confidence-interval  data-transformation  back-transformation 

Các ước tính tham số công thức cho xiên là gì? Nếu bạn có thể, việc tạo ra thông qua MLE hoặc Mom cũng sẽ rất tuyệt. Cảm ơn Chỉnh sửa . Tôi có một bộ dữ liệu mà tôi có thể nhận biết bằng mắt thường bởi các ô …

11 normal-distribution  maximum-likelihood  skewness  skew-normal 

Tuyên bố miễn trừ trách nhiệm: nếu bạn thấy câu hỏi này quá giống với câu hỏi khác, tôi rất vui khi được hợp nhất. Tuy nhiên, tôi không tìm thấy câu trả lời thỏa đáng ở bất kỳ nơi nào khác (và chưa có "danh tiếng" để bình luận …

11 correlation  statistical-significance  fisher-transform 

Nếu tôi có mô hình hồi quy: trong đó và ,Y=Xβ+εY=Xβ+ε Y = X\beta + \varepsilon V[ε]=Id∈Rn×nV[ε]=Id∈Rn×n\mathbb{V}[\varepsilon] = Id \in \mathcal{R} ^{n \times n}E[ε]=(0,…,0)E[ε]=(0,…,0)\mathbb{E}[\varepsilon]=(0, \ldots , 0) khi nào sử dụng , công cụ ước lượng bình phương nhỏ nhất thông thường của , sẽ là lựa chọn kém cho …

11 regression  distributions  least-squares 

Tôi đang cố gắng tìm ra cách tái tạo trong Python một số công việc tôi đã thực hiện ở SAS. Sử dụng bộ dữ liệu này , trong đó vấn đề đa cộng đồng là một vấn đề, tôi muốn thực hiện phân tích thành phần chính trong Python. …

11 pca  python  scikit-learn 

SurveyMonkey có các bước và biểu đồ để bạn tìm ra cỡ mẫu bạn cần cho một mức sai số hoặc khoảng tin cậy nhất định, dựa trên quy mô dân số của bạn. Cỡ mẫu SurveyMonkey Có phải biểu đồ này chỉ đơn giản bỏ qua thực tế là …

11 confidence-interval  sample-size  survey  sample 

Tôi đang sao chép một ví dụ từ Mô hình tổng quát, tuyến tính và hỗn hợp . MWE của tôi ở bên dưới: Dilution <- c(1/128, 1/64, 1/32, 1/16, 1/8, 1/4, 1/2, 1, 2, 4) NoofPlates <- rep(x=5, times=10) NoPositive <- c(0, 0, 2, 2, 3, 4, 5, 5, …

11 r  logistic  generalized-linear-model  likelihood-ratio  z-test 

Tôi đã chạy PCA trên 17 biến định lượng để có được một bộ biến nhỏ hơn, đó là các thành phần chính, được sử dụng trong học máy có giám sát để phân loại các thể hiện thành hai lớp. Sau PCA, PC1 chiếm 31% phương sai trong dữ …

11 machine-learning  classification  pca  dimensionality-reduction 

Tôi muốn gán các trọng số khác nhau cho các biến trong phân tích cụm của mình, nhưng chương trình của tôi (Stata) dường như không có tùy chọn cho việc này, vì vậy tôi cần phải thực hiện thủ công. Tưởng tượng 4 biến A, B, C, D. Các …

11 clustering  stata