Thống kê và dữ liệu lớn

Câu hỏi chính của tôi là liên quan đến việc cố gắng hiểu làm thế nào xác thực chéo k phù hợp trong bối cảnh có các bộ đào tạo / xác nhận / kiểm tra (nếu nó phù hợp với tất cả trong bối cảnh như vậy). Thông thường, …

14 cross-validation  dataset  overfitting 

Theo hiểu biết của tôi (rất cơ bản), Naive Bayes ước tính xác suất dựa trên tần số lớp của từng tính năng trong dữ liệu đào tạo. Nhưng làm thế nào để tính toán tần số của các biến liên tục? Và khi thực hiện dự đoán, làm thế …

14 machine-learning  classification  bayesian  naive-bayes 

Tensorflow có một ví dụ hướng dẫn về phân loại CIFAR-10 . Trong hướng dẫn, tổn thất entropy chéo trung bình trên toàn lô được giảm thiểu. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from inference(). labels: …

14 neural-networks  loss-functions  tensorflow 

Tôi đang thử tăng cường độ dốc trên tập dữ liệu với tỷ lệ sự kiện khoảng 1% bằng cách sử dụng Công cụ khai thác doanh nghiệp, nhưng không thể tạo ra bất kỳ đầu ra nào. Câu hỏi của tôi là, vì nó là một cách tiếp cận …

14 boosting  unbalanced-classes  rare-events  gradient 

Trong một số hướng dẫn, tôi thấy rằng khởi tạo trọng lượng "Xavier" (bài báo: Hiểu về khó khăn trong việc đào tạo mạng lưới thần kinh tiếp liệu sâu ) là một cách hiệu quả để khởi tạo trọng số của mạng lưới thần kinh. Đối với các lớp …

14 normal-distribution  variance  neural-networks  conv-neural-network 

Tại sao khu vực dưới đường cong ROC có xác suất phân loại sẽ xếp hạng một trường hợp "dương" được chọn ngẫu nhiên (từ các dự đoán được truy xuất) cao hơn so với "dương" được chọn ngẫu nhiên (từ lớp dương ban đầu)? Làm thế nào để chứng …

14 probability  roc  auc 

Tôi biết rằng Phân kỳ KL không đối xứng và nó không thể được coi là một số liệu nghiêm ngặt. Nếu vậy, tại sao nó được sử dụng khi Phân kỳ JS thỏa mãn các thuộc tính cần thiết cho một số liệu? Có kịch bản nào có thể …

14 probability  distributions  kullback-leibler  metric 

Tôi đã đọc về thủ thuật log-sum-exp ở nhiều nơi (ví dụ ở đây và ở đây ) nhưng chưa bao giờ thấy một ví dụ về cách nó được áp dụng cụ thể cho trình phân loại Naive Bayes (ví dụ: với các tính năng riêng biệt và hai …

14 naive-bayes  underflow 

Tôi đã sử dụng một lớp SVM , được triển khai trong scikit-learn, cho công việc nghiên cứu của tôi. Nhưng tôi không có hiểu biết tốt về điều này. Bất cứ ai có thể xin vui lòng giải thích đơn giản, tốt về một lớp SVM ?

14 machine-learning  svm  data-mining  novelty-detection 

Tôi đang cố gắng nắm bắt khái niệm về sự quá mức trong hồi quy logistic. Tôi đã đọc rằng sự quá mức là khi quan sát được phương sai của biến phản ứng lớn hơn mong đợi từ phân phối nhị thức. Nhưng nếu một biến nhị thức chỉ …

14 logistic  variance  binomial  mean  overdispersion 

Tôi có một vectơ số mà tôi đã tải lên ở đây (... / code / MyData.Rdata) bằng cách sử dụng dput. Tôi muốn lấy bca ci vì vậy tôi đã viết mã này: my.mean <- function(dat, idx){ return (mean(dat[idx], na.rm = TRUE)) } boot.out<-boot(data=my.data, statistic = my.mean, R=1000) Nhưng …

14 r  bootstrap 

Phiên bản ngắn: Phương pháp tính toán hiệu quả nhất để ước tính chế độ của tập dữ liệu đa chiều, được lấy mẫu từ phân phối liên tục là gì? Phiên bản dài: Tôi đã có một bộ dữ liệu mà tôi cần để ước tính chế độ. Chế …

14 estimation  multivariate-analysis  continuous-data  mode 

Dựa trên một mẫu của lần sống sót, tôi muốn ước tính xác suất sống sót của thời gian , đối với một số cụ thể , sử dụng công cụ ước tính Kaplan-Meier. Có thể làm điều này trong ? Xin vui lòng, lưu ý rằng không nhất thiết …

14 r  kaplan-meier 

Giả sử tôi có một biến phân loại có thể lấy các giá trị A, B, C và D. Làm cách nào tôi có thể tạo 10000 điểm dữ liệu ngẫu nhiên và kiểm soát tần số của từng điểm? Ví dụ: A = 10% B = 20% C = …

14 random-variable 

Tôi có một loạt các giá trị dữ liệu thô là số tiền và tôi muốn tìm khoảng tin cậy cho phần trăm dữ liệu đó. Có một công thức cho một khoảng tin cậy như vậy?

14 confidence-interval  quantiles  tolerance-interval