Thống kê và dữ liệu lớn

Trong phát sinh gen, cây phát sinh gen thường được xây dựng bằng phân tích MLE hoặc Bayes. Thông thường, một căn hộ trước được sử dụng trong ước tính Bayes. Theo tôi hiểu, ước tính Bayes là ước tính khả năng kết hợp trước. Câu hỏi của tôi là, …

9 bayesian  confidence-interval  maximum-likelihood  likelihood  phylogeny 

Tôi có một bộ dữ liệu ba chiều và tôi đang cố gắng sử dụng phân tích Yếu tố ngoại lệ cục bộ để xác định các giá trị độc nhất hoặc lạ nhất. Làm thế nào để một người quyết định giá trị k để sử dụng trong phân …

9 data-mining  outliers 

Tôi có một bộ dữ liệu với tất cả các cuộc gọi được thực hiện cho một dịch vụ khẩn cấp và thời gian phản hồi của bộ phận cứu thương. Họ thừa nhận rằng có một số sai lầm với thời gian phản hồi vì có những trường hợp …

9 mean  outliers  median  trimmed-mean 

Mục tiêu của tôi là phân tích nhật ký mạng (ví dụ: Apache, syslog, kiểm toán bảo mật Active Directory, v.v.) bằng cách sử dụng phát hiện phân cụm / dị thường cho mục đích phát hiện xâm nhập. Từ nhật ký, tôi có rất nhiều trường văn bản như …

9 feature-selection  outliers  unsupervised-learning  feature-construction 

Tôi chưa bao giờ có một khóa học thống kê chính thức nhưng do nghiên cứu của tôi, tôi liên tục gặp các bài báo áp dụng một số khái niệm thống kê. Thông thường tôi sẽ thấy một mô tả về một quy trình Monte Carlo được áp dụng …

9 monte-carlo  random-generation 

Tôi đang cố gắng giúp đỡ một sinh viên của một đồng nghiệp. Học sinh quan sát và đếm hành vi của chim (số lượng cuộc gọi) trong một thiết lập thí nghiệm. Số lượng cuộc gọi được quy cho một con chim quan sát cụ thể trong mỗi thí …

9 generalized-linear-model  count-data  offset 

Vì vậy, giả sử bạn lật một đồng xu 10 lần và gọi đó là "sự kiện". Nếu bạn chạy, 1.000.000 trong số các "sự kiện" này, tỷ lệ các sự kiện có đầu từ 0,4 đến 0,6 là bao nhiêu? Xác suất nhị thức sẽ gợi ý điều này …

9 computational-statistics  mathematica 

Giả sử biến ngẫu nhiên độc lập mà các lượng tử ở một mức cụ thể được biết đến thông qua ước tính từ dữ liệu: , ..., . Bây giờ hãy xác định biến ngẫu nhiên là tổng Z = \ sum_ {i = 1} ^ N X_i . …

9 quantiles 

Hiểu biết của tôi là ngay cả hồi quy không cung cấp nhân quả. Nó chỉ có thể cung cấp liên kết giữa biến y và biến x và có thể là một hướng. Tôi có đúng không? Tôi thường tìm thấy các cụm từ tương tự như "x dự …

9 regression  logistic  predictive-models  terminology  causality 

Tôi có một vài ngoại lệ trong dữ liệu của mình và tôi muốn loại trừ chúng để xem điều này có thay đổi kết quả hay không. Theo bạn, số lượng ngoại lệ tối đa mà một người nên hạn chế là bao nhiêu? Cảm ơn!

9 outliers 

Trong Phân tích sinh tồn, bạn giả sử thời gian tồn tại của rv được phân phối theo cấp số nhân. Bây giờ tôi đang xem "kết quả" của của iid rv . Chỉ một số tỷ lệ của các kết quả này trong thực tế là "hoàn toàn nhận …

9 maximum-likelihood  references  survival  censoring  exponential-family 

Tôi có bộ dữ liệu đơn giản sau với hai biến liên tục; I E: d = data.frame(x=runif(100,0,100),y = runif(100,0,100)) plot(d$x,d$y) abline(lm(y~x,d), col="red") cor(d$x,d$y) # = 0.2135273 Tôi cần sắp xếp lại dữ liệu theo cách để có mối tương quan giữa các biến là ~ 0,6. Tôi cần giữ …

9 r  correlation 

Thời gian tồn tại của 3 thành phần điện tử là và . Các biến ngẫu nhiên đã được mô hình hóa như một mẫu ngẫu nhiên có kích thước 3 từ phân bố mũ với tham số . Hàm khả năng là, choX 3 = 2.1 q q > …

9 distributions  maximum-likelihood  exponential 

Trên trang 180 của Thống kê mạnh mẽ: Cách tiếp cận dựa trên các chức năng ảnh hưởng người ta tìm thấy câu hỏi sau: 16: Hiển thị rằng đối với các công cụ ước tính bất biến vị trí luôn luôn . Tìm giới hạn trên tương ứng trên …

9 self-study  robust 

Tôi có hai biến phân phối thông thường và với ma trận trung bình bằng 0 và hiệp phương sai . Tôi quan tâm đến việc cố gắng tính giá trị của theo các mục của .X1X1X_1X2X2X_2ΣΣ\SigmaE[X21X22]E[X12X22]E[X_1^2 X_2^2]ΣΣ\Sigma Tôi đã sử dụng luật tổng xác suất để nhận nhưng tôi …

9 normal-distribution  conditional-expectation