Thống kê và dữ liệu lớn

Tôi hiện đang trải qua một bộ slide tôi có để "phân tích nhân tố" (PCA theo như tôi có thể nói). Trong đó, "định lý cơ bản của phân tích nhân tố" được đưa ra, tuyên bố rằng ma trận tương quan của dữ liệu đi vào phân tích …

14 pca  factor-analysis  terminology  definition 

SVM có xử lý dữ liệu không cân bằng không? Có bất kỳ tham số nào (như C, hoặc chi phí phân loại sai) xử lý bộ dữ liệu không cân bằng không?

14 machine-learning  svm  unbalanced-classes 

Tôi đã tự hỏi những gì cốt lõi, sự khác biệt có ý nghĩa giữa Lý thuyết đáp ứng vật phẩm và Phân tích nhân tố khẳng định. Tôi hiểu rằng có sự khác biệt trong các tính toán (tập trung nhiều hơn vào vật phẩm so với hiệp phương …

14 confirmatory-factor  irt 

Tôi đã đọc các mô tả khác nhau về dữ liệu bị kiểm duyệt: A) Như đã giải thích trong chủ đề này , dữ liệu không đủ điều kiện bên dưới hoặc trên một ngưỡng nhất định được kiểm duyệt. Không đủ điều kiện có nghĩa là dữ liệu …

14 regression  terminology  censoring 

Tôi đã tìm kiếm trên web, nhưng không thể tìm thấy bất cứ điều gì hữu ích. Về cơ bản, tôi đang tìm cách để đo lường mức độ "đồng đều" của một giá trị được phân phối. Như trong, một phân phối 'đồng đều' như X : và phân …

14 variance  standard-deviation  descriptive-statistics  measurement 

http://en.wikipedia.org/wiki/Delta_method Trong bài viết trên Wikipedia, người ta cho rằng g′(θ)g′(θ)g'(\theta) phải tồn tại và rằng g′(θ)g′(θ)g'(\theta) là khác không có giá trị. Là nó có thể tìm thấy sự phân bố tiệm cận cho n−−√(g(Xn)−g(θ))n(g(Xn)−g(θ))\sqrt{n}(g(X_n)-g(\theta)) cho rằngg′(θ)g′(θ)g'(\theta)có thể là zero và?n−−√(Xn−θ)→dN(0,σ2)n(Xn−θ)→dN(0,σ2)\sqrt{n}(X_n-\theta) \stackrel{d}{\rightarrow} N(0,\sigma^2)

14 delta-method 

Giả sử người ta thực hiện cái gọi là bootstrap không tham số bằng cách vẽ các mẫu có kích thước n mỗi mẫu từ các quan sát n ban đầu với sự thay thế. Tôi tin rằng thủ tục này tương đương với việc ước tính hàm phân phối …

14 bootstrap  sample-size  sample  small-sample  finite-population 

Câu hỏi này không liên quan cụ thể R, nhưng tôi đã chọn sử dụng Rđể minh họa nó. Xem xét mã để sản xuất các dải tin cậy quanh một qq-line (bình thường): library(car) library(MASS) b0<-lm(deaths~.,data=road) qqPlot(b0$resid,pch=16,line="robust") Tôi đang tìm kiếm một lời giải thích (hoặc thay thế một …

14 confidence-interval  linear-model  qq-plot 

Tôi biết có thuật toán phân cụm k-mean và k-median. Một cái sử dụng giá trị trung bình là trung tâm của cụm và cái còn lại sử dụng trung vị. Câu hỏi của tôi là: khi nào / sử dụng ở đâu?

14 clustering  k-means 

Một người bạn đang đại diện cho một khách hàng kháng cáo, sau một phiên tòa hình sự trong đó có vẻ như lựa chọn bồi thẩm đoàn là sai lệch chủng tộc. Nhóm bồi thẩm đoàn bao gồm 30 người, thuộc 4 nhóm chủng tộc. Công tố đã sử …

14 probability  statistical-significance  references  bias  combinatorics 

Tôi thường nghe tuyên bố rằng số liệu thống kê Bayes có thể rất chủ quan. Đối số chính là suy luận phụ thuộc vào sự lựa chọn của một ưu tiên (mặc dù người ta có thể sử dụng nguyên tắc thờ ơ o entropy tối đa để chọn …

14 bayesian  interpretation  frequentist  philosophical 

Tôi có một vấn đề phân loại nhị phân từ một số tính năng. Các hệ số của một hồi quy logistic (chính quy) có một ý nghĩa có thể giải thích? Tôi nghĩ rằng họ có thể chỉ ra kích thước ảnh hưởng, với các tính năng được chuẩn …

14 logistic  regression-coefficients 

Chẩn đoán Gelman và Rubin được sử dụng để kiểm tra sự hội tụ của nhiều chuỗi mcmc chạy song song. Nó so sánh phương sai trong chuỗi với phương sai giữa các chuỗi, giải thích bên dưới: Các bước (cho từng tham số): Chạy m 2 chuỗi có độ …

14 mcmc  convergence  covariance-matrix 

Tôi đang sử dụng Phân kỳ KL làm thước đo cho sự khác biệt giữa 2 p.m.f.p.m.f.p.m.f. PPP và QQQ . =-∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln⁡(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=-\sum P(X_i)ln\left(Q(X_i)\right) + \sum P(X_i)ln\left(P(X_i)\right) Nếu thì chúng ta có thể dễ dàng tính được rằng P ( X i ) …

14 distributions  distance  kullback-leibler 

Pearson đã đưa ra số liệu thống kê chi bình phương Pearson sau năm 1900 như thế nào? mà K~χ2K=∑(Oij−Eij)2EijK=∑(Oij−Eij)2Eij K = \sum \frac{(O_{ij} -E_{ij})^2}{E_{ij}} K∼χ2K∼χ2 K \sim \chi^2 Anh ta có suy nghĩ chi bình phương và nghĩ ra chỉ số (cách tiếp cận từ dưới lên), hay anh …

14 chi-squared  descriptive-statistics  history