Thống kê và dữ liệu lớn

Có thể có một tập hợp các biến không tương quan nhưng phụ thuộc tuyến tính không?KKK tức là vàΣ K i = 1 một i x i = 0c o r ( xTôi, xj) = 0cor(xi,xj)=0cor(x_i, x_j)=0ΣKi = 1mộtTôixTôi= 0∑i=1Kaixi=0 \sum_{i=1}^K a_ix_i=0 Nếu có bạn có thể viết một …

9 correlation  mathematical-statistics  multicollinearity 

Tôi đang cố gắng chuyển đổi cột yếu tố của mình thành các biến giả: str(cards$pointsBin) # Factor w/ 5 levels ".lte100",".lte150",..: 3 2 3 1 4 4 2 2 4 4 ... labels <- model.matrix(~ pointsBin, data=cards) head(labels) # (Intercept) pointsBin.lte150 pointsBin.lte200 pointsBin.lte250 pointsBin.lte300 # 741 1 0 0 …

9 r  categorical-data  categorical-encoding 

Hãy xem xét mô hình hồi quy tuyến tính: trong đó , đó là , Phân phối Laplace với tham số 0 trung bình và tỷ lệ b , tất cả đều độc lập lẫn nhau. Xem xét ước tính khả năng tối đa của tham số chưa biết \ …

9 regression  laplace-distribution 

Các mạng tự động mã hóa dường như phức tạp hơn các mạng MLP phân loại bình thường. Sau nhiều lần thử sử dụng Lasagne, tất cả những gì tôi nhận được ở đầu ra được xây dựng lại là thứ gì đó giống với mức trung bình mờ nhất …

9 machine-learning  neural-networks  dimensionality-reduction  unsupervised-learning  autoencoders 

Câu hỏi này hỏi về xác suất thành công trong Trò chơi nhập vai. Tuy nhiên, câu hỏi và câu trả lời của nó không bao gồm một số phức tạp của cơ chế xúc xắc. Đặc biệt, nó không bao gồm các botch (một kết quả có thể) cả. …

9 dice 

Tôi đã đọc trong một cuốn sách học máy rằng các tham số của hồi quy tuyến tính có thể được ước tính (trong số các phương pháp khác) bằng cách giảm độ dốc, trong khi các tham số của hồi quy logistic thường được ước tính bằng ước lượng …

9 regression  logistic  maximum-likelihood 

Tôi đang cố gắng giảm tính chiều và tiếng ồn của bộ dữ liệu bằng cách thực hiện PCA trên bộ dữ liệu và loại bỏ vài PC cuối cùng. Sau đó, tôi muốn sử dụng một số thuật toán học máy trên các PC còn lại và do đó …

9 variance  pca  factor-rotation 

Trong bài báo này , ( Suy luận Bayes cho các thành phần phương sai chỉ sử dụng tương phản lỗi , Harville, 1974), tác giả tuyên bố là một "nổi tiếng mối quan hệ ", đối với hồi quy tuyến tính trong đó (y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y-Xβ)'H-1(y-Xβ)= =(y-Xβ^)'H-1(y-Xβ^)+(β-β^)'(X'H-1X)(β-β^)(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)y=Xβ+ϵ,y= =Xβ+ε,y=X\beta+\epsilon,ϵ∼N(0,H).ε~N(0,H).\epsilon\sim\mathcal{N}(0, H). Làm thế …

9 regression  regression-coefficients  heteroscedasticity  bias  linear-algebra 

Một yếu tố Bayes được xác định trong thử nghiệm Bayes về giả thuyết và lựa chọn mô hình Bayes theo tỷ lệ của hai khả năng cận biên: đưa ra một mẫu iid và mật độ lấy mẫu tương ứng và , với các linh mục tương ứng và …

9 bayes  marginal  sequential-analysis  bayes-factors 

Xem xét phân phối đối xứng và đối xứng hai lần . Bây giờ hãy xem xét phân phối hai lần phân biệt thứ hai lệch theo nghĩa:FXFX\mathcal{F}_XFZFZ\mathcal{F}_Z (1)FX⪯cFZ.(1)FX⪯cFZ.(1)\quad\mathcal{F}_X\preceq_c\mathcal{F}_Z. trong đó là thứ tự lồi của van Zwet [0] sao cho tương đương với:⪯c⪯c\preceq_c(1)(1)(1) (2)F−1ZFX(x) is convex ∀x∈R.(2)FZ−1FX(x) is convex …

9 distributions  skewness 

Tôi có hơn 1000 tập dữ liệu mẫu gồm 19 biến. Mục tiêu của tôi là dự đoán một biến nhị phân dựa trên 18 biến khác (nhị phân và liên tục). Tôi khá tự tin rằng 6 trong số các biến dự đoán có liên quan đến phản hồi …

9 pca 

Tôi đã cố gắng thiết lập sự bất bình đẳng |Ti|=∣∣Xi−X¯∣∣S≤n−1n−−√|Ti|=|Xi−X¯|S≤n−1n\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}} Trong đó là giá trị trung bình mẫu và là độ lệch chuẩn của mẫu, đó là .X¯X¯\bar{X}SSSS=∑ni=1(Xi−X¯)2n−1−−−−−−−−−√S=∑i=1n(Xi−X¯)2n−1S=\sqrt{\frac{\sum_{i=1}^n \left( X_i -\bar{X} \right)^2}{n-1}} Dễ dàng thấy rằng và vì vậy nhưng điều này không gần …

9 self-study  descriptive-statistics  bounds 

Tôi đang sử dụng lmer trong R để kiểm tra ảnh hưởng của điều kiện ( cond) đến một số kết quả. Dưới đây là một số tạo thành dữ liệu, trong đó s là nhận dạng đối tượng và a, bvà clà điều kiện. library("tidyr") library("dplyr") set.seed(123) temp <- …

9 r  lme4-nlme  contrasts 

Tôi có các vectơ đặc trưng (~ một triệu). Có (~ một triệu) tính năng nhị phân, nhưng trong mỗi vectơ chỉ có (~ một nghìn) trong số chúng là , phần còn lại là . Tôi đang tìm các cặp vectơ có ít nhất (~ một trăm) tính năng …

9 algorithms  high-dimensional 

Trong sách giáo khoa kinh tế lượng của tôi (Kinh tế lượng nhập môn) bao gồm OLS, tác giả viết, "SSR phải giảm khi thêm một biến giải thích khác." Tại sao lại như vậy?

9 regression  optimization  econometrics  intuition  sums-of-squares