Thống kê và dữ liệu lớn

Có phải tôi đang hiểu nhầm điều gì đó. Đây là mã của tôi sử dụng sklearn import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D from sklearn import decomposition from sklearn import datasets from sklearn.preprocessing import StandardScaler pca = decomposition.PCA(n_components=3) x = np.array([ [0.387,4878, 5.42], [0.723,12104,5.25], …

20 pca  python  scikit-learn 

Đây có lẽ là một câu hỏi tầm thường, nhưng cho đến nay, việc tìm kiếm của tôi vẫn không có kết quả, bao gồm cả bài viết trên wikipedia này và tài liệu "Compendium of Distribution" . Nếu có phân phối đồng đều, điều đó có nghĩa là tuân …

20 distributions  data-transformation  exponential  uniform 

Theo trực giác, giá trị trung bình chỉ là trung bình của các quan sát. Phương sai là những quan sát này thay đổi bao nhiêu so với giá trị trung bình. Tôi muốn biết tại sao nghịch đảo của phương sai được gọi là độ chính xác. Trực giác …

20 normal-distribution  multivariate-analysis  terminology  intuition 

Trong đào tạo mạng lưới thần kinh sâu và nông, tại sao các phương pháp gradient (ví dụ: độ dốc gốc, Nesterov, Newton-Raphson) thường được sử dụng, trái ngược với các siêu dữ liệu khác? Theo siêu dữ liệu, ý tôi là các phương pháp như ủ mô phỏng, tối …

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Tôi đang đọc chương về sự đánh đổi sai lệch của các yếu tố của việc học thống kê và tôi nghi ngờ trong công thức ở trang 29. Hãy để dữ liệu phát sinh từ một mô hình sao cho trong đó là ngẫu nhiên số có giá trị …

20 machine-learning  unbiased-estimator  mse  bias-variance-tradeoff 

Trong bối cảnh hồi quy OLS, tôi hiểu rằng một biểu đồ dư (so với các giá trị được trang bị) được xem theo quy ước để kiểm tra phương sai không đổi và đánh giá đặc tả mô hình. Tại sao phần dư được vẽ dựa trên sự phù …

20 regression  residuals 

Tôi có một ma trận tương quan trong đó nêu rõ mọi mặt hàng có tương quan với mặt hàng khác như thế nào. Do đó đối với một mục N, tôi đã có ma trận tương quan N * N. Sử dụng ma trận tương quan này, làm cách …

20 clustering  python  k-means 

Định lý Bayes đi P(model|data)=P(model)×P(data|model)P(data)P(model|data)=P(model)×P(data|model)P(data) P(\textrm{model}|\textrm{data}) = \frac{P(\textrm{model}) \times P(\textrm{data}|\textrm{model})}{P(\textrm{data})} Đây là tất cả tốt đẹp. Nhưng, tôi đã đọc ở đâu đó: Về cơ bản, P (dữ liệu) không là gì ngoài hằng số chuẩn hóa, tức là hằng số làm cho mật độ sau tích hợp thành một. …

20 probability  bayesian  conditional-probability  bayes 

Về mặt khái niệm, tôi nắm được ý nghĩa của cụm từ "tổng diện tích bên dưới tệp PDF là 1". Điều đó có nghĩa là cơ hội của kết quả trong tổng số khả năng là 100%. Nhưng tôi không thể thực sự hiểu nó từ quan điểm "hình …

20 probability  pdf  integral 

Bối cảnh: Tôi đang thuyết trình cho các đồng nghiệp đang làm bài kiểm tra giả thuyết và hiểu hầu hết mọi thứ đều ổn nhưng có một khía cạnh là tôi tự trói mình trong những nút thắt cố gắng hiểu cũng như giải thích nó cho người khác. …

20 hypothesis-testing  normal-distribution  t-test  assumptions  z-test 

Khi tôi ước tính sự khác biệt trong mô hình khác biệt với hai khoảng thời gian, mô hình hồi quy tương đương sẽ là a. Yist=α+γs∗Treatment+λdt+δ∗(Treatment∗dt)+ϵistYist=α+γs∗Treatment+λdt+δ∗(Treatment∗dt)+ϵistY_{ist} = \alpha +\gamma_s*Treatment + \lambda d_t + \delta*(Treatment*d_t)+ \epsilon_{ist} Trong đó là một hình nộm bằng 1 nếu quan sát từ nhóm điều …

20 regression  modeling  econometrics  panel-data  difference-in-difference 

Liệu caretgói R có xác nhận chéo trên cả hai alphavà lambdacho glmnetmô hình không? Chạy mã này, eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter =TRUE) netFit <- train(x =train_features, y = y_train, method = "glmnet", tuneGrid = …

20 r  machine-learning  cross-validation  caret  glmnet 

Gần đây tôi đã bắt đầu đọc "Giới thiệu về thống kê Bayes" Phiên bản 2 của Bolstad. Tôi đã có một lớp thống kê giới thiệu bao gồm chủ yếu các bài kiểm tra thống kê và gần như thông qua một lớp trong phân tích hồi quy. Những …

20 hypothesis-testing  bayesian 

Làm cách nào tôi có thể lấy mẫu từ phân phối hỗn hợp và đặc biệt là hỗn hợp phân phối Bình thường trong R? Ví dụ: nếu tôi muốn lấy mẫu từ: 0,3× N( 0 , 1 )+0,5× N( 10 , 1 )+0,2× N( 3 , .1 )0,3×N(0,1)+0,5×N(10,1)+0,2×N(3,.1) 0.3\!\times\mathcal{N}(0,1)\; …

20 r  random-generation  mixture 

Tôi bắt đầu với hồi quy OLS của mình: trong đó D là một biến giả, các ước tính trở nên khác 0 với giá trị p thấp. Sau đó, tôi thực hiện thử nghiệm Ramsey RESET và thấy rằng tôi có một số sai sót của phương trình, do …

20 regression  multiple-regression  interpretation  least-squares  polynomial