Câu hỏi được gắn thẻ «regularization»

Tôi hiểu rằng chúng ta có thể sử dụng chính quy trong bài toán hồi quy bình phương nhỏ nhất như w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] và rằng vấn đề này có một giải pháp dạng đóng như: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Chúng ta thấy rằng trong …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

Hiện đang học hồi quy sườn và tôi hơi bối rối về việc xử phạt các mô hình phức tạp hơn (hoặc định nghĩa của một mô hình phức tạp hơn). Theo những gì tôi hiểu, độ phức tạp của mô hình không nhất thiết tương quan với thứ tự …

9 regression  regularization  hyperparameter 

Tôi đang nghiên cứu sự khác biệt giữa chính quy trong hồi quy RKHS và hồi quy tuyến tính, nhưng tôi gặp khó khăn trong việc nắm bắt sự khác biệt quan trọng giữa hai phương pháp này. (xi,yi)(xi,yi)(x_i,y_i)f(⋅)f(⋅)f(\cdot)f(x)≈u(x)=∑i=1mαiK(x,xi),f(x)≈u(x)=∑i=1mαiK(x,xi),\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}K(⋅,⋅)K(⋅,⋅)K(\cdot,\cdot)αmαm\alpha_mminα∈Rn1n∥Y−Kα∥2Rn+λαTKα,minα∈Rn1n‖Y−Kα‖Rn2+λαTKα,\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}i,ji,ji,jKKKK(xi,xj)K(xi,xj){\displaystyle K(x_{i},x_{j})} α∗=(K+λnI)−1Y.α∗=(K+λnI)−1Y.\begin{equation} …

9 regression  generalized-linear-model  regularization  kernel-trick  rbf-kernel 

Trong tuần 3 ghi chú bài giảng của lớp Coursera Machine Learning của Andrew Ng , một thuật ngữ được thêm vào hàm chi phí để thực hiện chính quy: J+( θ ) = J( Θ ) + λ2 mΣj = 1nθ2jJ+(θ)=J(θ)+λ2m∑j=1nθj2J^+(\theta) = J(\theta) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2 Các ghi …

9 regularization 

Khi , bài toán bình phương nhỏ nhất áp dụng giới hạn hình cầu trên giá trị của có thể được viết là cho một hệ thống quá hạn. \ | \ cdot \ | _2 là chỉ tiêu Euclide của một vectơ.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ …

9 regression  least-squares  regularization  ridge-regression  underdetermined 

Giả sử tôi có một mẫu tần số gồm 4 sự kiện có thể xảy ra: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 và tôi có xác suất dự kiến ​​của các sự kiện của tôi sẽ xảy ra: p1 - 0.2 p2 - 0.1 …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

Vì vậy, tôi có 16 thử nghiệm trong đó tôi đang cố gắng xác thực một người từ một đặc điểm sinh trắc học bằng cách sử dụng Hamming Khoảng cách. Ngưỡng của tôi được đặt thành 3,5. Dữ liệu của tôi ở bên dưới và chỉ có bản dùng …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Tôi đã có một cuộc phỏng vấn việc làm cho một vị trí khoa học dữ liệu. Trong cuộc phỏng vấn, tôi được hỏi tôi phải làm gì để đảm bảo người mẫu không bị thừa. Câu trả lời đầu tiên của tôi là sử dụng xác nhận chéo để …

9 cross-validation  regularization  overfitting 

Có rất nhiều kỹ thuật chính quy, không thực tế để thử tất cả các kết hợp: l1 / l2 định mức tối đa rơi ra ngoài dừng sớm ... Có vẻ như hầu hết mọi người đều hài lòng với sự kết hợp của bỏ học + dừng sớm: …

9 neural-networks  regularization  dropout 

Trong bài báo chuyên đề 'Hồi quy góc tối thiểu' , Efron et al mô tả một sửa đổi đơn giản của thuật toán LARS cho phép tính toán các đường dẫn chính quy LASSO đầy đủ. Tôi đã triển khai biến thể này một cách thành công và thường …

9 regression  lasso  regularization  lars 

Tôi quan sát thấy hàm lasso trong MATLAB tương đối chậm. Tôi chạy nhiều vấn đề hồi quy, với 1 đến 100 dự đoán và 200 đến 500 quan sát. Trong một số trường hợp, lasso hóa ra cực kỳ chậm (để giải quyết vấn đề hồi quy phải mất …

9 regression  feature-selection  regularization 

Nghiên cứu về thuật toán xgboost tôi đã xem qua tài liệu này . Trong cách tiếp cận này, cây được chuẩn hóa bằng định nghĩa độ phức tạp trong đó và là các tham số, là số lá cuối cùng và là điểm số trong mỗi lá.Ω(f)=γT+12λ∑j=1Tw2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = …

9 cart  regularization  boosting  gradient-descent  overfitting 

\def\l{|\!|} Cho hồi quy mạng đàn hồi minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 làm thế nào có thể chọn một phạm vi thích hợp của λλ\lambda để xác thực chéo? Trong trường hợp α=1α=1\alpha=1 (hồi quy sườn) công thức …

9 least-squares  lasso  regularization  ridge-regression  elastic-net 

Theo câu hỏi trước đây của tôi , giải pháp cho các phương trình bình thường cho hồi quy sườn được đưa ra bởi: β^λ=(XTX+λI)−1XTyβ^λ=(XTX+λI)−1XTy\hat{\beta}_\lambda = (X^TX+\lambda I)^{-1}X^Ty Bạn có thể cung cấp bất kỳ hướng dẫn để chọn tham số chính quy . Ngoài ra, do đường chéo của …

9 regression  regularization  ridge-regression 

Có phải thực tế phổ biến là chỉ áp dụng tăng dữ liệu cho tập huấn luyện, hoặc cho cả tập huấn luyện và tập kiểm thử?

9 machine-learning  deep-learning  regularization  data-augmentation