Câu hỏi được gắn thẻ «regularization»

Xem xét hồi quy sườn với một ràng buộc bổ sung yêu cầu có tổng đơn vị bình phương (tương đương, phương sai đơn vị); nếu cần, người ta có thể giả sử rằng cũng có tổng đơn vị bình phương:y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

Giả sử tôi đang cố gắng ước tính một số lượng lớn các tham số từ một số dữ liệu chiều cao, sử dụng một số loại ước tính chính quy. Trình chuẩn hóa đưa ra một số sai lệch trong các ước tính, nhưng nó vẫn có thể là …

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

Tôi đã hiểu làm thế nào hồi quy sườn núi thu nhỏ các hệ số về không về mặt hình học. Hơn nữa, tôi biết làm thế nào để chứng minh điều đó trong "Trường hợp đặc biệt", nhưng tôi bối rối không biết nó hoạt động như thế nào …

20 regression  multiple-regression  regularization  ridge-regression  svd 

Tôi có một câu hỏi liên quan đến việc cần sử dụng các phương pháp lựa chọn tính năng (Rừng ngẫu nhiên có giá trị quan trọng hoặc phương pháp lựa chọn tính năng Univariate, v.v.) trước khi chạy thuật toán học thống kê. Chúng tôi biết để tránh bị …

20 regression  machine-learning  feature-selection  lasso  regularization 

Tôi đang sử dụng libsvm trong chế độ C-SVC với hạt nhân đa thức bậc 2 và tôi bắt buộc phải đào tạo nhiều SVM. Mỗi bộ huấn luyện có 10 tính năng và 5000 vectơ. Trong quá trình đào tạo, tôi nhận được cảnh báo này cho hầu hết …

20 machine-learning  cross-validation  svm  regularization  libsvm 

Chính quy trong hồi quy (tuyến tính, logistic ...) là cách phổ biến nhất để giảm sự phù hợp quá mức. Khi mục tiêu là độ chính xác dự đoán (không giải thích), có sự thay thế tốt nào cho việc chính quy hóa, đặc biệt phù hợp với các …

19 regression  regularization  overfitting 

Việc chính quy hóa có thể hữu ích nếu chúng ta chỉ quan tâm đến việc ước tính (và diễn giải) các tham số mô hình, không phải trong dự báo hoặc dự đoán? Tôi thấy việc chính quy hóa / xác thực chéo là cực kỳ hữu ích nếu …

19 cross-validation  econometrics  model-selection  interpretation  regularization 

Tôi nhớ có đọc ở đâu đó trên web kết nối giữa hồi quy sườn núi (với ℓ2ℓ2\ell_2 quy tắc) và hồi quy PCA: khi sử dụng ℓ2ℓ2\ell_2 hồi quy -regularized với hyperparameter λλ\lambda , nếu λ→0λ→0\lambda \to 0 , sau đó hồi quy tương đương với việc loại bỏ …

19 regression  pca  regularization  ridge-regression 

Người ta biết rằng hồi quy tuyến tính với hình phạt tương đương với việc tìm ước tính MAP được đưa ra một Gaussian trước các hệ số. Tương tự, sử dụng hình phạt tương đương với sử dụng phân phối Laplace như trước.l2tôi2l^2l1l1l^1 Không có gì lạ khi sử …

17 regression  bayesian  regularization  prior  elastic-net 

Nếu bạn có một nửa trang để giải thích về việc bỏ học , bạn sẽ tiến hành như thế nào? Đó là lý do đằng sau kỹ thuật này?

17 neural-networks  deep-learning  regularization  dropout 

Trong cuốn sách "Phân loại mẫu và học máy" của Đức cha, nó mô tả một kỹ thuật để chính quy hóa trong bối cảnh của các mạng lưới thần kinh. Tuy nhiên, tôi không hiểu một đoạn mô tả rằng trong quá trình đào tạo, số bậc tự do …

17 machine-learning  neural-networks  regularization  degrees-of-freedom 

Robby McKilliam nói trong một bình luận cho bài viết này : Cần phải chỉ ra rằng, từ quan điểm của những người thường xuyên, không có lý do gì mà bạn không thể kết hợp kiến ​​thức trước đó vào mô hình. Theo nghĩa này, chế độ xem thường …

17 bayesian  prior  regularization  frequentist 

Tôi có một bộ gồm 150 tính năng và nhiều trong số chúng có mối tương quan cao với nhau. Mục tiêu của tôi là dự đoán giá trị của một biến rời rạc, có phạm vi là 1-8 . Cỡ mẫu của tôi là 550 và tôi đang sử …

16 regression  lasso  regularization  ridge-regression  elastic-net 

Nếu chúng ta bắt đầu với một tập hợp dữ liệu , áp dụng Lasso cho nó và thu được giải pháp β L , chúng ta có thể áp dụng Lasso một lần nữa cho tập dữ liệu ( X S , Y ) , trong đó S là …

16 regression  optimization  lasso  regularization  shrinkage 

Trong hồi quy Lasso hoặc sườn núi, người ta phải xác định một tham số co rút, thường được gọi bằng hoặc α . Giá trị này thường được chọn thông qua xác nhận chéo bằng cách kiểm tra một loạt các giá trị khác nhau trên dữ liệu huấn …

16 regression  lasso  regularization  ridge-regression  penalized