Câu hỏi được gắn thẻ «ridge-regression»

Tôi là một kỹ sư phần mềm học máy học, đặc biệt thông qua các khóa học máy của Andrew Ng . Trong khi nghiên cứu hồi quy tuyến tính với chính quy , tôi đã tìm thấy các thuật ngữ khó hiểu: Hồi quy với chuẩn hóa L1 hoặc …

33 regression  terminology  lasso  regularization  ridge-regression 

Làm thế nào để so sánh các phương pháp chuẩn hóa sườn núi, LASSO và thunnet? Ưu điểm và nhược điểm tương ứng của họ là gì? Bất kỳ bài viết kỹ thuật tốt, hoặc ghi chú bài giảng cũng sẽ được đánh giá cao.

33 references  lasso  regularization  ridge-regression  elastic-net 

Tikhonov chính quy hóa và hồi quy sườn là các thuật ngữ thường được sử dụng như thể chúng giống hệt nhau. Có thể chỉ định chính xác sự khác biệt là gì?

33 regression  terminology  regularization  ridge-regression  tikhonov-regularization 

Lưu ý: Tôi biết rằng L1 có thuộc tính lựa chọn. Tôi đang cố gắng hiểu cái nào sẽ chọn khi lựa chọn tính năng là hoàn toàn không liên quan. Làm thế nào để quyết định sử dụng chính quy (L1 hoặc L2)? Những ưu và nhược điểm của …

30 regression  lasso  regularization  ridge-regression 

Tôi đang sử dụng glmnet để tính toán ước tính hồi quy sườn núi. Tôi đã nhận được một số kết quả khiến tôi nghi ngờ trong glmnet đó thực sự đang làm những gì tôi nghĩ nó làm. Để kiểm tra điều này, tôi đã viết một tập lệnh …

28 r  ridge-regression  glmnet 

Tôi có một số câu hỏi liên quan đến hình phạt sườn núi trong bối cảnh bình phương nhỏ nhất: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Biểu thức cho thấy ma trận hiệp phương sai của X được thu nhỏ theo ma trận đường chéo, nghĩa là (giả sử …

25 regression  pca  regularization  ridge-regression 

Vì vậy, tôi đã được hỏi một câu hỏi về các biện pháp trung tâm L1 (tức là lasso) và L2 (nghĩa là hồi quy sườn núi) ước tính. Câu trả lời là L1 = trung vị và L2 = trung bình. Có bất kỳ loại lý luận trực quan …

24 lasso  regularization  loss-functions  ridge-regression 

Một số chức năng phạt và các xấp xỉ được nghiên cứu kỹ, chẳng hạn như LASSO ( ) và ( ) và cách so sánh chúng trong hồi quy.L1L1L_1L2L2L_2 Tôi đã đọc về hình phạt Cầu, đó là hình phạt tổng quát . So sánh với LASSO, có \ …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Xem xét hồi quy sườn với một ràng buộc bổ sung yêu cầu có tổng đơn vị bình phương (tương đương, phương sai đơn vị); nếu cần, người ta có thể giả sử rằng cũng có tổng đơn vị bình phương:y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

Giả sử tôi đang cố gắng ước tính một số lượng lớn các tham số từ một số dữ liệu chiều cao, sử dụng một số loại ước tính chính quy. Trình chuẩn hóa đưa ra một số sai lệch trong các ước tính, nhưng nó vẫn có thể là …

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

Đối với mô hình tuyến tính , thuật ngữ co rút luôn là .y=β0+xβ+εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP(β)P(β)P(\beta) Lý do nào khiến chúng tôi không thu hẹp thuật ngữ (chặn) sai lệch ? Chúng ta có nên thu hẹp thuật ngữ thiên vị trong các mô hình mạng thần kinh?β0β0\beta_0

21 regression  neural-networks  ridge-regression  intercept  shrinkage 

Hãy xem xét các mô hình chuẩn cho nhiều hồi quy Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilon nơi ε ∼ N( 0 , σ2tôin)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) , vì vậy bình thường, homoscedasticity và uncorrelatedness lỗi tất cả các tổ chức. Giả sử rằng chúng ta thực hiện hồi quy sườn núi, …

21 regression  assumptions  ridge-regression 

Tôi đã hiểu làm thế nào hồi quy sườn núi thu nhỏ các hệ số về không về mặt hình học. Hơn nữa, tôi biết làm thế nào để chứng minh điều đó trong "Trường hợp đặc biệt", nhưng tôi bối rối không biết nó hoạt động như thế nào …

20 regression  multiple-regression  regularization  ridge-regression  svd 

Tôi đang sử dụng gói R bị phạt để có được các ước tính hệ số thu nhỏ cho một tập dữ liệu trong đó tôi có rất nhiều dự đoán và ít kiến ​​thức về cái nào là quan trọng. Sau khi tôi chọn các tham số điều chỉnh …

20 regression  lasso  stepwise-regression  ridge-regression 

Tôi nhớ có đọc ở đâu đó trên web kết nối giữa hồi quy sườn núi (với ℓ2ℓ2\ell_2 quy tắc) và hồi quy PCA: khi sử dụng ℓ2ℓ2\ell_2 hồi quy -regularized với hyperparameter λλ\lambda , nếu λ→0λ→0\lambda \to 0 , sau đó hồi quy tương đương với việc loại bỏ …

19 regression  pca  regularization  ridge-regression