Câu hỏi được gắn thẻ «regularization»

Tôi đang đọc những cuốn sách về hồi quy tuyến tính. Có một số câu về định mức L1 và L2. Tôi biết họ, chỉ không hiểu tại sao định mức L1 cho các mô hình thưa thớt. Ai đó có thể sử dụng đưa ra một lời giải thích …

97 regression  lasso  regularization  ridge-regression 

Tôi đang tìm kiếm một định nghĩa phi kỹ thuật về Lasso và nó được sử dụng để làm gì.

81 regression  lasso  regularization  shrinkage 

Tôi đã đọc các yếu tố của học thống kê và tôi muốn biết lý do tại sao Lasso cung cấp lựa chọn thay đổi và hồi quy sườn không. Cả hai phương pháp đều tối thiểu hóa tổng bình phương còn lại và có một ràng buộc đối với …

76 regression  feature-selection  lasso  regularization 

Không giống như các bài viết khác, tôi tìm thấy mục wikipedia cho chủ đề này không thể đọc được cho một người không phải là người toán học (như tôi). Tôi hiểu ý tưởng cơ bản, rằng bạn ủng hộ các mô hình với ít quy tắc hơn. Những …

74 regularization 

Tôi tiếp tục đọc nó và bằng trực giác tôi có thể thấy điều này nhưng làm thế nào một người đi từ chính quy L2 để nói rằng đây là một Gaussian Prior phân tích? Tương tự như vậy khi nói L1 tương đương với Laplacean trước đó. Bất …

56 regression  references  regularization 

Để giải quyết các vấn đề về lựa chọn mô hình, một số phương thức (LASSO, hồi quy sườn, v.v.) sẽ thu nhỏ các hệ số của các biến dự đoán về 0. Tôi đang tìm kiếm một lời giải thích trực quan về lý do tại sao điều này …

55 lasso  regularization  ridge-regression  intuition  shrinkage 

Bất cứ khi nào chính quy được sử dụng, nó thường được thêm vào hàm chi phí, chẳng hạn như trong hàm chi phí sau. Điều này có ý nghĩa trực quan với tôi vì giảm thiểu hàm chi phí có nghĩa là giảm thiểu sai số (thuật ngữ bên …

51 regularization 

Xem xét một vấn đề hồi quy cũ tốt với các yếu tố dự đoán và cỡ mẫu . Sự khôn ngoan thông thường là công cụ ước tính OLS sẽ vượt trội và thường sẽ vượt trội hơn so với công cụ ước tính hồi quy sườn:Đó là tiêu …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

Trong thống kê truyền thống, trong khi xây dựng mô hình, chúng tôi kiểm tra tính đa hình bằng các phương pháp như ước tính hệ số lạm phát phương sai (VIF), nhưng trong học máy, thay vào đó, chúng tôi sử dụng chính quy để lựa chọn tính năng …

44 regression  machine-learning  multicollinearity  regularization  vif 

Chính quy hóa bằng các phương thức như Ridge, Lasso, ElasticNet là khá phổ biến cho hồi quy tuyến tính. Tôi muốn biết những điều sau: Những phương pháp này có thể áp dụng cho hồi quy logistic không? Nếu vậy, có sự khác biệt nào trong cách chúng cần …

42 regression  logistic  regularization 

Động lượng được sử dụng để làm giảm các dao động về thay đổi trọng lượng trong các lần lặp liên tiếp:αα\alpha nơiE(w)là hàm lỗi,w- vector của trọng lượng,η- Tỷ lệ học.Δ ωTôi( T + 1 ) = - η∂E∂wTôi+ Alpha delta wTôi( t ) ,ΔωTôi(t+1)= =-η∂E∂wTôi+αΔωTôi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial …

41 neural-networks  optimization  regularization  gradient-descent 

Tôi đang có một số vấn đề với việc tạo ra giải pháp cho hồi quy sườn núi. Tôi biết giải pháp hồi quy mà không có thuật ngữ chính quy: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. λ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

40 regression  least-squares  regularization  ridge-regression 

Có bất kỳ nghiên cứu thực nghiệm nào biện minh cho việc sử dụng một quy tắc lỗi tiêu chuẩn có lợi cho phân tích không? Rõ ràng nó phụ thuộc vào quá trình tạo dữ liệu của dữ liệu, nhưng bất cứ điều gì phân tích một khối lượng …

39 cross-validation  model-selection  regularization 

Một vấn đề tôi thường thấy được đưa ra trong bối cảnh Mạng thần kinh nói chung và Mạng lưới thần kinh sâu nói riêng, đó là chúng "đói dữ liệu" - đó là chúng không hoạt động tốt trừ khi chúng ta có một bộ dữ liệu lớn với …

37 neural-networks  deep-learning  regularization 

Tôi chỉ tò mò tại sao thường chỉ có các quy tắc định mức và . Có bằng chứng về lý do tại sao những điều này là tốt hơn?L 2L1L1L_1L2L2L_2

36 lasso  regularization  ridge-regression