Tránh lạm dụng quá mức trong hồi quy: các lựa chọn thay thế cho chính quy

Chính quy trong hồi quy (tuyến tính, logistic ...) là cách phổ biến nhất để giảm sự phù hợp quá mức.

Khi mục tiêu là độ chính xác dự đoán (không giải thích), có sự thay thế tốt nào cho việc chính quy hóa, đặc biệt phù hợp với các tập dữ liệu lớn (mi / tỷ tỷ quan sát và hàng triệu tính năng) không?

Hai điểm quan trọng không liên quan trực tiếp đến câu hỏi của bạn:

• Đầu tiên, ngay cả mục tiêu là độ chính xác thay vì giải thích, việc chính quy hóa vẫn cần thiết trong nhiều trường hợp, vì nó sẽ đảm bảo "độ chính xác cao" trên tập dữ liệu thử nghiệm / sản xuất thực chứ không phải dữ liệu được sử dụng để mô hình hóa.

• Thứ hai, nếu có hàng tỷ hàng và hàng triệu cột, có thể không cần chính quy hóa. Điều này là do dữ liệu rất lớn và nhiều mô hình tính toán có "sức mạnh hạn chế", nghĩa là gần như không thể phù hợp. Đây là lý do tại sao một số mạng thần kinh sâu có hàng tỷ thông số.

Bây giờ, về câu hỏi của bạn. Như Ben và Andrey đã đề cập, có một số lựa chọn thay thế cho việc chính quy hóa. Tôi muốn thêm nhiều ví dụ.

• Sử dụng mô hình đơn giản hơn (Ví dụ: giảm số lượng đơn vị ẩn trong mạng thần kinh. Sử dụng hạt nhân đa thức bậc thấp hơn trong SVM. Giảm số lượng Gaussian trong hỗn hợp Gaussian, v.v.)

• Dừng lại sớm trong việc tối ưu hóa. (Ví dụ: giảm kỷ nguyên trong đào tạo mạng thần kinh, giảm số lần lặp trong tối ưu hóa (CG, BFGS, v.v.)

• Trung bình trên nhiều mô hình (Ví dụ: rừng ngẫu nhiên, v.v.)

Hai lựa chọn thay thế cho chính quy:

1. Có nhiều, nhiều quan sát
2. Sử dụng một mô hình đơn giản hơn

Geoff Hinton (đồng phát minh ra propogation) đã từng kể một câu chuyện về các kỹ sư đã nói với anh ta (diễn giải nặng nề), "Geoff, chúng tôi không cần bỏ học trong mạng lưới sâu của chúng tôi vì chúng tôi có quá nhiều dữ liệu." Và câu trả lời của anh ấy là "Chà, sau đó bạn nên xây dựng các lưới sâu hơn nữa, cho đến khi bạn bị thừa , và sau đó sử dụng bỏ học." Lời khuyên tốt sang một bên, rõ ràng bạn có thể tránh việc thường xuyên ngay cả với lưới sâu, miễn là có đủ dữ liệu.

Với số lượng quan sát cố định, bạn cũng có thể chọn mô hình đơn giản hơn. Bạn có thể không cần chính quy để ước tính đánh chặn, độ dốc và phương sai lỗi trong hồi quy tuyến tính đơn giản.

Một số khả năng bổ sung để tránh lạm dụng

• Giảm kích thước

  $m$$l << m$

• Lựa chọn tính năng (cũng giảm kích thước)

  Bạn có thể thực hiện một vòng lựa chọn tính năng (ví dụ: sử dụng LASSO) để có được không gian tính năng chiều thấp hơn. Một cái gì đó giống như lựa chọn tính năng bằng LASSO có thể hữu ích nếu một số tập hợp con lớn nhưng chưa biết của các tính năng không liên quan.

• Sử dụng các thuật toán ít có xu hướng quá mức như rừng ngẫu nhiên. (Tùy thuộc vào cài đặt, số lượng tính năng, v.v ..., chúng có thể đắt hơn về mặt tính toán so với bình phương tối thiểu thông thường.)

  Một số câu trả lời khác cũng đã đề cập đến những lợi thế của kỹ thuật / thuật toán tăng cường và đóng bao.

• Phương pháp Bayes

  Thêm một ưu tiên vào vectơ hệ số làm giảm quá mức. Đây là khái niệm liên quan đến chính quy hóa: vd. hồi quy sườn núi là một trường hợp đặc biệt của ước lượng posteriori tối đa.

Nếu bạn đang sử dụng một mô hình với bộ giải, trong đó bạn có thể xác định số lần lặp / epoch, bạn có thể theo dõi lỗi xác thực và áp dụng dừng sớm: dừng thuật toán, khi lỗi xác thực bắt đầu tăng.

Hai suy nghĩ:

1. Tôi thứ hai chiến lược "sử dụng một mô hình đơn giản hơn" được đề xuất bởi Ben Ogorek .

   Tôi làm việc trên các mô hình phân loại tuyến tính thực sự thưa thớt với các hệ số nguyên nhỏ (ví dụ: tối đa 5 biến có hệ số nguyên nằm trong khoảng từ -5 đến 5). Các mô hình khái quát tốt về độ chính xác và số liệu hiệu suất phức tạp hơn (ví dụ hiệu chuẩn).

   $n/d$

2. Nếu bạn có thể chỉ định các ràng buộc bổ sung cho mô hình của mình (ví dụ: các ràng buộc đơn điệu, thông tin bên lề), thì điều này cũng có thể giúp khái quát hóa bằng cách giảm không gian giả thuyết (xem ví dụ trong bài viết này ).

   Điều này cần được thực hiện một cách cẩn thận (ví dụ: bạn có thể muốn so sánh mô hình của mình với đường cơ sở mà không bị ràng buộc và thiết kế quy trình đào tạo của bạn theo cách đảm bảo bạn không bị hạn chế chọn anh đào).