Chính quy trong tiếng Anh đơn giản là gì?

Không giống như các bài viết khác, tôi tìm thấy mục wikipedia cho chủ đề này không thể đọc được cho một người không phải là người toán học (như tôi).

Tôi hiểu ý tưởng cơ bản, rằng bạn ủng hộ các mô hình với ít quy tắc hơn. Những gì tôi không nhận được là làm thế nào để bạn có được từ một bộ quy tắc đến 'điểm số chính quy' mà bạn có thể sử dụng để sắp xếp các mô hình từ ít nhất đến phù hợp nhất.

Bạn có thể mô tả một phương pháp chính quy đơn giản?

Tôi quan tâm đến bối cảnh phân tích các hệ thống giao dịch thống kê. Sẽ thật tuyệt nếu bạn có thể mô tả nếu / làm thế nào tôi có thể áp dụng chính quy để phân tích hai mô hình dự đoán sau:

Mô hình 1 - giá sẽ tăng khi:

• exp_moving_avg (price, period = 50)> exp_moving_avg (price, period = 200)

Mô hình 2 - giá sẽ tăng khi:

• price [n] <price [n-1] 10 lần liên tiếp
• exp_moving_avg (giá, kỳ = 200) sẽ tăng

Nhưng tôi quan tâm nhiều hơn đến việc cảm nhận về cách bạn thực hiện chính quy. Vì vậy, nếu bạn biết mô hình tốt hơn để giải thích nó xin vui lòng làm.

Nói một cách đơn giản, chính quy hóa là điều chỉnh hoặc chọn mức độ phức tạp của mô hình ưa thích để các mô hình của bạn tốt hơn trong việc dự đoán (khái quát hóa). Nếu bạn không làm điều này, các mô hình của bạn có thể quá phức tạp và quá phù hợp hoặc quá đơn giản và không phù hợp, bằng cách nào đó đưa ra dự đoán kém.

Nếu các hình vuông nhỏ nhất của bạn phù hợp với một mô hình phức tạp với một tập hợp dữ liệu đào tạo nhỏ, bạn có thể sẽ phù hợp hơn, đây là tình huống phổ biến nhất. Độ phức tạp tối ưu của mô hình phụ thuộc vào loại quy trình bạn đang lập mô hình và chất lượng dữ liệu, do đó không có độ phức tạp chính xác của mô hình.

Để thường xuyên bạn cần 2 điều:

1. Một cách để kiểm tra mức độ tốt của các mô hình của bạn, ví dụ như sử dụng xác thực chéo hoặc một bộ dữ liệu xác thực (bạn không thể sử dụng lỗi phù hợp cho việc này).
2. Một tham số điều chỉnh cho phép bạn thay đổi độ phức tạp hoặc độ mịn của mô hình hoặc lựa chọn các mô hình có độ phức tạp / độ mịn khác nhau.

Lưu ý rằng lỗi chính quy được tối ưu hóa sẽ không phải là ước tính chính xác của lỗi dự đoán tổng thể, do đó, sau khi chính quy, cuối cùng bạn sẽ phải sử dụng một tập dữ liệu xác nhận bổ sung hoặc thực hiện một số phân tích thống kê bổ sung để có lỗi dự đoán không thiên vị.

Một cách khác để sử dụng thử nghiệm xác thực (chéo) là sử dụng Bayesian Priors hoặc các phương pháp khác để xử phạt sự phức tạp hoặc không mượt mà, nhưng chúng đòi hỏi sự tinh tế thống kê và kiến ​​thức về các tính năng mô hình và vấn đề.

Giả sử bạn thực hiện học tập thông qua giảm thiểu rủi ro theo kinh nghiệm.

Chính xác hơn:

• bạn đã có hàm mất mát không âm đặc trưng cho mức độ dự đoán của bạn tệ như thế nào$L(\text{actual value},\text{ predicted value})$
• bạn muốn điều chỉnh mô hình của mình theo cách sao cho các dự đoán của nó giảm thiểu hàm trung bình của hàm mất, chỉ được tính trên dữ liệu huấn luyện (dữ liệu duy nhất bạn có)

Sau đó, mục đích của quá trình học tập là tìm (phương pháp này được gọi là rủi ro theo kinh nghiệm giảm thiểu).$\text{Model} = \text{argmin} \sum L(\text{actual}, \text{predicted}(\text{Model}))$

Nhưng nếu bạn không có đủ dữ liệu và có một số lượng lớn các biến trong mô hình của mình, thì rất có thể tìm thấy một mô hình như vậy không chỉ giải thích các mẫu mà còn giải thích nhiễu ngẫu nhiên trong dữ liệu của bạn. Hiệu ứng này được gọi là quá mức và nó dẫn đến suy giảm khả năng khái quát hóa của mô hình của bạn.

Để tránh vượt quá thuật ngữ chính quy được đưa vào hàm mục tiêu: $\text{Model} = \text{argmin} \sum L(\text{actual}, \text{predicted}(\text{Model})) + \lambda R(\text{Model})$

Thông thường, thuật ngữ áp dụng hình phạt đặc biệt đối với các mô hình phức tạp. Ví dụ, trên các mô hình có hệ số lớn (chính quy L2, = tổng bình phương hệ số) hoặc với rất nhiều nếu hệ số khác không (chính quy L1, = tổng giá trị tuyệt đối của hệ số). Nếu chúng ta đang đào tạo cây quyết định, có thể là độ sâu của nó.R R $R(\text{Model})$$R$$R$$R$

Một quan điểm khác là giới thiệu kiến ​​thức trước đây của chúng tôi về một dạng của mô hình tốt nhất ("nó không có hệ số quá lớn", "nó gần như trực giao với ")ˉ $R$$\bar a$

Nói một cách đơn giản, chính quy là về việc mang lại lợi ích cho các giải pháp mà bạn mong muốn nhận được. Như bạn đã đề cập, ví dụ bạn có thể có lợi cho các giải pháp "đơn giản", đối với một số định nghĩa về tính đơn giản. Nếu vấn đề của bạn có quy tắc, một định nghĩa có thể là quy tắc ít hơn. Nhưng điều này phụ thuộc vào vấn đề.

Bạn đang hỏi đúng câu hỏi, tuy nhiên. Ví dụ, trong Support Vector Machines, "sự đơn giản" này xuất phát từ việc phá vỡ các mối quan hệ theo hướng "lề tối đa". Lề này là một cái gì đó có thể được xác định rõ ràng về vấn đề. Có một dẫn xuất hình học rất tốt trong bài viết SVM trên Wikipedia . Nó chỉ ra rằng thuật ngữ chính quy hóa, ít nhất là "nước sốt bí mật" của SVM.

Làm thế nào để bạn làm thường xuyên? Nói chung đi kèm với phương pháp bạn sử dụng, nếu bạn sử dụng các SVM bạn đang thực hiện chính quy L2, nếu bạn sử dụng LASSO thì bạn đang thực hiện chính quy hóa L1 (xem phần hairybeast đang nói gì). Tuy nhiên, nếu bạn đang phát triển phương pháp của riêng mình, bạn cần biết cách đưa ra các giải pháp mong muốn từ những giải pháp không mong muốn và có chức năng định lượng điều này. Cuối cùng, bạn sẽ có một điều khoản chi phí và thời hạn chính quy, và bạn muốn tối ưu hóa tổng của cả hai.

Các kỹ thuật chính quy là các kỹ thuật được áp dụng cho các mô hình học máy giúp cho ranh giới quyết định / mô hình được trang bị mượt mà hơn. Những kỹ thuật này giúp ngăn ngừa quá mức.

Ví dụ: L1, L2, Bỏ học, Giảm cân trong Mạng lưới thần kinh. Tham số trong SVM.$C$

Nói một cách đơn giản, Chính quy là một kỹ thuật để tránh sự phù hợp quá mức khi đào tạo các thuật toán học máy. Nếu bạn có một thuật toán có đủ tham số miễn phí, bạn có thể nội suy rất chi tiết mẫu của mình, nhưng các ví dụ bên ngoài mẫu có thể không tuân theo phép nội suy chi tiết này vì nó chỉ thu được nhiễu hoặc bất thường ngẫu nhiên trong mẫu thay vì xu hướng thực.

Việc khớp quá mức được tránh bằng cách giới hạn giá trị tuyệt đối của các tham số trong mô hình. Điều này có thể được thực hiện bằng cách thêm một thuật ngữ vào hàm chi phí áp dụng hình phạt dựa trên độ lớn của các tham số mô hình. Nếu cường độ được đo theo định mức L1 thì đây được gọi là "Chính quy hóa L1" (và thường dẫn đến các mô hình thưa thớt), nếu được đo theo định mức L2 thì đây được gọi là "Chính quy hóa L2", v.v.