Sử dụng hệ số tương quan của Pearson làm mục tiêu tối ưu hóa trong học máy

Trong học máy (đối với các vấn đề hồi quy), tôi thường thấy lỗi bình phương trung bình (MSE) hoặc lỗi trung bình tuyệt đối (MAE) được sử dụng làm hàm lỗi để giảm thiểu (cộng với thuật ngữ chính quy). Tôi tự hỏi nếu có những tình huống sử dụng hệ số tương quan sẽ phù hợp hơn? nếu tình huống đó tồn tại, thì:

1. Trong các tình huống, hệ số tương quan là một số liệu tốt hơn so với MSE / MAE?
2. Trong những tình huống này, MSE / MAE có còn là hàm chi phí proxy tốt để sử dụng không?
3. Là tối đa hóa hệ số tương quan có thể trực tiếp? Đây có phải là một chức năng mục tiêu ổn định để sử dụng?

Tôi không thể tìm thấy các trường hợp trong đó hệ số tương quan được sử dụng trực tiếp làm hàm mục tiêu trong tối ưu hóa. Tôi sẽ đánh giá cao nếu mọi người có thể chỉ cho tôi thông tin trong lĩnh vực này.

Tối đa hóa tương quan là hữu ích khi đầu ra rất ồn. Nói cách khác, mối quan hệ giữa đầu vào và đầu ra rất yếu. Trong trường hợp như vậy, giảm thiểu MSE sẽ có xu hướng làm cho đầu ra gần bằng 0 để lỗi dự đoán giống như phương sai của đầu ra đào tạo.

Có thể sử dụng trực tiếp tương quan làm hàm mục tiêu cho phương pháp giảm độ dốc (chỉ cần thay đổi nó để giảm thiểu tương quan trừ). Tuy nhiên, tôi không biết làm thế nào để tối ưu hóa nó với phương pháp SGD, bởi vì hàm chi phí và độ dốc liên quan đến đầu ra của tất cả các mẫu đào tạo.

Một cách khác để tối đa hóa mối tương quan là giảm thiểu MSE với việc hạn chế phương sai đầu ra giống như phương sai đầu ra đào tạo. Tuy nhiên, các ràng buộc cũng liên quan đến tất cả các đầu ra do đó không có cách nào (theo ý kiến ​​của tôi) để tận dụng tối ưu hóa SGD.

EDIT: Trong trường hợp lớp trên cùng của mạng thần kinh là lớp đầu ra tuyến tính, chúng ta có thể giảm thiểu MSE và sau đó điều chỉnh trọng số và độ lệch trong lớp tuyến tính để tối đa hóa mối tương quan. Việc điều chỉnh có thể được thực hiện tương tự như CCA ( https://en.wikipedia.org/wiki/Canonical_analysis ).

Chúng tôi sử dụng mối tương quan Pearson trong nghiên cứu của chúng tôi và nó hoạt động tốt. Trong trường hợp của chúng tôi nó khá ổn định. Vì nó là một phép đo và tỷ lệ bất biến tỷ lệ, nó chỉ hữu ích nếu bạn muốn dự đoán hình dạng, không phải giá trị chính xác. Do đó, sẽ hữu ích nếu bạn không biết liệu mục tiêu của mình có nằm trong không gian giải pháp của mô hình hay không và bạn chỉ quan tâm đến hình dạng. Ngược lại, MSE giảm khoảng cách trung bình giữa dự đoán và mục tiêu, vì vậy nó cố gắng khớp dữ liệu càng nhiều càng tốt. Đây có lẽ là lý do tại sao MSE được sử dụng rộng rãi hơn, bởi vì bạn thường quan tâm đến việc dự đoán các giá trị chính xác. Nếu bạn giảm thiểu MSE, thì mối tương quan sẽ tăng lên.