Hàm mục tiêu, hàm chi phí, hàm mất: chúng có giống nhau không?

Trong học máy, người ta nói về chức năng khách quan, chức năng chi phí, chức năng mất mát. Có phải họ chỉ là tên khác nhau của cùng một điều? Khi nào sử dụng chúng? Nếu chúng không phải luôn luôn đề cập đến cùng một điều, sự khác biệt là gì?

Đây không phải là những điều khoản rất nghiêm ngặt và chúng có liên quan cao. Tuy nhiên:

• Hàm mất thường là một hàm được xác định trên điểm dữ liệu, dự đoán và nhãn và đo lường hình phạt. Ví dụ:
  • mất vuông , được sử dụng trong hồi quy tuyến tính$l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2$
  • mất bản lề , được sử dụng trong SVM$l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)$
  • Mất 0/1 , được sử dụng trong phân tích lý thuyết và định nghĩa về độ chính xác$l(f(x_i|\theta), y_i) = 1 \iff f(x_i|\theta) \neq y_i$
• Hàm chi phí thường là tổng quát hơn. Nó có thể là tổng số các hàm mất trên tập huấn luyện của bạn cộng với một số hình phạt phức tạp mô hình (chính quy). Ví dụ:
  • Lỗi bình phương trung bình$MSE(\theta) = \frac{1}{N} \sum_{i=1}^N \left (f(x_i|\theta)-y_i \right )^2$
  • Hàm chi phí (có các ràng buộc bổ sung kết nối với và với tập huấn luyện)ξ i$SVM(\theta) = \|\theta\|^2 + C \sum_{i=1}^N \xi_i$$\xi_i$$C$
• Chức năng khách quan là thuật ngữ chung nhất cho bất kỳ chức năng nào bạn tối ưu hóa trong quá trình đào tạo. Ví dụ: xác suất tạo tập huấn theo cách tiếp cận khả năng tối đa là hàm mục tiêu được xác định rõ, nhưng nó không phải là hàm mất cũng không phải hàm chi phí (tuy nhiên bạn có thể xác định hàm chi phí tương đương). Ví dụ:
  • MLE là một loại hàm mục tiêu (mà bạn tối đa hóa)
  • Phân kỳ giữa các lớp có thể là hàm mục tiêu nhưng nó hầu như không phải là hàm chi phí, trừ khi bạn định nghĩa một thứ nhân tạo, như Phân kỳ 1, và đặt tên là chi phí

Câu chuyện dài, tôi sẽ nói rằng:

Hàm mất mát là một phần của hàm chi phí là một loại hàm mục tiêu.

Theo giáo sư Andrew Ng (xem slide trên trang 11),

Hàm h (X) đại diện cho giả thuyết của bạn. Đối với các tham số phù hợp cố định theta, đó là một chức năng của các tính năng X. Tôi muốn nói điều này cũng có thể được gọi là Chức năng Mục tiêu.

Hàm chi phí J là một hàm của các tham số phù hợp theta. J = J (theta).

Theo sách giáo khoa "Các yếu tố của học thống kê" của Hastie và cộng sự , theo tr.37:

"Chúng tôi tìm kiếm một hàm f (X) để dự đoán các giá trị Y đã cho của đầu vào X." [...] Hàm mất L (Y, f (X)) là "hàm xử phạt các lỗi trong dự đoán",

Vì vậy, có vẻ như "hàm mất" là một thuật ngữ chung hơn một chút so với "hàm chi phí". Nếu bạn tìm kiếm "mất" trong bản PDF đó, tôi nghĩ rằng họ sử dụng "hàm chi phí" và "hàm mất" một cách đồng nghĩa.

Thật vậy, p. 502

"Tình huống [trong Phân cụm] có phần giống với đặc điểm của hàm mất hoặc chi phí trong các vấn đề dự đoán (học có giám sát)".

Có thể các thuật ngữ này tồn tại bởi vì chúng phát triển độc lập trong các cộng đồng học thuật khác nhau. "Hàm mục tiêu" là một thuật ngữ cũ được sử dụng trong Nghiên cứu hoạt động và Toán kỹ thuật. "Chức năng mất" có thể được sử dụng nhiều hơn giữa các nhà thống kê. Nhưng tôi đang suy đoán ở đây.

Theo lời của Andrew NG-

"Cuối cùng, hàm mất mát được xác định theo một ví dụ đào tạo duy nhất. Nó đo lường mức độ bạn đang làm trong một ví dụ đào tạo duy nhất. Bây giờ tôi sẽ định nghĩa một thứ gọi là hàm chi phí, đo lường mức độ tốt của bạn thực hiện toàn bộ tập huấn luyện. Vì vậy, hàm chi phí J được áp dụng cho các tham số W và B của bạn sẽ là trung bình với một trong số m của tổng hàm mất áp dụng cho từng ví dụ đào tạo và lần lượt. "

Từ phần 4.3 trong "Học sâu" - Ian Goodfellow, Yoshua Bengio, Aaron Courville http://www.deeplearningbook.org/

"Hàm chúng ta muốn tối thiểu hóa hoặc tối đa hóa được gọi là hàm mục tiêu hoặc tiêu chí. Khi chúng ta thu nhỏ nó, chúng ta cũng có thể gọi nó là hàm chi phí, hàm mất hoặc hàm lỗi. Trong cuốn sách này, chúng ta sử dụng các thuật ngữ này thay thế cho nhau, mặc dù một số ấn phẩm học máy có ý nghĩa đặc biệt đối với một số thuật ngữ này. "

Trong cuốn sách này, ít nhất, mất mát và chi phí là như nhau.

Để cho bạn một câu trả lời ngắn, theo tôi chúng là đồng nghĩa. Tuy nhiên, hàm chi phí được sử dụng nhiều hơn trong bài toán tối ưu hóa và hàm mất mát được sử dụng trong ước tính tham số.

Các thuật ngữ chi phí và chức năng mất đồng nghĩa với một số người cũng gọi đó là chức năng lỗi. Kịch bản tổng quát hơn là xác định hàm mục tiêu trước tiên mà chúng ta muốn tối ưu hóa. Hàm mục tiêu này có thể là

1. tối đa hóa xác suất sau (ví dụ, Bayes ngây thơ)
2. tối đa hóa chức năng tập thể dục (lập trình di truyền)
3. tối đa hóa tổng số phần thưởng / giá trị (học tăng cường)
4. tối đa hóa mức tăng thông tin / giảm thiểu tạp chất nút con (phân loại cây quyết định GIỎI) 5. tối đa hóa hàm chi phí lỗi trung bình (hoặc mất) bình phương (GIỎI, hồi quy cây quyết định, hồi quy tuyến tính, nơ ron tuyến tính thích ứng, cách ly
5. tối đa hóa khả năng đăng nhập hoặc giảm thiểu chức năng mất entropy chéo (hoặc chi phí) giảm thiểu mất bản lề (máy vectơ hỗ trợ)

Thực tế là đơn giản Nếu bạn có m dữ liệu đào tạo như thế này (x (1), y (1)), (x (2), y (2)) ,. . . (x (m), y (m)) Chúng tôi sử dụng hàm mất L (ycap, y) để tìm mất giữa ycap và y của một tập huấn luyện duy nhất Nếu chúng tôi muốn tìm mất giữa ycap và y của toàn bộ tập huấn luyện, chúng tôi sử dụng chức năng ước lượng.

Lưu ý: - ycap có nghĩa là đầu ra từ mô hình của chúng tôi Và y có nghĩa là đầu ra dự kiến

Lưu ý: - Tín dụng đi Andrew ng Tài nguyên: mạng lưới thần kinh coursera và học tập sâu

Hàm mất mát tính toán sai số cho một ví dụ đào tạo, trong khi hàm chi phí là trung bình của các hàm mất mát của toàn bộ tập huấn luyện.