Sự khác biệt giữa chức năng mất và chức năng quyết định là gì?

Tôi thấy rằng cả hai chức năng là một phần của các phương thức khai thác dữ liệu, chẳng hạn như Gradient Boosting Regressors. Tôi thấy rằng đó là những đối tượng riêng biệt quá.

Làm thế nào là mối quan hệ giữa cả hai nói chung?

Hàm quyết định là hàm lấy dữ liệu làm đầu vào và đưa ra quyết định làm đầu ra. Những gì quyết định có thể được phụ thuộc vào vấn đề trong tay. Những ví dụ bao gồm:

• Các vấn đề ước tính: "quyết định" là ước tính.
• Vấn đề kiểm tra giả thuyết: quyết định là từ chối hoặc không bác bỏ giả thuyết khống.
• Vấn đề phân loại: quyết định là phân loại một quan sát mới (hoặc quan sát) thành một loại.
• Vấn đề lựa chọn mô hình: quyết định là chọn một trong những mô hình ứng cử viên.

Thông thường, có vô số hàm quyết định có sẵn cho một vấn đề. Ví dụ, nếu chúng ta quan tâm đến việc ước tính chiều cao của nam giới Thụy Điển dựa trên mười quan sát , chúng ta có thể sử dụng bất kỳ hàm quyết định nào sau đây d ( x ) :$\mathbf{x}=(x_1,x_2,\ldots,x_{10})$$d(\mathbf{x})$

• Giá trị trung bình của mẫu: .$d(\mathbf{x})=\frac{1}{10}\sum_{i=1}^{10}x_i$
• Trung vị của mẫu: $d(\mathbf{x})=\mbox{median}(\mathbf{x})$
• Giá trị trung bình hình học của mẫu: $d(\mathbf{x})=\sqrt[10]{x_1\cdots x_{10}}$
• Hàm luôn trả về 1: , bất kể giá trị của x . Ngớ ngẩn, có, nhưng nó vẫn là một chức năng quyết định hợp lệ.$d(\mathbf{x})=1$$\mathbf{x}$

Làm thế nào chúng ta có thể xác định chức năng quyết định nào sẽ sử dụng? Một cách là sử dụng hàm mất mát , mô tả tổn thất (hoặc chi phí) liên quan đến tất cả các quyết định có thể. Các chức năng quyết định khác nhau sẽ có xu hướng dẫn đến các loại sai lầm khác nhau. Hàm mất mát cho chúng ta biết loại sai lầm nào chúng ta nên quan tâm hơn. Hàm quyết định tốt nhất là hàm mang lại tổn thất dự kiến thấp nhất . Điều gì có nghĩa là mất mát dự kiến ​​phụ thuộc vào cài đặt (cụ thể, cho dù chúng ta đang nói về thống kê thường xuyên hoặc Bayes ).

Tóm tắt:

• Chức năng quyết định được sử dụng để đưa ra quyết định dựa trên dữ liệu.
• Hàm mất được sử dụng để xác định hàm quyết định nào sẽ sử dụng.

Hàm mất mát là những gì được tối thiểu hóa để có được một mô hình tối ưu theo một nghĩa nào đó. Bản thân mô hình có chức năng quyết định được sử dụng để dự đoán.

Ví dụ: trong phân loại SVM:

• $\mathcal{L}(\mathbf{w}, \xi) =\frac{1}{2}\|\mathbf{w}\|^2 + C\sum_i \xi_i$
• $f(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b$