Lựa chọn trong số các quy tắc chấm điểm thích hợp

Hầu hết các tài nguyên về quy tắc tính điểm thích hợp đề cập đến một số quy tắc tính điểm khác nhau như mất log, điểm Brier hoặc ghi hình cầu. Tuy nhiên, họ thường không đưa ra nhiều hướng dẫn về sự khác biệt giữa chúng. (Triển lãm A: Wikipedia .)

Chọn mô hình tối đa hóa điểm số logarit tương ứng với việc chọn mô hình khả năng tối đa, có vẻ như là một đối số tốt để sử dụng tính điểm logarit. Có những biện minh tương tự cho Brier hoặc chấm điểm hình cầu, hoặc các quy tắc tính điểm khác? Tại sao ai đó sẽ sử dụng một trong số này thay vì ghi điểm logarit?

Tại sao ai đó sẽ sử dụng một trong số này thay vì ghi điểm logarit?

Vì vậy, lý tưởng nhất, chúng tôi luôn phân biệt việc phù hợp với một mô hình với việc đưa ra quyết định . Trong phương pháp Bayes, việc chấm điểm & lựa chọn mô hình phải luôn luôn được thực hiện bằng cách sử dụng khả năng cận biên . Sau đó, bạn sử dụng mô hình để đưa ra dự đoán xác suất và hàm mất mát của bạn cho bạn biết cách hành động theo những dự đoán đó.

Thật không may trong thế giới thực, hiệu suất tính toán thường chỉ ra rằng chúng ta đưa ra lựa chọn mô hình và ra quyết định và do đó sử dụng hàm mất mát để phù hợp với các mô hình của chúng ta. Đây là nơi chủ quan trong lựa chọn mô hình leo vào, bởi vì bạn phải đoán xem có bao nhiêu loại sai lầm khác nhau sẽ khiến bạn phải trả giá. Ví dụ kinh điển là chẩn đoán ung thư: đánh giá quá cao khả năng mắc bệnh ung thư của một người nào đó là không tốt, nhưng đánh giá thấp thì tệ hơn nhiều.

Bên cạnh đó, nếu bạn đang tìm kiếm hướng dẫn về cách chọn quy tắc tính điểm, bạn cũng có thể muốn tìm hướng dẫn về cách chọn chức năng mất hoặc thiết kế chức năng tiện ích, vì tôi nghĩ rằng tài liệu về hai chủ đề này rất nhiều đồ sộ hơn.