Giả sử tôi đưa ra một loạt các dự báo xác suất như:
- 70% xác suất tăng trưởng doanh thu sẽ là 10 - 15% trong Q1, 10% xác suất tăng trưởng doanh thu sẽ> 15%, xác suất 20% rằng tăng trưởng doanh thu sẽ <10%
Với dữ liệu thực tế, cách tốt nhất để đo lường hoặc theo dõi độ chính xác của tôi là gì? Điểm số Brier?
Và tôi có thể tính trung bình điểm Brier của mình cho các loại dự báo khác nhau không? (ví dụ: Tìm điểm số của dự báo cho dự đoán "có 80% khả năng mưa" và tính trung bình với dự báo tăng trưởng doanh số)
1
Tôi ngần ngại sử dụng điểm Brier cho kết quả thứ tự với hơn 3 danh mục, chẳng hạn như ở đây nơi bán hàng có thể được phân loại là thấp / trung bình / cao. Điểm Brier coi mỗi kết quả là tương đương với các kết quả khác.
—
RobertF
Là dữ liệu của bạn vốn đã là thứ tự, như @RobertF dường như giả định? Nếu vậy, điều này làm tăng thêm sự phức tạp, như ông viết, và sẽ tốt hơn nếu bạn có thể chỉnh sửa điều này vào bài viết của mình. Nếu không, bạn có thể sử dụng các quy tắc tính điểm thích hợp , như Brier hoặc các quy tắc khác. Và vâng, bạn có thể trung bình chúng.
—
Stephan Kolassa
Tôi tin rằng ví dụ của tôi sử dụng dữ liệu thứ tự, nhưng tôi không hiểu ý của bạn là "vốn có thứ tự". Tuy nhiên, tôi có thể thay đổi dự báo của mình để chỉ tăng trưởng doanh số 12%. Nếu vậy tôi sẽ sử dụng một cái gì đó như MAE? Nhưng lý do tôi đưa vào các xác suất là để tính đến sự thay đổi và các sự kiện hiếm. Ví dụ, tăng trưởng doanh số dự kiến của dự báo của tôi có thể là 12%, nhưng có thể có một xác suất nhỏ về tăng trưởng doanh thu âm. Mặc dù không có khả năng xảy ra nhưng có thể có giá trị để biết khả năng tăng trưởng doanh số âm. Vì vậy, tôi muốn phản ánh điều đó trong dự báo của tôi bằng cách nào đó.
—
Emile
Theo "vốn dĩ", ý tôi là liệu vấn đề tiềm ẩn của bạn là thứ tự hay liệu ví dụ bạn sử dụng có phải là thứ tự hay không. Rõ ràng, đó là trước đây.
—
Stephan Kolassa