Số liệu lỗi cho các mô hình Poisson xác thực chéo

Tôi đang xác thực chéo một mô hình đang cố gắng dự đoán số lượng. Nếu đây là một vấn đề phân loại nhị phân, tôi sẽ tính toán AUC ngoài luồng và nếu đây là vấn đề hồi quy, tôi sẽ tính RMSE hoặc MAE ngoài luồng.

Đối với mô hình Poisson, tôi có thể sử dụng số liệu lỗi nào để đánh giá "độ chính xác" của các dự đoán ngoài mẫu? Có một phần mở rộng Poisson của AUC xem xét các dự đoán sắp xếp các giá trị thực tế như thế nào?

Có vẻ như rất nhiều cuộc thi Kaggle về số lượng (ví dụ: số phiếu bầu hữu ích mà một đánh giá yelp sẽ nhận được, hoặc số ngày bệnh nhân sẽ ở trong bệnh viện) sử dụng lỗi bình phương nhật ký gốc hoặc RMLSE.

/ Chỉnh sửa: Một điều tôi đã và đang làm là tính toán các deciles của các giá trị dự đoán, và sau đó nhìn vào số lượng thực tế, được quy định bởi decile. Nếu decile 1 thấp, decile 10 cao và decile ở giữa đang tăng nghiêm ngặt, tôi đã gọi mô hình là "tốt", nhưng tôi đã gặp khó khăn trong việc định lượng quá trình này và tôi tin rằng sẽ tốt hơn tiếp cận.

/ Chỉnh sửa 2: Tôi đang tìm kiếm một công thức lấy các giá trị dự đoán và thực tế và trả về một số liệu "lỗi" hoặc "chính xác". Kế hoạch của tôi là tính toán hàm này trên dữ liệu ngoài màn hình trong quá trình xác thực chéo và sau đó sử dụng nó để so sánh nhiều mô hình khác nhau (ví dụ: hồi quy poisson, rừng ngẫu nhiên và GBM ).

Ví dụ, một chức năng như vậy là RMSE = sqrt(mean((predicted-actual)^2)). Một chức năng như vậy sẽ là AUC . Cả hai chức năng dường như không phù hợp với dữ liệu poisson.

Có một vài quy tắc chấm điểm thích hợp và đúng đắn cho dữ liệu đếm bạn có thể sử dụng. Quy tắc chấm điểm là các hình phạt giới thiệu với P là phân phối dự đoán và y là giá trị quan sát được. Chúng có một số tính chất mong muốn, trước hết và quan trọng nhất là dự báo gần với xác suất thực sẽ luôn nhận được ít hình phạt hơn và có một dự báo tốt nhất (duy nhất) và đó là khi xác suất dự đoán trùng với xác suất thực. Do đó, giảm thiểu kỳ vọng của s ( y , P ) có nghĩa là báo cáo xác suất thực. Xem thêm Wikipedia .$s(y,P)$$P$$y$$s(y,P)$

Thông thường người ta lấy trung bình của những người trên tất cả các giá trị dự đoán là

$S=\frac{1}{n}\sum_{i=1}^n s(y^{(i)},P^{(i)})$

Quy tắc nào cần thực hiện tùy thuộc vào mục tiêu của bạn, nhưng tôi sẽ đưa ra một đặc điểm sơ bộ khi mỗi quy tắc được sử dụng tốt.

$f(y)$$\Pr(Y=y)$$F(y)$$\sum_k$$0,1,\dots, \infty$$I$$\mu$$\sigma$

Quy tắc chấm điểm đúng

• Điểm Brier : (ổn định cho sự mất cân bằng kích thước trong các dự đoán phân loại)$s(y,P)=-2 f(y) + \sum_k f^2(k)$
• Điểm Dawid-Sebastiani : (tốt cho lựa chọn mô hình dự đoán chung; ổn định cho sự mất cân bằng kích thước trong các dự báo phân loại)$s(y,P)=(\frac{y-\mu}{\sigma})^2+2\log\sigma$
• Điểm sai lệch : ( là thuật ngữ chuẩn hóa chỉ phụ thuộc vào , trong các mô hình Poisson, nó thường được sử dụng làm độ lệch bão hòa, sử dụng tốt cho các ước tính từ một khung ML)$s(y,P)=-2\log f(y) + g_y$$g_y$$y$
• Điểm số logarit : (rất dễ tính; ổn định cho sự mất cân bằng kích thước trong các yếu tố dự đoán phân loại)$s(y,P)=-\log f(y)$
• Điểm xác suất được xếp hạng : (tốt cho việc đối chiếu các dự đoán khác nhau về số lượng rất cao; dễ bị mất cân bằng kích thước trong các dự đoán phân loại)$s(y,P)=\sum_k \{F(k)-I(y\leq k)\}^2$
• Điểm hình cầu : (ổn định cho sự mất cân bằng kích thước trong các dự đoán phân loại)$s(y,P)=\frac{f(y)}{\sqrt{\sum_k f^2(k)}}$

Các quy tắc tính điểm khác (không phù hợp nhưng thường được sử dụng)

• Điểm lỗi tuyệt đối :(không thích hợp)$s(y,P)=|y-\mu|$
• Điểm sai số bình phương : (không đúng nghiêm ngặt; dễ bị ngoại lệ; dễ bị mất cân bằng kích thước trong các yếu tố dự báo phân loại)$s(y,P)=(y-\mu)^2$
• Pearson bình thường điểm số bình phương lỗi : (không đúng cách; dễ bị ngoại lệ; có thể được sử dụng để kiểm tra nếu kiểm tra mô hình nếu điểm trung bình rất khác với 1, ổn định cho sự mất cân bằng kích thước trong các yếu tố dự đoán phân loại)$s(y,P)=(\frac{y-\mu}{\sigma})^2$

Mã R ví dụ cho các quy tắc đúng đắn nghiêm ngặt:

library(vcdExtra)
m1 <- glm(Freq ~ mental, family=poisson, data=Mental) 

# scores for the first observation
mu <- predict(m1, type="response")[1]
x  <- Mental$Freq[1]

# logarithmic (equivalent to deviance score up to a constant) 
-log(dpois(x, lambda=mu))

# quadratic (brier)
-2*dpois(x,lambda=mu) + sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) })

# spherical
- dpois(x,mu) / sqrt(sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) }))

# ranked probability score
sum(ppois((-1):(x-1), mu)^2) + sum((ppois(x:10000,mu)-1)^2)

# Dawid Sebastiani
(x-mu)^2/mu + log(mu)