Số liệu đánh giá dự đoán cho dữ liệu bảng / dọc

Tôi muốn đánh giá một số mô hình khác nhau cung cấp dự đoán hành vi ở cấp độ hàng tháng. Dữ liệu được cân bằng và 100.000 và 12. Kết quả là tham dự một buổi hòa nhạc trong một tháng nhất định, do đó, con số này không bằng ~ 80% số người trong bất kỳ tháng nào, nhưng có một lượng lớn người dùng nặng. Những dự đoán mà tôi dường như không tôn trọng bản chất đếm của kết quả: các buổi hòa nhạc phân đoạn là phổ biến.$n=$$T=$

Tôi không biết gì về các mô hình. Tôi chỉ quan sát 6 dự đoán hộp đen khác nhau cho mỗi người mỗi tháng. Tôi có thêm một năm dữ liệu mà các nhà xây dựng mô hình không có để ước tính (mặc dù những người đi xem hòa nhạc vẫn giữ nguyên) và tôi muốn đánh giá xem mỗi nơi hoạt động tốt (về độ chính xác và độ chính xác). Ví dụ, một số mô hình dự đoán tốt cho người đi xem hòa nhạc thường xuyên, nhưng thất bại cho khoai tây văng? Dự đoán cho tháng 1 có tốt hơn dự đoán cho tháng 12 không? Ngoài ra, thật tuyệt khi biết rằng các dự đoán cho phép tôi xếp hạng mọi người một cách chính xác về mặt thực tế, ngay cả khi độ lớn chính xác không thể tin cậy được.$\hat y_1,...,\hat y_6$

Suy nghĩ đầu tiên của tôi là chạy một hồi quy hiệu ứng cố định thực tế trên các hình nộm dự đoán và thời gian và xem xét RMSEs hoặc cho mỗi mô hình. Nhưng điều đó không trả lời cho câu hỏi về việc mỗi mô hình hoạt động tốt ở đâu hoặc nếu sự khác biệt là đáng kể (trừ khi tôi khởi động RMSE). Sự phân phối kết quả cũng làm tôi lo lắng với phương pháp này.$R^2$

Ý tưởng thứ hai của tôi là biến kết quả thành 0, 1-3 và 3+ và tính toán ma trận nhầm lẫn, nhưng điều này bỏ qua thứ nguyên thời gian, trừ khi tôi thực hiện 12 trong số này. Nó cũng khá thô.

Tôi biết các lệnh Stata concordcủa TJ Steichen và NJ Cox - có by()tùy chọn này, nhưng điều đó sẽ yêu cầu thu gọn dữ liệu thành tổng số hàng năm. Điều này tính toán Chỉ số tương quan của Lin với các khoảng tin cậy, trong số các chỉ số hữu ích khác. CCC nằm trong khoảng từ -1 đến 1, với thỏa thuận hoàn hảo là 1.

Ngoài ra còn có củaellell (được tính toán bởi R. Newson), có tùy chọn này, nhưng tôi không chắc điều đó sẽ cho phép tôi xử lý dữ liệu bảng điều khiển. Điều này cung cấp cho bạn khoảng tin cậy. C củaellell là sự khái quát hóa khu vực dưới một đường cong ROC (AUC) cho một kết quả liên tục. Đó là tỷ lệ của tất cả các cặp có thể được đặt hàng sao cho đối tượng có dự đoán cao hơn thực sự có kết quả cao hơn. Vì vậy, cho các dự đoán ngẫu nhiên cho một mô hình phân biệt hoàn hảo. Xem cuốn sách của Mitchell, tr.493$c$somersdcluster$c=0.5$$c=1$

Làm thế nào bạn sẽ giải quyết vấn đề này? Bạn có đề xuất tính toán thống kê như MAPE phổ biến trong dự báo không?

Những điều hữu ích được tìm thấy cho đến nay:

• Các slide trên một phiên bản đo lặp lại của Hệ số tương quan kết nối của Lin

Để đánh giá khả năng dự đoán của bán dự báo Markov, có một số phương pháp khả dụng tùy thuộc vào kích thước mẫu và thông tin có sẵn khác.

Để đánh giá bất kỳ mô hình dự báo / dự báo nào, bạn có tùy chọn xác thực chéo (cụ thể là xác thực chéo mẫu tách rời một lần hoặc lặp đi lặp lại), trong đó một mô hình được ước tính trong mẫu "đào tạo" và độ không đảm bảo của mô hình được đánh giá trong "xác thực" mẫu vật. Tùy thuộc vào sự phân phối kết quả, một số biện pháp có sẵn mà bạn có thể chọn một mô hình trong số một nhóm các mô hình đủ điều kiện. Đối với các biện pháp phi tham số chung để lựa chọn mô hình, mọi người thực sự thích AIC và BIC, đặc biệt là phương pháp sau.

Số liệu thống kê CCC và c được sử dụng để đánh giá dự đoán cắt ngang nhị phân như từ các bài kiểm tra / xét nghiệm, vì vậy bạn sẽ phải loại trừ chúng nếu bạn dự đoán, nói, BMI hoặc IQ. Họ đo lường hiệu chuẩn (như thử nghiệm Lemmer Lemeshow) và cái gọi là khả năng phân tầng rủi ro. Không có kết nối trực quan đến kết quả liên tục ở đó, ít nhất là không xa như tôi có thể nói.

Mặt khác, RMSE được sử dụng để đánh giá các dự đoán liên tục (lưu trường hợp dự đoán rủi ro trong đó RMSE được gọi là điểm Brier, một công cụ đánh giá mô hình khá cổ xưa và không dùng nữa). Đây là một công cụ tuyệt vời và có lẽ được sử dụng để hiệu chỉnh lên tới 80% các mô hình dự đoán mà chúng ta gặp hàng ngày (dự báo thời tiết, xếp hạng năng lượng, MPG trên phương tiện, v.v.).

Một cảnh báo trong xác nhận mẫu phân tách hoặc lấy mẫu lại để đánh giá các mô hình dự báo là bạn chỉ có thể quan tâm đến kết quả trong tương lai khi mẫu của bạn để bạn dự đoán kết quả trong quá khứ. Đừng làm điều này! Nó không phản ánh ứng dụng mô hình và có thể ảnh hưởng lớn đến việc lựa chọn theo cách tiêu cực. Đưa ra tất cả các thông tin có sẵn và dự đoán tương lai, kết quả không quan sát được trong tất cả các trường hợp có sẵn.

Khá nhiều cuốn sách mô hình tuyến tính được áp dụng sẽ bao gồm dự đoán, RMSE và các sắc thái của mô hình đào tạo và xác nhận. Một khởi đầu tốt sẽ là Kutner, Nachtsheim, Neter, Li, cũng xem xét "Phân tích chuỗi thời gian" của Diggle, Diggle Heagerty Zeger Li, "Phân tích dữ liệu theo chiều dọc" và có khả năng là "Chiến lược mô hình hồi quy" của Mitchell.