Làm thế nào để chúng ta dự đoán các sự kiện hiếm?

Tôi đang làm việc để phát triển một mô hình dự báo rủi ro bảo hiểm. Các mô hình này là "sự kiện hiếm" như dự đoán hàng không, phát hiện lỗi phần cứng, v.v. Khi tôi chuẩn bị bộ dữ liệu của mình, tôi đã thử áp dụng phân loại, nhưng tôi không thể có được các phân loại hữu ích vì tỷ lệ cao các trường hợp tiêu cực .

Tôi không có nhiều kinh nghiệm về thống kê và mô hình hóa dữ liệu ngoài khóa học thống kê ở trường trung học nên tôi hơi bối rối.

Như suy nghĩ đầu tiên, tôi đã nghĩ đến việc sử dụng mô hình quy trình Poisson không đồng nhất. Tôi đã phân loại nó dựa trên dữ liệu sự kiện (ngày, lat, lon) để có được ước tính tốt về khả năng rủi ro tại một thời điểm cụ thể vào một ngày cụ thể ở một địa điểm cụ thể.

Tôi muốn biết, các phương pháp / thuật toán để dự đoán các sự kiện hiếm gặp là gì?
Bạn đề nghị gì như một cách tiếp cận để giải quyết vấn đề này?

Cách tiếp cận tiêu chuẩn là " lý thuyết giá trị cực đoan ", có một cuốn sách tuyệt vời về chủ đề của Stuart Coles (mặc dù giá hiện tại có vẻ khá, sai ... cực kỳ).

Lý do bạn không thể có được kết quả tốt khi sử dụng các phương pháp phân loại hoặc hồi quy là vì các phương pháp này thường phụ thuộc vào việc dự đoán giá trị trung bình có điều kiện của dữ liệu và các sự kiện cực đoan thường được gây ra bởi sự kết hợp của các yếu tố "ngẫu nhiên" theo cùng một hướng, vì vậy chúng nằm trong đuôi của sự phân phối các kết quả hợp lý, thường là một chặng đường dài từ trung bình có điều kiện. Những gì bạn có thể làm là dự đoán toàn bộ phân phối có điều kiện, chứ không chỉ là ý nghĩa của nó và có được một số thông tin về xác suất của một sự kiện cực đoan bằng cách tích hợp đuôi phân phối trên một số ngưỡng. Tôi thấy điều này hoạt động tốt trong một ứng dụng về thu hẹp thống kê lượng mưa lớn .