Hồi quy Poisson với dữ liệu lớn: việc thay đổi đơn vị đo lường có sai không?

Do giai thừa trong phân phối poisson, việc ước tính các mô hình poisson (ví dụ, sử dụng khả năng tối đa) trở nên không thực tế khi các quan sát lớn. Vì vậy, ví dụ, nếu tôi đang cố gắng ước tính một mô hình để giải thích số vụ tự tử trong một năm nhất định (chỉ có sẵn dữ liệu hàng năm), và nói rằng, có hàng ngàn vụ tự tử mỗi năm, có sai không khi thể hiện hàng trăm vụ tự tử , sao cho 2998 sẽ là 29,98 ~ = 30? Nói cách khác, có sai không khi thay đổi đơn vị đo lường để làm cho dữ liệu có thể quản lý được?

Khi bạn đang xử lý phân phối Poisson với các giá trị lớn của \ lambda (tham số của nó), thông thường sử dụng xấp xỉ bình thường cho phân phối Poisson.

Như trang web này đề cập, bạn hoàn toàn có quyền sử dụng xấp xỉ bình thường khi \ lambda vượt quá 20 và tính gần đúng được cải thiện khi \ lambda thậm chí còn cao hơn.

Phân phối Poisson chỉ được xác định trên không gian trạng thái bao gồm các số nguyên không âm, do đó, việc thay đổi kích thước và làm tròn sẽ đưa những điều kỳ lạ vào dữ liệu của bạn.

Sử dụng khoảng bình thường. cho số liệu thống kê Poisson lớn là RẤT phổ biến.

Trong trường hợp Poisson thì thật tệ, vì số lượng là số đếm - đơn vị của chúng là một thể thống nhất. Mặt khác, nếu bạn sử dụng một số phần mềm tiên tiến như R, các chức năng xử lý Poisson của nó sẽ nhận biết được số lượng lớn như vậy và sẽ sử dụng một số thủ thuật số để xử lý chúng.

Rõ ràng tôi đồng ý rằng xấp xỉ bình thường là một cách tiếp cận tốt khác.

Hầu hết các gói thống kê đều có chức năng tính toán logarit tự nhiên của giai thừa (ví dụ hàm lfactorial () trong R, hàm lnfactorial () trong Stata). Điều này cho phép bạn bao gồm thuật ngữ không đổi trong khả năng đăng nhập nếu bạn muốn.

Tôi sợ bạn không thể làm điều đó. Như @Baltimark tuyên bố, với lambda lớn, phân phối sẽ có hình dạng bình thường hơn (đối xứng) và với việc thu nhỏ nó xuống, nó sẽ không còn bị phân tán nữa. Hãy thử đoạn mã sau trong R:

poi1 = rpois(100000, lambda = 5)  # poisson
poi2 = rpois(100000, lambda = 100)/20 # scaled-down poisson
poi2_dens = density(poi2)

hist(poi1, breaks = 0:30, freq = F, ylim = range(poi2_dens$y))
lines(poi2_dens, col = "red")

Kết quả như sau:

Bạn có thể thấy rằng poisson hạ thấp (đường màu đỏ) hoàn toàn khác với phân phối poisson.

Bạn chỉ có thể bỏ qua 'giai thừa' khi sử dụng khả năng tối đa. Dưới đây là lý do cho ví dụ tự tử của bạn. Để cho:

: Là số vụ tự tử dự kiến ​​mỗi năm

k _i : Hãy là số người tự tử trong năm i.

Sau đó, bạn sẽ tối đa hóa khả năng đăng nhập như:

LL = ∑ (k _i đăng nhập (λ) - λ - k _i !)

Tối đa hóa những điều trên tương đương với tối đa hóa những điều sau đây như k _i ! là một hằng số:

LL ^' = ∑ (k _i đăng nhập (λ) - λ)

Có thể giải thích tại sao giai thừa là một vấn đề? Tui bỏ lỡ điều gì vậy?