Tính toán lượng tử gần đúng cho một luồng số nguyên bằng khoảnh khắc?

di chuyển từ math.stackexchange .

Tôi đang xử lý một luồng số nguyên dài và đang xem xét theo dõi một vài khoảnh khắc để có thể tính toán xấp xỉ các phần trăm khác nhau cho luồng mà không lưu trữ nhiều dữ liệu. Cách đơn giản nhất để tính phần trăm từ một vài khoảnh khắc. Có cách tiếp cận nào tốt hơn chỉ liên quan đến việc lưu trữ một lượng nhỏ dữ liệu?

Bạn không nói rõ điều này, nhưng từ mô tả của bạn về vấn đề, có vẻ như bạn đang ở sau một tập hợp lượng tử thiên vị cao (ví dụ: phần trăm thứ 50, 90, 95 và 99).

Nếu đó là trường hợp, tôi đã có rất nhiều thành công với phương pháp được mô tả trong "Tính toán hiệu quả của các lượng tử thiên vị trên các luồng dữ liệu" của Cormode et al. Đây là một thuật toán nhanh đòi hỏi ít bộ nhớ và dễ thực hiện.

Phương pháp này dựa trên thuật toán trước đó của Greenwald và Khanna, duy trì một mẫu nhỏ của luồng đầu vào cùng với giới hạn trên và dưới trên thứ hạng của các giá trị trong mẫu. Nó đòi hỏi nhiều không gian hơn một bộ sưu tập vài khoảnh khắc, nhưng sẽ tốt hơn nhiều khi mô tả chính xác vùng đuôi thú vị của phân phối.

Có một thuật toán gần đây và đơn giản hơn nhiều cho việc này cung cấp các ước tính rất tốt về các lượng tử cực trị.

$q$

Xem https://github.com/tdasty/t-digest