Thuật toán theo dõi động lượng tử

Tôi muốn ước tính số lượng của một số dữ liệu. Dữ liệu quá lớn đến nỗi chúng không thể chứa trong bộ nhớ. Và dữ liệu không tĩnh, dữ liệu mới tiếp tục đến. Có ai biết bất kỳ thuật toán nào để theo dõi lượng tử của dữ liệu được quan sát cho đến nay với bộ nhớ và tính toán rất hạn chế không? Tôi thấy thuật toán P2 hữu ích, nhưng nó không hoạt động tốt cho dữ liệu của tôi, được phân phối cực kỳ nặng nề.

Thuật toán P2 là một tìm kiếm tốt đẹp. Nó hoạt động bằng cách thực hiện một số ước tính của lượng tử, cập nhật chúng định kỳ và sử dụng phép nội suy bậc hai (không phải tuyến tính, không phải khối) để ước lượng lượng tử. Các tác giả cho rằng phép nội suy bậc hai hoạt động tốt hơn ở đuôi so với phép nội suy tuyến tính và khối sẽ trở nên quá phức tạp và khó khăn.

Bạn không nói chính xác cách tiếp cận này thất bại đối với dữ liệu "đuôi nặng" của bạn, nhưng thật dễ đoán: ước tính lượng tử cực đoan cho phân phối đuôi nặng sẽ không ổn định cho đến khi một lượng lớn dữ liệu được thu thập. Nhưng đây sẽ là một vấn đề (ở mức độ thấp hơn) ngay cả khi bạn đã lưu trữ tất cả dữ liệu, vì vậy đừng mong đợi phép màu!

Ở bất kỳ giá nào, tại sao không đặt các dấu phụ - hãy gọi chúng là và - với điều bạn chắc chắn là lượng tử sẽ nằm và lưu trữ tất cả dữ liệu nằm giữa và ? Khi bộ đệm của bạn đầy, bạn sẽ phải cập nhật các điểm đánh dấu này, luôn giữ . Một thuật toán đơn giản để thực hiện điều này có thể được tạo ra từ sự kết hợp của (a) ước tính P2 hiện tại của lượng tử và (b) số lượng lưu trữ của số lượng dữ liệu nhỏ hơn và số lượng dữ liệu lớn hơn$x_0$x 0 x 6 x 0 ≤ x 6 x 0 x $x_6$$x_0$$x_6$$x_0 \le x_6$$x_0$$x_6$. Theo cách này, bạn có thể, với độ chắc chắn cao, ước tính lượng tử cũng như nếu bạn có sẵn toàn bộ dữ liệu, nhưng bạn chỉ cần một bộ đệm tương đối nhỏ.

Cụ thể, tôi đang đề xuất cấu trúc dữ liệu để duy trì thông tin một phần về chuỗi giá trị dữ liệu . Ở đây, là danh sách được liên kếtn x 1 , x 2 , Mạnh , x n $(k, \mathbf{y}, n)$$n$$x_1, x_2, \ldots, x_n$$\mathbf{y}$

Trong ký hiệu này biểu thị nhỏ nhất trong số các giá trị được đọc cho đến nay. là một hằng số, kích thước của bộ đệm . i th n x m $x^{(n)}_{[i]}$$i^\text{th}$$n$ $x$$m$$\mathbf{y}$

Thuật toán bắt đầu bằng cách điền với các giá trị dữ liệu đầu tiên gặp phải và đặt chúng theo thứ tự được sắp xếp, nhỏ nhất đến lớn nhất. Đặt là lượng tử được ước tính; ví dụ: = 0,99. Khi đọc có ba hành động có thể xảy ra: m q q x n + $\mathbf{y}$$m$$q$$q$$x_{n+1}$

• Nếu , tăng .$x_{n+1} \lt x^{(n)}_{[k+1]}$$k$

• Nếu , không làm gì cả.$x_{n+1} \gt x^{(n)}_{[k+m]}$

• khác, chèn vào .$x_{n+1}$$\mathbf{y}$

Trong mọi trường hợp, tăng .$n$

Quy trình chèn đặt vào theo thứ tự được sắp xếp và sau đó loại bỏ một trong các giá trị cực trị trong : y $x_{n+1}$$\mathbf{y}$$\mathbf{y}$

• Nếu , sau đó xóa khỏi và tăng ;x ( n ) [ k + 1 ] y$k + m/2 \lt n q$$x^{(n)}_{[k+1]}$$\mathbf{y}$$k$

• Nếu không, hãy xóa khỏi .$x^{(n)}_{[k+m]}$$\mathbf{y}$

Với điều kiện là đủ lớn, quy trình này sẽ đóng khung lượng tử thực của phân phối với xác suất cao. Ở bất kỳ giai đoạn nào, nó có thể được ước tính theo cách thông thường theo và , có khả năng sẽ nằm trong . (Tôi tin rằng chỉ phải chia tỷ lệ như căn bậc hai của lượng dữ liệu tối đa ( ), nhưng tôi chưa thực hiện một phân tích nghiêm ngặt nào để chứng minh điều đó.) Ở bất kỳ tỷ lệ nào, thuật toán sẽ phát hiện liệu nó có thành công hay không (bởi so sánh và với ).n x ( n ) [ ⌊ q n ⌋ ] x ( n ) [ ⌈ q n ⌉ ] y m N k / n ( k + m ) / n $m$$n$$x^{(n)}_{[\lfloor{q n}\rfloor]}$$x^{(n)}_{[\lceil{q n}\rceil]}$$\mathbf{y}$$m$$N$$k/n$$(k+m)/n$$q$

Thử nghiệm với tối đa 100.000 giá trị, sử dụng và (trường hợp khó nhất) cho thấy thuật toán này có tỷ lệ thành công 99,5% trong việc lấy giá trị đúng của . Đối với luồng có giá trị , yêu cầu bộ đệm chỉ có hai triệu (nhưng ba hoặc bốn triệu sẽ là lựa chọn tốt hơn). Sử dụng danh sách liên kết đôi được sắp xếp cho bộ đệm yêu cầu = trong khi xác định và xóa tối đa hoặc tối thiểu là các hoạt động . Việc chèn tương đối đắt tiền thường chỉ cần được thực hiện q=0,5x ( n ) [ ⌊ q n ⌋ ] N=10 12 O(log($m = 2\sqrt{N}$$q=.5$$x^{(n)}_{[\lfloor{q n}\rfloor]}$$N=10^{12}$$O(\log(\sqrt{N}))$$O(\log(N))$$O(1)$$O(\sqrt{N})$lần Do đó, chi phí tính toán của thuật toán này là trong thời gian và trong lưu trữ.$O(N + \sqrt{N} \log(N)) = O(N)$$O(\sqrt{N})$

Tôi nghĩ đề xuất của whuber là tuyệt vời và tôi sẽ thử nó trước. Tuy nhiên, nếu bạn tìm thấy bạn thực sự không thể chứa các lưu trữ hoặc nó không hoạt động vì một số lý do khác, đây là một ý tưởng cho việc khái quát hóa khác nhau của P2. Nó không chi tiết như những gì whuber gợi ý - giống như một ý tưởng nghiên cứu hơn là một giải pháp.$O(\sqrt N)$

Thay vì theo dõi các lượng tử ở , p / 2 , p , ( 1 + p ) / 2 và 1 , như thuật toán P2 ban đầu cho thấy, bạn chỉ cần theo dõi nhiều lượng tử hơn (nhưng vẫn là một số không đổi). Có vẻ như thuật toán cho phép điều đó theo cách rất đơn giản; tất cả những gì bạn cần làm là tính toán "nhóm" chính xác cho các điểm đến và cách đúng để cập nhật các lượng tử (sử dụng các số liền kề).$0$$p/2$$p$$(1+p)/2$$1$

Nói rằng bạn theo dõi điểm. Bạn có thể thử theo dõi quantile tại 0 , p / 12 , ... , p ⋅ 11 / 12 , p , p + ( 1 - p ) / 12 , ... , p + 11 ⋅ ( 1 - p ) / 12 , 1 (hái các điểm cách đều nhau trong khoảng từ 0 đến p và giữa $25$$0$$p/12$$\dotsc$$p \cdot 11/12$$p$$p + (1-p)/12$$\dotsc$$p + 11\cdot(1-p)/12$$1$$0$$p$$p$và ), hoặc thậm chí sử dụng 22 Chebyshev nút có dạng p / 2 ⋅ ( 1 + cos ( 2 i - 1 ) $1$$22$ vàp+(1-p)/2⋅(1+cos(2i-1)$p/2 \cdot (1 + \cos \frac{(2 i - 1)\pi}{22})$. Nếupgần bằng0hoặc1, bạn có thể thử đặt ít điểm hơn ở phía bên có khối lượng xác suất ít hơn và nhiều hơn ở phía bên kia.$p + (1 - p)/2 \cdot (1 + \cos \frac{(2i-1)\pi}{22})$$p$$0$$1$

Nếu bạn quyết định theo đuổi điều này, tôi (và có thể những người khác trên trang web này) sẽ quan tâm đến việc liệu nó có hoạt động không ...

Nhấn và cộng sự, Công thức số 8.5.2 "Ước lượng một lần của các lượng tử tùy ý" p. 435, cung cấp cho IQAgent lớp c ++, cập nhật một cdf gần đúng tuyến tính từng phần.

Điều này có thể được điều chỉnh từ các thuật toán xác định trung vị của một bộ dữ liệu trực tuyến. Để biết thêm thông tin, hãy xem bài đăng stackoverflow này - /programming/1387497/find-median-value-from-a-growing-set

Tôi sẽ xem xét hồi quy lượng tử. Bạn có thể sử dụng nó để xác định ước tính tham số của bất kỳ lượng tử nào bạn muốn xem xét. Nó không có giả định liên quan đến tính quy tắc, vì vậy nó xử lý sự không đồng nhất khá tốt và có thể được sử dụng một cơ sở cửa sổ cuộn. Về cơ bản, nó là một hồi quy bị phạt L1-Norm, do đó, nó không quá chuyên sâu về số lượng và có các gói R, SAS và SPSS khá đầy đủ tính năng cùng với một vài triển khai MATLAB ngoài kia. Đây là wiki chính và gói R để biết thêm thông tin.

Đã chỉnh sửa:

Kiểm tra liên kết trao đổi ngăn xếp toán học: Ai đó đã chọn một vài bài viết về cơ bản đưa ra ý tưởng rất đơn giản là chỉ sử dụng một cửa sổ thống kê đơn hàng để ước tính số lượng. Theo nghĩa đen, tất cả những gì bạn phải làm là sắp xếp các giá trị từ nhỏ nhất đến lớn nhất, chọn định lượng bạn muốn và chọn giá trị cao nhất trong định lượng đó. Rõ ràng bạn có thể cân nhắc nhiều hơn cho các quan sát gần đây nhất nếu bạn tin rằng chúng đại diện hơn cho các điều kiện hiện tại thực tế. Điều này có thể sẽ đưa ra ước tính sơ bộ, nhưng nó khá đơn giản để thực hiện và bạn không phải trải qua các chuyển động của việc nâng vật nặng. Chỉ là một ý nghĩ.

Có thể ước tính (và theo dõi) các lượng tử trên cơ sở trực tuyến (áp dụng tương tự cho các tham số của hồi quy lượng tử). Về bản chất, điều này làm giảm độ dốc xuống ngẫu nhiên trên hàm mất kiểm tra xác định hồi quy lượng tử (lượng tử được biểu thị bằng một mô hình chỉ chứa một giao thoa), ví dụ như cập nhật các tham số chưa biết khi và quan sát đến.

Xem bài viết của Bell Labs "Ước tính số lượng tăng dần để theo dõi hàng loạt" ( ftp://ftp.cse.buffalo.edu/users/azhang/disc/disc01/cd1/out/ con / kdd / p516-pen.pdf )

Một thuật toán quan trọng khác là M. Greenwald và S. Khanna 2004 - Tính toán trực tuyến hiệu quả về không gian của các bản tóm tắt lượng tử.