Ước tính trực tuyến phương sai với bộ nhớ hạn chế

Tôi đang tạo ra một thành phần nhằm tính toán trung bình và phương sai của một số liệu liên quan đến các sự kiện xảy ra trong thời gian nhưng với bộ nhớ trong hạn chế.

Hãy tưởng tượng rằng các sự kiện là khách truy cập vào một cửa hàng và số liệu là tuổi của họ.

Trong thời gian, thành phần của tôi nhận được các sự kiện với độ tuổi của mỗi khách truy cập. Tôi không muốn thành phần của mình ghi nhớ lịch sử của từng thời đại. Lý tưởng nhất, tôi muốn chỉ lưu trữ một thành phần ánh sáng: trung bình A, phương sai V và số lượng sự kiện N.

Sau mỗi sự kiện theo độ tuổi E, tôi muốn cập nhật ba giá trị đó:

N<=N+1
A<=(A*N+E)/(N+1)
V<=???

Để làm gì V? Tôi đang nghĩ về một cái gì đó như:

V<=(V*N+(E-A)^2)/(N+1)

Tôi biết nó không chính xác như trước đây của tôi Vđang sử dụng cái cũ Akhông còn là mức trung bình.

Q1 - Có một công thức chính xác?
Q2 - Nếu không, đề xuất của tôi là một ước tính tốt? Có phải là thiên vị? Nó sẽ hội tụ chính xác khi Ntăng?
Câu 3 - Có công thức nào tốt hơn không?

Thuật toán đẹp và đơn giản để tính toán phương sai theo cách trực tuyến được mô tả bởi Welford (1962). Dưới đây bạn có thể thấy triển khai C ++ / Rcpp của nó hoạt động ngoại tuyến, nhưng có thể dễ dàng điều chỉnh theo kịch bản trực tuyến:

List welford_cpp(NumericVector x) {

  int n = x.length();
  double delta;
  double msq = 0;
  double mean = x[0];

  if (n > 1) {
    for (int i = 1; i < n; i++) { 
      delta = x[i] - mean;
      mean += delta / (i+1);
      msq += delta * (x[i] - mean);
    }
    return Rcpp::List::create(Rcpp::Named("mean") = mean,
                              Rcpp::Named("variance") = msq / (n-1));
  }

  return Rcpp::List::create(Rcpp::Named("mean") = mean,
                            Rcpp::Named("variance") = NAN);
}

Như bạn thấy, nó cần phải lưu trữ chỉ có bốn biến: n, delta, msqvà meanvà tính trung bình và phương sai đồng thời như bạn muốn.

---

Welford, BP (1962). Lưu ý về phương pháp tính tổng các bình phương và sản phẩm đã hiệu chỉnh . Kỹ thuật 4 (3): 419-420.

Phương sai có thể được diễn tả như tỷ lệ thuận với sự chênh lệch bình phương giữa mỗi giá trị và giá trị trung bình, hoặc (như nhiều chủ đề ở đây trong stats.SE tài liệu, như câu trả lời này tôi viết cho một câu hỏi khác) nó cách khác có thể được thể hiện dưới dạng tỉ lệ với bình phương sự khác biệt cặp đôi giữa mỗi mẫu.

Vì vậy, chúng tôi biết:

$$\text {Var}(x) = \frac{1}{n} \cdot \sum_{i}(X_i-\overline{X})^2 = \frac{1}{2n^2} \cdot \sum_{i,j}(X_i-X_j)^2$$

Giả sử bạn thêm một mẫu khác, được lập chỉ mục là chỉ mục cuối cùng, $k$. Phương sai trước đây của bạn sẽ là:

$$\text {Var}_{old}(x) = \frac{1}{2(n-1)^2} \cdot \sum_{i<k,j<k}(X_i-X_j)^2$$

Phương sai mới của bạn là

$$\text {Var}_{new}(x) = \frac{1}{2n^2} \cdot \sum_{i,j}(X_i-X_j)^2 = \frac{1}{2n^2} \cdot \left( \sum_{i<k,j<k}(X_i-X_j)^2 + \sum_{j<k}(X_k-X_j)^2 + \sum_{i<k}(X_i-X_k)^2 \right)$$

Nhưng

$$\sum_{j<k}(X_k-X_j)^2 = \sum_{i<k}(X_i-X_k)^2\\ \sum_{i<k,j<k}(X_i-X_j)^2 = {2(n-1)^2} \cdot \text {Var}_{old}(x)$$

Vì thế

$$\text {Var}_{new}(x) = \left(\frac{n-1}{n}\right)^2 \text{Var}_{old}(x)+ \frac{1}{n^2} \sum_{j<k}(X_k-X_j)^2$$

Như @ MarkL.Stone đã nói trong các bình luận, điều này vẫn không hiệu quả vì chúng tôi phải giữ mọi $X_i$. Vì vậy, hãy mở rộng công thức để đi đến một cái gì đó dễ điều khiển hơn.

$$\frac{1}{n^2}\sum_{j<k}(X_k-X_j)^2=\\ \frac{1}{n^2}\sum_{j<k}(X_k^2 - 2 \cdot X_j \cdot X_k + X_j^2)=\\ \frac{1}{n^2}\left(\sum_{j<k}X_k^2 - 2 \cdot X_k \cdot \sum_{j<k} X_j + \sum_{j<k} X_j^2\right)=\\ \frac{1}{n^2}\left(k\cdot X_k^2 - 2 \cdot X_k \cdot (k-1) \cdot \overline{X_{old}} + (k-1) \cdot \overline{X^2_{old}}\right)\\ $$ Bởi vì $$\sum_{j<k} X_j = (k-1) \cdot \overline{X_{old}}\\ \sum_{j<k} X_j^2 = (k-1) \cdot \overline{X^2_{old}}$$

Hình thức cuối cùng là

$$\text {Var}_{new}(x) = \left(\frac{n-1}{n}\right)^2 \text{Var}_{old}(x)+ \frac{1}{n^2}\left(k\cdot X_k^2 - 2 \cdot X_k \cdot (k-1) \cdot \overline{X_{old}} + (k-1) \cdot \overline{X^2_{old}}\right)$$

Bạn có thể sử dụng công thức này để cập nhật phương sai bộ nhớ một cách hiệu quả. Bạn cũng có thể bổ sung nó để sử dụng các đợt thay vì cập nhật điểm đơn.

Về cơ bản, bạn cần lưu trữ trung bình, trung bình của các mẫu bình phương và phương sai mỗi lần lặp và sử dụng nó để cập nhật công thức phương sai.

---

Thêm nữa

$$\overline{X^2_{old}} = \text{Var}_{old}(x) + (\overline{X_{old}})^2\\ \therefore\text {Var}_{new}(x) = \left(\frac{n-1}{n}\right)^2 \text{Var}_{old}(x)+ \frac{1}{n^2}\left(k\cdot X_k^2 - 2 \cdot X_k \cdot (k-1) \cdot \overline{X_{old}} + (k-1) \cdot \left(\text{Var}_{old}(x) + (\overline{X_{old}})^2\right)\right)$$

Điều này mang lại số lượng cần được lưu trữ xuống còn 2.

OK Andy W đã đưa ra câu trả lời. Bằng cách bảo tồn$E^2$ trung bình theo cách tương tự như trung bình E, bạn có thể sử dụng $V = exp(E^2)-exp(E)^2$.