Cách tính phương sai của phân vùng biến

Tôi đang chạy thử nghiệm song song trong đó tôi thu thập các mẫu (độc lập), tôi tính toán phương sai của từng nhóm mẫu và bây giờ tôi muốn kết hợp tất cả để tìm tổng phương sai của tất cả các mẫu.

Tôi đang gặp khó khăn trong việc tìm kiếm một dẫn xuất cho điều này vì tôi không chắc chắn về thuật ngữ. Tôi nghĩ về nó như là một phân vùng của một RV.

Vì vậy, tôi muốn tìm $Var(X)$ từ $Var(X_1)$ , $Var(X_2)$ , ..., và $Var(X_n)$ , trong đó $X$ = $[X_1, X_2, \dots, X_n]$ .

EDIT: Các phân vùng không cùng kích thước / cardinality, nhưng tổng các kích thước phân vùng bằng số lượng mẫu trong bộ mẫu tổng thể.

EDIT 2: Có một công thức tính toán song song ở đây , nhưng nó chỉ bao gồm trường hợp phân vùng thành hai bộ chứ không phải $n$ bộ.

variance

— gallamine
nguồn

Đây có phải là giống như câu hỏi của tôi ở đây: mathoverflow.net/questions/64120/...

Cái khung cuối cùng đó có ý nghĩa gì? Và bạn có ý nghĩa gì bởi "tổng phương sai"? Có gì khác ngoài phương sai của tập dữ liệu kết hợp không?

— whuber

@whuber mà khung cuối cùng? "Tổng phương sai" có nghĩa là phương sai của tổng số liệu.

— gallamine

Biểu thức

[X_{1}, X_{2}, \dots, X_{n}]

$[X_1, X_2, \dots, X_n]$ có thể có nghĩa là nhiều thứ (mặc dù theo quy ước nó sẽ là một vectơ): Tôi đang tìm kiếm một sự làm rõ.

— whuber

Câu trả lời:

Công thức khá đơn giản nếu tất cả các mẫu phụ có cùng cỡ mẫu. Nếu bạn có mẫu phụ có kích thước (với tổng số mẫu ), thì phương sai của mẫu kết hợp phụ thuộc vào giá trị trung bình và phương sai của mỗi mẫu phụ: $g$ $k$ $gk$ $E_j$ $V_j$ trong đó theocó nghĩa là phương sai của mẫu có nghĩa.

V a r (X_{1}, \dots, X_{g k}) = \frac{k - 1}{g k - 1} (\sum_{j = 1}^{g} V_{j} + \frac{k (g - 1)}{k - 1} V a r (E_{j})),

$Var(X_1,\ldots,X_{gk}) = \frac{k-1}{gk-1}(\sum_{j=1}^g V_j + \frac{k(g-1)}{k-1} Var(E_j)),$

V a r (E_{j})

$Var(E_j)$

Một cuộc biểu tình trong R:

> x <- rnorm(100)
> g <- gl(10,10)
> mns <- tapply(x, g, mean)
> vs <- tapply(x, g, var)
> 9/99*(sum(vs) + 10*var(mns))
[1] 1.033749
> var(x)
[1] 1.033749

Nếu kích thước mẫu không bằng nhau, công thức không đẹp lắm.

EDIT: công thức cho kích thước mẫu không đồng đều

Nếu có phụ mẫu, mỗi yếu tố với tổng số giá trị, sau đó $g$ $k_j, j=1,\ldots,g$ $n=\sum{k_j}$ trong đólà trung bình trọng số của tất cả các phương tiện (và bằng giá trị trung bình của tất cả các giá trị).

V a r (X_{1}, \dots, X_{n}) = \frac{1}{n - 1} (\sum_{j = 1}^{g} (k_{j} - 1) V_{j} + \sum_{j = 1}^{g} k_{j} ({\bar{X}}_{j} - \bar{X})^{2}),

$Var(X_1,\ldots,X_{n}) = \frac{1}{n-1}\left(\sum_{j=1}^g (k_j-1) V_j + \sum_{j=1}^g k_j (\bar{X}_j - \bar{X})^2\right),$

\bar{X} = (\sum_{j = 1}^{g} k_{j} {\bar{X}}_{j}) / n

$\bar{X} = (\sum_{j=1}^gk_j\bar{X}_j)/n$

Một lần nữa, một cuộc biểu tình:

> k <- rpois(10, lambda=10)
> n <- sum(k)
> g <- factor(rep(1:10, k))
> x <- rnorm(n)
> mns <- tapply(x, g, mean)
> vs <- tapply(x, g, var)
> 1/(n-1)*(sum((k-1)*vs) + sum(k*(mns-weighted.mean(mns,k))^2))
[1] 1.108966
> var(x)
[1] 1.108966

$(X_{ji}-\bar{X})^2$ $\bar{X}_j$ $[(X_{ji}-\bar{X}_j)-(\bar{X}_j-\bar{X})]^2$

— Aniko
nguồn

cảm ơn. Thật không may, tôi không thể đảm bảo rằng các phân vùng của tôi có cùng kích thước. Tôi đang chạy một quy trình song song ồ ạt, nơi tôi cần tính toán phương sai của từng phân vùng song song sau đó kết hợp, nhưng kết quả / mẫu từ mỗi quy trình song song không bằng nhau (đó là mô phỏng Monte Carlo của các photon nhận được).

— gallamine

Tôi không thể +1 điều này đủ, công thức siêu hữu ích để tính toán song song trong môi trường kho dữ liệu

— Noah Yetter

Đây chỉ đơn giản là một phần bổ sung cho câu trả lời của aniko với một bản phác thảo sơ bộ về đạo hàm và một số mã trăn, vì vậy tất cả các khoản tín dụng đều thuộc về aniko.

phái sinh

Để cho $X_j \in X = \{X_1, X_2, \ldots, X_g\}$ là một trong $g$ các phần của dữ liệu trong đó số lượng phần tử trong mỗi phần là $k_j = |X_j|$ . Chúng tôi xác định giá trị trung bình và phương sai của từng phần

\begin{aligned} E_{j} & = = E [X_{j}] = = \frac{1}{k_{j}} Σ_{Tôi = = 1}^{k_{j}} X_{j Tôi} \\ V_{j} & = = V một r [X_{j}] = = \frac{1}{k_{j} - 1} Σ_{Tôi = = 1}^{k_{j}} (X_{j Tôi} - E_{j})^{2} \end{aligned}

$\begin{align*} E_j & = \mathrm{E}\left[X_j\right] = \frac{1}{k_j} \sum_{i=1}^{k_j} X_{ji}\\ V_j & = \mathrm{Var}\left[X_j\right] = \frac{1}{k_j-1} \sum_{i=1}^{k_j} (X_{ji} - E_j)^2 \end{align*}$ tương ứng. Nếu chúng ta đặt

n = \sum_{j = 1}^{g} k_{j}

$n = \sum_{j=1}^g k_j$ , the variance of the total dataset is given by:

\begin{aligned} V a r [X] & = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} (X_{j i} - E [X])^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} ((X_{j i} - E_{j}) - (E [X] - E_{j}))^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} (X_{j i} - E_{j})^{2} - 2 (X_{j i} - E_{j}) (E [X] - E_{j}) + (E [X] - E_{j})^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} (k_{j} - 1) V_{j} + k_{j} (E [X] - E_{j})^{2} . \end{aligned}

$\begin{align*} \mathrm{Var}\left[X\right] & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} (X_{ji} - \mathrm{E}\left[X\right])^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} \big((X_{ji} - E_j) - (\mathrm{E}\left[X\right] - E_j)\big)^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} (X_{ji} - E_j)^2 - 2(X_{ji} - E_j)(\mathrm{E}\left[X\right] - E_j) + (\mathrm{E}\left[X\right] - E_j)^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} (k_j - 1) V_j + k_j (\mathrm{E}\left[X\right] - E_j)^2. \end{align*}$ If we have the same size

k

$k$ for each part, i.e.

\forall j : k_{j} = k

$\forall j: k_j = k$ , above formula simplifies to

\begin{aligned} V a r [X] & = \frac{1}{n - 1} \sum_{j = 1}^{g} (k - 1) V_{j} + k (g - 1) V a r [E_{j}] \\ = \frac{k - 1}{n - 1} \sum_{j = 1}^{g} V_{j} + \frac{k (g - 1)}{k - 1} V a r [E_{j}] \end{aligned}

$\begin{align*} \mathrm{Var}\left[X\right] & = \frac{1}{n-1} \sum_{j=1}^g (k-1) V_j + k(g-1) \mathrm{Var}\left[E_j\right] \\ & = \frac{k-1}{n-1} \sum_{j=1}^g V_j + \frac{k(g-1)}{k-1} \mathrm{Var}\left[E_j\right] \end{align*}$

python code

The following python function works for arrays that have been splitted along the first dimension and implements the "more complex" formula for differently sized parts.

import numpy as np

def combine(averages, variances, counts, size=None):
    """
    Combine averages and variances to one single average and variance.

    # Arguments
        averages: List of averages for each part.
        variances: List of variances for each part.
        counts: List of number of elements in each part.
        size: Total number of elements in all of the parts.
    # Returns
        average: Average over all parts.
        variance: Variance over all parts.
    """
    average = np.average(averages, weights=counts)

    # necessary for correct variance in case of multidimensional arrays
    if size is not None:
        counts = counts * size // np.sum(counts, dtype='int')

    squares = (counts - 1) * variances + counts * (averages - average)**2
    return average, np.sum(squares) / (size - 1)

It can be used as follows:

# sizes k_j and n
ks = np.random.poisson(10, 10)
n = np.sum(ks)

# create data
x = np.random.randn(n, 20)
parts = np.split(x, np.cumsum(ks[:-1]))

# compute statistics on parts
ms = [np.mean(p) for p in parts]
vs = [np.var(p, ddof=1) for p in parts]

# combine and compare
combined = combine(ms, vs, ks, x.size)
numpied = np.mean(x), np.var(x, ddof=1)
distance = np.abs(np.array(combined) - np.array(numpied))
print('combined --- mean:{: .9f} - var:{: .9f}'.format(*combined))
print('numpied  --- mean:{: .9f} - var:{: .9f}'.format(*numpied))
print('distance --- mean:{: .5e} - var:{: .5e}'.format(*distance))

— Mr Tsjolder
nguồn