Phương sai trọng số, một lần nữa

Phương sai trọng số không thiên vị đã được giải quyết ở đây và những nơi khác nhưng dường như vẫn có một sự nhầm lẫn đáng ngạc nhiên. Dường như có một sự đồng thuận đối với công thức được trình bày trong liên kết đầu tiên cũng như trong bài viết Wikipedia . Điều này cũng giống như công thức được sử dụng bởi R, Mathematica và GSL (nhưng không phải MATLAB). Tuy nhiên, bài viết Wikipedia cũng chứa dòng sau đây trông giống như một kiểm tra độ tỉnh táo tuyệt vời cho việc thực hiện phương sai có trọng số:

Ví dụ: nếu các giá trị {2,2,4,5,5,5} được rút ra từ cùng một phân phối, thì chúng ta có thể coi tập hợp này là một mẫu không có trọng số hoặc chúng ta có thể coi nó là mẫu có trọng số {2,4, 5} với các trọng số tương ứng {2,1,3} và chúng ta sẽ nhận được kết quả tương tự.

Các tính toán của tôi đưa ra giá trị 2.1667 cho phương sai của các giá trị ban đầu và 2.9545 cho phương sai trọng số. Tôi có nên thực sự mong đợi chúng giống nhau không? Tại sao hay tại sao không?

Có, bạn nên mong đợi cả hai ví dụ (không trọng số so với trọng số) sẽ cho bạn kết quả như nhau.

Tôi đã thực hiện hai thuật toán từ bài viết Wikipedia.

Cái này hoạt động:

Nếu tất cả các được rút ra từ cùng một phân phối và trọng số nguyên biểu thị tần suất xuất hiện trong mẫu, thì công cụ ước lượng không thiên vị của phương sai dân số có trọng số được đưa ra bởi:$x_i$$w_i$

$s^2\ = \frac {1} {V_1 - 1} \sum_{i=1}^N w_i \left(x_i - \mu^*\right)^2,$

Tuy nhiên, cái này (sử dụng trọng số phân đoạn) không hoạt động với tôi:

Nếu mỗi $x_i$ được rút ra từ phân phối Gaussian với phương sai $1/w_i$ , công cụ ước tính không thiên vị của phương sai dân số có trọng số được đưa ra bởi:

$s^2\ = \frac {V_1} {V_1^2-V_2} \sum_{i=1}^N w_i \left(x_i - \mu^*\right)^2$

Tôi vẫn đang nghiên cứu lý do tại sao phương trình thứ hai không hoạt động như dự định.

/ EDIT: Tìm thấy lý do tại sao phương trình thứ hai không hoạt động như tôi nghĩ: bạn chỉ có thể sử dụng phương trình thứ hai nếu bạn có trọng số bình thường hoặc phương sai ("độ tin cậy") và nó không thiên vị, bởi vì nếu bạn không sử dụng trọng số "lặp lại" (đếm số lần quan sát được quan sát và do đó nên được lặp lại trong các phép toán của bạn), bạn sẽ mất khả năng đếm tổng số quan sát và do đó bạn không thể sử dụng hệ số hiệu chỉnh.

Vì vậy, điều này giải thích sự khác biệt trong kết quả của bạn bằng cách sử dụng phương sai trọng số và không trọng số: tính toán của bạn bị sai lệch.

Do đó, nếu bạn muốn có một phương sai trọng số không thiên vị, chỉ sử dụng trọng số "lặp lại" và sử dụng phương trình đầu tiên tôi đã đăng ở trên. Nếu điều đó là không thể, tốt, bạn không thể giúp nó.

Tôi cũng đã cập nhật bài viết của Wikipedia nếu bạn muốn biết thêm thông tin: http://en.wikipedia.org/wiki/ WEighted_arithatures_mean # Weighted_sample_variance

Và một bài viết được liên kết về hiệp phương sai trọng số không thiên vị (trong thực tế là cùng một phương sai do Nhận dạng phân cực ): Phương trình đúng cho hiệp phương sai mẫu không thiên vị