Có phải phương sai chỉ hoạt động trên dữ liệu phân phối thông thường (như một thước đo phân tán)?

Nó nói trong wikipedia

Vai trò của phân phối chuẩn trong định lý giới hạn trung tâm một phần chịu trách nhiệm cho sự phổ biến của phương sai trong xác suất và thống kê.

Tôi hiểu điều này
khi chúng ta sử dụng phương sai / SD làm thước đo độ phân tán, chúng ta thực sự đang tìm kiếm "tham số tỷ lệ" của phân phối bình thường, vì một biến ngẫu nhiên ngẫu nhiên có khả năng tuân theo phân phối bình thường cho CLT.

Trong trường hợp dữ liệu không được phân phối bình thường, phương sai / SD có còn là thước đo phân tán hợp lý không?

Giả sử dữ liệu được phân phối đồng đều, độ lệch tuyệt đối trung bình dường như là thước đo phân tán tốt hơn phương sai, bởi vì nó có thể được xem là "tham số tỷ lệ" cho phân bố đồng đều, phải không?

Ý tôi là cập nhật , giả sử tôi có hai bộ mẫu, một bộ {1,1,1,-1,-1,-1}và mẫu kia được lấy từ phân phối bình thường , phương sai của chúng là cả 1. Hai bộ sẽ được coi là có cùng mức độ phân tán nếu chúng ta sử dụng phương sai làm thước đo.$N(0,1)$

Nhưng có cảm giác như chúng ta đang đối xử mạnh mẽ với cả hai như Gaussian sau đó tìm ra các tham số phân phối và nói "vâng, chúng bằng nhau về độ phân tán".

Câu hỏi của bạn hơi mơ hồ, nhưng không, phương sai không được sử dụng vì sự liên quan của nó với phân phối bình thường. Hầu hết các bản phân phối có ít nhất một giá trị trung bình và phương sai. Một số không có phương sai. Một số có thể có hoặc không có phương sai. Một số không có ý nghĩa và vì vậy không có phương sai.

Chỉ để làm rõ về mặt tinh thần, nếu một bản phân phối có ý nghĩa thì nhưng nếu nó không thì . Đó là nó hấp dẫn không nơi nào và bất kỳ tính toán nào chỉ trôi nổi xung quanh dòng số thực. Nó không có nghĩa gì cả. Điều tương tự cũng đúng nếu bạn tính độ lệch chuẩn cho phân phối không có phân phối. Nó không có ý nghĩa.$\bar{x}\approx\mu,$$\bar{x}\approx\text{nothing}$

Phương sai là một tài sản của một phân phối. Bạn đúng ở chỗ nó có thể được sử dụng để mở rộng vấn đề, nhưng nó sâu sắc hơn thế. Trong một số khung lý thuyết, nó là thước đo cho sự thiếu hiểu biết của chúng ta, hay chính xác hơn là sự không chắc chắn. Ở những người khác, nó đo lường mức độ lớn của một cơ hội hiệu ứng có thể có đối với kết quả.

Mặc dù phương sai là một khái niệm của sự phân tán, nhưng nó là một khái niệm không đầy đủ. Cả hai xiên và kurtosis giải thích thêm về cách phân tán hoạt động trên một vấn đề.

Đối với nhiều vấn đề trong khung suy nghĩ giả thuyết khống, Định lý giới hạn trung tâm làm cho việc thảo luận các vấn đề trở nên đơn giản hơn và do đó, không có gì liên quan giữa phân phối bình thường, với các thuộc tính phân phối được xác định rõ và sử dụng độ lệch chuẩn. Tuy nhiên, điều này đúng với các vấn đề đơn giản hơn những vấn đề phức tạp. Điều này cũng ít đúng với các phương pháp Bayes không sử dụng giả thuyết null và không phụ thuộc vào phân phối lấy mẫu của công cụ ước tính.

Độ lệch tuyệt đối trung bình là một công cụ có giá trị trong các phương pháp miễn phí tham số và phân phối miễn phí, nhưng ít có giá trị hơn cho phân phối đồng đều. Nếu bạn thực sự có phân phối đồng đều giới hạn, thì giá trị trung bình và phương sai được biết đến.

Hãy để tôi cung cấp cho bạn một vấn đề phân phối thống nhất có thể không đơn giản như bạn nghĩ. Hãy xem xét rằng một chiếc xe tăng chiến đấu của kẻ thù mới đã xuất hiện trên chiến trường. Bạn không biết họ có bao nhiêu, chứ đừng nói rằng họ tồn tại. Bạn muốn ước tính tổng số xe tăng.

Xe tăng có số sê-ri trên động cơ của họ, hoặc được sử dụng trước khi ai đó phát hiện ra điều này. Xác suất bắt được bất kỳ một số sê-ri cụ thể nào là trong đó là tổng số xe tăng. Tất nhiên bạn không biết , vì vậy đây là một vấn đề thú vị. Bạn cần biết N. Bạn chỉ có thể thấy phân phối số sê-ri bị bắt và không biết liệu số lớn nhất bị bắt cũng là chiếc xe tăng cuối cùng được chế tạo. Có lẽ là không.$1/N$$N$$N$

Trong trường hợp đó, độ lệch trung bình và độ lệch chuẩn cung cấp các công cụ mạnh nhất để giải quyết vấn đề, mặc dù trực giác rằng độ lệch chuẩn là một công cụ ước tính xấu.

Nó sẽ đúng rằng nó là một công cụ ước tính xấu cho một số vấn đề nhất định, nhưng bạn cần tìm hiểu chúng theo từng trường hợp.

Các công cụ thống kê được lựa chọn dựa trên nhu cầu, quy tắc toán học và sự đánh đổi giữa chi phí và giới hạn trong thế giới thực và yêu cầu của vấn đề. Đôi khi đó là phương sai, nhưng đôi khi không. Điều tốt nhất để làm là tìm hiểu lý do tại sao các quy tắc được thiết kế theo cách của họ và đó là quá dài cho một bài đăng ở đây.

Tôi muốn giới thiệu một cuốn sách thực hành tốt về thống kê phi tham số và nếu bạn đã tính toán một cuốn sách thực hành giới thiệu tốt về phương pháp Bayes.

1. Trước tiên, chúng ta cần phải rõ ràng về sự khác biệt giữa thước đo độ biến thiên của phân phối (chẳng hạn như độ lệch chuẩn hoặc độ lệch trung bình hoặc phạm vi của nó) và cách tốt nhất để ước tính số đo đó từ một mẫu. Ví dụ: nếu phân phối của bạn là đồng nhất, ước tính mẫu tốt nhất về độ lệch trung bình dân số so với giá trị trung bình không phải là độ lệch trung bình mẫu - thực ra một phần của phạm vi thường tốt hơn nhiều.

   (Tất nhiên nếu bạn thực sự không biết phân phối nào bạn có thể xử lý, những cân nhắc như vậy có thể không giúp ích nhiều.)

2. Vậy tại sao đo lường sự thay đổi dân số theo phương sai?

   Phương sai (và thông qua nó, độ lệch chuẩn) có một thuộc tính rất đặc biệt không được chia sẻ bởi các biện pháp biến đổi khác, đây là một hình thức rất đơn giản cho phương sai của tổng (và nói chung là kết hợp tuyến tính) của các biến.

   Khi bạn có sự độc lập, hình thức đơn giản sẽ trở nên đơn giản hơn nhiều.

   Cụ thể, dưới tính độc lập, và do đó độ lệch chuẩn cũng khá đơn giản về hình thức. Trường hợp không độc lập không phức tạp hơn nhiều.$\text{Var}(X+Y) = \text{Var}(X) + \text{Var}(Y)$

   Các biện pháp khác của tính biến đổi không có một tài sản đơn giản như vậy.

   Điều này làm cho phương sai (và do đó độ lệch chuẩn) rất hấp dẫn để đo lường mức độ biến đổi của phân phối.

3. Lý do thứ hai là giá trị trung bình (thường được xem là thước đo vị trí tự nhiên) là vị trí giảm thiểu hàm mất lỗi vuông - và khi bạn giảm thiểu nó, bạn có được phương sai. Nhiều người thấy hàm mất lỗi vuông là tự nhiên hoặc hữu ích, và trong trường hợp đó, phương sai lần lượt trở thành thước đo biến đổi tự nhiên.