Tại sao kiểm tra giả thuyết cơ bản tập trung vào giá trị trung bình và không tập trung vào trung bình?

Trong các khóa học thống kê dưới lớp cơ bản, sinh viên (thường là?) Được dạy kiểm tra giả thuyết cho trung bình của dân số.
Tại sao nó tập trung vào trung bình và không phải là trung bình? Tôi đoán là việc kiểm tra giá trị trung bình dễ hơn do định lý giới hạn trung tâm, nhưng tôi rất thích đọc một số giải thích có giáo dục.

— nafrtiti
nguồn

Giá trị trung bình có các thuộc tính hữu ích cho tính duy nhất, tính toán và tính toán. Nó thường liên quan đến số liệu thống kê đầy đủ.

— Henry

Câu trả lời:

Bởi vì Alan Turing được sinh ra sau Ronald Fisher.

Ngày xưa, trước máy tính, tất cả những thứ này phải được thực hiện bằng tay hoặc, tốt nhất, với cái mà bây giờ chúng ta sẽ gọi là máy tính. Các thử nghiệm để so sánh các phương tiện có thể được thực hiện theo cách này - rất tốn công, nhưng có thể. Các thử nghiệm về lượng tử (như trung vị) sẽ không thể thực hiện được theo cách này.

Ví dụ, hồi quy lượng tử phụ thuộc vào việc giảm thiểu một hàm tương đối phức tạp. Điều này sẽ không thể thực hiện được bằng tay. Có thể với lập trình. Xem ví dụ Koenker hoặc Wikipedia .

Hồi quy lượng tử có ít giả định hơn hồi quy OLS và cung cấp nhiều thông tin hơn.

— Peter Flom - Tái lập Monica
nguồn

Lúc đó máy tính đã tồn tại nhưng có nghĩa là một cái gì đó rất khác với những gì chúng ta muốn nói với nó bây giờ.

— Maarten Buis

Thật! Máy tính là những người đã làm các phép tính.

— Peter Flom - Tái lập Monica

@nafrtiti Giáo trình đang thay đổi, nhưng chậm. Có rất nhiều động lực để vượt qua và những người bên ngoài thống kê không quen với những ý tưởng mới nên có thể từ chối chúng.

— Peter Flom - Tái lập Monica

@SunQingyao Sắp xếp đắt hơn nhiều so với việc thêm. Thêm là O (n) và đó là một trong những hoạt động cơ bản nhất của phần cứng và chỉ cần một thanh ghi. Thêm vào đó, tất cả những gì tôi cần biết là tổng số và số lượng mục để thêm dữ liệu và tính giá trị trung bình mới. Để tính toán trung vị, tôi cần cả bộ

— JimmyJames

Với Chọn nhanh (và sử dụng trung vị-5 để chọn trục nếu các trục xấu được chọn ngẫu nhiên), bạn có thể tìm thấy một lượng tử trong O (N), làm cho khoảng cách giữa trung bình và trung bình nhỏ hơn. Tất nhiên bạn cần biết rằng các phương thức như vậy tồn tại (chưa được biết ngay cả tại thời điểm Turings).

— Surt

Tôi muốn thêm một lý do thứ ba cho các lý do chính xác được đưa ra bởi Harrell và Flom. Lý do là chúng tôi sử dụng khoảng cách Euclide (hoặc L2) chứ không phải khoảng cách Manhattan (hoặc L1) làm thước đo tiêu chuẩn về độ kín hoặc lỗi. Nếu ta có một số điểm dữ liệu và ai muốn một số duy nhất để ước tính nó, một khái niệm rõ ràng là để tìm ra con số đó giảm thiểu sự 'lỗi' con số tạo ra sự khác biệt nhỏ giữa số lựa chọn và các số tạo thành dữ liệu. Trong ký hiệu toán học, đối với một hàm lỗi cho E, ai muốn tìm $x_1, \ldots x_n$ $\theta$ . Nếu một cần cho E (x, y) chuẩn mực L2 hoặc khoảng cách, đó là thì minimizer khắp là giá trị trung bình. Nếu một người lấy khoảng cách L1 hoặc Manhattan, bộ thu nhỏ trên tất cả $min_{\theta \in \Bbb{R}} (E(\theta,x_1, \ldots x_n) = min_{\theta \in \Bbb{R}}(\sum_{i=1}^{i=n} E(\theta,x_i))$ $E(x,y) = (x-y)^2$ $\theta \in \Bbb{R}$ $\theta \in \Bbb{R}$ is the median. Thus the mean is the natural mathematical choice - if one is using L2 distance !

— aginensky
nguồn

Since

E

$E$ is broadly used to denote expectation, I suggest replacing

E

$E$ with, say,

Err

$\text{Err}$ .

— Richard Hardy

Perhaps it is worth noting that

x^{2}

$x^2$ is differentiable at

x = 0

$x=0$ while

| x |

$|x|$ is not. In my opinion, this is a subtle but key underlying reason why MSE is more prevalent in the mathematical statistics arena than MAE.

— Just_to_Answer

@Just_to_Answer - I think that is yet another reason-sort of. I've thought about this a lot over the years. For me, I've concluded that the what you say is tied up with why we generally use Euclidean and not Manhattan distance :)

— aginensky

Often the mean is chosen over the median not because it's more representative, robust, or meaningful but because people confuse estimator with estimand. Put another way, some choose the population mean as the quantity of interest because with a normal distribution the sample mean is more precise than the sample median. Instead they should think more, as you have done, about the true quantity of interest.

One sidebar: we have a nonparametric confidence interval for the population median but there is no nonparametric method (other than perhaps the numerically intensive empirical likelihood method) to get a confidence interval for the population mean. If you want to stay distribution-free you might concentrate on the median.

Note that the central limit theorem is far less useful than it seems, as been discussed elsewhere on this site. It effectively assumes that the variance is known or that the distribution is symmetric and has a shape such that the sample variance is a competitive estimator of dispersion.

— Frank Harrell
nguồn

I believe it's possible to construct a nonparametric confidence interval for the mean - say via a permutation test (this can be done under an assumption of symmetry without assuming any specific functional form, for example). That's a somewhat restricted situation, though it's also possible under some other assumptions than symmetry. If you're prepared to deal with the approximate coverage that comes with bootstrapping one can get nonparametric intervals without assumptions like symmetry.

— Glen_b -Reinstate Monica

If it assumes symmetry it is parametric. Haven't seen this extended to non-symmetric cases. The bootstrap (all variants except perhaps the studentized t method) is extremely inaccurate under severe asymmetry. See stats.stackexchange.com/questions/186957

— Frank Harrell

Symmetry is not finite-parametric. A Wilcoxon signed rank test assumes symmetry (in order to have exhangeability of signs) under the null. You'd call that parametric?

— Glen_b -Reinstate Monica

stats.stackexchange.com/questions/9573 stats.stackexchange.com/questions/186957

— Frank Harrell

On @Glen_b question about symmetry - that's an excellent question. The Wilcoxon signed-rank test is an interesting case because, unlike the WIlcoxon 2-sample test, makes a heavy symmetry assumption. I guess you could say that you can be non-parametric while still requiring some kind of general assumption such as symmetry. Maybe the terminology should be "nonparametric with restrictions"? On the other hand the nonparametric 2-sample test has restrictions with regard to what optimizes type II error (but not type I error).

— Frank Harrell