Tại sao chúng ta cần một người ước tính để được nhất quán?

Tôi nghĩ rằng, tôi đã hiểu định nghĩa toán học của một công cụ ước lượng nhất quán. Sửa lỗi cho tôi nếu tôi sai:

$W_n$ là một công cụ ước tính nhất quán cho$\theta$ if$\forall \epsilon>0$

Trong đó, là không gian tham số. Nhưng tôi muốn hiểu sự cần thiết của một người ước tính để được nhất quán. Tại sao một công cụ ước tính không nhất quán là xấu? Bạn có thể cho tôi một số ví dụ?$\Theta$

Tôi chấp nhận mô phỏng trong R hoặc python.

Nếu công cụ ước tính không nhất quán, nó sẽ không hội tụ đến giá trị thực trong xác suất . Nói cách khác, luôn có một xác suất rằng công cụ ước tính và giá trị thực của bạn sẽ có sự khác biệt, bất kể bạn có bao nhiêu điểm dữ liệu. Điều này thực sự tồi tệ, bởi vì ngay cả khi bạn thu thập lượng dữ liệu khổng lồ, ước tính của bạn sẽ luôn có xác suất dương là một số $\epsilon>0$ khác với giá trị thực. Thực tế, bạn có thể xem xét tình huống này như thể bạn đang sử dụng công cụ ước tính số lượng sao cho thậm chí khảo sát tất cả dân số, thay vì một mẫu nhỏ của nó, sẽ không giúp bạn.

Xét $n = 10\,000$ quan sát từ phân phối Cauchy tiêu chuẩn, giống như phân phối t của Sinh viên với 1 bậc tự do. Các đuôi của phân phối này đủ nặng mà nó không có ý nghĩa; phân phối được tập trung tại trung vị của nó$\eta = 0.$

Một chuỗi mẫu có nghĩa là $A_j = \frac 1j \sum_{i=1}^j X_i$không nhất quán cho tâm phân phối Cauchy. Nói một cách đơn giản, khó khăn là các quan sát rất cực$X_i$(tích cực hoặc tiêu cực) xảy ra với mức độ đều đặn đến mức không có cơ hội nào để$A_j$hội tụ đến$\eta = 0.$($A_j$không chỉ chậm hội tụ, chúng không ' t bao giờ hội tụ. Phân phối của$A_j$một lần nữa là tiêu chuẩn Cauchy [bằng chứng].)

Ngược lại, tại bất kỳ một bước trong một quá trình lấy mẫu liên tục, khoảng một nửa trong số các quan sát $X_i$ sẽ nằm ở hai bên của $\eta,$ do đó trình tự $H_j$ của trung vị mẫu không hội tụ về $\eta.$

Sự thiếu hội tụ của $A_j$ và sự hội tụ của $H_j$ được minh họa bằng mô phỏng sau.

set.seed(2019)  # for reproducibility
n = 10000;  x = rt(n, 1);  j = 1:n
a = cumsum(x)/j
h = numeric(n)
for (i in 1:n) {
  h[i] = median(x[1:i])  } 
par(mfrow=c(1,2))
 plot(j,a, type="l", ylim=c(-5,5), lwd=2,
    main="Trace of Sample Mean")
  abline(h=0, col="green2")
  k = j[abs(x)>1000] 
  abline(v=k, col="red", lty="dotted")
 plot(j,h, type="l", ylim=c(-5,5), lwd=2,
     main="Trace of Sample Median")
  abline(h=0, col="green2") 
par(mfrow=c(1,1))

Dưới đây là danh sách các bước mà $|X_i| > 1000.$ Bạn có thể thấy tác động của một số quan sát cực đoan này đối với các đường trung bình đang chạy trong ô bên trái (tại các đường chấm màu đỏ dọc).

k = j[abs(x)>1000]
rbind(k, round(x[k]))
   [,1] [,2] [,3]  [,4] [,5]  [,6]   [,7]  [,8]
k   291  898 1293  1602 2547  5472   6079  9158
  -5440 2502 5421 -2231 1635 -2644 -10194 -3137

$n = 10\,000$$\eta$$\eta,$

Một ví dụ thực sự đơn giản về lý do tại sao điều quan trọng là phải nghĩ đến tính nhất quán, mà tôi không nghĩ rằng có đủ sự chú ý, đó là một mô hình quá đơn giản.

Như một ví dụ lý thuyết, giả sử bạn muốn điều chỉnh mô hình hồi quy tuyến tính trên một số dữ liệu, trong đó các hiệu ứng thực sự là phi tuyến tính. Sau đó, dự đoán của bạn không thể nhất quán với giá trị trung bình thực cho tất cả các kết hợp hiệp phương sai, trong khi linh hoạt hơn có thể có thể. Nói cách khác, mô hình đơn giản hóa sẽ có những thiếu sót không thể khắc phục bằng cách sử dụng nhiều dữ liệu hơn.

@BruceET đã đưa ra một câu trả lời kỹ thuật tuyệt vời, nhưng tôi muốn thêm một điểm về việc giải thích tất cả.

One of the fundamental concepts in statistics is that as our sample size increases, we can reach more precise conclusions about our underlying distribution. You could think of it as the notion that taking lots of samples eliminates the random jitter in the data, so we get a better notion of the underlying structure.

Examples of theorems in this vein are plentiful, but the most well-known is the Law of Large Numbers, asserting that if we have a family of i.i.d. random variables $(X_i)_{i\in\mathbb{N}} \ $ and $\mathbb{E}[X_1] < \infty$, then

Now, to require an estimator to be consistent is to demand that it also follows this rule: As its job is to estimate an unknown parameter, we would like it to converge to that parameter (read: estimate that parameter arbitrarily well) as our sample size tends to infinity.

The equation

is nothing else but convergence in probability of the random variables $W_n$ towards $\theta$, meaning that in some sense, a larger sample will get us closer and closer to the true value.

Now, if you want, you can look at it conversely: If that condition were to fail, then even with infinite sample size, there would be a "corridor" with positive width $[\theta - \varepsilon, \theta + \varepsilon]$ around $\theta$ and a nonzero probability that even with arbitrarily large sample size, our estimator will fall outside that corridor. And that would obviously violate the aforementioned idea, so consistency is a very natural condition on estimators to desire and enforce.