Là mẫu có nghĩa là ước tính phân phối tốt nhất của Ý có nghĩa là phân phối?

Theo luật (yếu / mạnh) của số lượng lớn, được cho một số điểm mẫu iid của một phân phối, mẫu của chúng có nghĩa là hội tụ đến phân phối có nghĩa là cả xác suất và như, như cỡ mẫu đi đến vô cùng. $\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}$ $f^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i$ $N$

Khi kích thước mẫu được cố định, tôi tự hỏi liệu công cụ ước tính LLN có phải là công cụ ước tính tốt nhất theo nghĩa nào không? Ví dụ, $N$ $f^*$

kỳ vọng của nó là trung bình phân phối, vì vậy nó là một công cụ ước tính không thiên vị. Phương sai của nó là trong đó là phương sai phân phối. Nhưng đó có phải là UMVU? $\frac{\sigma^2}{N}$ $\sigma^2$
có một số chức năng sao cho giải quyết vấn đề tối thiểu hóa: $l_0: \mathbb{R}^n \times \mathbb{R}^n \rightarrow [0,\infty)$ $f^*(\{x_i, i=1,\ldots,N\})$
$f^{*} ({x_{i}, i = 1, \dots, N}) = {argmin}_{u \in R^{n}} \sum_{i = 1}^{N} l_{0} (x_{i}, u) ?$ $f^*(\{x_i, i=1,\ldots,N\}) = \operatorname{argmin}_{u \in \mathbb{R}^n} \quad \sum_{i=1}^N l_0(x_i, u)?$
Nói cách khác, là một hàm tương phản tốt nhất trong khung tương phản tối thiểu (cf Phần 2.1 "Các phương pháp ước lượng cơ bản" trong " Thống kê toán học: ý tưởng cơ bản và chủ đề được chọn, Tập 1 " của Bickle và Doksum). $f^*$ $l_0$

Ví dụ: nếu phân phối được biết / bị hạn chế là từ họ phân phối Gaussian, thì giá trị trung bình mẫu sẽ là công cụ ước tính MLE của trung bình phân phối và MLE thuộc về khung tương phản tối thiểu và hàm tương phản của nó sẽ trừ đi khả năng ghi nhật ký chức năng. $l_0$
có một số chức năng sao cho giải quyết vấn đề tối thiểu hóa: cho bất kỳ phân phối của trong một số họ phân phối? $l: \mathbb{R}^n \times F \rightarrow [0,\infty)$ $f^*$
$f^{*} = {argmin}_{f} E_{iid {x_{i}, i = 1, \dots, N} each with distribution P} l (f ({x_{i}, i = 1, \dots, N}), P) ?$ $f^* = \operatorname{argmin}_{f} \quad \operatorname{E}_{\text{iid }\{x_i, i=1,\ldots,N\} \text{ each with distribution }P } \quad l(f(\{x_i, i=1,\ldots,N\}), P)?$ $P$ $x_i$ $F$
Nói cách khác, là tốt nhất wrt một số chức năng bị mất và một số gia đình bản phân phối trong khuôn khổ lý thuyết quyết định (cf Mục 1.3 "Quyết định lý thuyết khung" trong " thống kê toán học: ý tưởng cơ bản và các chủ đề được lựa chọn, Tập 1 " bởi Bickle và Doksum). $f^*$ $l$ $F$

Lưu ý rằng trên đây là ba cách hiểu khác nhau cho ước tính "tốt nhất" mà tôi đã biết cho đến nay. Nếu bạn biết về các giải thích có thể khác có thể áp dụng cho công cụ ước tính LLN, xin đừng ngần ngại đề cập đến điều đó.

estimation expected-value law-of-large-numbers

— Tim
nguồn

Một cách khác để mô tả công cụ ước tính: Vui lòng đọc về Công cụ ước tính nhất quán tại đây . Ý nghĩa mẫu là phù hợp do LLN.

— Rohit Banga

Trung bình mẫu có nhiều đặc tính hay và thú vị nhưng đôi khi chúng không phải là thứ tốt nhất mà người ta có thể có trong một tình huống cụ thể. Một ví dụ là trường hợp sự hỗ trợ của phân phối phụ thuộc vào giá trị của tham số. Hãy xem xét , sau đó là một công cụ ước tính không thiên vị của trung bình phân phối nhưng đó không phải là UMVUE, ví dụ: ước tính không thiên vị dựa trên thống kê đơn hàng lớn nhất sẽ có phương sai nhỏ hơn trung bình mẫu.

X_{1}, X_{2}, \dots, X_{n} \sim U (0, θ)

$X_1, X_2, \ldots, X_n \sim \mathcal{U}(0,\theta)$

\frac{1}{n} \sum_{i = 1}^{n} X_{i}

$\frac{1}{n} \sum_{i=1}^{n} X_i$

θ

$\theta$

\frac{n + 1}{n} X_{(n)}

$\frac{n+1}{n}X_{(n)}$

— VitalStatistix

Cảm ơn! Nhưng phương sai của nó được tính như thế nào?

— Tim

Pdf của , thống kê đơn hàng lớn nhất được đưa ra bởi, , do đó phương sai của công cụ ước lượng không thiên vị sẽ là, , tức là phương sai là thứ tự của , so với phương sai của mẫu có nghĩa là thứ tự .

Y = X_{(n)}

$Y=X_{(n)}$

f (y) = \frac{n y^{n - 1}}{θ^{n}}; y \in (0, θ)

$f(y)= \frac{ny^{n-1}}{{\theta}^n} ; y\in (0,\theta)$

\frac{n}{n + 1} Y

$\frac{n}{n+1}Y$

V a r (\frac{n}{n + 1} Y) = \frac{1}{n (n + 2)} θ^{2}

$Var(\frac{n}{n+1}Y)=\frac{1}{n(n+2)}\theta^2$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{1}{n}

$\frac{1}{n}$

— VitalStatistix

@VitalStatistix, tôi hoàn toàn thiếu một cái gì đó ở đây? Nếu các biến thống nhất trên trị trung bình mẫu của chúng có kỳ vọng , vậy bạn không muốn nhân 2 để có được ước lượng không thiên vị của ?

[0, θ]

$[0, \theta]$

θ / 2

$\theta/2$

θ

$\theta$

— NRH

Câu trả lời cho câu hỏi thứ hai của bạn là có: Giá trị trung bình mẫu là ước lượng độ tương phản tối thiểu khi hàm của bạn là , khi x và u là số thực hoặc , khi x và u là vectơ cột. Điều này theo sau lý thuyết bình phương nhỏ nhất hoặc phép tính vi phân. $l_0$ $(x-u)^2$ $(x-u)'(x-u)$

Một công cụ ước tính độ tương phản tối thiểu, trong các điều kiện kỹ thuật nhất định, cả nhất quán và bình thường không có triệu chứng. Đối với trung bình mẫu, điều này đã tuân theo LLN và định lý giới hạn trung tâm. Tôi không biết rằng các công cụ ước tính độ tương phản tối thiểu là "tối ưu" theo bất kỳ cách nào. Điều tuyệt vời về các công cụ ước tính độ tương phản tối thiểu là nhiều công cụ ước tính mạnh (ví dụ: trung bình, công cụ ước tính Huber, lượng tử mẫu) thuộc họ này và chúng tôi có thể kết luận rằng chúng phù hợp và không có triệu chứng chỉ bằng cách áp dụng định lý chung cho công cụ ước tính tương phản tối thiểu, vì vậy miễn là chúng tôi kiểm tra một số điều kiện kỹ thuật (mặc dù điều này thường khó khăn hơn nhiều so với âm thanh).

Một khái niệm về sự tối ưu mà bạn không đề cập đến trong câu hỏi của mình là tính hiệu quả, nói một cách đại khái, là về một mẫu bạn cần để có được ước tính về chất lượng nhất định. Xem http://en.wikipedia.org/wiki/Effic_(statistic)#Asymptotic_effic để so sánh hiệu quả của trung bình và trung bình (trung bình là hiệu quả hơn, nhưng trung bình mạnh hơn so với các ngoại lệ).

Đối với câu hỏi thứ ba, không có một số hạn chế nào đối với tập hợp các hàm f mà bạn đang tìm kiếm argmin, tôi không nghĩ rằng ý nghĩa mẫu sẽ là tối ưu. Đối với bất kỳ phân phối P nào, bạn có thể sửa f thành hằng số bỏ qua và giảm thiểu tổn thất cho P. cụ thể có nghĩa là không thể đánh bại điều đó. $x_i$

Tối ưu hóa tối thiểu là một điều kiện yếu hơn so với điều kiện bạn đưa ra: thay vì yêu cầu là chức năng tốt nhất cho bất kỳ nào trong một lớp, bạn có thể yêu cầu có hiệu suất trong trường hợp xấu nhất. Đó là, giữa argmin và kỳ vọng, đặt một . Tối ưu Bayesian là cách tiếp cận khác: đặt một phân phối trước khi về , và chịu sự kỳ vọng trên cũng như các mẫu từ . $f^*$ $P$ $f^*$ $\max_{P\in F}$ $P\in F$ $P$ $P$

— DavidR
nguồn

Cảm ơn! Có một số tài liệu tham khảo tốt về các thuộc tính của công cụ ước tính độ tương phản tối thiểu, chẳng hạn như nhất quán và không có triệu chứng, cũng như các ví dụ như trung vị, công cụ ước tính Huber, lượng tử mẫu?

— Tim

Mục 5.2.2 của cuốn sách Bickel & Doksum mà bạn trích dẫn có một định lý về tính nhất quán của các ước lượng tương phản tối thiểu. Mục 5.4.2 thảo luận về tính quy phạm tiệm cận. Một nguồn khác mà tôi đề xuất và thảo luận về các công cụ ước tính khác mà tôi đề cập, là cuốn sách Thống kê tiệm cận của van der Vaart . Chương 5 là về công cụ ước tính M, là tên của ông cho công cụ ước tính độ tương phản tối thiểu.

— DavidR

Cảm ơn! Là chỉ tiêu trong đoạn đầu tiên của bạn là một tùy ý trên hay nó phải là định mức ?

R^{n}

$\mathbb{R}^n$

l_{2}

$l_2$

— Tim

Ý tôi là tiêu chuẩn Euclide tiêu chuẩn - Tôi đã thay đổi nó thành ký hiệu vectơ để làm rõ.

— DavidR

DavidR, cảm ơn! (1) Về phần 3 trong bài viết của tôi, tôi tự hỏi liệu mẫu có nghĩa là ước tính LLN, có thể phù hợp với khung lý thuyết quyết định cho một số hàm mất không? (2) Tôi có ấn tượng rằng tất cả các công cụ ước tính, như MLE và Least Square Ước tính, phù hợp với khung tương phản tối thiểu, nhưng không phải là khung lý thuyết quyết định. Vì vậy, khung lý thuyết quyết định không được sử dụng để xây dựng các công cụ ước tính, mà chỉ để đánh giá chúng?

l

$l$

— Tim