Mối quan hệ giữa ước tính và ước tính là gì?

21

estimation terminology estimators

5

"Trong thống kê, công cụ ước tính là một quy tắc để tính toán ước tính của một đại lượng nhất định dựa trên dữ liệu được quan sát: do đó quy tắc và kết quả của nó (ước tính) được phân biệt." (Dòng đầu tiên của bài viết Wikipedia en.wikipedia.org/wiki/Estimator ).

— whuber

+1 Tôi đang nâng cao câu hỏi này (mặc dù có câu trả lời được xây dựng tốt trên trang Wikipedia rõ ràng) bởi vì những nỗ lực ban đầu để trả lời nó ở đây đã chỉ ra một số điều tinh tế.

— whuber

@whuber, tôi có thể nói các ước tính tham số mô hình là công cụ ước tính không?

— bơ

2

@loganecolss Công cụ ước tính là một hàm toán học. Điều đó được phân biệt với giá trị (ước tính) mà nó có thể đạt được cho bất kỳ tập hợp dữ liệu nào. Một cách để đánh giá cao sự khác biệt là lưu ý rằng một số bộ dữ liệu nhất định sẽ tạo ra cùng một ước tính về độ dốc trong hồi quy tuyến tính bằng cách sử dụng các công cụ ước tính khác nhau (ví dụ như Tối đa khả năng lặp lại hoặc bình phương tối thiểu lặp lại). Nếu không phân biệt các ước tính với các công cụ ước tính được sử dụng để tạo ra các ước tính đó, chúng tôi sẽ không thể hiểu được tuyên bố đó thậm chí nói gì.

— whuber

@whuber, ngay cả với một tập dữ liệu nhất định , công cụ ước tính khác nhau cũng có thể đưa ra các ước tính khác nhau, phải không?

D

$D$

— bơ

13

EL Lehmann, trong Lý thuyết ước tính điểm cổ điển của mình , trả lời câu hỏi này trên trang 1-2.

Các quan sát hiện được quy định là các giá trị được thực hiện bởi các biến ngẫu nhiên được giả định là tuân theo phân phối xác suất chung, , thuộc về một số lớp đã biết ... $P$

... bây giờ chúng ta chuyên về ước tính điểm ... giả sử là hàm có giá trị thực được xác định [trên lớp phân phối được quy định] và chúng tôi muốn biết giá trị của [tại bất kỳ phân phối thực tế nào trong hiệu ứng, ]. Thật không may, và do đó , không xác định. Tuy nhiên, dữ liệu có thể được sử dụng để ước tính , một giá trị mà người ta hy vọng sẽ gần với . $g$ $g$ $\theta$ $\theta$ $g(\theta)$ $g(\theta)$ $g(\theta)$

Nói cách khác: một công cụ ước tính là một thủ tục toán học xác định đi kèm với một số ( ước tính ) cho bất kỳ tập hợp dữ liệu có thể có mà một vấn đề cụ thể có thể tạo ra. Số đó được dự định để đại diện cho một số thuộc tính số xác định ( ) của quy trình tạo dữ liệu; chúng ta có thể gọi đây là "ước tính." $g(\theta)$

Bản thân công cụ ước tính không phải là một biến ngẫu nhiên: nó chỉ là một hàm toán học. Tuy nhiên, ước tính mà nó tạo ra dựa trên dữ liệu mà bản thân chúng được mô hình hóa thành các biến ngẫu nhiên. Điều này làm cho ước tính (được cho là tùy thuộc vào dữ liệu) thành một biến ngẫu nhiên và một ước tính cụ thể cho một tập hợp dữ liệu cụ thể trở thành hiện thực của biến ngẫu nhiên đó.

Trong một công thức bình phương nhỏ nhất (thông thường), dữ liệu bao gồm các cặp theo thứ tự . Các đã được xác định bằng thí nghiệm (họ có thể lượng một loại thuốc tiêm, ví dụ). Mỗi (ví dụ như phản ứng với thuốc) được giả sử đến từ phân phối xác suất là Bình thường nhưng không rõ nghĩa là và phương sai chung . Hơn nữa, người ta cho rằng các phương tiện có liên quan đến thông qua công thức . Ba tham số , và $(x_i, y_i)$ $x_i$ $y_i$ $\mu_i$ $\sigma^2$ $x_i$ $\mu_i = \beta_0 + \beta_1 x_i$ $\sigma$ $\beta_0$ $\beta_1$ --determine phân phối cơ bản của cho bất kỳ giá trị nào của . Do đó, bất kỳ thuộc tính nào của phân phối đó đều có thể được coi là một hàm của . Ví dụ về các thuộc tính như vậy là chặn , độ dốc , giá trị của hoặc thậm chí là giá trị trung bình ở giá trị , (theo công thức này ) phải là . $y_i$ $x_i$ $(\sigma, \beta_0, \beta_1)$ $\beta_0$ $\beta_1$ $\cos(\sigma + \beta_0^2 - \beta_1)$ $x=2$ $\beta_0 + 2 \beta_1$

Trong ngữ cảnh OLS này, một ví dụ về công cụ ước tính sẽ là một thủ tục để đoán giá trị của nếu được đặt bằng 2. Đây không phải là công cụ ước tính vì giá trị này của là ngẫu nhiên (theo cách hoàn toàn tách biệt với tính ngẫu nhiên của dữ liệu): nó không phải là một thuộc tính (số xác định) của phân phối, mặc dù nó có liên quan đến phân phối đó. (Tuy nhiên, như chúng ta vừa thấy, kỳ vọng của cho , bằng với , có thể được ước tính.) $y$ $x$ $y$ $y$ $x=2$ $\beta_0 + 2 \beta_1$

Trong công thức của Lehmann, hầu hết mọi công thức đều có thể là công cụ ước tính của hầu hết mọi tài sản. Không có liên kết toán học vốn có giữa một người ước tính và một người ước tính. Tuy nhiên, chúng ta có thể đánh giá - trước - cơ hội mà một người ước tính sẽ gần hợp lý với số lượng mà nó dự định ước tính. Các cách để làm điều này, và cách khai thác chúng, là chủ đề của lý thuyết ước tính.

— whuber
nguồn

1

(+1) Một phản hồi rất chính xác và chi tiết.

— chl

2

Không phải là một hàm của một biến ngẫu nhiên cũng là một biến ngẫu nhiên sao?

— jsk

@jsk Tôi nghĩ rằng sự khác biệt mà tôi đã cố gắng thực hiện ở đây có thể được làm rõ bằng cách xem xét thành phần của các hàmHàm đầu tiên là biến ngẫu nhiên ; cái thứ hai (gọi nó là ) được gọi là công cụ ước tính ở đây và thành phần của hai là một "thủ tục ước tính" hoặc "thủ tục ước tính", nghĩa là - như bạn nói chính xác - một biến ngẫu nhiên.

Ω \to R^{n} \to R .

$\Omega\to\mathbb{R}^n\to\mathbb{R}.$

X

$X$

t

$t$

t \circ X : Ω \to R

$t\circ X:\Omega\to\mathbb{R}$

— whuber

1

@whuber Trong bài đăng của bạn, bạn nói "Bản thân công cụ ước tính không phải là một biến ngẫu nhiên." Tôi đã cố chỉnh sửa bài đăng của bạn để làm rõ quan điểm mà bạn và tôi dường như đồng ý, nhưng có vẻ như ai đó đã từ chối chỉnh sửa của tôi. Có lẽ họ sẽ thích chỉnh sửa của bạn!

— JSK

Hãy để chúng tôi tiếp tục cuộc thảo luận này trong trò chuyện .

— whuber

7

Tóm lại: một công cụ ước tính là một chức năng và một ước tính là một giá trị tóm tắt một mẫu được quan sát.

Công cụ ước tính là một hàm ánh xạ một mẫu ngẫu nhiên đến ước tính tham số:

\hat{Θ} = = t (X_{1}, X_{2}, . . ., X_{n})

$\hat{\Theta}=t(X_1,X_2,...,X_n)$ Lưu ý rằng một công cụ ước tính của n biến ngẫu nhiên là biến ngẫu nhiên . Ví dụ, một ước lượng là mẫu trung bình: Một ước tính là kết quả của việc áp dụng chức năng ước lượng để mẫu chữ thường quan sát :

X_{1}, X_{2}, . . ., X_{n}

$X_1,X_2,...,X_n$

\hat{Θ}

$\hat{\Theta}$

\bar{X} = = \frac{1}{n} Σ_{n = = 1}^{n} X_{tôi}

$\overline{X}=\frac{1}{n}\sum_{n=1}^nX_i$

\hat{θ}

$\hat{\theta}$

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

\hat{θ} = = t (x_{1}, x_{2}, . . ., x_{n})

$\hat{\theta}=t(x_1,x_2,...,x_n)$ Chẳng hạn, ước tính của mẫu quan sát là mẫu có nghĩa là:

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

\hat{μ} = = \bar{x} = = \frac{1}{n} Σ_{n = = 1}^{n} x_{tôi}

$\hat{\mu}=\overline{x}=\frac{1}{n}\sum_{n=1}^nx_i$

— Người tự do
nguồn

ước lượng là một RV, trong khi ước tính là một hằng số?

— Parthiban Rajendran

Không phải kết luận của bạn mâu thuẫn với @ whuber sao? Ở đây bạn nói công cụ ước tính là RV, nhưng whuber nói khác.

— Parthiban Rajendran

Có, tôi không đồng ý với tuyên bố của @ whuber "Bản thân công cụ ước tính không phải là một biến ngẫu nhiên: nó chỉ là một hàm toán học". Một hàm của biến ngẫu nhiên cũng là một biến ngẫu nhiên. onlinecferences.science.psu.edu/stat414/node/128

— Freeman

3

Có thể hữu ích để minh họa câu trả lời của người đánh bóng trong bối cảnh mô hình hồi quy tuyến tính. Giả sử bạn có một số dữ liệu hai biến và bạn sử dụng Bình phương tối thiểu thông thường để đưa ra mô hình sau:

Y = 6X + 1

Tại thời điểm này, bạn có thể lấy bất kỳ giá trị nào của X, cắm nó vào mô hình và dự đoán kết quả, Y. Theo nghĩa này, bạn có thể nghĩ về các thành phần riêng lẻ của dạng chung của mô hình ( mX + B ) làm công cụ ước tính . Dữ liệu mẫu (mà bạn có lẽ đã cắm vào mô hình chung để tính các giá trị cụ thể cho m và B ở trên) đã cung cấp một cơ sở để bạn có thể đưa ra các ước tính cho m và B tương ứng.

Phù hợp với các điểm của @ whuber trong luồng của chúng tôi bên dưới, bất kỳ giá trị nào của Y mà một bộ ước tính cụ thể tạo ra cho bạn, trong bối cảnh hồi quy tuyến tính, được coi là giá trị dự đoán.

(được chỉnh sửa - một vài lần - để phản ánh các bình luận bên dưới)

— tro
nguồn

1

Bạn đã xác định độc đáo một người dự đoán. Nó là tinh tế (nhưng quan trọng) khác với một người ước tính. Công cụ ước tính trong ngữ cảnh này là công thức bình phương nhỏ nhất được sử dụng để tính toán các tham số 1 và 6 từ dữ liệu.

— whuber

Hmm, tôi không có ý như vậy, @whuber, nhưng tôi nghĩ nhận xét của bạn minh họa một sự mơ hồ quan trọng trong ngôn ngữ của tôi mà tôi không nhận thấy trước đây. Điểm chính ở đây là bạn có thể nghĩ về dạng chung của phương trình Y = mX + B (như được sử dụng ở trên) như một công cụ ước tính, trong khi các giá trị dự đoán cụ thể được tạo bởi các ví dụ cụ thể của công thức đó (ví dụ: 1 + 6X) là ước tính. Hãy để tôi thử chỉnh sửa đoạn văn trên để nắm bắt sự khác biệt đó ...

— ashaw

btw, tôi đang cố gắng giải thích điều này mà không đưa ra ký hiệu "chiếc mũ" mà tôi đã gặp trong hầu hết các cuộc thảo luận trong sách giáo khoa về khái niệm này. Có lẽ đó là con đường tốt hơn sau tất cả?

— ashaw

2

Tôi nghĩ rằng bạn đã đạt được một phương tiện tốt đẹp giữa độ chính xác và kỹ thuật trong câu trả lời ban đầu của bạn: hãy tiếp tục! Bạn không cần mũ, nhưng nếu bạn có thể quản lý để chỉ ra cách một người ước tính được phân biệt với những thứ tương tự khác, điều đó sẽ hữu ích nhất. Nhưng xin lưu ý sự khác biệt giữa dự đoán giá trị Y và ước tính một tham số như m hoặc b . Y có thể được hiểu là một biến ngẫu nhiên; m và b không (ngoại trừ trong môi trường Bayes).

— whuber

thật vậy, một điểm rất tốt về các tham số so với các giá trị ở đó. Chỉnh sửa lại ...

— ashaw

0

Giả sử bạn đã nhận được một số dữ liệu và bạn có một số biến quan sát được gọi là theta. Bây giờ dữ liệu của bạn có thể từ một phân phối dữ liệu, đối với phân phối này, có một giá trị tương ứng của theta mà bạn suy ra đó là một biến ngẫu nhiên. Bạn có thể sử dụng MAP hoặc có nghĩa là để tính toán ước tính của biến ngẫu nhiên này bất cứ khi nào phân phối dữ liệu của bạn thay đổi. Vì vậy, biến ngẫu nhiên theta được gọi là ước tính , một giá trị duy nhất của biến không quan sát được cho một loại dữ liệu cụ thể.

Trong khi công cụ ước tính là dữ liệu của bạn, cũng là một biến ngẫu nhiên. Đối với các loại phân phối khác nhau, bạn có các loại dữ liệu khác nhau và do đó bạn có ước tính khác nhau và do đó biến ngẫu nhiên tương ứng này được gọi là công cụ ước tính .

— Ankur Kothari
nguồn