Tại sao chúng tôi ước tính có nghĩa là sử dụng MLE khi chúng tôi đã biết trung bình đó là trung bình của dữ liệu?

11

Tôi đã gặp một vấn đề trong sách giáo khoa để ước tính có nghĩa. Vấn đề sách giáo khoa như sau:

Giả sử rằng $N$ điểm dữ liệu, $x_1$ , $x_2$ ,. . . , $x_N$ , đã được tạo bởi pdf Gaussian một chiều có nghĩa là không xác định, nhưng có phương sai đã biết. Suy ra ước tính ML của giá trị trung bình.

Câu hỏi của tôi là, Tại sao chúng ta cần ước tính có nghĩa là sử dụng MLE khi chúng ta đã biết rằng giá trị trung bình của dữ liệu là trung bình? Giải pháp cũng nói rằng ước tính MLE là trung bình của dữ liệu. Tôi có cần phải làm tất cả những mệt mỏi tối đa hóa MLE bước để tìm ra rằng trung bình là gì, nhưng trung bình của dữ liệu tức là ? $(x_1+x_2+\cdots+x_N)/N$

self-study normal-distribution maximum-likelihood

— Niranjan Kotha
nguồn

10

Bạn có thể bị nhầm lẫn bởi hai ý nghĩa riêng biệt của từ "có nghĩa." Trong câu hỏi này, bạn sử dụng nó để chỉ (a) một tham số của một họ các phân phối Gaussian và (b) một thống kê có thể được tính toán từ dữ liệu. Bạn có thể muốn khám phá những gì trang web này nói về MLE và các tham số .

— whuber

1

Điều gì về việc cung cấp tài liệu tham khảo cho sách giáo khoa bạn trích dẫn?

— Tây An

13

Tại sao chúng ta cần ước tính trung bình sử dụng MLE khi chúng ta đã biết trung bình đó là trung bình của dữ liệu?

Vấn đề sách giáo khoa nói rằng là từ $x_1,x_2,\dots,x_N$ Họ nói với bạn rằngđược biết đến, nhưngphải được ước tính.

x \sim \frac{1}{\sqrt{2 π} σ} e^{- \frac{(x - μ)^{2}}{2 σ^{2}}}

$x\sim\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$

σ

$\sigma$

μ

$\mu$

Có thực sự rõ ràng rằng một ước lượng tốt ?! $\hat\mu=\bar x$

Ở đây, . $\bar x=\frac{1}{N}\sum_{i=1}^Nx_i$

Điều đó không rõ ràng đối với tôi và tôi khá ngạc nhiên khi thấy rằng đó thực tế là ước tính của MLE.

Ngoài ra, hãy xem xét điều này: những gì nếu đã được biết đến và chưa biết? Trong trường hợp này MLE ước lượng là $\mu$ $\sigma$

{\hat{σ}}^{2} = \frac{1}{N} \sum_{i = 1}^{N} (x - \bar{x})^{2}

$\hat\sigma^2=\frac{1}{N}\sum_{i=1}^N(x-\bar x)^2$

Lưu ý, làm thế nào công cụ ước tính này không giống như một công cụ ước tính phương sai mẫu! Đừng "chúng ta đã biết" rằng phương sai mẫu được đưa ra theo phương trình sau?

s^{2} = \frac{1}{N - 1} \sum_{i} (x - \bar{x})^{2}

$s^2=\frac{1}{N-1}\sum_{i}(x-\bar x)^2$

— Aksakal
nguồn

s^{2}

$s^2$

{\hat{σ}}^{2}

$\hat \sigma^2$

1

s_{N - 1}^{2}

$s^2_{N-1}$

s_{N - 1}^{2}

$s^2_{N-1}$

s_{N}^{2}

$s^2_N$

1

s_{N}^{2}

$s_N^2$

s_{N - 1}^{2}

$s_{N-1}^2$

s_{N}

$s_N$

s

$s$

\hat{σ}

$\hat \sigma$

N

$N$

N - 1

$N-1$

s^{2}

$s^2$

σ^{2}

$\sigma^2$

1

{\hat{σ}}^{2}

$\hat\sigma^2$

s^{2}

$s^2$

s^{2} = \frac{e^{'} e}{N - k}

$s^2=\frac{e'e}{N-k}$

k

$k$

N - 1

$N-1$

8

Trong trường hợp này, tỷ lệ trung bình của mẫu của bạn xảy ra cũng là ước lượng tối đa khả năng. Vì vậy, thực hiện tất cả các công việc xuất phát MLE cảm thấy như một bài tập không cần thiết, khi bạn quay lại ước tính trực quan của bạn về ý nghĩa bạn sẽ sử dụng ở nơi đầu tiên. Chà, đây không phải là "chỉ là tình cờ"; điều này được chọn cụ thể để chỉ ra rằng các công cụ ước tính MLE thường dẫn đến các công cụ ước tính trực quan.

Nhưng nếu không có công cụ ước tính trực quan thì sao? Ví dụ: giả sử bạn có một mẫu các biến ngẫu nhiên gamma iid và bạn quan tâm đến việc ước tính hình dạng và các tham số tỷ lệ. Có lẽ bạn có thể cố gắng đưa ra một công cụ ước tính từ các thuộc tính mà bạn biết về các bản phân phối Gamma. Nhưng điều gì sẽ là cách tốt nhất để làm điều đó? Sử dụng một số kết hợp của trung bình ước tính và phương sai? Tại sao không sử dụng trung bình ước tính thay vì trung bình? Hoặc có nghĩa là log? Tất cả những thứ này có thể được sử dụng để tạo ra một số loại công cụ ước tính, nhưng cái nào sẽ tốt?

Hóa ra, lý thuyết MLE cho chúng ta một cách tuyệt vời để nhận được câu trả lời ngắn gọn cho câu hỏi đó: lấy các giá trị của các tham số tối đa hóa khả năng của dữ liệu được quan sát (có vẻ khá trực quan) và sử dụng như ước tính của bạn. Trên thực tế, chúng tôi có lý thuyết cho rằng trong những điều kiện nhất định, đây sẽ là công cụ ước tính tốt nhất. Điều này tốt hơn nhiều so với việc cố gắng tìm ra một công cụ ước tính duy nhất cho từng loại dữ liệu và sau đó bước đi rất nhiều thời gian để lo lắng nếu đó thực sự là lựa chọn tốt nhất.

Nói tóm lại: mặc dù MLE không cung cấp cái nhìn sâu sắc mới trong trường hợp ước tính giá trị trung bình của dữ liệu thông thường , nhưng nói chung nó là một công cụ rất, rất hữu ích.

— Vách đá AB
nguồn

2

Đây là một vấn đề về từ vựng khó hiểu, như được minh họa bởi những trích dẫn đó, trực tiếp từ google:

danh từ trung bình : trung bình; danh từ số nhiều: a Average

một số biểu thị giá trị trung tâm hoặc điển hình trong một tập hợp dữ liệu, đặc biệt là chế độ, trung vị hoặc (thông thường nhất) trung bình, được tính bằng cách chia tổng của các giá trị trong tập hợp cho số của chúng. "Tỷ lệ trên 60 tuổi cao hơn mức trung bình 19% của EU" từ đồng nghĩa: trung bình, trung bình, chế độ, trung điểm, trung tâm

$\bar{x}$ $\mu$ $\mathfrak{N}(\mu,\sigma²)$

nghĩa là

Trong toán học, trung bình có một số định nghĩa khác nhau tùy thuộc vào ngữ cảnh.

$\mu = \sum x P(x)$

$x_1, x_2, ..., x_n$ $\bar{x}$ $\bar{x}$ $\mu$ $\mu_x$

Theo đề xuất của mục Wikipedia này , có nghĩa là áp dụng cho cả bản phân phối và mẫu hoặc bộ dữ liệu. Giá trị trung bình của tập dữ liệu hoặc mẫu cũng là giá trị trung bình của phân phối theo kinh nghiệm liên quan đến mẫu này. Mục này cũng minh họa khả năng nhầm lẫn giữa các thuật ngữ vì nó đưa ra mức trung bình và kỳ vọng là từ đồng nghĩa.

danh từ kỳ vọng : kỳ vọng; danh từ số nhiều: kỳ vọng

Toán học: một thuật ngữ khác cho giá trị mong đợi.

E [X] = \int_{X} x d P (x)

$\mathbb{E}[X]=\int_\mathcal{X} x\text{d}P(x)$

— Tây An
nguồn