Ước tính thông số phân phối t của sinh viên

23

Các ước tính khả năng tối đa cho các tham số phân phối t của Sinh viên là gì? Họ có tồn tại ở dạng kín? Một tìm kiếm nhanh trên Google đã không cho tôi bất kỳ kết quả nào.

Hôm nay tôi quan tâm đến trường hợp đơn biến, nhưng có lẽ tôi sẽ phải mở rộng mô hình ra nhiều chiều.

EDIT: Tôi thực sự chủ yếu quan tâm đến các thông số vị trí và tỷ lệ. Bây giờ tôi có thể giả sử rằng mức độ của tham số tự do là cố định và có thể sử dụng một số sơ đồ số để tìm giá trị tối ưu sau này.

estimation maximum-likelihood t-distribution

— Grzenio
nguồn

Theo hiểu biết của tôi họ không tồn tại ở dạng kín. Một cách tiếp cận loại tăng dần có thể được yêu cầu.

— Pat

Mặc dù phân phối Student t có một tham số duy nhất , bạn tham khảo "tham số" ở số nhiều. Bạn có thể bao gồm các thông số vị trí và / hoặc tỷ lệ?

— whuber

@whuber, cảm ơn vì nhận xét, tôi thực sự quan tâm đến thông số vị trí và tỷ lệ, hơn cả mức độ tự do.

— Grzenio

Với dữ liệu

, phương trình khả năng của tham số vị trí tương đương đại số với đa thức bậc

. Bạn có xem xét một số không của một đa thức như vậy được đưa ra trong "dạng đóng" không?

n

$n$

2 n - 1

$2n-1$

— whuber

@whuber, có trường hợp đặc biệt nào cho n nhỏ không, ví dụ n = 3?

— Grzenio

27

Dạng đóng không tồn tại cho T, nhưng cách tiếp cận rất trực quan và ổn định là thông qua thuật toán EM. Bây giờ vì sinh viên là một hỗn hợp quy mô của quy tắc, bạn có thể viết mô hình của mình dưới dạng

y_{i} = μ + e_{i}

$y_i=\mu+e_i$

nơi và $e_i|\sigma,w_i \sim N(0,\sigma^2w_i^{-1})$ . Điều này có nghĩa là điều kiện trênmle chỉ là giá trị trung bình và độ lệch chuẩn. Đây là bước "M" $w_i\sim Ga(\frac{\nu}{2}, \frac{\nu}{2})$ $w_i$

\hat{μ} = \frac{\sum_{i} w_{i} y_{i}}{\sum_{i} w_{i}}

$\hat{\mu}=\frac{\sum_iw_iy_i}{ \sum_iw_i}$

{\hat{σ}}^{2} = \frac{\sum_{i} w_{i} (y_{i} - \hat{μ})^{2}}{n}

$\hat{\sigma}^2= \frac{\sum_iw_i(y_i-\hat{\mu})^2}{n}$

Bây giờ bước "E" thay thế với kỳ vọng được cung cấp tất cả dữ liệu. Điều này được đưa ra là: $w_i$

{\hat{w}}_{i} = \frac{(ν + 1) σ^{2}}{ν σ^{2} + (y_{i} - μ)^{2}}

$\hat{w}_i=\frac{(\nu+1) \sigma^2 }{\nu \sigma^2 +(y_i-\mu)^2}$

vì vậy bạn chỉ cần lặp lại hai bước trên, thay thế "phía bên phải" của mỗi phương trình bằng các ước tính tham số hiện tại.

Điều này rất dễ dàng thấy các thuộc tính mạnh mẽ của phân phối t như quan sát với dư lớn nhận được ít cân trong tính toán cho vị trí , và ảnh hưởng bị chặn trong tính toán của . Bằng cách "ảnh hưởng chặn" Tôi có nghĩa là sự đóng góp vào dự toán cho từ quan sát thứ i không thể vượt quá một ngưỡng nhất định (đây là trong thuật toán EM). Ngoài ra là một tham số "mạnh mẽ" trong việc tăng (giảm) sẽ dẫn đến trọng số đồng nhất (ít hơn) và do đó độ nhạy (ít hơn) đối với các ngoại lệ. $\mu$ $\sigma^2$ $\sigma^2$ $(\nu+1)\sigma^2_{old}$ $\nu$ $\nu$

Một điều cần lưu ý là hàm khả năng ghi nhật ký có thể có nhiều hơn một điểm dừng, vì vậy thuật toán EM có thể hội tụ sang chế độ cục bộ thay vì chế độ toàn cục. Các chế độ cục bộ có thể được tìm thấy khi tham số vị trí được bắt đầu quá gần với ngoại lệ. Vì vậy, bắt đầu từ trung vị là một cách tốt để tránh điều này.

— xác suất
nguồn

1

Thật tuyệt vời. Tôi đã từng đùa giỡn với ý tưởng phù hợp với việc học sinh sử dụng EM trong một thời gian vì lý do chính xác là nó trông giống như một hỗn hợp của gaussian. Bạn có một trích dẫn / tài liệu tham khảo cho các phương trình cập nhật bạn đưa ra? Có được điều đó sẽ làm tăng sự tuyệt vời của bài viết này hơn nữa.

— Pat

Trên thực tế, tôi nghĩ rằng tôi đã tìm thấy một bản thân mình, cho một mô hình hỗn hợp của sinh viên (mà tôi sẽ sử dụng cho công cụ): Các hỗn hợp phân phối t của Sinh viên như một khuôn khổ mạnh mẽ để đăng ký cứng nhắc. Demetrios Gerogianni, Barshoros Nikou, Aristidis Likas. Máy tính hình ảnh và tầm nhìn 27 (2009) 1285 trừ1294.

— Pat

Liên kết trong câu trả lời của tôi cho câu hỏi này có khung EM rất chung cho tải và tải các hàm khả năng - lượng tử, sinh viên, logistic và hồi quy tổng quát. Trường hợp cụ thể của bạn là "hồi quy" mà không có đồng biến - chỉ chặn - vì vậy rất phù hợp với khung này. Ngoài ra, có một số lượng lớn các điều khoản phạt mà bạn có thể kết hợp vào khung này.

— xác suất

ν

$\nu$

Tôi nghĩ tài liệu tham khảo này tốt hơn @ Pat's. 'DỰ ÁN ML CỦA T PHÂN PHỐI SỬ DỤNG KHAI THÁC EM VÀ ITS, ECM VÀ ECME.' Bạn phải rất cẩn thận trong việc lựa chọn giá trị tham số ban đầu trong khi chạy thuật toán EM vì vấn đề tối ưu cục bộ. Nói cách khác, bạn phải biết điều gì đó về dữ liệu của bạn. Thông thường, tôi tránh sử dụng phân phối t trong nghiên cứu của mình.

4

Các giấy sau đây giải quyết chính xác vấn đề bạn đăng.

Liu C. và Rubin DB 1995. "Ước tính ML của phân phối t sử dụng EM và các phần mở rộng của nó, ECM và ECME." Statistica Sinica 5: 19 Từ39.

Nó cung cấp một ước lượng tham số phân phối t đa biến chung, có hoặc không có kiến thức về mức độ tự do. Quy trình có thể được tìm thấy trong Phần 4 và nó rất giống với xác suất cho 1 chiều.

— mitchshih
nguồn

7

Nghe có vẻ như bài báo mà bạn đề cập có chứa câu trả lời hữu ích cho câu hỏi, nhưng câu trả lời sẽ tốt hơn khi chúng độc lập và không cần tài nguyên bên ngoài (ví dụ, có thể OP hoặc độc giả không có quyền truy cập vào bài viết này ). Bạn có thể đưa ra câu trả lời của mình một chút để làm cho nó độc lập hơn không?

— Patrick Coulombe

3

Tôi nghi ngờ rằng nó tồn tại ở dạng kín: nếu bạn viết bất kỳ một trong các yếu tố của khả năng như

\frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} {(1 + \frac{t^{2}}{ν})}^{- \frac{ν + 1}{2}} = = \frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} điểm kinh nghiệm {[\ln (1 + \frac{t^{2}}{ν})] [- \frac{ν + 1}{2}]}

$\frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \left(1+\frac{t^2}{\nu} \right)^{-\frac{\nu+1}{2}} = \frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \exp \left \{ \left [ \ln \left(1+\frac{t^2}{\nu} \right) \right ] \left [ {-\frac{\nu+1}{2}} \right ]\right \}$ và lấy ln của điều đó, bạn sẽ nhận được một phương trình phi tuyến tính trong

ν

$\nu$ . Ngay cả khi bạn quản lý để có được một giải pháp, thì tùy thuộc vào số lượng các yếu tố (điều khoản)

n

$n$ , phương trình MLE sẽ phụ thuộc vào điều này

n

$n$ một cách không cần thiết Tất cả điều đó đơn giản hóa đáng kể, tất nhiên, khi

ν \to \infty

$\nu \rightarrow \infty$ , khi sức mạnh đạt đến cấp số nhân (Gaussian PDF).

— Lucozade
nguồn

1

Ngay cả trong cài đặt Gaussian, khả năng nhật ký là không tuyến tính trong các tham số của nó :-).

— whuber

Tôi thực sự quan tâm đến các thông số vị trí và tỷ lệ, hơn cả mức độ tự do. Xin vui lòng xem chỉnh sửa cho câu hỏi, và xin lỗi vì không chính xác.

— Grzenio

2

Gần đây tôi đã phát hiện ra một công cụ ước tính dạng đóng cho quy mô phân phối của Học sinh. Theo hiểu biết tốt nhất của tôi, đây là một đóng góp mới, nhưng tôi rất hoan nghênh các ý kiến đề xuất bất kỳ kết quả liên quan nào. Bài viết mô tả phương pháp trong bối cảnh của một họ các phân phối "theo cấp số nhân". Học sinh được gọi là Gaussian ghép, trong đó thuật ngữ ghép là đối ứng của mức độ tự do. Thống kê dạng đóng là giá trị trung bình hình học của các mẫu. Giả sử giá trị của khớp nối hoặc mức độ tự do, ước tính thang đo được xác định bằng cách nhân giá trị trung bình hình học của các mẫu với một hàm liên quan đến khớp nối và số hài.

https://arxiv.org/abs/1804.03989 Sử dụng ý nghĩa hình học làm thống kê cho thang đo của các phân phối Gaussian được ghép nối, Kenric P. Nelson, Mark A. Kon, Sabir R. Umarov

— Kenric
nguồn