Suy luận trong mô hình tuyến tính với tính không đồng nhất có điều kiện

Giả sử tôi quan sát các vectơ biến độc lập và và biến phụ thuộc . Tôi muốn điều chỉnh mô hình có dạng: trong đó là một hàm phân biệt hai lần có giá trị dương, là một tham số tỷ lệ không xác định và là biến ngẫu nhiên Gaussian có phương sai đơn vị, không có nghĩa là (không phụ thuộc vào và ). Đây thực chất là thiết lập thử nghiệm tính không đồng nhất của Koenker (ít nhất là theo như tôi hiểu). $\vec{x}$ $\vec{z}$ $y$

y = {\vec{x}}^{⊤} \vec{β_{1}} + σ g ({\vec{z}}^{⊤} \vec{β_{2}}) ϵ,

$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$

g

$g$

σ

$\sigma$

ϵ

$\epsilon$

\vec{x}

$\vec{x}$

\vec{z}

$\vec{z}$

Tôi có quan sát về và và tôi muốn ước tính và . Tôi có một vài vấn đề, mặc dù: $n$ $\vec{x}, \vec{z}$ $y$ $\vec{\beta_1}$ $\vec{\beta_2}$

Tôi không chắc chắn làm thế nào để đặt ra vấn đề ước tính như một cái gì đó giống như bình phương nhỏ nhất (tôi cho rằng có một mẹo nổi tiếng). Dự đoán đầu tiên của tôi sẽ là một cái gì đó giống như nhưng tôi không chắc chắn làm thế nào để giải quyết bằng số đó (có lẽ một phương pháp gần như lặp đi lặp lại có thể làm). $m i n_{\vec{β_{1}}, \vec{β_{2}}} (\sum_{i = 1}^{n} \frac{{(y_{i} - {\vec{x_{i}}}^{⊤} \vec{β_{1}})}^{2}}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}}) {(\sum_{i = 1}^{n} \frac{1}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}})}^{- 1},$ $min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$
Giả sử tôi có thể gây ra các vấn đề trong một cách lành mạnh và tìm thấy một số ước tính , tôi muốn biết sự phân bố của các ước tính để ví dụ như tôi có thể thực hiện các bài kiểm tra giả thuyết. Tôi sẽ ổn khi kiểm tra riêng hai vectơ hệ số, nhưng sẽ thích cách nào đó để kiểm tra, ví dụ: cho . $\hat{\beta}_1, \hat{\beta}_2$ $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$ $\vec{w_1}, \vec{w_2}, c$

— shabbychef
nguồn

Câu hỏi hay. Bạn có một ý tưởng về những gì trông như thế nào? nó có trơn không nó có nhảy không? Thay vì hình vuông nhỏ nhất, bạn đã thử khả năng tối đa (bạn có biết bài viết này projecteuclid.org/ không?)

g

$g$

— robin girard

@robin girard: MLE là một ý tưởng hay cho câu hỏi 1. Tôi nghi ngờ rằng đối với các lỗi Gaussian, MLE sẽ đưa ra các ước tính giống hệt như tối thiểu hóa ad hoc của tôi . Đối với , như tôi đã lưu ý, chúng ta có thể cho rằng nó có giá trị dương và có thể phân biệt hai lần. Có lẽ chúng ta có thể cho rằng nó cũng lồi, và có lẽ chúng ta có thể cho rằng nó là phân tích.

g

$g$

— shabbychef

Trong một bối cảnh hơi tổng quát hơn với một vector chiều của -observations (các câu trả lời, hoặc các biến phụ thuộc), một ma trận của -observations (biến số, hoặc các biến phụ thuộc) và các tham số sao cho thì khả năng trừ log-log là Trong câu hỏi của OP, là đường chéo với $Y$ $n$ $y$ $X$ $n \times p$ $x$ $\theta = (\beta_1, \beta_2, \sigma)$ $Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$

l (β_{1}, β_{2}, σ) = \frac{1}{2} (Y - X β_{1})^{T} Σ (β_{2}, σ)^{- 1} (Y - X β_{1}) + \frac{1}{2} \log | Σ (β_{2}, σ) |

$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$

Σ (β_{2}, σ)

$\Sigma(\beta_2, \sigma)$

Σ (β_{2}, σ)_{i i} = σ^{2} g (z_{i}^{T} β_{2})^{2}

$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$ nên định thức trở thành và kết quả là khả năng trừ log-log trở thành Có một số cách để tiếp cận việc giảm thiểu chức năng này (giả sử ba tham số là biến thể độc lập).

σ^{2 n} \prod_{i = 1}^{n} g (z_{i}^{T} β_{2})^{2}

$\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$

\frac{1}{2 σ^{2}} \sum_{i = 1}^{n} \frac{(y_{i} - x_{i}^{T} β_{1})^{2}}{g (z_{i}^{T} β_{2})^{2}} + n \log σ + \sum_{i = 1}^{n} \log g (z_{i}^{T} β_{2})

$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$

Bạn có thể cố gắng giảm thiểu chức năng bằng thuật toán tối ưu hóa tiêu chuẩn ghi nhớ ràng buộc . $\sigma > 0$
Bạn có thể tính toán khả năng trừ nhật ký của hồ sơ bằng cách giảm thiểu cho cố định , sau đó cắm hàm kết quả vào thuật toán tối ưu hóa không bị ràng buộc tiêu chuẩn. $(\beta_1, \beta_2)$ $\sigma$ $(\beta_1, \beta_2)$
Bạn có thể luân phiên giữa tối ưu hóa theo từng trong ba tham số riêng biệt. Tối ưu hóa có thể được thực hiện một cách phân tích, tối ưu hóa là một vấn đề hồi quy bình phương nhỏ nhất có trọng số và tối ưu hóa trên tương đương với việc phù hợp với mô hình tuyến tính tổng quát gamma với liên kết nghịch đảo. $\sigma$ $\beta_1$ $\beta_2$ $g^2$

Gợi ý cuối cùng hấp dẫn tôi vì nó dựa trên các giải pháp mà tôi đã biết rõ. Ngoài ra, lần lặp đầu tiên là điều mà tôi sẽ xem xét thực hiện bằng mọi cách. Đó là, trước tiên, tính toán ước tính ban đầu của bằng các bình phương tối thiểu thông thường bỏ qua tính không đồng nhất tiềm năng, sau đó khớp một gamma glm với phần dư bình phương để có ước tính ban đầu về chỉ để kiểm tra xem mô hình phức tạp hơn có đáng không. Lặp đi lặp lại kết hợp tính không đồng nhất vào giải pháp bình phương nhỏ nhất vì trọng lượng có thể cải thiện theo ước tính. $\beta_1$ $\beta_2$ $-$

Về phần thứ hai của câu hỏi, có lẽ tôi sẽ xem xét tính toán khoảng tin cậy cho tổ hợp tuyến tính bằng cách sử dụng phương pháp tiệm cận MLE tiêu chuẩn (kiểm tra các mô phỏng rằng tiệm cận hoạt động) hoặc bằng cách khởi động. $w_1^T\beta_1 + w_2^T\beta_2$

Chỉnh sửa: Bằng phương pháp tiệm cận MLE tiêu chuẩn, ý tôi là sử dụng xấp xỉ bình thường đa biến để phân phối MLE với ma trận hiệp phương sai thông tin Fisher nghịch đảo. Thông tin Fisher theo định nghĩa ma trận hiệp phương sai của độ dốc của . Nó phụ thuộc chung vào các tham số. Nếu bạn có thể tìm thấy một biểu thức phân tích cho đại lượng này, bạn có thể thử cắm vào MLE. Ngoài ra, bạn có thể ước tính thông tin Fisher bằng thông tin Fisher được quan sát , đó là Hessian của trong MLE. Tham số quan tâm của bạn là sự kết hợp tuyến tính của các tham số trong hai $l$ $l$ $\beta$ -vector, do đó từ bình thường đa biến xấp xỉ của MLE, bạn có thể tìm thấy một xấp xỉ bình thường của phân phối ước lượng như được mô tả ở đây . Điều này cung cấp cho bạn một lỗi tiêu chuẩn gần đúng và bạn có thể tính khoảng tin cậy. Nó được mô tả tốt trong nhiều sách thống kê (toán học), nhưng một bài thuyết trình hợp lý mà tôi có thể đề xuất là Trong Tất cả khả năng của Yudi Pawitan. Dù sao, đạo hàm chính thức của lý thuyết tiệm cận khá phức tạp và dựa vào một số điều kiện đều đặn, và nó chỉ đưa ra sự tiệm cận hợp lệphân phối. Do đó, nếu nghi ngờ, tôi sẽ luôn thực hiện một số mô phỏng với một mô hình mới để kiểm tra xem tôi có thể tin tưởng vào kết quả cho các tham số thực tế và kích thước mẫu hay không. Bootstrapping đơn giản, không tham số trong đó bạn lấy mẫu ba lần từ bộ dữ liệu được quan sát với sự thay thế có thể là một sự thay thế hữu ích nếu quy trình phù hợp không quá tốn thời gian. $(y_i,x_i,z_i)$

— NRH
nguồn

những gì là sự asymptotics MLE tiêu chuẩn?

— shabbychef

@shabbychef, đã muộn rồi. Tôi đã đưa ra một lời giải thích chi tiết hơn. Lưu ý rằng để các tiệm cận hoạt động trên lý thuyết như đã giải thích, mô hình cần phải chính xác và công cụ ước tính phải là MLE. Các kết quả tổng quát hơn có thể thu được trong khuôn khổ của các hàm ước lượng chung và ước lượng các phương trình, xem, ví dụ, cuốn sách Quasi-Khả năng và ... của Heyde.

— NRH