Phân phối đối ứng của hệ số hồi quy

Giả sử rằng chúng ta có một mô hình tuyến tính đáp ứng tất cả các giả định hồi quy chuẩn (Gauss-Markov). Chúng tôi quan tâm đến . $y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ $\theta = 1/\beta_1$

Câu hỏi 1: Những giả định nào là cần thiết để phân phối được xác định rõ? sẽ quan trọng --- còn ai nữa không? $\hat{\theta}$ $\beta_1 \neq 0$

Câu 2: Thêm giả định rằng các lỗi tuân theo phân phối chuẩn. Chúng tôi biết rằng, nếu là MLE và là một hàm đơn điệu, thì là MLE cho . Có phải sự đơn điệu chỉ cần thiết trong vùng lân cận của ? Nói cách khác, là MLE? Định lý ánh xạ liên tục ít nhất cho chúng ta biết rằng tham số này là phù hợp. $\hat{\beta}_1$ $g(\cdot)$ $g\left(\hat{\beta}_1\right)$ $g(\beta_1)$ $\beta_1$ $\hat{\theta} = 1/\hat{\beta}$

Câu hỏi 3: Cả Phương thức Delta và bootstrap đều là phương tiện thích hợp để tìm phân phối của ? $\hat{\theta}$

Câu hỏi 4: Làm thế nào để những câu trả lời này thay đổi cho tham số ? $\gamma = \beta_0 / \beta_1$

Ngoài ra: Chúng tôi có thể xem xét sắp xếp lại vấn đề để đưa ra để ước tính các tham số trực tiếp. Điều này dường như không hoạt động với tôi vì các giả định Gauss-Markov không còn có ý nghĩa ở đây; chúng ta không thể nói về . Giải thích này có đúng không?

\begin{aligned} x_{i} & = \frac{β_{0}}{β_{1}} + \frac{1}{β_{1}} y_{i} + \frac{1}{β_{1}} ϵ_{i} \\ = γ + θ y_{i} + \frac{1}{β_{1}} ϵ_{i} \end{aligned}

$\begin{align*} x_i &= \frac{\beta_0}{\beta_1} + \frac{1}{\beta_1} y_i + \frac{1}{\beta_1} \epsilon_i \\ &= \gamma + \theta y_i + \frac{1}{\beta_1} \epsilon_i \end{align*}$

E [ϵ ∣ y]

$\text{E}[\epsilon \mid y]$

— Charlie
nguồn

Các giả định "tiêu chuẩn" có bao gồm Định mức của hay không?

ϵ_{i}

$\epsilon_i$

— whuber

Điểm tốt; Tôi đã thêm giả định đó vào phần về MLE. Nó không cần thiết cho những người khác, mặc dù.

— Charlie

Phân phối lấy mẫu của là bình thường, trong đó là đối ứng của bình thường. Đây là bimodal với ý nghĩa phân kỳ (vô hạn), cho dù ý nghĩa của có thể là gì và hoàn toàn bằng phẳng ở mức 0. Do đó, phương pháp Delta sẽ rất kinh khủng, các xấp xỉ MLE không triệu chứng thông thường sẽ kém và thậm chí là bootstrap có thể nghi ngờ

β_{1}

$\beta_1$

θ

$\theta$

β_{1}

$\beta_1$

— whuber

@whuber, bạn có thể mở rộng khi đó? Trực giác của tôi không thấy cách đối ứng của một người bình thường nên lưỡng tính; tôi đoán là tất cả khối lượng sẽ ở mức đối ứng với giá trị trung bình của bình thường (ở đây, ). Tôi đã lo lắng về khả năng trung bình vô hạn vì khối lượng gần 0. Kết quả bootstrap và tiệm cận đòi hỏi sự tồn tại của những khoảnh khắc được ước tính, vì vậy đó cuối cùng là câu hỏi này.

1 / {\hat{β}}_{1}

$1/\hat{\beta}_1$

— Charlie

PDF của một đối ứng bình thường là . Tại 0 tất cả các dẫn xuất bằng 0; tìm các điểm tới hạn của logarit của nó xác định chế độ dương và âm (dễ dàng tính theo thuật ngữ và ); tích phân củaphân kỳ như tích phân của. Vấn đề với những khoảnh khắc đầu tiên vô hạn gắn liền với nghịch đảo của bất kỳ biến ngẫu nhiên nào có mật độ xác suất dương ở 0, bao gồm tất cả các quy tắc.

\exp (- (1 / x - μ)^{2} / (2 σ^{2})) / (\sqrt{2 π} x^{2} σ) d x

$\exp(-(1/x-\mu)^2/(2\sigma^2))/(\sqrt{2\pi}x^2\sigma)dx$

σ

$\sigma$

μ / σ

$\mu/\sigma$

| x |

$|x|$

| x | / x^{2} = 1 / | x |

$|x|/x^2=1/|x|$

— whuber

Q1. Nếu là MLE của , thì là MLE của và là điều kiện đủ để công cụ ước tính này được xác định rõ. $\hat\beta_1$ $\beta_1$ $\hat\theta$ $\theta$ $\beta_1 \neq 0$

Quý 2 là MLE của bởi thuộc tính bất biến của MLE. Ngoài ra, bạn không cần tính đơn điệu của nếu bạn không cần lấy nghịch đảo của nó. Chỉ cần để được xác định rõ tại mỗi điểm. Bạn có thể kiểm tra điều này trong Định lý 7.2.1 trang 350 của "Xác suất và suy luận thống kê" của Nitis Mukhopadhyay. $\hat\theta = 1/\hat\beta$ $\theta$ $g$ $g$

H3 Có, bạn có thể sử dụng cả hai phương pháp, tôi cũng sẽ kiểm tra khả năng hồ sơ của . $\theta$

Q4. Tại đây, bạn có thể xác định lại mô hình theo các tham số quan tâm . Chẳng hạn, MLE của là và bạn có thể tính toán khả năng cấu hình của tham số này hoặc phân phối bootstrap của nó như bình thường. $(\theta,\gamma)$ $\gamma$ $\hat\gamma=\hat\beta_0/\hat\beta_1$

Cách tiếp cận bạn đề cập ở cuối là không chính xác, bạn thực sự đang xem xét một "mô hình hiệu chuẩn" mà bạn có thể kiểm tra trong tài liệu. Điều duy nhất bạn cần là xác định lại thông số về các tham số quan tâm.

Tôi hi vọng cái này giúp được.

Trân trọng.

— XMX
nguồn

Cảm ơn vì sự trả lời. Tôi không có cuốn sách mà bạn trích dẫn, nhưng thường thì những tính chất này đòi hỏi sự tồn tại của những khoảnh khắc được ước tính. Tôi không chắc rằng sự đối ứng của một người bình thường có những khoảnh khắc cần thiết. Tôi nên đã làm cho điểm này rõ ràng hơn trong câu hỏi của tôi.

— Charlie