Hồi quy tuyến tính với nhiễu bắn

Tôi đang tìm kiếm thuật ngữ thống kê phù hợp để mô tả vấn đề sau đây.

Tôi muốn mô tả một thiết bị điện tử có phản ứng tuyến tính

$Y = \beta_0 + \beta_1 X + \epsilon$

trong đó là một thuật ngữ do tiếng ồn đọc ra của thiết bị. Để xác định Tôi sẽ đo một loạt các phản hồi và áp dụng hộp công cụ hồi quy tuyến tính tiêu chuẩn. Nhưng tôi không biết chính xác là gì, vì tôi sử dụng một nguồn bị ảnh hưởng bởi nhiễu bắn. Đó là tôi biết rằng nếu tôi đặt mặt số trên nguồn thành một giá trị nhất định thì (một Gaussian có trung bình và phương sai ). $\epsilon \sim N(0,\sigma^2_{ro})$ $\beta_0, \beta_1, \sigma^2_{ro}$ $\{X_i,Y_i\}$ $X_i$ $J_i$ $X_i \sim N(\mu, \mu)$ $\mu$ $\mu$

Đây trông giống như một mô hình lỗi biến hồi quy tuyến tính ( http://en.wikipedia.org/wiki/Errors-in-variables_models ), trong đó thực tế không phải là để mô tả thiết bị của tôi trên toàn bộ phạm vi đầu vào của nó , trong các phép đo, tôi phải thay đổi giá trị của và bây giờ phương sai của không cố định, nhưng nó phụ thuộc vào (thông qua J_i), mặc dù vì nhiễu bắn nếu điều này không có nghĩa là phương sai của giống như phương sai của . $J_i$ $X_i$ $X_i$ $X_i=X_j$ $X_i$ $X_j$

Mô hình này được gọi là gì, và có những bài báo mà tôi có thể tìm ra vấn đề như vậy được tiếp cận? Hay tôi đang xây dựng sai cách?

— GVstats
nguồn

Biến (Xi) = = = E (Xi)> 0. Nếu điều này được khắc phục thì đây sẽ là một lỗi trong mô hình biến với tỷ lệ phương sai /. Không phải vì μ thay đổi với Xi. Tôi đã thấy các mô hình có phương sai không đổi trong Y và các mô hình có lỗi về biến nhưng không phải kiểu mô hình này có lỗi trong các biến có phương sai không liên tục. Khi phương sai trong Y không phải là hằng số, đôi khi có thể mô hình phương sai là một hàm của giá trị của hiệp phương x. Có lẽ một cái gì đó như thế có thể được thực hiện cho lỗi trong X.

^{2}

$^2$

_{r} o

$_ro$

— Michael R. Chernick

Mô hình xác suất cho nhiễu bắn như vậy là

X ~ Poisson (μ), Y | X ~ Bình thường (β_{0} + β_{1} X, σ^{2}) .

$X \sim \text{Poisson}(\mu),\quad Y|X \sim \text{Normal}(\beta_0+\beta_1 X, \sigma^2).$

Ước tính tốt của là giá trị trung bình của và ước tính tốt về được cung cấp theo bình phương tối thiểu thông thường, bởi vì các giá trị của được giả định độc lập, phân phối giống hệt và bình thường. $\mu$ $X$ $(\beta_0, \beta_1)$ $Y$

Ước tính của do OLS là không phù hợp ở đây, tuy nhiên, do tính ngẫu nhiên của . Ước tính khả năng tối đa là $\sigma^2$ $X$

s^{2} = \frac{S_{x y}^{2} - 2 S_{x} S_{y} S_{x y} + S_{x x} (S_{y}^{2} - S_{y y}) + S_{x}^{2} S_{y y}}{S_{x}^{2} - S_{x x}} .

$s^2 = \frac{S_{xy}^2 - 2 S_x S_y S_{xy} + S_{xx}\left(S_y^2 - S_{yy}\right) + S_x^2 S_{yy}}{S_x^2 - S_{xx}}.$

Trong ký hiệu này, là giá trị trung bình , là giá trị trung bình của các sản phẩm của các giá trị và , v.v. $S_x$ $X$ $S_{xy}$ $X$ $Y$

Chúng ta có thể mong đợi các lỗi ước lượng tiêu chuẩn trong hai cách tiếp cận (OLS, không hoàn toàn đúng và MLE như được mô tả ở đây) sẽ khác nhau . Có nhiều cách khác nhau để có được lỗi tiêu chuẩn ML: tham khảo tài liệu tham khảo. Vì khả năng nhật ký tương đối đơn giản (đặc biệt là khi phân phối Poisson xấp xỉ bằng phân phối Bình thường cho lớn ), các lỗi tiêu chuẩn này có thể được tính ở dạng đóng nếu muốn. $(\mu)$ $(\mu,\mu)$ $\mu$

Để làm ví dụ, tôi đã tạo giá trị từ phân phối Poisson : $12$ $X$ $(100)$

94,99,106,87,91,101,90,102,93,110,97,123

Sau đó, đặt , và , tôi đã tạo giá trị tương ứng : $\beta_0=3$ $\beta_1=1/2$ $\sigma=1$ $12$ $Y$

47.4662,53.5622,54.6656,45.3592,49.0347,53.8803,48.3437,54.2255,48.4506,58.6761,50.7423,63.9922

Giá trị trung bình bằng , ước tính của . Các kết quả OLS (giống hệt với MLE của các hệ số) ước tính là và là . Không có gì ngạc nhiên khi ước tính đánh chặn, , rời khỏi giá trị thực của nó là , vì các giá trị này nằm cách xa điểm gốc. Ước tính độ dốc, , gần với giá trị thực là . $X$ $99.4167$ $\mu$ $\beta_0$ $1.24$ $\beta_1$ $0.514271$ $\beta_0$ $3$ $X$ $\beta_1$ $0.5$

Tuy nhiên, ước tính OLS của là , nhỏ hơn giá trị thực của . MLE của hoạt động đến . (Đây là một tai nạn mà cả hai ước tính đều thấp và MLE lớn hơn ước tính OLS.) $\sigma^2$ $0.715$ $1$ $\sigma^2$ $0.999351$

Nhân vật

Dòng này vừa phù hợp với OLS vừa là ước tính khả năng tối đa cho mô hình xác suất chung Poisson-Bình thường.

— whuber
nguồn