Biện minh cho việc sử dụng trọng số hình học trong hồi quy tuyến tính

Trong ứng dụng thực tế, tôi đã chứng kiến thường xuyên thực hành sau đây. Người ta quan sát một cặp $(x_t, y_t)$ tăng ca. Theo giả định rằng chúng có liên quan tuyến tính, chúng tôi hồi quy cái này với cái kia bằng trọng số hình học thay vì trọng số đồng nhất, nghĩa là, OLS giảm thiểu

Σ_{t = = 0}^{\infty} k^{t} (y_{T - t} - một x_{T - t} - b)^{2}

$\sum_{t=0}^\infty k^{t} (y_{T-t}- a x_{T-t}-b)^2$ cho một số

k \in (0, 1)

$k\in (0,1)$ . Điều này rất trực quan: chúng ta cân nhắc ít quan sát hơn trong quá khứ. So với sơ đồ trọng số "boxcar", nó cũng có lợi thế là tạo ra các ước tính đang thay đổi suôn sẻ theo thời gian, bởi vì các quan sát không đột ngột rơi ra khỏi cửa sổ quan sát. Tuy nhiên, tôi tự hỏi nếu có một mô hình xác suất làm cơ sở cho mối quan hệ giữa

x_{t}

$x_t$ và

y_{t}

$y_t$ điều đó biện minh cho sự lựa chọn này.

regression least-squares

— vui vẻ
nguồn

Mới hôm nọ, một người nào đó ở đâu đó trên một trong những trang StackExchange có liên quan đã bình luận về sơ đồ này là "bộ lọc Kalman của người nghèo". Nếu tôi quản lý để khai quật liên kết, tôi sẽ thêm nó ở đây.

— Dirk Eddelbuettel

Cảm ơn. Tôi muốn xem làm thế nào điều này có thể được trang bị lại như một bộ lọc Kalman.

— vui vẻ

Tôi nghi ngờ có một dẫn xuất chính thức, do đó các trích dẫn xung quanh phiên bản thông số thích nghi của người nghèo.

— Dirk Eddelbuettel

Câu trả lời:

"Liên quan tuyến tính" thường có nghĩa là

y_{t} = a x_{t} + b + ε_{t}

$y_t = a x_t + b + \varepsilon_t$

cho hằng số $a$ , $b$ và iid lỗi ngẫu nhiên $\varepsilon_t$ , $t=0,1,\ldots,T$ . Một lý do khiến người ta ước tính OLS theo cấp số nhân là sự nghi ngờ rằng $a$ và $b$ bản thân họ cũng có thể (chậm) thay đổi theo thời gian. Vì vậy, chúng tôi thực sự nghĩ rằng mô hình chính xác là

y_{t} = α (t) x_{t} + β (t) + ε_{t}

$y_t = \alpha(t) x_t + \beta(t) + \varepsilon_t$

cho các chức năng chưa biết $\alpha(t)$ và $\beta(t)$ thay đổi chậm (nếu có) theo thời gian và chúng tôi quan tâm đến việc ước tính giá trị hiện tại của chúng, $a = \alpha_T$ và $b = \beta_T$ . Giả sử các hàm này hoạt động trơn tru, vì vậy chúng ta có thể áp dụng Định lý Taylor. Điều này khẳng định rằng

α (t) = α (T) + α^{'} (t_{α, t}) (t - T)

$\alpha(t) = \alpha(T) + \alpha'(t_{\alpha,t})(t-T)$

cho một số $t_{\alpha,t}, 0 \le t_{\alpha,t} \lt T$ và tương tự cho $\beta(t)$ . Chúng tôi nghĩ về $a$ và $b$ là những giá trị gần đây nhất, $\alpha_T$ và $\beta_T$ , tương ứng. Sử dụng để thể hiện lại phần dư:

y_{t} - (a x_{t} + b) = α^{'} (t_{α, t}) (t - T) x_{t} + β^{'} (t_{β, t}) (t - T) + ε_{t} .

$y_t - (a x_t + b) = \alpha'(t_{\alpha,t})(t-T)x_t + \beta'(t_{\beta,t})(t-T) + \varepsilon_t\text{.}$

Bây giờ rất nhiều vẫy tay cần phải xảy ra. Chúng tôi sẽ xem xét toàn bộ phía bên tay phải là ngẫu nhiên. Phương sai của nó là $\varepsilon_t$ thêm $x_t^2(t-T)^2$ nhân với phương sai của $\alpha'(t_{\alpha,t})$ thêm $(t-T)^2$ nhân với phương sai của $\beta'(t_{\beta,t})$ . Hai phương sai đó hoàn toàn không được biết, nhưng ( abracadabra ) chúng ta hãy nghĩ về chúng là kết quả của một quá trình (ngẫu nhiên) nào đó trong đó có thể có lỗi "không ngẫu nhiên, nhưng vẫn chưa biết" hoặc "biến thể" được tích lũy từ một lần đến cai khac. Điều này sẽ gợi ý một sự thay đổi theo cấp số nhân trong những phương sai đó theo thời gian. Bây giờ chỉ cần đơn giản hóa biểu thức rõ ràng (nhưng về cơ bản là vô dụng) cho phía bên tay phải và tiếp thu các thuật ngữ bậc hai $(t-T)^2$ theo cấp số nhân (vì dù sao chúng ta cũng vẫy tay rất cuồng nhiệt), để có được

y_{t} - (a x_{t} + b) = δ_{t}

$y_t - (a x_t + b) = \delta_t$

với phương sai của $\delta_t$ tương đương với $\exp(\kappa(t-T))$ cho một số hằng $\kappa$ . Bỏ qua các mối tương quan thời gian có thể giữa các $\delta_t$ và giả sử họ có các bản phân phối bình thường mang lại khả năng ghi nhật ký cho dữ liệu tỷ lệ với

\sum_{t = 0}^{T} k^{- t} (y_{T - t} - a x_{T - t} - b)^{2}

$\sum_{t=0}^{T} k^{-t} (y_{T-t}- a x_{T-t}-b)^2$

(cộng với một hằng số không liên quan chỉ phụ thuộc vào $k$ ) với $k = \exp{\kappa}$ . Do đó, thủ tục OLS có trọng số theo cấp số nhân tối đa hóa khả năng, giả sử chúng ta biết giá trị của $k$ (giống như một thủ tục khả năng hồ sơ).

Mặc dù toàn bộ đạo hàm này rõ ràng là huyền ảo, nhưng nó cho thấy cách thức, và ở mức độ nào, trọng số theo cấp số nhân cố gắng đối phó với những thay đổi có thể có trong các tham số tuyến tính theo thời gian. Nó liên quan đến tham số $k$ đến tốc độ thay đổi tạm thời của các tham số đó.

— whuber
nguồn

Tôi đồng ý về phần vẫy tay ... Tôi ổn với việc đơn giản hóa các giả định về hình thức thay đổi thời gian của các tham số hồi quy, miễn là chúng được nêu rõ ràng. Tất nhiên cảm thấy tự do để tham khảo tài liệu hiện có.

— vui vẻ

@whuber - Tôi muốn nói rằng hồi quy theo cấp số nhân là một xấp xỉ rất thô đối với mô hình cụ thể mà bạn đã mô tả . Nhưng nó cũng có thể là một giải pháp chính xác cho một mô hình khác. Đối với mô hình mà bạn mô tả, sẽ tốt hơn nhiều nếu bao gồm thành phần không đồng nhất do sự thay đổi trong

α (t)

$\alpha(t)$ (hoặc giả sử rằng nó không có biến thể và bạn đang xử lý chặn ngẫu nhiên). Bạn đang làm cho nó có vẻ như mặc dù trọng số hình học luôn luôn là tối ưu, điều đó không phải là. Nó phụ thuộc vào thông tin trước của bạn.

— xác suất

@prob Tôi đồng ý, nhưng tôi chưa thể tìm thấy một mô hình nào biện minh chính xác cho phương pháp này, vì vậy tôi phải giải quyết vì đã chỉ ra một số điều mà một mô hình có thể đòi hỏi. Tôi nhận thấy câu trả lời của bạn không tạo ra bất kỳ tiến triển nào theo hướng này ;-).

— whuber

@whuber - và nơi tôi thực hiện một phép tính gần đúng trong phương trình của tôi để nó không chính xác?

— xác suất

@probability Bạn không cung cấp lời biện minh: Bạn chỉ cần thông báo kết quả tôi đã đăng. Nói cách khác, bạn quan sát thấy rằng khi OLS giảm thiểu một biểu thức như vậy, nó thực sự thực hiện bình phương tối thiểu có trọng số. OK, nhưng đó không phải là hoàn toàn rõ ràng? Điều gì biện minh cho sự lựa chọn trọng lượng này? Họ đến từ đâu?

— whuber

Tôi nghĩ rằng bạn thực sự có nghĩa là $k^{t}$ như trọng lượng của bạn, hoặc đó $k>1$ . Nếu $0<k<1$ và chúng tôi lấy $k^{-t}$ như trọng lượng sau đó $k^{-\infty}=\infty$ . Vì vậy, điều này thực sự có trọng lượng quan sát hiện tại ít nhất. Ví dụ: nếu chúng ta lấy $k=0.5$ sau đó $k^{0}=1,\;k^{-1}=2,\;k^{-2}=4,\dots,k^{-20}\approx 10^{6}$ , và như thế.

Đây chỉ là một điều gì đó mà bạn biết về cách phương sai thay đổi theo từng quan sát (nó sẽ lớn hơn khi bạn di chuyển ngược thời gian theo thời gian $T$ ):

(y_{T - t} | x_{T - t}, một, b, k, S) ~ N o r m một tôi (một x_{T - t} + b, S^{2} k^{- t})

$(y_{T-t}|x_{T-t},a,b,k,s) \sim Normal(ax_{T-t}+b,s^{2}k^{-t})$

Biểu thị $Y\equiv\{y_{T},y_{T-1},\dots,y_{1}\}$ và $X\equiv\{x_{T},x_{T-1},\dots,x_{1}\}$ chúng tôi có khả năng đăng nhập chung của:

đăng nhập [p (Y | X, một, b, k, S)] = = - \frac{1}{2} (T đăng nhập (2 π S^{2} k^{- t}) + Σ_{t = = 0}^{T - 1} \frac{(y_{T - t} - một x_{T - t} - b)^{2}}{S^{2} k^{- t}})

$\log\left[p(Y|X,a,b,k,s)\right]=-\frac{1}{2}\left(T\log(2\pi s^{2} k^{-t})+\sum_{t=0}^{T-1}\frac{(y_{T-t}-ax_{T-t}-b)^{2}}{s^{2}k^{-t}}\right)$

Vì vậy, để có được ước tính khả năng tối đa của $a$ và $b$ bạn có chức năng mục tiêu sau:

Σ_{t = = 0}^{T - 1} k^{t} (y_{T - t} - một x_{T - t} - b)^{2}

$\sum_{t=0}^{T-1}k^{t}(y_{T-t}-ax_{T-t}-b)^{2}$

Đó là một trong những bạn tìm kiếm

— xác suất
nguồn