Thuật toán đệ quy bình phương tối thiểu (trực tuyến)

12

Bất cứ ai cũng có thể chỉ cho tôi theo hướng của một thuật toán trực tuyến (đệ quy) cho Tikhonov Chính quy hóa (bình phương tối thiểu hóa bình thường)?

Trong một môi trường trực tuyến, tôi sẽ tính toán sử dụng bộ dữ liệu ban đầu của tôi, nơi được tìm thấy sử dụng n lần kiểm chứng chéo. Một giá trị mới có thể được dự đoán cho một cho bằng cách sử dụng . $\hat\beta=(X^TX+λI)^{−1}X^TY$ $λ$ $y$ $x$ $y=x^T\hat\beta$

Trong cài đặt trực tuyến, tôi liên tục vẽ các điểm dữ liệu mới. Làm cách nào tôi có thể cập nhật $\hat\beta$ khi tôi vẽ các mẫu dữ liệu bổ sung mới mà không thực hiện tính toán lại đầy đủ trên toàn bộ tập dữ liệu (bản gốc + mới)?

— mì
nguồn

1

Các bình phương tối thiểu được chuẩn hóa Tikhonov của bạn có lẽ thường được gọi là Levenberg-Marquest trong các vòng tròn thống kê, ngay cả khi áp dụng cho các vấn đề tuyến tính thuần túy (như ở đây). Có một bài viết về Levenberg Marquest trực tuyến ở đây . Tôi không biết nếu đó là bất kỳ trợ giúp.

— Glen_b -Reinstate Monica

11

$\hat\beta_n=(XX^T+λI)^{−1} \sum\limits_{i=0}^{n-1} x_iy_i$

Đặt , sau đó $M_n^{-1} = (XX^T+λI)^{−1}$

$\hat\beta_{n+1}=M_{n+1}^{−1} (\sum\limits_{i=0}^{n-1} x_iy_i + x_ny_n)$ và

$M_{n+1} - M_n = x_nx_n^T$ , chúng ta có thể nhận được

$\hat\beta_{n+1}=\hat\beta_{n}+M_{n+1}^{−1} x_n(y_n - x_n^T\hat\beta_{n})$

Theo công thức của Woodbury , chúng ta có

$M_{n+1}^{-1} = M_{n}^{-1} - \frac{M_{n}^{-1}x_nx_n^TM_{n}^{-1}}{(1+x_n^TM_n^{-1}x_n)}$

Kết quả là

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n} x_n(y_n - x_n^T\hat\beta_{n})$

Tính trung bình của cho biết bạn có thể sử dụng để tính gần đúng với phạm vi từ đến . Bạn có thể thử trong trường hợp của mình để chọn tốt nhất cho đệ quy của mình. $\eta_n = n^{-\alpha}$ $\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n}$ $\alpha$ $0.5$ $1$ $\alpha$

Tôi nghĩ nó cũng hoạt động nếu bạn áp dụng thuật toán gradient hàng loạt:

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{\eta_n}{n} \sum\limits_{i=0}^{n-1}x_i(y_i - x_i^T\hat\beta_{n})$

— lennon 310
nguồn

Điều gì sẽ xảy ra nếu tôi cập nhật hồi quy của mình mỗi lần với các mẫu dữ liệu mới, trong đó mỗi lô liên tiếp được rút ra từ một phân phối hơi khác nhau? tức là không IID. Trong trường hợp này tôi muốn người hồi quy có tính đến dữ liệu mới, nhưng không ảnh hưởng đến dự đoán của nó ở địa phương của dữ liệu cũ (các đợt trước)? Bạn có thể chỉ cho tôi bất kỳ tài liệu bạn có thể cảm thấy hữu ích?

— rnoodle

Câu hỏi hay, nhưng xin lỗi hiện tại tôi không thể biết nó sẽ ảnh hưởng đến mô hình của bạn đến mức nào nếu bạn vẫn đang sử dụng công thức gradient hàng loạt trong câu trả lời hoặc xấp xỉ bằng cách áp dụng trực tiếp mẫu ma trận: eta ^ (- alpha) * X (Y-X 'beta_n) trong đó X, Y là các mẫu lô mới của bạn

— lennon 310

xin chào, có vẻ như hệ số chính quy không được tham gia vào công thức cập nhật đệ quy? hoặc nó chỉ quan trọng trong việc khởi tạo nghịch đảo của ma trận M?

— Bành Triệu

4

Một điểm mà không ai giải quyết được cho đến nay là nó thường không có ý nghĩa gì khi giữ tham số chính quy không đổi khi các điểm dữ liệu được thêm vào. Lý do cho điều này là thường sẽ phát triển tuyến tính với số lượng điểm dữ liệu, trong khi thuật ngữ chính quy sẽ không. $\lambda$ $\| X \beta -y \|^{2}$ $\| \lambda\beta \|^{2}$

— Brian Borchers
nguồn

Đó là một điểm thú vị. Nhưng chính xác tại sao nó "không có ý nghĩa"? Giữ không đổi chắc chắn có giá trị về mặt toán học, do đó "không có ý nghĩa" phải được hiểu trong một số loại bối cảnh thống kê. Nhưng bối cảnh nào? Điều gì xảy ra sai? Sẽ có một số loại sửa chữa dễ dàng, chẳng hạn như thay thế các tổng bình phương bằng các bình phương trung bình?

λ

$\lambda$

— whuber

Thay thế tổng bình phương bằng một phiên bản thu nhỏ (ví dụ lỗi bình phương trung bình) sẽ có ý nghĩa, nhưng chỉ cần sử dụng các bình phương tối thiểu đệ quy sẽ không thực hiện được điều đó.

— Brian Borchers

Đối với những gì sẽ xảy ra, tùy thuộc vào sự lựa chọn của bạn về , bạn sẽ nhận được một giải pháp rất không chính xác với một số lượng lớn các điểm dữ liệu hoặc một giải pháp rất bất thường với một số lượng nhỏ các điểm dữ liệu.

λ

$\lambda$

— Brian Borchers

Mọi người sẽ nghi ngờ điều đó, nhưng nếu được điều chỉnh ban đầu sau khi nhận được điểm dữ liệu và sau đó thêm nhiều điểm dữ liệu, liệu các giải pháp kết quả có nhiều điểm dữ liệu hơn và cùng có bị quá mức hay không thường xuyên sẽ phụ thuộc vào những điểm mới đó điểm dữ liệu. Điều này có thể được phân tích bằng cách giả sử các datapoints hành động như một mẫu iid từ một phân phối đa biến, trong trường hợp này nó xuất hiện nên được đặt thành ở giai đoạn . Điều này sẽ thay đổi các công thức cập nhật, nhưng theo cách thông thường và đơn giản đến mức tính toán hiệu quả vẫn có thể thực hiện được. (+1)

λ

$\lambda$

n

$n$

λ

$\lambda$

λ

$\lambda$

N / n

$N/n$

N

$N$

— whuber

3

Có lẽ một cái gì đó như gốc dốc Stochastic có thể làm việc ở đây. Tính toán bằng phương trình của bạn ở trên trên tập dữ liệu ban đầu, đó sẽ là ước tính bắt đầu của bạn. Đối với mỗi điểm dữ liệu mới, bạn có thể thực hiện một bước giảm độ dốc để cập nhật ước tính tham số của mình. $\hat{\beta}$

— Tối đa S.
nguồn

Tôi đã nhận ra rằng SGD (có lẽ là xe buýt nhỏ) là cách để giải quyết các vấn đề trực tuyến như thế này tức là cập nhật các xấp xỉ chức năng.

— rnoodle

1

Trong hồi quy tuyến tính, một khả năng là cập nhật phân tách QR trực tiếp của , như được giải thích ở đây . Tôi đoán rằng, trừ khi bạn muốn ước tính lại sau khi mỗi datapoint mới được thêm vào, một cái gì đó rất giống nhau có thể được thực hiện với hồi quy sườn. $X$ $\lambda$

— Matteo Fasiolo
nguồn

0

Đây là một cách tiếp cận khác (và ít phức tạp hơn) so với sử dụng công thức Woodbury. Lưu ý rằng và có thể được viết dưới dạng tổng . Vì chúng tôi đang tính toán mọi thứ trực tuyến và không muốn tổng tiền nổ tung, chúng tôi có thể sử dụng các phương tiện khác ( và ). $X^TX$ $X^Ty$ $X^TX/n$ $X^Ty/n$

Nếu bạn viết và là: $X$ $y$

X = (\begin{matrix} x_{1}^{T} \\ ⋮ \\ x_{n}^{T} \end{matrix}), y = (\begin{matrix} y_{1} \\ ⋮ \\ y_{n} \end{matrix}),

$X = \begin{pmatrix} x_1^T \\ \vdots \\ x_n^T \end{pmatrix}, \quad y = \begin{pmatrix} y_1 \\ \vdots \\ y_n \end{pmatrix},$

chúng ta có thể viết các bản cập nhật trực tuyến cho và (được tính đến hàng thứ ) như: $X^TX/n$ $X^Ty/n$ $t$

A_{t} = (1 - \frac{1}{t}) A_{t - 1} + \frac{1}{t} x_{t} x_{t}^{T},

$A_t = \left(1 - \frac{1}{t}\right) A_{t-1} + \frac{1}{t}x_t x_t^T,$

b_{t} = (1 - \frac{1}{t}) b_{t - 1} + \frac{1}{t} x_{t} y_{t} .

$b_t = \left(1 - \frac{1}{t}\right) b_{t-1} + \frac{1}{t}x_t y_t.$

Ước tính trực tuyến của bạn về sẽ trở thành $\beta$

{\hat{β}}_{t} = (A_{t} + λ I)^{- 1} b_{t} .

$\hat\beta_t = (A_t + \lambda I)^{-1}b_t.$

Lưu ý rằng điều này cũng giúp giải thích không đổi khi bạn thêm các quan sát! $\lambda$

Quy trình này là cách https://github.com/joshday/OnlineStats.jl tính toán các ước tính trực tuyến về hồi quy tuyến tính / sườn núi.

— ngày mai
nguồn