Định nghĩa và sự hội tụ của các ô vuông tối thiểu lặp đi lặp lại

Tôi đã sử dụng các bình phương tối thiểu lặp lại (IRLS) để giảm thiểu các chức năng của mẫu sau,

$J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right)$

Trong đó là số phiên bản của , là ước tính mạnh mẽ mà tôi muốn và là một hàm hình phạt mạnh mẽ phù hợp. Hãy nói rằng nó lồi (mặc dù không nhất thiết phải nghiêm ngặt) và khác biệt cho đến bây giờ. Một ví dụ điển hình của là hàm mất Huber . $N$ $x_i \in \mathbb{R}$ $m \in \mathbb{R}$ $\rho$ $\rho$

Những gì tôi đã làm là phân biệt với (và thao tác) để có được, $J(m)$ $m$

$\frac{dJ}{dm}= \sum_{i=1}^{N} \frac{\rho'\left( \left|x_i-m\right|\right) }{\left|x_i-m\right|} \left( x_i-m \right)$

và lặp lại giải quyết điều này bằng cách đặt nó bằng 0 và sửa trọng số tại lần lặp thành (lưu ý rằng các dị coi tại thực sự là một điểm kỳ dị di động trong tất cả 's tôi có thể quan tâm đến). Sau đó tôi có được, $k$ $w_i(k) = \frac{\rho'\left( \left|x_i-m{(k)}\right|\right) }{\left|x_i-m{(k)}\right|}$ $x_i=m{(k)}$ $\rho$

$\sum_{i=1}^{N} w_i(k) \left( x_i-m{(k+1)} \right)=0$

và tôi giải quyết để có được, $m(k+1) = \frac{\sum_{i=1}^{N} w_i(k) x_i}{ \sum_{i=1}^{N} w_i(k)}$ .

Tôi lặp lại thuật toán điểm cố định này cho đến khi "hội tụ". Tôi sẽ lưu ý rằng nếu bạn đạt đến một điểm cố định, bạn là tối ưu, vì đạo hàm của bạn là 0 và đó là hàm lồi.

Tôi có hai câu hỏi về thủ tục này:

Đây có phải là thuật toán IRLS tiêu chuẩn? Sau khi đọc một số bài viết về chủ đề này (và chúng rất phân tán và mơ hồ về IRLS là gì) đây là định nghĩa nhất quán nhất về thuật toán tôi có thể tìm thấy. Tôi có thể đăng bài nếu mọi người muốn, nhưng tôi thực sự không muốn thiên vị bất cứ ai ở đây. Tất nhiên, bạn có thể khái quát kỹ thuật cơ bản này cho nhiều loại vấn đề khác liên quan đến vectơ $x_i$ và các đối số khác ngoài $\left|x_i-m{(k)}\right|$ , cung cấp đối số là một chỉ tiêu của hàm affine của các tham số của bạn. Bất kỳ trợ giúp hoặc cái nhìn sâu sắc sẽ là tuyệt vời về điều này.
Sự hội tụ dường như hoạt động trong thực tế, nhưng tôi có một vài lo ngại về nó. Tôi vẫn chưa thấy một bằng chứng về nó. Sau một số mô phỏng Matlab đơn giản, tôi thấy rằng một lần lặp này không phải là ánh xạ co lại (tôi đã tạo hai trường hợp ngẫu nhiên của và tính toán và thấy rằng điều này đôi khi lớn hơn 1). Ngoài ra, ánh xạ được xác định bởi một số lần lặp liên tiếp không hoàn toàn là ánh xạ co, nhưng xác suất của hằng số Lipschitz ở trên 1 rất thấp. Vì vậy, có một khái niệm về một ánh xạ co trong xác suất ? Máy móc tôi sử dụng để chứng minh rằng điều này hội tụ là gì? Nó thậm chí còn hội tụ? $m$ $\frac{\left|m_1(k+1) - m_2(k+1)\right|}{\left|m_1(k)-m_2(k)\right|}$

Bất kỳ hướng dẫn nào đều hữu ích.

Chỉnh sửa: Tôi thích bài báo trên IRLS về phục hồi / cảm biến nén thưa thớt của Daubechies et al. 2008 "Lặp lại tối thiểu hóa tối thiểu bình phương tối thiểu để phục hồi thưa thớt" trên arXiv. Nhưng nó dường như tập trung chủ yếu vào các trọng số cho các vấn đề không liên quan. Trường hợp của tôi đơn giản hơn đáng kể.

— Chris A.
nguồn

Nhìn vào trang wiki trên IRWLS, tôi đấu tranh với sự khác biệt giữa quy trình bạn mô tả và IRWLS (họ chỉ sử dụng làm chức năng cụ thể của họ ). Bạn có thể giải thích theo cách bạn nghĩ thuật toán bạn đề xuất khác với IRWLS không?

| y_{i} - x x_{i}^{'} β β |^{2}

$|y_i-\pmb x_i'\pmb\beta|^2$

ρ

$\rho$

— dùng603

Tôi chưa bao giờ nói rằng nó khác biệt, và nếu tôi ngụ ý nó, tôi không có ý đó.

— Chris A.

Đối với câu hỏi đầu tiên của bạn, người ta nên định nghĩa "tiêu chuẩn" hoặc thừa nhận rằng "mô hình chính tắc" đã dần được thiết lập. Như một nhận xét đã chỉ ra, ít nhất thì cách bạn sử dụng IRWLS là khá chuẩn.

Đối với câu hỏi thứ hai của bạn, "ánh xạ co trong xác suất" có thể được liên kết (tuy nhiên không chính thức) để hội tụ "thuật toán ngẫu nhiên đệ quy". Từ những gì tôi đọc, có một tài liệu khổng lồ về chủ đề chủ yếu trong Kỹ thuật. Trong Kinh tế học, chúng tôi sử dụng một chút xíu của nó, đặc biệt là các tác phẩm tinh xảo của Lennart Ljung - bài báo đầu tiên là Ljung (1977) - cho thấy sự hội tụ (hoặc không) của thuật toán ngẫu nhiên đệ quy có thể được xác định bởi độ ổn định (hoặc không) của một phương trình vi phân thông thường liên quan.

(những gì tiếp theo đã được làm lại sau một cuộc thảo luận hiệu quả với OP trong các bình luận)

Hội tụ

Tôi sẽ sử dụng làm tài liệu tham khảo Saber Elaydi "Giới thiệu về phương trình khác biệt", 2005, 3d ed. Phân tích có điều kiện trên một số mẫu dữ liệu nhất định, do đó được coi là cố định. $x's$

Điều kiện bậc nhất để tối thiểu hóa hàm mục tiêu, được xem như là một hàm đệ quy theo , $m$

m (k + 1) = \sum_{i = 1}^{N} v_{i} [m (k)] x_{i}, v_{i} [m (k)] \equiv \frac{w_{i} [m (k)]}{\sum_{i = 1}^{N} w_{i} [m (k)]} [1]

$m(k+1) = \sum_{i=1}^{N} v_i[m(k)] x_i, \;\; v_i[m(k)] \equiv \frac{w_i[m(k)]}{ \sum_{i=1}^{N} w_i[m(k)]} \qquad [1]$

có một điểm cố định (argmin của hàm mục tiêu). Theo Định lý 1.13 trang 27-28 của Elaydi, nếu đạo hàm đầu tiên liên quan đến của RHS của , được đánh giá tại điểm cố định , ký hiệu là , nhỏ hơn thống nhất trong giá trị tuyệt đối, sau đó là tiệm ổn định (AS). Hơn nữa theo Định lý 4.3 tr.179 chúng ta có điều này cũng ngụ ý rằng điểm cố định là thống nhất AS (UAS). "Ổn định không có triệu chứng" có nghĩa là đối với một số phạm vi giá trị xung quanh điểm cố định, một vùng lân cận , không nhất thiết phải có kích thước nhỏ, điểm cố định là hấp dẫn $m$ $[1]$ $m^*$ $A'(m^*)$ $m^*$
$(m^* \pm \gamma)$ và do đó, nếu thuật toán đưa ra các giá trị trong vùng lân cận này, nó sẽ hội tụ. Thuộc tính là "thống nhất", có nghĩa là ranh giới của vùng lân cận này, và do đó kích thước của nó, độc lập với giá trị ban đầu của thuật toán. Điểm cố định trở thành UAS toàn cầu , nếu . Vì vậy, trong trường hợp của chúng tôi, nếu chúng tôi chứng minh rằng $\gamma = \infty$

| A^{'} (m^{*}) | \equiv | \sum_{i = 1}^{N} \frac{\partial v_{i} (m^{*})}{\partial m} x_{i} | < 1 [2]

$|A'(m^*)|\equiv \left|\sum_{i=1}^{N} \frac{\partial v_i(m^*)}{\partial m}x_i\right| <1 \qquad [2]$

chúng tôi đã chứng minh tài sản UAS, nhưng không có sự hội tụ toàn cầu. Sau đó, chúng ta có thể cố gắng xác định rằng vùng lân cận thu hút trên thực tế là toàn bộ số thực mở rộng, hoặc, giá trị bắt đầu cụ thể mà OP sử dụng như được đề cập trong các nhận xét (và đó là tiêu chuẩn trong phương pháp IRLS), nghĩa là mẫu của 's, , luôn thuộc vùng lân cận của điểm cố định. $x$ $\bar x$

Chúng tôi tính đạo hàm

\frac{\partial v_{i} (m^{*})}{\partial m} = \frac{\frac{\partial w_{i} (m^{*})}{\partial m} \sum_{i = 1}^{N} w_{i} (m^{*}) - w_{i} (m^{*}) \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}}{{(\sum_{i = 1}^{N} w_{i} (m^{*}))}^{2}}

$\frac{\partial v_i(m^*)}{\partial m} = \frac {\frac{\partial w_i(m^*)}{\partial m}\sum_{i=1}^{N} w_i(m^*)-w_i(m^*)\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}}{\left(\sum_{i=1}^{N} w_i(m^*)\right)^2}$

= \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\frac{\partial w_{i} (m^{*})}{\partial m} - v_{i} (m^{*}) \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}]

$=\frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\frac{\partial w_i(m^*)}{\partial m}-v_i(m^*)\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right]$ Sau đó

A^{'} (m^{*}) = \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} x_{i} - (\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}) \sum_{i = 1}^{N} v_{i} (m^{*}) x_{i}]

$A'(m^*) = \frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}x_i-\left(\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right)\sum_{i=1}^{N}v_i(m^*)x_i\right]$

= \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} x_{i} - (\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}) m^{*}]

$=\frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}x_i-\left(\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right)m^*\right]$

và

| A^{'} (m^{*}) | < 1 \Rightarrow | \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} (x_{i} - m^{*}) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) | [3]

$|A'(m^*)| <1 \Rightarrow \left|\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}(x_i-m^*)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right| \qquad [3]$

chúng ta có

\begin{aligned} \frac{\partial w_{i} (m^{*})}{\partial m} = & \frac{- ρ^{″} (| x_{i} - m^{*} |) \cdot \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |} | x_{i} - m^{*} | + \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |} ρ^{'} (| x_{i} - m^{*} |)}{| x_{i} - m^{*} |^{2}} \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{3}} ρ^{'} (| x_{i} - m^{*} |) - ρ^{″} (| x_{i} - m^{*} |) \cdot \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [\frac{ρ^{'} (| x_{i} - m^{*} |)}{| x_{i} - m^{*} |} - ρ^{″} (| x_{i} - m^{*} |)] \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [w_{i} (m^{*}) - ρ^{″} (| x_{i} - m^{*} |)] \end{aligned}

$\begin{align}\frac{\partial w_i(m^*)}{\partial m} = &\frac{-\rho''(|x_i-m^*|)\cdot \frac {x_i-m^*}{|x_i-m^*|}|x_i-m^*|+\frac {x_i-m^*}{|x_i-m^*|}\rho'(|x_i-m^*|)}{|x_i-m^*|^2} \\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^3}\rho'(|x_i-m^*|) - \rho''(|x_i-m^*|)\cdot \frac {x_i-m^*}{|x_i-m^*|^2} \\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[\frac {\rho'(|x_i-m^*|)}{|x_i-m^*|}-\rho''(|x_i-m^*|)\right]\\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[w_i(m^*)-\rho''(|x_i-m^*|)\right] \end{align}$

Chèn cái này vào chúng ta có $[3]$

| \sum_{i = 1}^{N} \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [w_{i} (m^{*}) - ρ^{″} (| x_{i} - m^{*} |)] (x_{i} - m^{*}) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) |

$\left|\sum_{i=1}^{N}\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[w_i(m^*)-\rho''(|x_i-m^*|)\right](x_i-m^*)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right|$

\Rightarrow | \sum_{i = 1}^{N} w_{i} (m^{*}) - \sum_{i = 1}^{N} ρ^{″} (| x_{i} - m^{*} |) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) | [4]

$\Rightarrow \left|\sum_{i=1}^{N}w_i(m^*)-\sum_{i=1}^{N}\rho''(|x_i-m^*|)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right| \qquad [4]$

Đây là điều kiện phải được thỏa mãn cho điểm cố định là UAS. Vì trong trường hợp của chúng tôi, hàm hình phạt là lồi, các khoản tiền liên quan là dương. Vì vậy, điều kiện tương đương với $[4]$

\sum_{i = 1}^{N} ρ^{″} (| x_{i} - m^{*} |) < 2 \sum_{i = 1}^{N} w_{i} (m^{*}) [5]

$\sum_{i=1}^{N}\rho''(|x_i-m^*|) < 2\sum_{i=1}^{N}w_i(m^*) \qquad [5]$

Nếu là hàm mất của Hubert, thì chúng ta có một nhánh bậc hai ( ) và nhánh tuyến tính ( ), $\rho(|x_i-m|)$ $q$ $l$

ρ (| x_{i} - m |) = {\begin{cases} (1 / 2) | x_{i} - m |^{2} | x_{i} - m | \leq δ \\ δ (| x_{i} - m | - δ / 2) | x_{i} - m | > δ \end{cases}

$\rho(|x_i-m|)=\cases{ (1/2)|x_i- m|^2 \qquad\;\;\;\; |x_i-m|\leq \delta \\ \\ \delta\big(|x_i-m|-\delta/2\big) \qquad |x_i-m|> \delta}$

và

ρ^{'} (| x_{i} - m |) = {\begin{cases} | x_{i} - m | | x_{i} - m | \leq δ \\ δ | x_{i} - m | > δ \end{cases}

$\rho'(|x_i-m|)=\cases{ |x_i- m| \qquad |x_i-m|\leq \delta \\ \\ \delta \qquad \qquad \;\;\;\; |x_i-m|> \delta}$

ρ^{″} (| x_{i} - m |) = {\begin{cases} 1 | x_{i} - m | \leq δ \\ 0 | x_{i} - m | > δ \end{cases}

$\rho''(|x_i-m|)=\cases{ 1\qquad |x_i-m|\leq \delta \\ \\ 0 \qquad |x_i-m|> \delta}$

{\begin{cases} w_{i, q} (m) = 1 | x_{i} - m | \leq δ \\ w_{i, l} (m) = \frac{δ}{| x_{i} - m |} < 1 | x_{i} - m | > δ \end{cases}

$\cases{ w_{i,q}(m) =1\qquad \qquad \qquad |x_i-m|\leq \delta \\ \\ w_{i,l}(m) =\frac {\delta}{|x_i-m|} <1 \qquad |x_i-m|> \delta}$

Vì chúng tôi không biết có bao nhiêuĐặt chúng ta vào nhánh bậc hai và có bao nhiêu trong tuyến tính, chúng ta phân tách điều kiện thành ( ) $|x_i-m^*|$ $[5]$ $N_q + N_l = N$

\sum_{i = 1}^{N_{q}} ρ_{q}^{″} + \sum_{i = 1}^{N_{l}} ρ_{l}^{″} < 2 [\sum_{i = 1}^{N_{q}} w_{i, q} + \sum_{i = 1}^{N_{l}} w_{i, l}]

$\sum_{i=1}^{N_q}\rho_q''+\sum_{i=1}^{N_l}\rho_l'' < 2\left[\sum_{i=1}^{N_q}w_{i,q} +\sum_{i=1}^{N_l}w_{i,l}\right]$

\Rightarrow N_{q} + 0 < 2 [N_{q} + \sum_{i = 1}^{N_{l}} w_{i, l}] \Rightarrow 0 < N_{q} + 2 \sum_{i = 1}^{N_{l}} w_{i, l}

$\Rightarrow N_q + 0 < 2\left[N_q +\sum_{i=1}^{N_l}w_{i,l}\right] \Rightarrow 0 < N_q+2\sum_{i=1}^{N_l}w_{i,l}$

mà giữ. Vì vậy, đối với hàm mất Huber, điểm cố định của thuật toán là ổn định không có triệu chứng, không phụ thuộc vào . Chúng tôi lưu ý rằng đạo hàm đầu tiên nhỏ hơn thống nhất về giá trị tuyệt đối cho bất kỳ , không chỉ điểm cố định. $x$ $m$

Những gì chúng ta nên làm bây giờ là chứng minh rằng thuộc tính UAS cũng là toàn cục hoặc nếu thì thuộc về vùng lân cận của . $m(0) = \bar x$ $m(0)$ $m^*$

— Alecos Papadopoulos
nguồn

Cảm ơn vì sự trả lời. Hãy cho tôi một chút thời gian để phân tích câu trả lời này.

— Chris A.

Chắc chắn rồi. Rốt cuộc, câu hỏi đã đợi 20 tháng.

— Alecos Papadopoulos

Vâng, tôi đã được nhắc nhở về vấn đề và quyết định đưa ra một tiền thưởng. :)

— Chris A.

May mắn cho tôi Tôi đã không ở đó 20 tháng trước - tôi có thể đưa ra câu hỏi này, tiền thưởng hay không.

— Alecos Papadopoulos

Cảm ơn rất nhiều cho phản ứng này. Có vẻ như, cho đến nay, bạn đã kiếm được tiền thưởng. BTW, việc lập chỉ mục của bạn trên đạo hàm của wrt là kỳ lạ. Không thể tổng kết trên dòng thứ hai của điều này sử dụng một biến khác, chẳng hạn như ?

v_{i}

$v_i$

m

$m$

j

$j$

— Chris A.