Hồi quy góc nhỏ nhất giữ cho các mối tương quan giảm đơn điệu và gắn liền?

Tôi đang cố gắng giải quyết vấn đề cho hồi quy góc nhỏ nhất (LAR). Đây là một vấn đề 3.23 trên trang 97 của Hastie và cộng sự, Các yếu tố của học thống kê, thứ 2. chủ biên (In lần thứ 5) .

Xem xét một vấn đề hồi quy với tất cả các biến và đáp ứng có giá trị trung bình bằng 0 và độ lệch chuẩn. Giả sử rằng mỗi biến có tương quan tuyệt đối giống hệt nhau với đáp ứng:

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

Hãy là hình vuông hệ số nhỏ nhất của trên và để cho cho . $\hat{\beta}$ $\mathbf{y}$ $\mathbf{X}$ $\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$ $\alpha\in[0,1]$

Tôi được yêu cầu chỉ ra rằng và tôi đang gặp vấn đề với điều đó. Lưu ý rằng về cơ bản điều này có thể nói rằng mối tương quan của mỗivới phần dư vẫn có độ lớn bằng nhau khi chúng ta tiến tới.

\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ | = (1 - α) λ, j = 1, . . ., p

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$

x_{j}

$x_j$

u

$u$

Tôi cũng không biết làm thế nào để chỉ ra rằng các mối tương quan bằng:

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

Bât cư thông tin được cung câp nao cung được la sự suât hiện tuyệt vơi!

— Belmont
nguồn

@Belmont, là những gì

? Bạn có thể cung cấp thêm bối cảnh về vấn đề của bạn? Liên kết đến bài viết với các thuộc tính tiêu chuẩn của LAR chẳng hạn sẽ giúp ích rất nhiều.

u (α)

$u(\alpha)$

— mpiktas

@Belmont, Điều này có vẻ như là một vấn đề từ Hastie và cộng sự, Các yếu tố của học thống kê , thứ 2. chủ biên Đây có phải là bài tập về nhà không? Nếu vậy, bạn có thể thêm thẻ đó.

— Đức hồng y

@Belmont, bây giờ @cardinal đã trả lời đầy đủ, bạn có thể chỉ định LAR thực sự là gì, để tham khảo trong tương lai không? Đánh giá từ câu trả lời này là thao tác chuẩn của các sản phẩm có hồi quy bình phương nhỏ nhất với một số hạn chế ban đầu. Không nên có một cái tên đặc biệt cho nó mà không có lý do nghiêm trọng.

— mpiktas

@mpiktas, đó là một thuật toán stagewise, vì vậy mỗi lần một biến vào hoặc lá mô hình trên con đường chính quy, kích thước (ví dụ, cardinality / chiều) của

phát triển hoặc co lại tương ứng và một ước tính "mới" LS được sử dụng dựa trên các biến hiện đang hoạt động. Trong trường hợp của Lasso, một vấn đề tối ưu hóa lồi, về cơ bản, quy trình này là khai thác cấu trúc đặc biệt trong các điều kiện KKT để có được một giải pháp rất hiệu quả. Ngoài ra còn có các khái quát về, ví dụ, hồi quy logistic dựa trên IRLS và Heine-Borel (để chứng minh sự hội tụ trong số hữu hạn của các bước.)

β

$\beta$

— hồng y

@Belmont -1, vì gần đây tôi đã mua cuốn sách của Hastie, tôi có thể xác nhận rằng đây là một bài tập từ nó. Vì vậy, tôi đang cho bạn một -1 lớn, vì bạn thậm chí không quản lý để đưa ra tất cả các định nghĩa, tôi thậm chí không nói về việc đưa ra tài liệu tham khảo.

— mpiktas

Đây là vấn đề 3.23 trên trang 97 của Hastie và cộng sự, Các yếu tố của học thống kê , thứ 2. chủ biên (In lần thứ 5) .

Chìa khóa của vấn đề này là sự hiểu biết tốt về bình phương tối thiểu thông thường (nghĩa là hồi quy tuyến tính), đặc biệt là tính trực giao của các giá trị được trang bị và phần dư.

$X$ $n \times p$ $y$ $\beta$ $X$ $\beta$ $\hat{\beta} = (X^T X)^{-1} X^T y$ $\hat{y} = X (X^T X)^{-1} X^T y$ $\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$ $X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$

$x_j$ $x_j$ $j$ $X$

$\frac{1}{N} \langle x_j, x_j \rangle = 1$ $j$ $\frac{1}{N} \langle y, y \rangle = 1$
$\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$ $1_p$ $p$
$\frac{1}{N} | \langle x_j, y \rangle | = \lambda$ $j$

$\langle x_j, y - \hat{y} \rangle = 0$ $j$

Các mối tương quan được gắn

$u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$

⟨ x_{j}, y - u (a) ⟩ = ⟨ x_{j}, (1 - α) y + α y - α \hat{y} ⟩ = (1 - α) ⟨ x_{j}, y ⟩ + α ⟨ x_{j}, y - \hat{y} ⟩,

$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$

\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ | = (1 - α) λ,

$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$

{\hat{ρ}}_{j} (α) = \frac{\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ |}{\sqrt{\frac{1}{N} ⟨ x_{j}, x_{j} ⟩} \sqrt{\frac{1}{N} ⟨ y - u (α), y - u (α) ⟩}} = \frac{(1 - α) λ}{\sqrt{\frac{1}{N} ⟨ y - u (α), y - u (α) ⟩}}

$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$

$j$ $x_j$ $y$

$\alpha$ $p$

Hình thức rõ ràng của mối tương quan (tuyệt đối)

⟨ y - u (α), y - u (α) ⟩ = ⟨ (1 - α) y + α y - u (α), (1 - α) y + α y - u (α) ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$

$u(\alpha) = \alpha \hat{y}$

⟨ y - u (α), y - u (α) ⟩ = (1 - α)^{2} ⟨ y, y ⟩ + 2 α (1 - α) ⟨ y, y - \hat{y} ⟩ + α^{2} ⟨ y - \hat{y}, y - \hat{y} ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$

Quan sát rằng

$\langle y, y \rangle = N$
$\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$
$\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$

Đặt tất cả những thứ này lại với nhau, bạn sẽ nhận thấy rằng chúng tôi nhận được

{\hat{ρ}}_{j} (α) = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} + \frac{α (2 - α)}{N} R S S}} = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} (1 - \frac{R S S}{N}) + \frac{1}{N} R S S}}

$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$

$1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$ $\hat{\rho}_j(\alpha)$ $\alpha$ $\hat{\rho}_j(\alpha) \downarrow 0$ $\alpha \uparrow 1$

Phần kết : Tập trung vào các ý tưởng ở đây. Thực sự chỉ có một. Các lemma trực giao thực hiện hầu hết các công việc cho chúng tôi. Phần còn lại chỉ là đại số, ký hiệu và khả năng đưa hai cái cuối cùng này hoạt động.

— hồng y
nguồn

@ thẻ, +1. Câu trả lời là cường độ tốt hơn câu hỏi.

— mpiktas

@cardinal, bạn có thể muốn thay đổi liên kết đến amazon hoặc một số trang web khác. Tôi nghĩ rằng việc liên kết đến toàn bộ cuốn sách có thể gây ra một số vấn đề bản quyền.

— mpiktas

@mpiktas, không. Không có vấn đề bản quyền. Đó là trang web chính thức cho cuốn sách. Các tác giả đã nhận được sự cho phép từ Springer để cung cấp PDF miễn phí trực tuyến. (Xem ghi chú về hiệu ứng này trên trang web.) Tôi nghĩ rằng họ đã có ý tưởng từ Stephen Boyd và văn bản Tối ưu hóa lồi của anh ấy . Hy vọng xu hướng như vậy sẽ lấy hơi trong vài năm tới. Thưởng thức!

— Đức hồng y

@cardinal, ooh cảm ơn rất nhiều! Đó là hào phóng hào phóng từ các tác giả.

— mpiktas

@mpiktas, cho đến nay là cuốn sách phổ biến nhất trong Sê-ri Springer về Thống kê. Nó trông tốt trên iPad. Điều đó nhắc nhở tôi --- Tôi cũng nên tải văn bản của Boyd lên đó. Chúc mừng.

— Đức hồng y