Tỷ lệ lỗi có phải là hàm Lồi của tham số Chính quy lambda không?

Khi chọn tham số chính quy lambda trong Ridge hoặc Lasso, phương pháp được đề xuất là thử các giá trị khác nhau của lambda, đo lỗi trong Tập xác thực và cuối cùng chọn giá trị đó của lambda trả về lỗi thấp nhất.

Nó không phải là cleat với tôi nếu hàm f (lambda) = lỗi là Convex. Nó có thể như thế này? Tức là đường cong này có thể có nhiều hơn một cực tiểu cục bộ (điều này có nghĩa là việc tìm ra mức tối thiểu của Lỗi tại một số khu vực của lambda không loại trừ khả năng ở một khu vực khác có lambda trả về Lỗi thậm chí còn nhỏ hơn)

Lời khuyên của bạn sẽ được đánh giá cao.

— rf7
nguồn

Câu trả lời:

Câu hỏi ban đầu hỏi liệu hàm lỗi có cần phải lồi không. Không nó không. Phân tích được trình bày dưới đây nhằm cung cấp một số hiểu biết và trực giác về vấn đề này và câu hỏi được sửa đổi, trong đó hỏi liệu hàm lỗi có thể có nhiều cực tiểu cục bộ hay không.

Theo trực giác, không cần phải có bất kỳ mối quan hệ toán học cần thiết nào giữa dữ liệu và tập huấn luyện. Chúng ta sẽ có thể tìm thấy dữ liệu đào tạo mà mô hình ban đầu kém, trở nên tốt hơn với một số chính quy hóa, và sau đó lại trở nên tồi tệ hơn. Đường cong lỗi không thể lồi trong trường hợp đó - ít nhất là không nếu chúng ta thực hiện tham số chính quy thay đổi từ đến . $0$ $\infty$

Lưu ý rằng lồi không tương đương với tối thiểu duy nhất! Tuy nhiên, các ý tưởng tương tự cho thấy nhiều cực tiểu cục bộ là có thể: trong quá trình chính quy hóa, đầu tiên mô hình được trang bị có thể tốt hơn cho một số dữ liệu đào tạo trong khi không thay đổi đáng kể đối với dữ liệu đào tạo khác, và sau đó sẽ tốt hơn cho dữ liệu đào tạo khác, v.v. kết hợp các dữ liệu đào tạo như vậy phải tạo ra nhiều cực tiểu cục bộ. Để giữ cho phân tích đơn giản, tôi sẽ không cố gắng chỉ ra điều đó.

Chỉnh sửa (để trả lời câu hỏi đã thay đổi)

Tôi đã rất tự tin vào phân tích được trình bày dưới đây và trực giác đằng sau nó mà tôi đã đặt ra để tìm một ví dụ theo cách thô sơ nhất có thể: Tôi đã tạo ra các bộ dữ liệu ngẫu nhiên nhỏ, chạy Lasso trên chúng, tính tổng lỗi bình phương cho một tập huấn luyện nhỏ, và vẽ đường cong lỗi của nó. Một vài nỗ lực tạo ra một với hai cực tiểu, mà tôi sẽ mô tả. Các vectơ có dạng cho các tính năng và và phản hồi . $(x_1,x_2,y)$ $x_1$ $x_2$ $y$

Dữ liệu đào tạo

(1, 1, - 0.1), (2, 1, 0.8), (1, 2, 1.2), (2, 2, 0.9)

$(1,1,-0.1),\ (2,1,0.8),\ (1,2,1.2),\ (2,2,0.9)$

Dữ liệu kiểm tra

(1, 1, 0.2), (1, 2, 0.4)

$(1,1,0.2),\ (1,2,0.4)$

Lasso được chạy sử dụng glmnet::glmmettrong R, với tất cả các đối số còn lại ở giá trị mặc định của họ. Các giá trị của trên trục x là đối ứng của các giá trị được báo cáo bởi phần mềm đó (vì nó tham số hóa hình phạt của nó với ). $\lambda$ $1/\lambda$

Một đường cong lỗi với nhiều cực tiểu cục bộ

Phân tích

Hãy xem xét bất kỳ phương pháp quy tắc của phù hợp các thông số để dữ liệu và tương ứng với phản ứng có những tài sản chung để Ridge Regression và Lasso: $\beta=(\beta_1, \ldots, \beta_p)$ $x_i$ $y_i$

(Tham số hóa) Phương thức được tham số hóa bằng số thực , với mô hình không quy tắc tương ứng với . $\lambda \in [0, \infty)$ $\lambda=0$
(Liên tục) Ước tính tham số phụ thuộc liên tục vào và các giá trị dự đoán cho mọi tính năng thay đổi liên tục với . $\hat\beta$ $\lambda$ $\hat\beta$
(Co ngót) Là , . $\lambda\to\infty$ $\hat\beta\to 0$
(Độ chính xác) Đối với mọi vectơ đặc trưng , như , dự đoán . $x$ $\hat\beta\to 0$ $\hat y(x) = f(x, \hat\beta) \to 0$
(Lỗi đơn điệu) Hàm lỗi so sánh bất kỳ giá trị với giá trị dự đoán , , tăng theo độ chênh lệchdo đó, với một số lạm dụng ký hiệu, chúng tôi có thể biểu thị nó dưới dạng . $y$ $\hat y$ $\mathcal{L}(y, \hat y)$ $|\hat y - y|$ $\mathcal{L}(|\hat y - y|)$

(Không có có thể được thay thế bằng bất kỳ hằng số nào.) $(4)$

Giả sử dữ liệu sao cho ước tính tham số ban đầu (không chuẩn hóa) không bằng không. Hãy xây dựng một tập dữ liệu huấn luyện bao gồm một quan sát trong đó . (Nếu không thể tìm thấy như vậy , thì mô hình ban đầu sẽ không thú vị lắm!) Đặt . $\hat\beta(0)$ $(x_0, y_0)$ $f(x_0, \hat\beta(0))\ne 0$ $x_0$ $y_0=f(x_0, \hat\beta(0))/2$

Các giả định ngụ ý đường cong lỗi có các thuộc tính sau: $e: \lambda \to \mathcal{L}(y_0, f(x_0, \hat\beta(\lambda))$

$e(0) = \mathcal{L}(y_0, f(x_0, \hat\beta(0)) = \mathcal{L}(y_0, 2y_0) = \mathcal{L}(|y_0|)$ (vì sự lựa chọn của ). $y_0$
$\lim_{\lambda\to\infty}e(\lambda) = \mathcal{L}(y_0, 0) = \mathcal{L}(|y_0|)$ (vì là , , từ đâu ). $\lambda\to\infty$ $\hat\beta(\lambda)\to 0$ $\hat{y}(x_0)\to 0$

Do đó, đồ thị của nó liên tục kết nối hai điểm cuối cao (và hữu hạn) bằng nhau.

Về mặt định tính, có ba khả năng:

Dự đoán cho tập huấn luyện không bao giờ thay đổi. Điều này là không thể - chỉ về bất kỳ ví dụ nào bạn chọn sẽ không có thuộc tính này.
Một số dự đoán trung gian cho là tồi tệ hơn so với lúc bắt đầu hoặc trong giới hạn . Hàm này không thể lồi. $0\lt \lambda \lt \infty$ $\lambda=0$ $\lambda\to\infty$
Tất cả các dự đoán trung gian nằm trong khoảng từ đến . Tính liên tục ngụ ý sẽ có ít nhất một mức tối thiểu của , gần đó phải lồi. Nhưng vì tiếp cận một hằng số hữu hạn không có triệu chứng, nó không thể lồi cho đủ lớn . $0$ $2y_0$ $e$ $e$ $e(\lambda)$ $\lambda$

Đường đứt nét dọc trong hình cho thấy cốt truyện thay đổi từ lồi (ở bên trái) sang không lồi (sang phải). (Ngoài ra còn có một khu vực không lồi gần trong hình này, nhưng điều này không nhất thiết phải là trường hợp nói chung.) $\lambda\approx 0$

— whuber
nguồn

Cảm ơn bạn đã trả lời công phu của bạn. Nếu có thể hãy xem lại câu hỏi khi tôi chỉnh sửa và cập nhật câu trả lời của bạn.

— rf7

Câu trả lời tuyệt vời (+1). Trong thực tế, tôi nghĩ rằng thường không có quá ít điểm dữ liệu đào tạo và kiểm tra. Kết luận của câu trả lời này có thay đổi khi có đủ các điểm dữ liệu kiểm tra và huấn luyện được rút ra từ cùng một phân phối (cố định và đủ thường xuyên) không? Cụ thể, theo kịch bản này, có một mức tối thiểu cục bộ duy nhất với xác suất cao không?

— user795305

@Ben Không phải là số điểm kiểm tra quan trọng: kết quả này phụ thuộc hoàn toàn vào việc phân phối điểm kiểm tra liên quan đến phân phối điểm đào tạo. Do đó, vấn đề "có xác suất cao" sẽ không thể trả lời được nếu không đưa ra một số giả định cụ thể về phân phối đa biến của các biến hồi quy. Ngoài ra, với nhiều biến số, hiện tượng nhiều cực tiểu cục bộ này sẽ có nhiều khả năng hơn. Tôi nghi ngờ rằng lựa chọn ngẫu nhiên của một bộ thử nghiệm lớn (với số lần quan sát nhiều lần như các biến) có thể có một min toàn cầu duy nhất.

— whuber

@whuber Cảm ơn! Tôi đồng ý: phân phối (đúng) giữa điểm đào tạo và điểm kiểm tra phải giống nhau và cần có đủ các mẫu để phân phối theo kinh nghiệm của tập huấn luyện và kiểm tra có thỏa thuận. (Có vẻ như tôi phrased mà kém trong bình luận trước đây của tôi.) Ví dụ, nếu có phân phối cùng nhau bình thường (với hiệp phương sai không suy biến), tôi nghi ngờ khả năng của đường cong lỗi có một độc đáo hội tụ tối thiểu địa phương 1 (nếu, giả sử, có mẫu trong tập huấn và kiểm tra với với cố định (hoặc thậm chí tăng chậm so với ))

(x, y)

$(\mathbf x, y)$

n

$n$

n \to \infty

$n \to \infty$

p

$p$

n

$n$

— user795305

$\newcommand{\dbeta}{\frac{\partial}{\partial \lambda} \hat\beta_\lambda}$ $\newcommand{\ddbeta}{\frac{\partial^2}{{\partial \lambda}^2} \hat\beta_\lambda}$

Câu trả lời này đặc biệt liên quan đến Lasso (và không giữ hồi quy sườn núi.)

Thiết lập

Giả sử rằng chúng ta có biến mà chúng ta đang sử dụng để mô hình hóa một phản hồi. Giả sử rằng chúng ta có điểm dữ liệu huấn luyện và điểm dữ liệu xác nhận. $p$ $n$ $m$

Đặt đầu vào đào tạo là và phản hồi là . Chúng tôi sẽ sử dụng Lasso trên dữ liệu đào tạo này. Đó là đặt một họ hệ số ước tính từ dữ liệu đào tạo. Chúng tôi sẽ chọn để sử dụng làm công cụ ước tính của chúng tôi dựa trên lỗi của nó trên bộ xác thực, với đầu vào và phản hồi . Với $X_{(1)} \in \mathbb{R}^{n \times p}$ $y_{(1)} \in \mathbb{R}^n$

\begin{matrix} (1) & {\hat{β}}_{λ} = \arg min_{β \in R^{p}} ‖ y_{(1)} - X_{(1)} β ‖_{2}^{2} + λ ‖ β ‖_{1}, \end{matrix}

$\hat\beta_\lambda = \arg\min_{\beta \in \mathbb{R}^p} \|y_{(1)} - X_{(1)} \beta\|_2^2 + \lambda \|\beta\|_1, \tag{1}$

{\hat{β}}_{λ}

$\hat\beta_\lambda$

X_{(2)} \in R^{m \times p}

$X_{(2)} \in \mathbb{R}^{m \times p}$

y_{(2)} \in R^{m}

$y_{(2)} \in \mathbb{R}^m$

\begin{matrix} (2) & \hat{λ} = \arg min_{λ \in R_{+}} ‖ y_{(2)} - X_{(2)} {\hat{β}}_{λ} ‖_{2}^{2}, \end{matrix}

$\hat\lambda = \arg\min_{\lambda \in \mathbb{R}_+} \|y_{(2)} - X_{(2)} \hat\beta_\lambda\|_2^2, \tag{2}$ chúng tôi quan tâm đến việc nghiên cứu hàm lỗi , điều này dẫn đến công cụ ước tính dựa trên dữ liệu của chúng tôi .

e (λ) = ‖ y_{(2)} - X_{(2)} {\hat{β}}_{λ} ‖_{2}^{2}

$e(\lambda) = \|y_{(2)} - X_{(2)} \hat\beta_\lambda\|_2^2$

{\hat{β}}_{\hat{λ}}

$\hat\beta_{\hat\lambda}$

Phép tính

Bây giờ, chúng ta sẽ tính đạo hàm thứ hai của mục tiêu trong phương trình , mà không đưa ra bất kỳ giả định phân phối nào trên hoặc của . Sử dụng sự khác biệt và sắp xếp lại, chúng tôi (chính thức) tính toán rằng $(2)$ $X$ $y$

\begin{aligned} \frac{\partial^{2}}{{\partial λ}^{2}} ‖ y_{(2)} - X_{(2)} {\hat{β}}_{λ} ‖_{2}^{2} & = \frac{\partial}{\partial λ} {- 2 y_{(2)}^{T} X_{(2)} \frac{\partial}{\partial λ} {\hat{β}}_{λ} + 2 {\hat{β}}_{λ}^{T} X_{(2)}^{T} X_{(2)} \frac{\partial}{\partial λ} {\hat{β}}_{λ}} \\ = - 2 y_{(2)}^{T} X_{(2)} \frac{\partial^{2}}{{\partial λ}^{2}} {\hat{β}}_{λ} + 2 {({\hat{β}}_{λ})}^{T} X_{(2)}^{T} X_{(2)} \frac{\partial^{2}}{{\partial λ}^{2}} {\hat{β}}_{λ} + 2 \frac{\partial}{\partial λ} {\hat{β}}_{λ}^{T} X_{(2)}^{T} X_{(2)}^{T} \frac{\partial}{\partial λ} {\hat{β}}_{λ} \\ = - 2 {{(y_{(2)} - X_{(2)} {\hat{β}}_{λ})}^{T} \frac{\partial^{2}}{{\partial λ}^{2}} {\hat{β}}_{λ} - ‖ X_{(2)} \frac{\partial}{\partial λ} {\hat{β}}_{λ} ‖_{2}^{2}} . \end{aligned}

$\begin{align*} \frac{\partial^2}{{\partial \lambda}^2} \|y_{(2)} - X_{(2)} \hat\beta_\lambda\|_2^2 & = \frac{\partial}{\partial \lambda} \left\{ -2 y_{(2)}^T X_{(2)} \dbeta + 2 \hat\beta_\lambda^T X_{(2)}^T X_{(2)} \dbeta \right\} \\ & = -2 y_{(2)}^T X_{(2)} \ddbeta + 2 \left( \hat\beta_\lambda \right)^T X_{(2)}^T X_{(2)} \ddbeta + 2 \dbeta^T X_{(2)}^T X_{(2)}^T \dbeta \\ & = -2 \left\{ \left( y_{(2)} - X_{(2)} \hat\beta_\lambda \right)^T \ddbeta - \|X_{(2)} \dbeta\|_2^2 \right\}. \end{align*}$ Vì là piecewise tuyến tính cho (vì là tập hợp hữu hạn của các nút trong đường dẫn giải pháp lasso), nên đạo hàm là hằng số piecewise và bằng 0 cho tất cả . Do đó, một hàm không âm của .

{\hat{β}}_{λ}

$\hat\beta_\lambda$

λ \notin K

$\lambda \not\in K$

K

$K$

\frac{\partial}{\partial λ} {\hat{β}}_{λ}

$\dbeta$

\frac{\partial^{2}}{{\partial λ}^{2}} {\hat{β}}_{λ}

$\ddbeta$

λ \notin K

$\lambda \not\in K$

\frac{\partial^{2}}{{\partial λ}^{2}} ‖ y_{(2)} - X_{(2)} {\hat{β}}_{λ} ‖_{2}^{2} = 2 ‖ X_{(2)} \frac{\partial}{\partial λ} {\hat{β}}_{λ} ‖_{2}^{2},

$\frac{\partial^2}{{\partial \lambda}^2} \|y_{(2)} - X_{(2)} \hat\beta_\lambda\|_2^2 = 2 \|X_{(2)} \dbeta\|_2^2,$

λ

$\lambda$

Phần kết luận

Nếu chúng ta giả sử thêm rằng được rút ra từ một số phân phối liên tục độc lập với , vectơ gần như chắc chắn cho . Do đó, hàm lỗi có đạo hàm thứ hai trên , gần như chắc chắn là rất tích cực. Tuy nhiên, biết rằng là liên tục, chúng tôi biết rằng lỗi xác thực là liên tục. $X_{(2)}$ $\{X_{(1)}, y_{(1)} \}$ $X_{(2)} \dbeta \neq 0$ $\lambda < \lambda_\max$ $e(\lambda)$ $\mathbb{R} \setminus K$ $\hat\beta_\lambda$ $e(\lambda)$

Cuối cùng, từ bộ đôi Lasso, chúng ta biết rằng giảm đơn điệu khi tăng. Nếu chúng ta có thể thiết lập rằng cũng là đơn điệu, thì độ lồi mạnh của theo sau. Tuy nhiên, điều này đúng với một số xác suất tiếp cận một nếu . (Tôi sẽ điền chi tiết vào đây sớm.) $\|X_{(1)} \hat\beta_\lambda\|_2^2$ $\lambda$ $\|X_{(2)} \hat\beta_\lambda\|_2^2$ $e(\lambda)$ $\mathcal{L} \left( X_{(1)} \right) = \mathcal{L} \left( X_{(2)} \right)$

— người dùng795305
nguồn

Bạn chỉ dựa vào là một hàm tuyến tính liên tục của để kết luận là lồi hoàn toàn. Hãy xem liệu suy luận đó có hợp lệ hay không. Một chức năng như vậy là(trong đó biểu thị làm tròn đến số nguyên gần nhất). Giả sử và , sao cho . Hàm lỗi này có vô số cực tiểu cục bộ. Nó không lồi - nó chỉ lồi ở mọi nơi trừ những điểm bị cô lập! Điều đó khiến tôi tin rằng bạn đang đưa ra những giả định không có căn cứ.

\hat{β}

$\hat\beta$

λ

$\lambda$

\hat{e}

$\hat e$

\hat{β} (λ) = | λ - [λ] |

$\hat\beta(\lambda)=|\lambda-[\lambda]|$

[]

$[]$

y_{(2)} = 0

$y_{(2)}=0$

X_{(2)} = 1

$X_{(2)}=1$

\hat{e} (λ) = \hat{β} (λ)^{2}

$\hat {e}(\lambda)=\hat\beta(\lambda)^2$

— whuber

@whuber Điểm tốt! Cảm ơn! Tôi sẽ chỉnh sửa bài viết này sớm hơn nữa.

— user795305