KKT trong một tóm tắt đồ họa

Mục tiêu

Xác nhận xem sự hiểu biết về KKT có chính xác hay không. Tìm kiếm để giải thích thêm và xác nhận về KKT.

Lý lịch

Cố gắng hiểu các điều kiện KKT, đặc biệt là điều kiện bổ sung, luôn bật ra màu xanh trong các bài viết SVM. Tôi không cần danh sách các công thức trừu tượng nhưng cần một lời giải thích cụ thể, trực quan và đồ họa.

Câu hỏi

Nếu P, tối thiểu hóa hàm chi phí f (X), nằm trong ràng buộc (g (P)> = 0), thì đó là giải pháp. Có vẻ như KKT không liên quan trong trường hợp này.

Có vẻ như KKT nói rằng nếu P không nằm trong giới hạn, thì giải pháp X sẽ thỏa mãn bên dưới trong hình. Là KKT tất cả về hoặc tôi bỏ lỡ các khía cạnh quan trọng khác?

Làm rõ khác

Có nên áp dụng f (x) cho KKT không?
Có nên áp dụng g (x) tuyến tính cho KKT không?
Có cần thiết trong λ * g (X) = 0 không? Tại sao g (X) = 0 hoặc g (Xi) = 0 là không đủ?

Người giới thiệu

Cập nhật 1

Cảm ơn câu trả lời nhưng vẫn đấu tranh để hiểu. Chỉ tập trung vào sự cần thiết ở đây:

Có phải điều kiện (2) trong câu trả lời của Matthew Gunn về điểm không tối ưu (trong vòng tròn màu xanh lá cây) và KKT sẽ không được thỏa mãn ở đó không? Và vấn đề sẽ được xác định bằng cách nhìn vào Hessian như trong câu trả lời của Mark L. Stone?

Tôi cho rằng một tình huống khác là điểm yên ngựa, nhưng áp dụng tương tự?

người dùng23658

svm optimization lagrange-multipliers

— Thứ hai
nguồn

Câu hỏi này có thể thu hút sự chú ý nhiều hơn trên trang web toán học; Điều kiện KKT không nhất thiết là "thống kê". Các nhà thống kê mượn những kết quả này và các kết quả khác từ phân tích số để giải quyết các vấn đề thống kê thú vị, nhưng đây là một câu hỏi toán học nhiều hơn.

— dùng23658

(1) Nếu các ràng buộc không ràng buộc, vấn đề tối ưu hóa với các ràng buộc có cùng một giải pháp như vấn đề tối ưu hóa mà không có các ràng buộc. (2) Không cần

lồi hay

cần tuyến tính đối với các điều kiện KKT là cần thiết ở mức tối ưu. (3) Bạn cần các điều kiện đặc biệt (ví dụ: vấn đề lồi trong đó điều kiện Slater giữ) cho các điều kiện KKT giữ để có đủ điều kiện tối ưu.

f

$f$

g

$g$

— Matthew Gunn

Ý tưởng cơ bản của tình trạng bổ sung kia tưởng đâu (tức là

nơi

là một hạn chế) là nếu các hạn chế là chùng (tức là

) tại tối ưu

, sau đó hình phạt

cho thắt chặt các hạn chế là 0. Và nếu có một hình phạt tích cực

cho thắt chặt các hạn chế, sau đó hạn chế phải được ràng buộc (tức là

λ g (x) = 0

$\lambda g(\mathbf{x}) = 0$

g (x) \leq 0

$g(\mathbf{x}) \leq 0$

g (x) < 0

$g(\mathbf{x}) < 0$

x

$\mathbf{x}$

λ

$\lambda$

λ

$\lambda$

g (x) = 0

$g(\mathbf{x}) = 0$ ). Nếu giao thông đang trôi chảy, phí cầu

cho một chiếc xe khác bằng không. Và nếu cầu thu phí

, thì cầu phải ở giới hạn công suất.

λ

$\lambda$

λ > 0

$\lambda > 0$

— Matthew Gunn

Định lý KKT cơ bản nói rằng nếu các điều kiện KKT không thỏa mãn tại điểm

, thì điểm

không tối ưu. Các điều kiện KKT là cần thiết cho tối ưu nhưng không đủ. (Ví dụ: nếu chức năng có điểm yên ngựa, cực tiểu cục bộ, v.v ... điều kiện KKT có thể được thỏa mãn nhưng điểm không tối ưu!) Đối với một số loại vấn đề nhất định (ví dụ: vấn đề lồi trong đó điều kiện của Slater), KKT điều kiện trở thành điều kiện đủ .

x

$\mathbf{x}$

x

$\mathbf{x}$

— Matthew Gunn

Câu trả lời:

Ý tưởng cơ bản của các điều kiện KKT như điều kiện cần thiết cho một tối ưu là nếu họ không giữ tại một điểm khả thi , sau đó có tồn tại một hướng rằng sẽ cải thiện mục tiêu mà không tăng (và do đó có thể vi phạm) những hạn chế. (Nếu điều kiện KKT không giữ ở thì không thể là tối ưu, do đó điều kiện KKT là cần thiết để một điểm là tối ưu.) $\mathbf{x}$ $\boldsymbol{\delta}$ $f$ $\mathbf{x}$ $\mathbf{x}$

Hãy tưởng tượng bạn có vấn đề tối ưu hóa:

\begin{array}{llr} minimize (over x) & f (x) \\ subject to & \forall_{j \in {1 \dots k}} g_{j} (x) \leq 0 \end{array}

$\begin{equation} \begin{array}{*2{>{\displaystyle}r}} \mbox{minimize (over $\mathbf{x}$)} & f(\mathbf{x}) \\ \mbox{subject to} & \forall_{j \in \{1\ldots k\}}\; g_j(\mathbf{x}) \leq 0 \end{array} \end{equation}$

Trong đó và có ràng buộc. $\mathbf{x} \in \mathbb{R}^n$ $k$

Điều kiện KKT và bổ đề Farkas

Hãy là một vector cột biểu thị gradient của đánh giá ở . $\nabla f(\mathbf{x})$ $f$ $\mathbf{x}$

Áp dụng cho tình huống này, Farkas Lemma tuyên bố rằng đối với bất kỳ điểm chính xác, một trong các câu sau đây đều được giữ: $\mathbf{x} \in \mathbb{R}^n$

Có tồn tại đến nỗi và $\boldsymbol{\lambda} \in \mathbb{R}^k$ $\sum_{j=1}^k \lambda_j \nabla g_j(\mathbf{x}) = -\nabla f(\mathbf{x})$ $\boldsymbol{\lambda} \geq \mathbf{0}$
Có tồn tại mà và $\boldsymbol{\delta} \in \mathbb{R}^n$ $\forall_j \boldsymbol{\delta}' g_j(\mathbf{x}) \leq 0$ $\boldsymbol{\delta}'\nabla f(\mathbf{x}) < 0$

Điều đó có nghĩa là gì? Điều đó có nghĩa là đối với bất kỳ điểm khả thi , một trong hai: $\mathbf{x}$

Điều kiện (1) giữ và các điều kiện KKT được thỏa mãn.
Điều kiện (2) nắm giữ và tồn tại một hướng khả thi để cải thiện hàm mục tiêu mà không làm tăng khó khăn . (ví dụ. bạn có thể cải thiện bằng cách di chuyển từ đến ) $\boldsymbol{\delta}$ $f$ $g_j$ $f$ $\mathbf{x}$ $\mathbf{x} + \epsilon \boldsymbol{\delta}$

Điều kiện (1) nói rằng tồn tại các bội số không âm sao cho các điều kiện KKT được thỏa mãn tại điểm . (Về mặt hình học, nó nói rằng nằm trong hình nón lồi được xác định bởi độ dốc của các ràng buộc.) $\boldsymbol{\lambda}$ $\mathbf{x}$ $- \nabla f$

Điều kiện (2) nói rằng tại điểm , tồn tại hướng để di chuyển (cục bộ) sao cho: $\mathbf{x}$ $\boldsymbol{\delta}$

Di chuyển theo hướng giảm hàm mục tiêu (vì chấm sản phẩm của và là nhỏ hơn không). $\boldsymbol{\delta}$ $\nabla f(\mathbf{x})$ $\boldsymbol{\delta}$
Di chuyển theo hướng không làm tăng giá trị của những hạn chế (vì chấm sản phẩm của và là nhỏ hơn hoặc bằng số không cho tất cả các trở ngại ). $\boldsymbol{\delta}$ $\nabla g_j(\mathbf{x})$ $\boldsymbol{\delta}$ $j$

(Hình học, có tính khả thi hướng định nghĩa một siêu phẳng tách giữa vector và lồi hình nón được xác định bởi các vectơ .) $\boldsymbol{\delta}$ $-\nabla f(\mathbf{x})$ $\nabla g_j(\mathbf{x})$

(Lưu ý: để lập bản đồ này vào Bổ đề Farkas , xác định ma trận ) $A = \begin{bmatrix} \nabla g_1, \nabla g_2, \ldots, \nabla g_k \end{bmatrix}$

Lập luận này cung cấp cho bạn sự cần thiết (nhưng không đủ) của các điều kiện KKT ở mức tối ưu. Nếu điều kiện KKT không được thỏa mãn (và trình độ ràng buộc được thỏa mãn), có thể cải thiện mục tiêu mà không vi phạm các ràng buộc.

Vai trò của trình độ ràng buộc

Cái mà có thể sai lầm? Bạn có thể nhận được các tình huống suy biến trong đó độ dốc của các ràng buộc không mô tả chính xác các hướng khả thi để di chuyển vào.

Có vô số trình độ ràng buộc khác nhau để lựa chọn sẽ cho phép đối số trên hoạt động.

Giải thích tối thiểu, tối đa (imho trực quan nhất)

Hình thành Lagrangian

L (x, λ) = f (x) + \sum_{j = 1}^{k} λ_{j} g_{j} (x)

$\mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) = f(\mathbf{x}) + \sum_{j=1}^k \lambda_jg_j(\mathbf{x})$

$f$ $g_j$ $\mathcal{L}$ $\lambda_i$

Giải pháp cho vấn đề tối ưu hóa ban đầu tương đương với:

min_{x} max_{λ} L (x, λ)

$\min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

Đó là:

$\mathbf{x}$ $\mathcal{L}$
$\boldsymbol{\lambda}$ $\mathbf{x}$

$g_2$ $\lambda_2$

Nhị nguyên

$f(x, y)$

\forall_{\hat{x}, \hat{y}} min_{x} f (x, \hat{y}) \leq f (\hat{x}, \hat{y}) \leq max_{y} f (\hat{x}, y)

$\forall_{\hat{x},\hat{y}} \quad \min_x f(x, \hat{y}) \leq f(\hat{x}, \hat{y}) \leq \max_y f(\hat{x}, y)$

$\hat{x}$ $\hat{y}$

max_{y} min_{x} f (x, y) \leq min_{x} max_{y} f (x, y)

$\max_y \min_x f(x, y) \leq \min_x \max_y f(x, y)$

$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) \leq \min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

Nhị nguyên mạnh mẽ

Trong một số điều kiện đặc biệt (ví dụ: vấn đề lồi trong đó điều kiện Slater giữ), bạn có tính đối ngẫu mạnh mẽ (tức là thuộc tính điểm yên ngựa).

max_{λ} min_{x} L (x, λ) = min_{x} max_{λ} L (x, λ)

$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) = \min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

Kết quả đẹp này ngụ ý bạn có thể đảo ngược thứ tự của vấn đề.

$\boldsymbol{\lambda}$
$\mathbf{x}$ $\mathcal{L}$

$\lambda$

— Matthew Gunn
nguồn

Đánh giá cao thông tin và các liên kết để lấp đầy khoảng trống của sự hiểu biết. Cho phép tôi xác nhận. Điều kiện (1) có nghĩa là KKT nói rằng điểm X là một giải pháp, nó cần thỏa mãn λ * g (X) = 0, λ> = 0 và độ dài của độ dốc của g (X) là λ lần của f (X), nếu không chúng ta sẽ tìm thấy độ dốc của hướng f (X) trong đó có thể tìm thấy f (X ') nhỏ hơn?

— mon

Điều kiện Slater là (chỉ) một trình độ ràng buộc có thể được áp dụng cho các vấn đề tối ưu hóa lồi, tức là làm cho KKT cần thiết. Lồi lõm làm cho KKT đủ. Vì vậy, điều kiện Slater cho vấn đề tối ưu hóa lồi trong đó hàm mục tiêu và các ràng buộc là lồi và liên tục khác biệt làm cho KKT cần thiết và đủ cho mức tối thiểu toàn cầu. Điều kiện Slater là có ít nhất một điểm khả thi (nghĩa là thỏa mãn tất cả các ràng buộc) nằm trong phần bên trong của tất cả các ràng buộc phi tuyến (bất cứ điều gì đi với các ràng buộc tuyến tính, miễn là khả thi).

— Mark L. Stone

f (x) là lồi là cần thiết để KKT đủ để x là tối thiểu cục bộ. Nếu f (x) hoặc -g (x) không lồi, x KKT thỏa mãn có thể là tối thiểu cục bộ, yên ngựa hoặc tối đa cục bộ.

g (x) là tuyến tính, cùng với f (x) liên tục khác biệt là đủ cho các điều kiện KKT là cần thiết cho tối thiểu cục bộ. g (x) là tuyến tính có nghĩa là tiêu chuẩn ràng buộc tuyến tính cho KKT là không cần thiết cho mức tối thiểu cục bộ được thỏa mãn. Tuy nhiên, có những bằng cấp ràng buộc ít hạn chế khác đủ cho các điều kiện KKT là cần thiết cho tối thiểu địa phương. Xem phần Điều kiện thường xuyên (hoặc trình độ ràng buộc) của https://en.wikipedia.org/wiki/Karush%E2%80%93Kuhn%E2%80%93Tucker_conditions .

Nếu mức tối thiểu cục bộ không có ràng buộc "hoạt động" (do đó, trong trường hợp chỉ có ràng buộc bất đẳng thức, ràng buộc đó không thỏa mãn với đẳng thức), thì số nhân Lagrange liên quan đến các ràng buộc đó phải bằng 0, trong trường hợp đó, KKT giảm xuống theo điều kiện độ dốc của mục tiêu = 0. Trong trường hợp như vậy, không có "chi phí" nào cho giá trị mục tiêu tối ưu của việc thắt chặt epsilon của ràng buộc.

Thông tin thêm :

Chức năng khách quan và các ràng buộc là lồi và liên tục khác biệt ngụ ý KKT là đủ cho tối thiểu toàn cầu.

Nếu hàm mục tiêu và các ràng buộc liên tục khác nhau và các ràng buộc thỏa mãn một tiêu chuẩn ràng buộc, KKT là cần thiết cho mức tối thiểu cục bộ.

Nếu hàm mục tiêu và các ràng buộc liên tục khác nhau, lồi và các ràng buộc thỏa mãn một tiêu chuẩn ràng buộc, KKT là cần thiết và đủ cho mức tối thiểu toàn cầu.

$Z$ $Z^T H Z$ $H$ là người Hessian của Lagrangian. Các ràng buộc tích cực bao gồm tất cả các ràng buộc bình đẳng cộng với tất cả các ràng buộc bất đẳng thức được thỏa mãn với đẳng thức tại điểm đang xem xét. Nếu không có ràng buộc nào được kích hoạt tại điểm KKT bậc 1 đang được xem xét, ma trận danh tính là cơ sở nullspace $Z$

— Đánh dấu đá
nguồn