Vấn đề tối ưu hóa bị ràng buộc trong Entropy ma trận

Tôi có một vấn đề tối ưu hóa bị ràng buộc trong entropy ma trận (Shannon) . Ma trận có thể được viết dưới dạng tổng của ma trận hạng 1 có dạng trong đó là một vectơ chuẩn hóa đã cho. Các hệ số của ma trận hạng một là những ẩn số mà chúng ta tối ưu hóa và chúng phải lớn hơn 0 và tổng bằng 1. $\mathtt{(sum(entr(eig(A))))}$ $A$ $[v_i\,v_i^T]$ $v_i$

Trong một cú pháp giống CVX, vấn đề diễn ra như sau: biến đã cho $\mathtt{c(n)}$

giảm thiểu S bạn m (e n t r (e Tôi g (Một)))

$\text{minimize} \qquad \mathtt{sum(entr(eig(A)))}$

\begin{aligned} tùy thuộc vào Một & = = Σ c_{Tôi} v_{Tôi} v_{Tôi}^{T} \\ Σ c_{Tôi} & = = 1 \\ c_{Tôi} & \geq 0 \end{aligned}

$\begin{align} \text{subject to} \qquad A &= \sum c_i v_i v_i^T\\ \sum c_i &= 1\\ c_i &\ge 0\end{align}$ .

Có ai có ý tưởng làm thế nào để giải quyết điều này một cách hiệu quả? Tôi đã biết có lẽ nó không thể được coi là một vấn đề lập trình bán xác định (SDP).

optimization entropy

— Dries
nguồn

Chỉnh sửa: Một đồng nghiệp đã thông báo cho tôi rằng phương pháp của tôi dưới đây là một ví dụ của phương pháp chung trong bài viết sau, khi chuyên về chức năng entropy,

Overton, Michael L. và Robert S. Womersley. "Các dẫn xuất thứ hai để tối ưu hóa giá trị riêng của ma trận đối xứng." Tạp chí SIAM về phân tích và ứng dụng ma trận 16.3 (1995): 697-718. http://ftp.cs.nyu.edu/cs/facemony/overton/ con / pdffiles / eeessess.pdf

Tổng quat

Trong bài viết này tôi chỉ ra rằng vấn đề tối ưu hóa được đặt ra và các ràng buộc bất bình đẳng không hoạt động tại giải pháp, sau đó tính toán các đạo hàm Frechet thứ nhất và thứ hai của hàm entropy, sau đó đề xuất phương pháp Newton về vấn đề hạn chế đẳng thức. Cuối cùng, mã Matlab và kết quả số được trình bày.

Sự tích cực của vấn đề tối ưu hóa

Đầu tiên, tổng các ma trận xác định dương là xác định dương, vì vậy với , tổng các ma trận hạng 1 là xác định dương. Nếu tập hợp là thứ hạng đầy đủ, thì giá trị riêng của là dương, do đó logarit của giá trị riêng có thể được lấy. Do đó, hàm mục tiêu được xác định rõ về phần bên trong của tập hợp khả thi. $c_i > 0$

Một (c) : = Σ_{Tôi = = 1}^{N} c_{Tôi} v_{Tôi} v_{Tôi}^{T}

$A(c):=\sum_{i=1}^N c_i v_i v_i^T$

v_{i}

$v_i$

A

$A$

Thứ hai, vì bất kỳ , mất thứ hạng nên giá trị riêng nhỏ nhất của về 0. Tức là, là . Kể từ khi dẫn xuất của thổi lên như , người ta không thể có một chuỗi các liền ngày càng tốt hơn các điểm tiếp cận ranh giới của tập khả thi. Do đó, vấn đề được xác định rõ và hơn nữa là các ràng buộc bất bình đẳng $c_i \rightarrow 0$ $A$ $A$ $\sigma_{min}(A(c)) \rightarrow 0$ $c_i \rightarrow 0$ $-\sigma \log(\sigma)$ $\sigma \rightarrow 0$ không hoạt động. $c_i \ge 0$

Dẫn xuất Frechet của hàm entropy

Trong phần bên trong của khu vực khả thi, hàm entropy có thể phân biệt Frechet ở mọi nơi và hai lần Frechet phân biệt ở bất cứ nơi nào giá trị riêng không được lặp lại. Để thực hiện phương pháp của Newton, chúng ta cần tính toán các đạo hàm của entropy ma trận, phụ thuộc vào giá trị riêng của ma trận. Điều này đòi hỏi sự nhạy cảm tính toán của sự phân rã giá trị riêng của một ma trận đối với các thay đổi trong ma trận.

Nhớ lại rằng đối với một ma trận với eigenvalue phân hủy , đạo hàm của eigenvalue ma trận đối với những thay đổi trong ma trận ban đầu với là, và đạo hàm của Ma trận eigenvector là, trong đó là sản phẩm Hadamard , với ma trận hệ số $A$ $A = U \Lambda U^T$

d Λ = I \circ (U^{T} d A U),

$d\Lambda = I \circ (U^T dA U),$

d U = U C (d A),

$dU = UC(dA),$

\circ

$\circ$

C = {\begin{cases} \frac{u_{i}^{T} d A u_{j}}{λ_{j} - λ_{i}}, & i = j \\ 0, & i = j \end{cases}

$C = \begin{cases} \frac{u_i^T dA u_j}{\lambda_j - \lambda_i}, & i=j \\ 0, &i=j \end{cases}$

$AU=\Lambda U$ $d\Lambda$

\begin{aligned} d^{2} Λ & = = d (Tôi \circ ({Bạn}^{T} d {Một}_{1} Bạn)) \\ = = Tôi \circ (d {Bạn}_{2}^{T} d {Một}_{1} Bạn + {Bạn}^{T} d {Một}_{1} d {Bạn}_{2}) \\ = = 2 Tôi \circ (d {Bạn}_{2}^{T} d {Một}_{1} Bạn) . \end{aligned}

$\begin{align} d^2 \Lambda &= d(I \circ (U^T dA_1U)) \\ &= I \circ (dU_2^T dA_1 U + U^T dA_1 dU_2) \\ &= 2 I \circ (dU_2^T dA_1 U). \end{align}$

$d^2 \Lambda$ $dU_2$ $C$ $v_i$

Loại bỏ các ràng buộc bình đẳng

$\sum_{i=1}^N c_i = 1$ $N-1$

c_{N} = = 1 - Σ_{Tôi = = 1}^{N - 1} c_{Tôi} .

$c_N = 1-\sum_{i=1}^{N-1} c_i.$

$N-1$

d f = = d C_{1}^{T} M^{T} [Tôi \circ (V^{T} Bạn B {Bạn}^{T} V)]

$df = dC_1^T M^T [I \circ (V^T U B U^T V)]$

d d f = = d C_{1}^{T} M^{T} [Tôi \circ (V^{T} [2 d {Bạn}_{2} B_{một} {Bạn}^{T} + Bạn B_{b} {Bạn}^{T}] V)],

$ddf = dC_1^T M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)],$

M = = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ - 1 & - 1 & Giáo dục & - 1 \end{matrix}],

$M = \begin{bmatrix} 1 & \\ & 1 & \\ &&\ddots& \\ &&&1\\ -1 & -1 & \dots & -1 \end{bmatrix},$

B_{một} = = d Tôi một g (1 + đăng nhập λ_{1}, 1 + đăng nhập λ_{2}, Giáo dục, 1 + đăng nhập λ_{N}),

$B_a = \mathrm{diag}(1+\log \lambda_1, 1 + \log \lambda_2, \ldots, 1 + \log \lambda_N),$

B_{b} = = d Tôi một g (\frac{d_{2} λ_{1}}{λ_{1}}, Giáo dục, \frac{d_{2} λ_{N}}{λ_{N}}) .

$B_b = \mathrm{diag}(\frac{d_2\lambda_1}{\lambda_1},\ldots,\frac{d_2\lambda_N}{\lambda_N}).$

Phương pháp của Newton sau khi loại bỏ các ràng buộc

Do các ràng buộc bất bình đẳng là không hoạt động, chúng tôi chỉ cần bắt đầu trong tập hợp khả thi và chạy vùng tin cậy hoặc tìm kiếm dòng không chính xác newton-CG để hội tụ bậc hai đến cực đại bên trong.

Phương pháp như sau, (không bao gồm chi tiết tìm kiếm vùng tin cậy / dòng)

$\tilde{c} = [1/N,1/N,\ldots,1/N]$
$c = [\tilde{c},1 - \sum_{i=1}^{N-1} c_i]$
$A = \sum_i c_i v_i v_i^T$
$U$ $\Lambda$ $A$
$G = M^T [I \circ (V^T U B U^T V)]$
$H G = p$ $p$ $H$ $H$ $\delta \tilde{c}$ $dU_2$ $B_a$ $B_b$ $M^{T} [Tôi \circ (V^{T} [2 d {Bạn}_{2} B_{một} {Bạn}^{T} + Bạn B_{b} {Bạn}^{T}] V)]$ $M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)]$
$\tilde{c} \leftarrow \tilde{c} - p$
Đi 2.

Các kết quả

$v_i$ $N=100$ $v_i$

>> N = 100;
>> V = randn (N, N);
>> với k = 1: NV (:, k) = V (:, k) / Norm (V (:, k)); kết thúc
>> maxEntropyMatrix (V);
Lặp lại Newton = 1, định mức (grad f) = 0.67748
Lặp lại Newton = 2, định mức (grad f) = 0,03644
Lặp lại Newton = 3, định mức (grad f) = 0,0012167
Lặp lại Newton = 4, định mức (grad f) = 1.3239e-06
Lặp lại Newton = 5, định mức (grad f) = 7.7114e-13

Để thấy rằng điểm tối ưu được tính toán trên thực tế là mức tối đa, đây là biểu đồ về cách entropy thay đổi khi điểm tối ưu bị nhiễu ngẫu nhiên. Tất cả các nhiễu loạn làm cho entropy giảm. nhập mô tả hình ảnh ở đây

Mã Matlab

Hàm all in 1 để giảm thiểu entropy (mới được thêm vào bài đăng này): https://github.com/NickAlger/various_scripts/blob/master/maxEntropyMatrix.m

— Nick Alger
nguồn

Cảm ơn rât nhiều! Tôi đã giải quyết nó một cách đơn giản với độ dốc xác nhận bản thân, nhưng điều này có lẽ đáng tin cậy hơn. Việc v phải có thứ hạng đầy đủ trong tệp matlab là điều duy nhất làm phiền tôi.

— Dries

@NickAlger Liên kết được cung cấp không hoạt động, tôi có thể yêu cầu bạn xem không?

— Người tạo

@Creator cập nhật liên kết trong bài! github.com/NickAlger/various_scripts/blob/master/ từ

— Nick Alger

@NickAlger Có ràng buộc về ma trận mà thuật toán có thể hoạt động không? Là thuật toán này tốt cho ma trận với các yếu tố phức tạp? Trong trường hợp của tôi, SVD thất bại sau một thời gian vì ma trận có Nan.

— Người tạo

Tôi không nghĩ số phức nên là một vấn đề. Một hạn chế của phương pháp là giải pháp tối ưu không thể có các giá trị riêng lặp đi lặp lại, mà tôi đoán là những gì đang xảy ra ở đây. Trong trường hợp này, phương thức hội tụ đến một cái gì đó được chia cho số 0 trong phương trình C. Bạn có thể thử ngẫu nhiên gây nhiễu các đầu vào một chút và xem điều đó có giúp ích gì không. Có một cách để khắc phục điều này trong bài báo Overton được tham chiếu ở trên, nhưng mã của tôi không phải là nâng cao.

— Nick Alger