Các nghiên cứu có hệ thống về tổng các đa thức bậc hai bình phương

Tôi tự hỏi liệu có tồn tại các nghiên cứu có hệ thống về tổng các hình thức bậc hai bình phương, tương tự như các hình thức bậc hai, được phản ánh thực tế trong phân rã eigenvalue (có ý nghĩa thực tiễn rất lớn). Vài ví dụ liên quan đến tầm quan trọng của câu hỏi.

1. Phân tích thành phần chính (PCA) . Cho một tập hợp các điểm tìm tập hợp các trục u 1 , ... u m , được viết dưới dạng ma trận U ∈ R n x R m , và các hình chiếu ξ 1 , ... , ξ k , ξ ∘ ∈ R m giảm thiểu không giải thích sai, tức là giải quyết vấn đề tối ưu hóa quartic sau$x_i \in \mathbb{R^n}, i=1..k$$u_1$$u_m$$U \in \mathbb{R^n x R^m}$$\xi_1$$\xi_k, \xi_{\circ} \in \mathbb{R^m}$

   $\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( U^T \xi_i - x_i \right)^2$

   Bằng phép thuật đối xứng, nó có giải pháp bằng cách phân tách giá trị số ít

2. PCA tổng quát . Giống như PCA, nhưng bây giờ có một ma trận chính xác liên kết với mỗi x i có thể quan sát được . Vấn đề trở nên phức tạp hơn$A_i \in \mathbb{R^n x R^n}$$x_i$

   $\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( A_i U^T \xi_i - x_i \right)^2$

   (khi tất cả là ma trận danh tính, vấn đề này tương đương với PCA, khi A i = A j , ∀ i , j và đường chéo thì đó là PCA có trọng số). Vấn đề này cũng có thể được giải quyết trong thời gian đa thức thông qua lập trình bán xác định (SDP) - Vì giải pháp có dạng tổng bình phương, bởi NZ Shor (1987) là vấn đề lồi và luận án Parillo (2000) đưa ra một thực tế cách để tính toán nó thông qua SDP $A_i$$A_i = A_j, \forall i,j$$\square$

Trong phương pháp SDP, đa thức bậc bốn được viết dưới dạng tổng của đa thức bậc hai bình phương. Do đó, điều quan trọng là phải biết loại đa thức bậc bốn nào có thể được viết dưới dạng tổng của các dạng bậc hai bình phương (bằng cách tương tự với hàm biquadratic, chúng có thể được gọi là dạng biquadratic). Hầu hết các tài liệu, tôi đã gặp phải dừng tại điểm mà họ thấy mức tối thiểu của quartic đa thức được mã hóa vấn đề phân vùng và không có lý lẽ tại sao $p= \sum_k^n (x_k^2-1) + (a^T x)^2, a \in \mathbb{Z^n}$$p$ không thể được biểu diễn dưới dạng tổng bình phương của đa thức bậc hai, ngoài điều đó.

Tôi tự hỏi nếu có ai thực hiện các nghiên cứu có hệ thống về đa thức có thể biểu thị bằng tổng bình phương của đa thức bậc hai.

Theo hiểu biết tốt nhất của tôi, không có nghiên cứu như vậy; hơn nữa, không có một số tiến bộ không cần thiết trong công nghệ của các vấn đề tổng bình phương (SOS), hiện tại vẫn chưa rõ lợi ích trước mắt của một nghiên cứu như vậy là gì. (Tôi sẽ tập trung vào kết nối SOS vì theo như tôi biết, là cách tốt nhất để giải quyết các vấn đề khó khăn chung này.) Câu nói này nên được đưa ra trong một khía cạnh tích cực: Tôi tin rằng có rất nhiều nghiên cứu sâu xung quanh những vấn đề này. Tôi sẽ chứng minh yêu cầu của mình theo một số cách, hy vọng theo cách mọi người thấy hữu ích ..

Thứ nhất, đối với các vấn đề cơ bản nhất của loại bạn thảo luận, kết nối SVD mang lại khả năng giải quyết tốt hơn nhiều so với hộp đen SOS; cụ thể, cái sau xây dựng một SDP với các điều khoản , trong đó là tổng số biến trong bài toán tối ưu hóa nguồn (ví dụ: tổng số phần tử trong tất cả các ma trận chưa biết; nơi tôi có được những con số này, xem bài giảng 10 từ khóa học năm 2006 của Pablo Parrilo: http://ocw.mit.edu/cifts/electrical-engineering-and-computer-science/6-972- achebraic-techniques-and-semidefinite-optimization -spring-2006 / bài giảng-ghi chú / bài giảng_10.pdf ). Đây là một SDP mà bạn sẽ không bao giờ muốn giải quyết (thời gian chạy phụ thuộc vào là nnn6O(n1.5$\binom{n+2}{2}$$n$$n$$n^{6}$sử dụng bộ giải điểm bên trong?), đặc biệt khi so sánh với tốc độ vô lý của bộ giải SVD (sử dụng ký hiệu nhất quán, SVD sẽ giống như ; bạn có thể loại bỏ các tính toán của tôi bằng cách theo dõi số lượng cột, hàng và thứ hạng mục tiêu, nhưng đó là một thảm họa cho dù bạn có khắc phục sơ suất của tôi như thế nào). Theo hướng này, nếu bạn thiết kế một thuật toán chuyên dụng để giải quyết các vấn đề về SOS trong đó mức độ tối đa trong bất kỳ đa thức nào là hai: điều này thật tuyệt vời, và sau đó loại khảo sát bạn tìm kiếm sẽ có nhiều giá trị.$\mathcal O(n^{1.5})$

Thứ hai, vì công thức cơ bản của những vấn đề này nằm ngoài cửa sổ, người ta có thể tự hỏi liệu các biến thể nhất định của những vấn đề này có được xử lý tốt bởi người giải quyết SOS không. Như một ví dụ quan trọng, hãy xem xét vấn đề NMF (yếu tố ma trận không âm), trong đó ma trận chưa biết bạn đang tối ưu hóa (trong công thức trên của bạn) bây giờ phải có các mục không âm. Thật không may, nếu bạn sử dụng SDP tiêu chuẩn được sử dụng để giải quyết các vấn đề này (xem ví dụ ghi chú của Pablo Parrilo ở trên), không có cách nào để đưa ra các ràng buộc đó. (Và vì một số công thức của các vấn đề kết quả là NP-hard, giờ đây bạn sẽ xây dựng một sơ đồ gần đúng; nghĩa là, điều này có thể gây khó chịu.) Ngoài ra, có một công trình gần đây đã khai thác cấu trúc đa thức của vấn đề này để xây dựng một số bộ giải đảm bảo: xemhttp://arxiv.org/abs/1111.0952 bởi Arora, Ge, Kannan và Moitra. Họ xây dựng một vài thuật toán, tuy nhiên khi họ giải quyết vấn đề NMF "chính xác" (trong đó có một hệ số chính xác, nghĩa là một giá trị khách quan 0), họ không sử dụng bộ giải SOS: họ sử dụng bộ giải kiểm tra tính khả thi của "semi tập hợp cơ bắp ", một vấn đề tối ưu hóa khó khăn hơn nhiều cho phép các loại ràng buộc mà NMF đưa ra, nhưng bây giờ với thời gian chạy theo cấp số nhân.

Dù sao, để tóm tắt và đưa ra một số quan điểm hơn nữa; Vì SOS là người giải quyết duy nhất cho các vấn đề tứ phân mà bạn nói đến (nghĩa là tôi không nghĩ có một người giải quyết vấn đề chuyên môn), tôi đã thảo luận về cách những người giải quyết này có những giải pháp thay thế tốt hơn cho các loại vấn đề mà mọi người quan tâm. Để sử dụng hiệu quả các công cụ SOS ở đây, bạn sẽ phải xây dựng một số bộ giải tuyệt vời cho trường hợp tứ phân (đa thức bên trong có nhiều nhất là 2), hoặc bạn sẽ phải tìm cách nào đó để thêm các ràng buộc cho các vấn đề này. Mặt khác, kết nối với các vấn đề về SOS, trong khi hấp dẫn, không mang lại cho bạn nhiều.

Bạn cũng đề cập rằng bạn ngạc nhiên rằng tài liệu bạn đã tìm thấy không tạo ra kết nối này. Tôi nghĩ rằng điều đó chủ yếu là do tính mới của các bộ giải SOS thực tế (mặc dù việc xem xét trừu tượng các vấn đề về SOS đã lùi rất xa), và những gì tôi đã nói ở trên. Trên thực tế, khi tôi lần đầu tiên tìm thấy người giải quyết SOS, đó là qua các ghi chú và giấy tờ của Parrilo, và tôi cũng tự hỏi, "tại sao anh ta không nói về các vấn đề kiểu PCA"? Sau đó, tôi đã kiểm tra các sự kiện trên và nhăn mặt rất nhiều. Tôi nghĩ đó cũng là một dấu hiệu xấu mà bản thân Parrilo không có, như tôi có thể nói / đọc lướt, đã thảo luận về những vấn đề này ngoài tài liệu tham khảo mà bạn đề cập trong luận án của anh ấy (trong khi đó, anh ấy có các bài viết về các phần mở rộng khác nhau và tôi rất tôn trọng cho công việc của mình trong các lĩnh vực này: anh ta hẳn đã nghĩ về những vấn đề tứ phương cụ thể này nhiều lần ..http://arxiv.org/abs/1111.1498 ).