Xuất phát từ tiêu cực. Bị mắc kẹt

Vì vậy, câu hỏi này có phần liên quan nhưng tôi đã cố gắng hết sức để làm cho nó thẳng thắn nhất có thể.

Mục tiêu: Câu chuyện dài ngắn, có một nguồn gốc của tiêu cực không liên quan đến các tích lũy bậc cao hơn, và tôi đang cố gắng hiểu làm thế nào nó được bắt nguồn.

Bối cảnh: (Tôi hiểu tất cả điều này)

Tôi đang tự nghiên cứu cuốn sách 'Phân tích thành phần độc lập' , được tìm thấy ở đây. (Câu hỏi này nằm trong phần 5.6, trong trường hợp bạn có cuốn sách - 'Xấp xỉ Entropy theo các hàm không đa thức').

Chúng ta có , là một biến ngẫu nhiên, và chúng ta muốn ước lượng âm tính từ một số quan sát mà chúng ta có. PDF của được cho bởi . Negentropy đơn giản là sự khác biệt giữa entropy vi sai của biến ngẫu nhiên Gaussian được tiêu chuẩn hóa và entropy vi phân của . Entropy khác biệt ở đây được đưa ra bởi H , sao cho:$x$$x$$p_x(\zeta)$$x$$H$

$$H(x) = -\int_{-\infty}^{\infty} p_x(\zeta) \: log(p_x(\zeta)) \: d\zeta$$

và vì vậy, phủ định được đưa ra bởi

$$J(x) = H(v) - H(x)$$

Trong đó $v$ là một Gaussian chuẩn hóa, với PDF được cung cấp bởi $\phi(\zeta)$ .

Bây giờ, là một phần của phương pháp mới này, cuốn sách của tôi đã lấy được ước tính về PDF của $x$ , được đưa ra bởi:

$$p_x(\zeta) = \phi(\zeta) [1 + \sum_{i} c_i \; F^{i}(\zeta)]$$

(Nơi $c_i = \mathbb{E}\{F^i(x)\}$ . Bằng cách này, $i$ là không một quyền lực, nhưng một chỉ số thay).

Hiện tại, tôi 'chấp nhận' công thức PDF mới này và sẽ hỏi về nó vào một ngày khác. Đây không phải là vấn đề chính của tôi. Mặc dù vậy, những gì anh ta làm bây giờ là cắm phiên bản PDF của $x$ vào phương trình phủ định và kết thúc bằng:

$$J(x) \approx \frac{1}{2}\sum_i\mathbb{E} \{F^i(x)\}^2$$

Hãy nhớ rằng, sigma (ở đây và cho phần còn lại của bài viết), chỉ cần các vòng lặp xung quanh chỉ số . Ví dụ: nếu chúng ta chỉ có hai hàm, tín hiệu sẽ lặp cho và . Tất nhiên, tôi nên nói với bạn về những chức năng anh ấy đang sử dụng. Vì vậy, rõ ràng, các hàm được định nghĩa như sau:i = 2 i = 2 F $i$$i=2$$i=2$$F^i$

Các hàm không phải là các hàm đa thức trong trường hợp này. (Chúng tôi giả sử rằng rv có nghĩa là 0 và phương sai đơn vị). Bây giờ, chúng ta hãy thực hiện một số ràng buộc và đưa ra các thuộc tính của các hàm đó:$F^i$$x$

$$F^{n+1}(\zeta) = \zeta, \: \: c_{n+1} = 0$$

$$F^{n+2}(\zeta) = \zeta^2, \: \: c_{n+1} = 1$$

Để đơn giản hóa các phép tính, chúng ta hãy thực hiện một giả định khác, hoàn toàn là kỹ thuật: Các hàm , tạo thành một hệ thống trực giao, như sau:$F^i, i = 1, ... n$

$$\int \phi(\zeta) F^i(\zeta)F^j(\zeta)d\zeta= \begin{cases} 1, \quad \text{if } i = j \\ 0, \quad \text{if } i \neq j \end{cases}$$

và

$$\int \phi(\zeta)F^i(\zeta)\zeta^k d(\zeta) = 0, \quad \text{for } k = 0,1,2$$

Sắp đến rồi! OK, vì vậy tất cả đó là nền tảng, và bây giờ cho câu hỏi. Nhiệm vụ là sau đó, chỉ cần đặt tệp PDF mới này vào công thức entropy vi sai, . Nếu tôi hiểu điều này, tôi sẽ hiểu phần còn lại. Bây giờ, cuốn sách đưa ra đạo hàm, (và tôi đồng ý với nó), nhưng tôi bị mắc kẹt đến cuối cùng, bởi vì tôi không biết / xem nó đang bị hủy bỏ như thế nào. Ngoài ra, tôi không biết cách diễn giải ký hiệu nhỏ từ bản mở rộng Taylor.$H(x)$

Đây là kết quả:

Sử dụng mở rộng Taylor , với chúng tôi nhận được:H(x$(1+\epsilon)log(1+\epsilon) = \epsilon + \frac{\epsilon^2}{2} + o(\epsilon^2)$$H(x)$

$$H(x) = -\int \phi(\zeta) \; (1 + \sum c_i F^i(\zeta)) \; (log(1 + \sum c_i F^i(\zeta) + log(\zeta)) \; d(\zeta) \\ = -\int \phi(\zeta) log(\zeta) -\int \phi(\zeta) \sum c_i F^i(\zeta) log(\phi(\zeta)) -\int \phi(\zeta) \; [\sum c_i F^i(\zeta) + \frac{1}{2}(\sum c_i F^i(\zeta))^2 + o((\sum c_i F^i(\zeta))^2)]$$

và vì thế

Câu hỏi: (Tôi không hiểu điều này)

$$H(x) = H(v) - 0 - 0 -\frac{1}{2}\sum c_i^2 + o((\sum c_i)^2$$

Vì vậy, vấn đề của tôi: Ngoại trừ , tôi không hiểu làm thế nào anh ta có 4 thuật ngữ cuối cùng trong phương trình cuối cùng. (nghĩa là 0, 0 và 2 thuật ngữ cuối). Tôi hiểu mọi thứ trước đó. Anh ta nói rằng anh ta đã khai thác các mối quan hệ trực giao được đưa ra trong các thuộc tính ở trên, nhưng tôi không thấy thế nào. (Tôi cũng không hiểu ký hiệu o nhỏ ở đây, theo nghĩa là, nó được sử dụng như thế nào?)$H(v)$

CẢM ƠN!!!!

BIÊN TẬP:

Tôi đã đi trước và thêm những hình ảnh từ cuốn sách tôi đang đọc, nó nói khá nhiều những gì tôi đã nói ở trên, nhưng chỉ trong trường hợp ai đó cần bối cảnh bổ sung.

Và ở đây, được đánh dấu màu đỏ, là phần chính xác làm tôi bối rối. Làm thế nào anh ta sử dụng các thuộc tính trực giao để có được phần cuối cùng đó, nơi mọi thứ đang bị hủy bỏ, và các tổng kết cuối cùng liên quan đến , và tổng kết ký hiệu nhỏ?$c_i^2$

Đầu tiên, hãy nhớ rằng là hằng số (chúng là giá trị kỳ vọng, số!) Để chúng có thể được đưa ra ngoài các tích phân (nếu bạn không thể nhìn thấy nó, lưu ý rằng Nếu ký hiệu làm phiền bạn, chỉ cần thay đổi bằng trên ).$c_i$

$$c_i=\int p_0(\xi)G^i(\xi)d\xi.$$ $\xi$$\xi'$$c_i$

>> Để có được các điều khoản bằng không:

Hãy nhớ lại rằng . Theo đề xuất của @cardinal, bạn phải viết rõ ràng , bằng: Với điều này, bạn chỉ cần lưu ý rằng: trong đó Tôi đã bỏ các hằng số bên ngoài các tích phân.$\varphi(\xi)=\exp(-\xi^2/2)/\sqrt{2\pi}$$\log\varphi(\xi)$

$$\log\varphi(\xi)=-\xi^2/2-\log\sqrt{2\pi}.$$ $$c_i\int\varphi(\xi)G^i(\xi)\log \varphi(\xi)=-\frac{1}{2}c_i\int\varphi(\xi)G^i(\xi)\xi^2-\log\sqrt{2\pi}c_i\int\varphi(\xi)G^i(\xi),\ \ \ (1)$$

Từ đây, lưu ý rằng trong (5.39) có ghi rằng là với . Tích phân trên thuật ngữ đầu tiên ở bên phải của eq. là dạng này (với ) và tích phân trong thuật ngữ thứ hai cũng vậy, (với ). Bạn chỉ cần khai thác sự thật này trên các khoản tiền và bạn đã hoàn tất!$\int \varphi(\xi)F^i(\xi)\xi^k$$0$$k=0,1,2$$(1)$$k=2$$k=0$

>> Để có được điều khoản:$\sum c_i^2$

Lưu ý rằng tích phân cần thu được để có được các điều khoản này là: Chúng ta có thể sử dụng định lý đa cực để mở rộng tổng bình phương. Điều này mang lại cho chúng tôi: Tuy nhiên, từ (5.39) một lần nữa, lưu ý rằng tất cả các điều khoản trong tổng này bao gồm các tích phân cho mẫu bằng 0 đối với và một đối với . Điều này để lại cho chúng tôi kết quả

$$\int \varphi(\xi)\left(\sum_{i=1}^{n} c_iG^i(\xi)\right)^2d\xi.$$ $$\int \varphi(\xi)\sum_{k_1+k_2+...k_n=2} \frac{2!}{k_1! k_2!...k_n!}\prod_{1\leq t \leq n}(c_tG^t(\xi))^{k_t}d\xi.$$ $$\int \varphi(\xi)G^{i}(\xi)G^{j}(\xi)d\xi$$ $i\neq j$$i=j$ $$\int \varphi(\xi)\left(\sum c_iG^i(\xi)\right)^2d\xi=\sum c_i^2.$$

>> Thông tin về các ký hiệu$o(\text{whatever})$

Tôi nghĩ rằng điều này khá khó hiểu từ các tác giả, nhưng tôi nhớ rằng họ sử dụng nó chỉ để nói rằng có các điều khoản về trật tự mỗi khi họ đặt (nghĩa là giống như lớn -O ký hiệu). Tuy nhiên, như @Macro đã nhận xét về cùng một câu trả lời này, có một sự khác biệt giữa ký hiệu big-O và little-O. Có lẽ bạn nên tự kiểm tra và xem cái nào phù hợp với vấn đề trong bài viết Wikipedia này .$\text{whatever}$$o(\text{whatever})$

PS: Đây là một cuốn sách tuyệt vời. Các bài viết của các tác giả về chủ đề này cũng rất tốt và phải đọc nếu bạn đang cố gắng để hiểu và thực hiện ICA.