Làm thế nào để sự tương tự cosine thay đổi sau khi chuyển đổi tuyến tính?

9

Có một mối quan hệ toán học giữa:

độ tương tự cosine của hai vectơ và , và $\operatorname{sim}(A, B)$ $A$ $B$
độ tương tự cosin của và , được chia tỷ lệ không đồng nhất thông qua một ma trận cho trước ? Ở đây là một ma trận đường chéo cho trước với các phần tử không bằng nhau trên đường chéo. $\operatorname{sim}(MA, MB)$ $A$ $B$ $M$ $M$

Tôi đã cố gắng vượt qua các tính toán, nhưng không thể đạt được một liên kết (biểu thức) đơn giản / thú vị. Tôi tự hỏi nếu có một.

Ví dụ, các góc không được bảo toàn trong tỷ lệ không đồng nhất, nhưng mối quan hệ giữa các góc ban đầu và các góc sau khi chia tỷ lệ không đồng đều là gì? Có thể nói gì về liên kết giữa một tập các vectơ S1 và một tập các vectơ S2 khác - trong đó S2 thu được bằng cách chia tỷ lệ S1 không đồng đều?

linear-algebra cosine-similarity

— turdus-merula
nguồn

@whuber, cảm ơn bạn! Có, M là một ma trận đã cho (một ma trận chia tỷ lệ - do đó là ma trận đường chéo, không có hạn chế nào khác). Theo một nghĩa nào đó, tôi muốn biết điều gì xảy ra (về độ tương tự cosin cho bất kỳ cặp vectơ nào) với một không gian vectơ chịu tỷ lệ phi tuyến tính.

— turdus-merula

2

Có thể đáng lưu ý rằng nếu tất cả các yếu tố tỷ lệ là không âm (như người ta thường nghĩ), thì tất cả các ma trận xác định dương đối xứng có thể được coi là ma trận "chia tỷ lệ". Mối quan hệ bạn tìm kiếm được sử dụng rộng rãi, liên alia , trong nghiên cứu và mô tả biến dạng trong các phép chiếu bản đồ. Ở đó, các trung tâm quan tâm ở các góc tối đa và tối thiểu trên bề mặt trái đất sẽ được liên kết với hai hướng vuông góc trên bản đồ. Có một mối quan hệ trực tiếp giữa các góc độ này và tỷ lệ của hai yếu tố tỷ lệ.

— whuber

8

Bởi vì khá chung chung và sự thay đổi độ tương tự cosine phụ thuộc vào và cụ thể và mối quan hệ của chúng với , không có công thức xác định nào có thể. Tuy nhiên, thực tế có những giới hạn tính toán đối với mức độ tương tự cosin có thể thay đổi . Chúng có thể được tìm thấy bằng cách extremizing góc giữa và cho rằng sự giống nhau cosin giữa và là một giá trị nhất định, nói (trong đó là góc giữa và $M$ $A$ $B$ $M$ $MA$ $MB$ $A$ $B$ $\cos(2\phi)$ $2\phi$ $A$ ). Câu trả lời cho chúng ta biết bao nhiêu bất kỳ góc có thể có thể uốn cong bởi sự chuyển đổi . $B$ $2\phi$ $M$

Các tính toán đe dọa sẽ lộn xộn. Một số lựa chọn thông minh của ký hiệu, cùng với một số đơn giản hóa sơ bộ, làm giảm nỗ lực. Nó chỉ ra rằng giải pháp trong hai chiều tiết lộ tất cả mọi thứ chúng ta cần biết. Đây là một vấn đề dễ xử lý, chỉ phụ thuộc vào một biến thực , đó là dễ dàng giải quyết bằng các kỹ thuật Calculus. Một đối số hình học đơn giản mở rộng giải pháp này cho bất kỳ số lượng kích thước . $\theta$ $n$

Sơ khảo toán học

Theo định nghĩa, cosin của góc giữa hai vectơ và bất kỳ có được bằng cách chuẩn hóa chúng theo đơn vị chiều dài và lấy sản phẩm của chúng. Như vậy $A$ $B$

\frac{A^{'} B}{\sqrt{(A^{'} A) (B^{'} B)}} = \cos (2 ϕ)

$\frac{A^\prime B}{\sqrt{(A^\prime A)\, (B^\prime B)}} = \cos(2\phi)$

và, viết , cosin của góc giữa những hình ảnh của và dưới sự chuyển đổi là $\Sigma = M^\prime M$ $A$ $B$ $M$

\begin{matrix} (1) & \frac{(M A)^{'} (M B)}{\sqrt{((M A)^{'} (M A)) ((M B)^{'} (M B))}} = \frac{A^{'} Σ B}{\sqrt{(A^{'} Σ A) (B^{'} Σ B)}} . \end{matrix}

$\frac{(MA)^\prime (MB)}{\sqrt{((MA)^\prime (MA))\, ((MB)^\prime (MB))}} = \frac{A^\prime \Sigma B}{\sqrt{(A^\prime \Sigma A) (B^\prime \Sigma B)}}.\tag{1}$

Lưu ý rằng chỉ có vấn đề trong phân tích, $\Sigma$ không phải bản thân Do đó, chúng tôi có thể khai thác Phân tích giá trị số đơn (SVD) của để đơn giản hóa vấn đề. Nhớ lại rằng điều này thể hiện như một sản phẩm (từ phải sang trái) của một ma trận trực giao , một ma trận đường chéo , và một ma trận trực giao : $M$ $M$ $M$ $V^\prime$ $D$ $U$

M = U D V^{'} .

$M = U\,D\,V^\prime.$

Nói cách khác, có một cơ sở vector đặc quyền (các cột của ) mà hoạt động bằng cách rescaling mỗi riêng của entry đường chéo của (mà tôi sẽ gọi ) và sau đó áp dụng một phép quay (hoặc chống xoay) cho kết quả. Đó xoay cuối cùng sẽ không thay đổi bất kỳ độ dài hoặc góc và do đó không ảnh hưởng đến . Bạn có thể thấy điều này chính thức với tính toán $e_1, \ldots, e_n$ $V$ $M$ $e_i$ $i^\text{th}$ $D$ $d_i$ $U$ $\Sigma$

Σ = M^{'} M = (U D V^{'})^{'} (U D V^{'}) = V D (U^{'} U) D V^{'} = V D^{2} V^{'} .

$\Sigma = M^\prime M = (U D V^\prime)^\prime (U D V^\prime) = V D (U^\prime U) D V^\prime = V D^2 V^\prime.$

Do đó, để nghiên cứu chúng tôi có thể tự do thay thế bởi bất kỳ ma trận khác mà tạo ra các giá trị như nhau trong . Bằng cách đặt hàng để giảm kích thước (và giả sử không bằng 0), một lựa chọn tốt của là $\Sigma$ $M$ $(1)$ $e_i$ $d_i$ $M$ $M$

M = \frac{1}{d_{1}} D V^{'} .

$M = \frac{1}{{d_1}} D V^\prime.$

Các phần tử đường chéo của là $(1/{d_1})D$

1 = d_{1} / d_{1} \geq λ_{2} = d_{2} / d_{1} \geq λ_{3} = d_{3} / d_{1} \geq \dots \geq λ_{n} = d_{n} / d_{1} \geq 0.

$1 = d_1/d_1 \ge \lambda_2 = d_2/{d_1} \ge \lambda_3 = d_3/{d_1} \ge \cdots \ge \lambda_n = d_n/{d_1} \ge 0.$

Cụ thể, ảnh hưởng của (dù ở dạng ban đầu hay thay đổi) trên tất cả các góc hoàn toàn được xác định bởi thực tế là $M$

M e_{i} = λ_{i} e_{i} .

$M e_i = \lambda_i e_i.$

Phân tích một trường hợp đặc biệt

Đặt . Vì việc thay đổi độ dài của vectơ không thay đổi góc giữa chúng, chúng ta có thể giả sử và là vectơ đơn vị. Trong mặt phẳng, tất cả các vectơ như vậy có thể được chỉ định bởi góc chúng tạo với , cho phép chúng ta viết $n=2$ $A$ $B$ $e_1$

A = \cos (θ - ϕ) e_{1} + \sin (θ - ϕ) e_{2} .

$A = \cos(\theta-\phi)e_1 + \sin(\theta-\phi)e_2.$

vì thế

B = \cos (θ + ϕ) e_{1} + \sin (θ + ϕ) e_{2} .

$B = \cos(\theta+\phi)e_1 + \sin(\theta+\phi)e_2.$

(Xem hình bên dưới.)

Áp dụng rất đơn giản: nó sửa tọa độ đầu tiên của và và nhân tọa độ thứ hai của chúng với . Do đó góc từ đến là $M$ $A$ $B$ $\lambda_2$ $MA$ $MB$

f (θ) = \arctan (λ_{2} \tan (θ + ϕ)) - \arctan (λ_{2} \tan (θ - ϕ)) .

$f(\theta) = \arctan(\lambda_2 \tan(\theta+\phi)) - \arctan(\lambda_2 \tan(\theta-\phi)).$

Vì là một hàm liên tục, sự khác biệt này của góc là một hàm liên tục của . Trong thực tế, nó là khác biệt. Điều này cho phép chúng tôi để tìm các góc cực đoan bằng cách kiểm tra các zeros của đạo hàm . Đạo hàm đó rất đơn giản để tính toán: đó là tỷ lệ của các hàm lượng giác. Các số 0 chỉ có thể xảy ra trong số các số 0 của tử số của nó, vì vậy chúng ta đừng bận tâm đến việc tính mẫu số. Chúng tôi đạt được $M$ $\theta$ $f^\prime(\theta)$

f^{'} (θ) = \frac{λ_{2} (1 - λ_{2}) (λ_{2} + 1) \sin (2 θ) \sin (2 ϕ)}{*} .

$f^\prime(\theta) = \frac{\lambda_2(1-\lambda_2)(\lambda_2+1)\sin(2\theta)\sin(2\phi)}{*}.$

Những trường hợp đặc biệt của , , và có thể dễ dàng hiểu: chúng tương ứng với các tình huống mà là giảm thứ hạng (và do đó squashes tất cả các vectơ lên một dòng); Trong đó là bội số của ma trận danh tính; và ở đâu và song song với nhau (từ đâu góc giữa họ không thể thay đổi, không phụ thuộc ). Trường hợp được loại trừ bởi điều kiện . $\lambda_2=0$ $\lambda_2=1$ $\phi=0$ $M$ $M$ $A$ $B$ $\theta$ $\lambda_2=-1$ $\lambda_2 \ge 0$

Ngoài những trường hợp đặc biệt, các số không chỉ xảy ra ở đâu : có nghĩa là, hoặc . Điều này có nghĩa rằng dòng xác định bởi chia đôi góc . Bây giờ chúng ta biết rằng các giá trị cực đoan của góc giữa và phải nằm trong số các giá trị của , vì vậy chúng ta hãy tính toán họ: $\sin(2\theta)=0$ $\theta=0$ $\theta=\pi/2$ $e_1$ $AB$ $MA$ $MB$ $f(\theta)$

\begin{aligned} f (0) & = \arctan (λ_{2} \tan (ϕ)) - \arctan (λ_{2} \tan (- ϕ)) = 2 \arctan (λ_{2} \tan (ϕ)); \\ f (π / 2) & = \arctan (λ_{2} \tan (π / 2 + ϕ)) - \arctan (λ_{2} \tan (π / 2 - ϕ)) = 2 \arctan (λ_{2} \cot (- ϕ)) . \end{aligned}

$\eqalign{ f(0) &= \arctan(\lambda_2 \tan(\phi)) - \arctan(\lambda_2 \tan(-\phi)) = 2\arctan(\lambda_2\tan(\phi)); \\ f(\pi/2) &= \arctan(\lambda_2 \tan(\pi/2+\phi)) - \arctan(\lambda_2 \tan(\pi/2-\phi)) = 2\arctan(\lambda_2\cot(-\phi)). }$

Các cosin tương ứng là

\begin{matrix} (2) & \cos (f (0)) = \frac{1 - λ_{2}^{2} \tan (ϕ)^{2}}{1 + λ_{2}^{2} \tan (ϕ)^{2}} \end{matrix}

$\cos(f(0)) = \frac{1 - \lambda_2^2 \tan(\phi)^2}{1 + \lambda_2^2 \tan(\phi)^2}\tag{2}$

và

\begin{matrix} (3) & \cos (f (π / 2)) = \frac{1 - λ_{2}^{2} \cot (ϕ)^{2}}{1 + λ_{2}^{2} \cot (ϕ)^{2}} = \frac{\tan (ϕ)^{2} - λ_{2}^{2}}{\tan (ϕ)^{2} + λ_{2}^{2}} . \end{matrix}

$\cos(f(\pi/2)) = \frac{1 - \lambda_2^2 \cot(\phi)^2}{1 + \lambda_2^2 \cot(\phi)^2} = \frac{\tan(\phi)^2 - \lambda_2^2 }{\tan(\phi)^2 + \lambda_2^2}.\tag{3}$

Thông thường nó đủ để hiểu làm thế nào làm biến dạng các góc vuông. Trong trường hợp này, , dẫn đến , mà bạn có thể cắm vào các công thức trước. $M$ $2\phi=\pi/2$ $\tan(\phi) = \cot(\phi) = 1$

Lưu ý rằng nhỏ hơn trở thành, cực đoan hơn những góc trở thành và lớn hơn là sự biến dạng. $\lambda_2$

Hình này cho thấy bốn cấu hình của vectơ và cách nhau một góc . Vòng tròn đơn vị và hình ảnh của mình theo hình elip được tô để tham khảo (với hành động của thống nhất thay đổi tỷ lệ làm ). Các tiêu đề con số chỉ ra giá trị của , trung điểm của và . Gần nhất bất kỳ ví dụ và có thể đến khi biến đổi bởi là một cấu hình như một ở bên trái với $A$ $B$ $2\phi = \pi/3$ $M$ $M$ $\lambda_1=1$ $\theta$ $A$ $B$ $A$ $B$ $M$ . Xa nhất ngoài họ có thể là một cấu hình như một ở bên phải với . Hai khả năng trung gian được hiển thị. $\theta=0$ $\theta=\pi/2$

Giải pháp cho mọi chiều

Chúng ta đã thấy hoạt động như thế nào bằng cách mở rộng mỗi chiều theo một yếu tố . Điều này sẽ làm biến dạng hình cầu đơn vị $M$ $i$ $\lambda_i$ vào một ellipsoid. Các xác định các trục chính của nó. Các là khoảng cách từ nguồn gốc, dọc theo những trục, với ellipsoid. Do đó,khoảng cáchnhỏ nhất, , làkhoảng cách ngắn nhất(theo bất kỳ hướng nào) từ gốc đến ellipsoid và lớn nhất, , làkhoảng cách xa nhất(theo bất kỳ hướng nào) từ gốc đến elip. $\{A\,|\, A^\prime A = 1\}$ $e_i$ $\lambda_i$ $\lambda_n$ $\lambda_1$

Ở kích thước cao hơn , và là một phần của không gian con hai chiều. maps vòng tròn đơn vị trong không gian con này vào giao điểm của ellipsoid với một mặt phẳng chứa và . Giao điểm này, là một biến dạng tuyến tính của một vòng tròn, là một hình elip. Rõ ràng là khoảng cách xa nhất để hình elip này là không quá và khoảng cách ngắn nhất là không ít hơn . $n\gt 2$ $A$ $B$ $M$ $MA$ $MB$ $\lambda_1=1$ $\lambda_n$

Như chúng ta đã quan sát ở cuối phần trước, khả năng cực đoan nhất là khi và nằm trong một mặt phẳng chứa hai trong số mà tỷ lệ của tương ứng càng nhỏ càng tốt. Điều này sẽ xảy ra trong mặt phẳng . Chúng tôi đã có giải pháp cho trường hợp đó. $A$ $B$ $e_i$ $\lambda_i$ $e_1, e_n$

Kết luận

Các cực trị của độ tương tự cosin có thể đạt được bằng cách áp dụng cho hai vectơ có độ tương tự cosine được cho bởi và . Họ đang đạt được bằng cách situating và ở góc độ tương đương với một hướng đi trong đó tối đa kéo dài bất kỳ vector (như hướng) và tách chúng theo một hướng, trong đó tối thiểu kéo dài bất kỳ vector (chẳng hạn như hướng ). $M$ $\cos(2\phi)$ $(2)$ $(3)$ $A$ $B$ $\Sigma=M^\prime M$ $e_1$ $\Sigma$ $e_n$

Những thái cực có thể được tính trong điều khoản của SVD của . $M$

— whuber
nguồn

Đây là một câu trả lời tuyệt vời! Cảm ơn bạn rất nhiều cho cuộc thảo luận chi tiết này! Tôi tin rằng bạn có một dấu hiệu sai trong eqn (3) trong đó bạn chỉ nên có một dấu trừ tổng thể.

— LFH

Tôi quan tâm đến trường hợp góc

tiếp cận zero và tôi muốn để có được một sự bất bình đẳng giữa

và

. Là nó đúng là dựa trên tính toán của bạn, tôi chỉ cần tìm ra khắc nghiệt nhất (có nghĩa là nhỏ nhất)

và trong trường hợp này, sự bất bình đẳng tiệm cận được đưa ra bởi

là

?

2 ϕ

$2\phi$

2 ϕ

$2\phi$

f

$f$

λ_{n}

$\lambda_n$

2 λ_{n} ϕ \leq f \leq 2 λ_{n}^{- 1} ϕ

$2\lambda_n\phi\leq f\leq 2\lambda_n^{-1}\phi$

ϕ \to 0

$\phi\to0$

— LFH

6

Bạn có thể quan tâm đến:

(M A, M B) = A^{T} (M^{T} M) B,

$(MA,MB)=A^T(M^TM)B,$

Bạn có thể cắt chéo (hoặc như bạn gọi nó là PCA), cho bạn biết rằng sự giống nhau của theo phép biến đổi hành xử bằng cách chiếu lên các thành phần chính của bạn và sau đó tính toán độ tương tự trong không gian mới này. Để giải quyết vấn đề này nhiều hơn một chút, hãy để các thành phần chính là với giá trị riêng . Sau đó $M^TM=U\Sigma U^T$ $A,B$ $M$ $A,B$ $u_i$ $\lambda_i$

U B = \sum_{i} (u_{i}, b_{i}) u_{i}, U A = \sum_{i} (u_{i}, a_{i}) u_{i},

$UB=\sum_i(u_i,b_i)u_i, \ UA=\sum_i(u_i,a_i)u_i,$

cung cấp cho bạn:

(M A, M B) = \sum_{i = 1}^{n} (u_{i}, a_{i}) (u_{i}, b_{i}) λ_{i} .

$(MA,MB)=\sum_{i=1}^n (u_i,a_i)(u_i,b_i)\lambda_i.$

Lưu ý rằng có một tỷ lệ đang diễn ra ở đây: đang kéo dài / co lại. Khi là các vectơ đơn vị và nếu mỗi , thì tương ứng với một phép quay và bạn nhận được: , tương đương với việc nói rằng các sản phẩm bên trong là bất biến dưới các phép quay. Nói chung, góc vẫn giữ nguyên khi là một phép biến đổi phù hợp, trong trường hợp này yêu cầu $\lambda_i$ $A,B$ $\lambda_i=1$ $M$ $\mbox{sim}(MA,MB)=\mbox{sim}(A,B)$ $M$ $M$ là khả nghịch và quá trình phân hủy cực của thoả mãn với , tức là . $M$ $M=OP$ $P=aI$ $M^TM=a^2I$

— Alex R.
nguồn

1

Tuyên bố ban đầu của bạn về vấn đề bỏ qua việc chuẩn hóa các vectơ

,

và

cần thiết để tính độ tương tự cosin. Dường như phân tích tiếp theo cũng không đề cập đến sự chuẩn hóa này. Đặc biệt lưu ý rằng các điểm tương đồng cosin được bảo toàn ngay cả khi tất cả các giá trị riêng bằng với một số giá trị (dương) khác với

. Điều đó chứng tỏ, ngay cả trong trường hợp đơn giản này, có thể nói nhiều hơn nữa.

A

$A$

B

$B$

M A

$MA$

M B

$MB$

1

$1$

— whuber

@whuber: độ tương tự cosine được bảo toàn chính xác khi

là một phép biến đổi tuân thủ, trong trường hợp này tương đương với việc yêu cầu

phải đảo ngược và

, bội số của danh tính. Nói cách khác, sự phân hủy cực của

thoả mãn

, nơi

. Bạn nói đúng về bình thường nhưng, có vẻ như ngớ ngẩn để nói về cosin tương đồng với vectơ không bình thường

.

M

$M$

M

$M$

M^{T} M = a^{2} I

$M^TM=a^2I$

M

$M$

M = O P

$M=OP$

P = a I

$P=aI$

A, B

$A,B$

— Alex R.

2

Không ngớ ngẩn chút nào! Vì "độ tương tự" này được cho bởi cosin của góc giữa các vectơ, nên có ý nghĩa đối với bất kỳ hai vectơ khác không. Những gì tôi có nghĩa là bởi "nhiều hơn nữa có thể nói" là giới hạn có hiệu lực vào góc giữa những hình ảnh của

và

có thể thu về góc giữa

và

và giá trị riêng của

.

A

$A$

B

$B$

A

$A$

B

$B$

M

$M$

— whuber