Trực giác đồ họa của số liệu thống kê trên một đa tạp

Trên bài đăng này , bạn có thể đọc tuyên bố:

Các mô hình thường được biểu diễn bằng các điểm trên đa tạp chiều hữu hạn. $\theta$

Trên hình học và thống kê khác biệt của Michael K Murray và John W Rice, các khái niệm này được giải thích bằng văn xuôi có thể đọc được thậm chí bỏ qua các biểu thức toán học. Thật không may, có rất ít minh họa. Điều tương tự cũng xảy ra với bài đăng này trên MathOverflow.

Tôi muốn yêu cầu trợ giúp với một đại diện trực quan để phục vụ như một bản đồ hoặc động lực hướng tới một sự hiểu biết chính thức hơn về chủ đề này.

Các điểm trên đa tạp là gì? Trích dẫn này từ tìm kiếm trực tuyến này , dường như chỉ ra rằng nó có thể là các điểm dữ liệu hoặc tham số phân phối:

Thống kê về đa tạp và hình học thông tin là hai cách khác nhau trong đó hình học vi phân đáp ứng thống kê. Mặc dù trong thống kê về đa tạp, đó là dữ liệu nằm trên đa tạp, trong hình học thông tin, dữ liệu nằm trong , nhưng họ tham số hóa của các hàm mật độ xác suất quan tâm được coi là đa tạp. Đa tạp như vậy được gọi là đa tạp thống kê. $R^n$

Tôi đã vẽ sơ đồ này lấy cảm hứng từ lời giải thích về không gian tiếp tuyến ở đây :

[ Chỉnh sửa để phản ánh nhận xét bên dưới về : $C^\infty$ ] Trên một đa tạp, , không gian tiếp tuyến là tập hợp của tất cả các dẫn xuất có thể ("vận tốc") tại một điểm liên kết với mọi đường cong có thể trên đa tạp chạy quaĐây có thể được xem là một tập hợp các bản đồ từ mọi đường cong đi qua tức là được định nghĩa là thành phần , với biểu thị một đường cong (hàm từ đường thẳng thực đến bề mặt của đa tạp $(\mathcal M)$ $p\in \mathcal M$ $(\psi: \mathbb R \to \mathcal M)$ $p.$ $p,$ $C^\infty (t)\to \mathbb R,$ $\left(f \circ \psi \right )'(t)$ $\psi$ $\mathcal M$ ) chạy qua điểm và được mô tả bằng màu đỏ trên sơ đồ trên; và đại diện cho một chức năng kiểm tra. Ánh xạ đường viền trắng "iso- " tới cùng một điểm trên đường thẳng thực và bao quanh điểm . $p,$ $f,$ $f$ $p$

Sự tương đương (hoặc một trong những tương đương được áp dụng cho thống kê) được thảo luận ở đây và sẽ liên quan đến trích dẫn sau :

Nếu không gian tham số cho một họ theo cấp số nhân chứa một tập mở chiều , thì nó được gọi là thứ hạng đầy đủ. $s$

Một họ hàm mũ không có thứ hạng đầy đủ thường được gọi là họ hàm mũ, vì thông thường không gian tham số là một đường cong trong có kích thước nhỏ hơn $\mathcal R^s$ $s.$

Điều này dường như làm cho việc giải thích cốt truyện như sau: các tham số phân phối (trong trường hợp này là các họ phân phối theo cấp số nhân) nằm trên đa tạp. Các điểm dữ liệu trong sẽ ánh xạ tới một dòng trên đa tạp thông qua hàm trong trường hợp có vấn đề tối ưu hóa phi tuyến tính thiếu thứ hạng. Điều này sẽ song song với việc tính toán vận tốc trong vật lý: tìm đạo hàm của hàm dọc theo độ dốc của các đường "iso-f" (đạo hàm định hướng màu cam):Hàm sẽ đóng vai trò tối ưu hóa việc lựa chọn tham số phân phối làm đường cong $\mathbb R$ $\psi: \mathbb R \to \mathcal M$ $f$ $\left(f \circ \psi \right)'(t).$ $f: \mathbb M \to \mathbb R$ $\psi$ đi dọc theo đường đồng mức của trên đa tạp. $f$

NỀN TẢNG BỔ SUNG THÊM:

Lưu ý tôi tin rằng các khái niệm này không liên quan ngay đến việc giảm kích thước phi tuyến tính trong ML. Chúng xuất hiện gần giống với hình học thông tin . Đây là một trích dẫn:

Điều quan trọng, số liệu thống kê về đa tạp rất khác với học đa dạng. Cái sau là một nhánh của học máy trong đó mục tiêu là học một đa tạp tiềm ẩn từ dữ liệu có giá trị . Thông thường, kích thước của đa tạp tiềm ẩn được tìm kiếm sau nhỏ hơn . Đa tạp tiềm ẩn có thể là tuyến tính hoặc phi tuyến, tùy thuộc vào phương pháp cụ thể được sử dụng. $R^n$ $n$

Thông tin sau đây từ Số liệu thống kê về các ứng dụng với mô hình biến dạng hình dạng của Oren Freifeld :

Trong khi thường là phi tuyến, chúng tôi có thể kết hợp một không gian tiếp xúc, biểu hiện bằng , để tất cả các điểm . là một không gian vector có chiều hướng giống như của . Nguồn gốc của là tại . Nếu được nhúng vào một số không gian Euclide, chúng ta có thể nghĩ về như một không gian con affine sao cho: 1) nó chạm tại ; 2) ít nhất là tại địa phương, nằm hoàn toàn ở một bên của nó. Các phần tử của TpM được gọi là vectơ tiếp tuyến. $M$ $TpM$ $p \in M$ $TpM$ $M$ $TpM$ $p$ $M$ $TpM$ $M$ $p$ $M$

[...] Trên đa tạp, các mô hình thống kê thường được thể hiện trong các không gian tiếp tuyến.

[...]

[Chúng tôi xem xét hai] bộ dữ liệu bao gồm các điểm trong : $M$

$D_L = \{p_1, \cdots , p_{NL}\} \subset M$ ;

$D_S = \{q_1, \cdots , q_{NS}\} \subset M$

Hãy và đại diện hai, có thể chưa biết, điểm . Giả định rằng hai bộ dữ liệu đáp ứng các quy tắc thống kê sau: $µ_L$ $µ_S$ $M$

$\{\log_{\mu L} (p_1), \cdots , \log_{\mu L}(p_{NL})\} \subset T_{\mu L}M, \quad \log_{\mu L}(p_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_L)$ $\{\log_{\mu S} (q_1), \cdots , \log_{\mu S}(q_{NS})\} \subset T_{\mu S}M, \quad \log_{\mu S}(q_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_S)$

[...]

Nói cách khác, khi được biểu thị (dưới dạng vectơ tiếp tuyến) trong không gian tiếp tuyến (đến ) tại , nó có thể được xem như một tập hợp các mẫu iid từ Gaussian không có nghĩa với hiệp phương sai . Tương tự, khi được biểu thị trong không gian tiếp tuyến tại nó có thể được xem như là một tập hợp các mẫu iid từ một Gaussian có nghĩa là 0 với hiệp phương sai . Điều này khái quát hóa trường hợp Euclide. $D_L$ $M$ $\mu_L$ $\Sigma_L$ $D_S$ $\mu_S$ $\Sigma_S$

Trên cùng một tham chiếu, tôi tìm thấy ví dụ gần nhất (và thực tế duy nhất) trực tuyến của khái niệm đồ họa này mà tôi đang hỏi về:

Điều này có cho thấy dữ liệu nằm trên bề mặt của đa tạp được biểu thị dưới dạng các vectơ tiếp tuyến và các tham số sẽ được ánh xạ trên mặt phẳng của Cartesian không?

— Antoni Parellada
nguồn

Bạn đang cố gắng làm gì ở đây? Vẽ đa tạp? Hầu hết chúng quá nhàm chán để vẽ. Ví dụ, hãy thử phân phối Gaussian.

— Aksakal

Tôi thường nghĩ về không gian tham số là không gian vectơ, ví dụ . Nếu tôi nghĩ về "đa tạp" tham số, điều đầu tiên xuất hiện trong đầu sẽ là "các hệ thống ràng buộc", ví dụ . Nếu không, tại sao không gian không "hoàn thành"? (Điều gì đang xác định tập hợp con là "đa tạp"?)

θ \in R^{n}

$\theta\in\mathbb{R}^n$

f (θ) = 0

$f(\theta)=0$

— GeoMatt22

Hy vọng, @whuber sẽ xuất hiện và giải thích những bình luận mà anh ấy đã đưa ra trong cuộc trò chuyện.

— gung - Phục hồi Monica

Câu trả lời ngắn cho câu hỏi đã chỉnh sửa của bạn là "không." Không gian tiếp tuyến mô tả vận tốc của tất cả các đường trơn trong đa tạp. Vai trò chính của nó trong thống kê là tối đa hóa khả năng, trong đó đa tạp mô tả một gia đình được tham số hóa chính xác. Trong "học đa dạng", một đa tạp được sử dụng như một xấp xỉ cục bộ cho dữ liệu - đó là một phiên bản cong của "không gian cột" trong hồi quy tuyến tính. Ở đó, không gian tiếp tuyến được nhúng trong không gian Euclide xung quanh. Tại địa phương, nó mô tả "hướng" của dữ liệu và gói thông thường của nó đưa ra hướng "lỗi".

— whuber

Có: không gian cotangent tại có thể được định nghĩa là dẫn xuất của mầm của các hàm xung quanh . Không gian tiếp tuyến tại (do đó!) Chỉ đơn giản là kép của nó. và có được một topo - có nghĩa là, thừa nhận một khái niệm của hai không gian tiếp tuyến và là "gần" - bằng phương pháp tọa độ bảng xếp hạng trên . Điều này làm giảm định nghĩa (và vấn đề trực quan hóa) thành định nghĩa không gian tiếp tuyến . Đây là tập hợp tất cả các vectơ có nguồn gốc tại . Spivak, tính toán trên Manifold

T_{p}^{*} M

$T_p^{*}M$

p

$p$

p

$p$

p

$p$

T^{*} M

$T^{*}M$

T M

$TM$

T_{p} M

$T_pM$

T_{q} M

$T_qM$

M

$M$

T_{x} R^{n}

$T_x\mathbb{R}^n$

x

$x$ , cung cấp một định nghĩa cơ bản, rõ ràng về loại này.

— whuber

Câu trả lời:

Một họ các phân phối xác suất có thể được phân tích dưới dạng các điểm trên một đa tạp có tọa độ nội tại tương ứng với các tham số của phân phối. Ý tưởng là để tránh một biểu diễn với một số liệu không chính xác: Univariate Gaussians có thể được vẽ như các điểm trong Euclide như ở bên phải của âm mưu bên dưới với giá trị trung bình trong -axis và SD trong trục (một nửa dương trong trường hợp vẽ phương sai): $(\Theta)$ $\mathcal N(\mu,\sigma^2),$ $\mathbb R^2$ $x$ $y$

Tuy nhiên, ma trận danh tính (khoảng cách Euclide) sẽ không đo được mức độ tương tự (dis-) giữa các cá nhân ': trên các đường cong thông thường ở bên trái của ô trên, trong một khoảng thời gian trong miền, diện tích không có sự chồng lấp (màu xanh lam đậm) lớn hơn đối với các đường cong Gaussian với phương sai thấp hơn, ngay cả khi giá trị trung bình được giữ cố định. Trên thực tế, số liệu Riemannian duy nhất mà cảm nhận được về sự đa dạng thống kê là số liệu thông tin của Fisher . $\mathrm{pdf}$

Trong khoảng cách thông tin của Fisher: cách đọc hình học , Costa SI, Santos SA và Strapasson JE tận dụng sự tương đồng giữa ma trận thông tin Fisher của các bản phân phối Gaussian và số liệu trong mô hình đĩa Beltrami-Pointcaré để rút ra một công thức khép kín.

Hình nón "phía bắc" của hyperboloid trở thành một đa tạp phi Euclide, trong đó mỗi điểm tương ứng với độ lệch trung bình và độ lệch chuẩn (không gian tham số) và khoảng cách ngắn nhất giữa ví dụ và trong sơ đồ bên dưới, là một đường cong trắc địa, được chiếu (bản đồ biểu đồ) lên mặt phẳng xích đạo dưới dạng các đường thẳng siêu phẳng và cho phép đo khoảng cách giữa thông qua một thang đo hệ mét - số liệu thông tin của Fisher : $x^2 + y^2 - x^2 = -1$ $\mathrm {pdf's,}$ $P$ $Q,$ $\mathrm{pdf's}$ $g_{\mu\nu}\;(\Theta)\;\mathbf e^\mu\otimes \mathbf e^\nu$

D (P (x; θ_{1}), Q (x; θ_{2})) = min_{θ (t) | θ (0) = θ_{1}, θ (1) = θ_{2}} \int_{0}^{1} \sqrt{{(\frac{d θ}{d t})}^{⊤} I (θ) \frac{d θ}{d t} d t}

$D\,\left ( P(x;\theta_1)\,,\,Q(x;\theta_2) \right)=\min_{\theta(t)\,|\,\theta(0)=\theta_1\;,\;\theta(1)=\theta_2}\;\int_0^1 \; \sqrt{\left(\frac{\mathrm d\theta}{\mathrm dt} \right)^\top\;I(\theta)\frac{\mathrm d \theta}{\mathrm dt}dt}$

với

I (θ) = \frac{1}{σ^{2}} [\begin{matrix} 1 & 0 \\ 0 & 2 \end{matrix}]

$I(\theta) = \frac{1}{\sigma^2}\begin{bmatrix}1&0\\0&2 \end{bmatrix}$

Sự phân kỳ Kullback - Leibler có liên quan chặt chẽ, mặc dù thiếu hình học và số liệu liên quan.

Và thật thú vị khi lưu ý rằng ma trận thông tin Fisher có thể được hiểu là entropy Hessian of the Shannon :

g_{i j} (θ) = - E [\frac{\partial^{2} \log p (x; θ)}{\partial θ_{i} \partial θ_{j}}] = \frac{\partial^{2} H (p)}{\partial θ_{i} \partial θ_{j}}

$g_{ij}(\theta)=-E\left[ \frac{\partial^2\log p(x;\theta)}{\partial \theta_i \partial\theta_j} \right]=\frac{\partial^2 H(p)}{\partial \theta_i \partial \theta_j}$

với

H (p) = - \int p (x; θ) \log p (x; θ) d x .

$H(p) = -\int p(x;\theta)\,\log p(x;\theta) \mathrm dx.$

Ví dụ này có khái niệm tương tự như bản đồ Trái đất lập thể phổ biến hơn .

Việc nhúng đa chiều ML hoặc học đa dạng không được đề cập ở đây.

— Antoni Parellada
nguồn

Có nhiều hơn một cách để liên kết xác suất với hình học. Tôi chắc rằng bạn đã nghe nói về các bản phân phối elip (ví dụ Gaussian). Thuật ngữ này bao hàm liên kết hình học và nó hiển nhiên khi bạn vẽ ma trận hiệp phương sai của nó. Với đa tạp, nó chỉ đặt mọi giá trị tham số có thể có trong hệ tọa độ. Chẳng hạn, một Manifold Gaussian sẽ có hai chiều: . Bạn có thể có bất kỳ giá trị nào của nhưng chỉ có phương sai dương . Do đó, đa tạp Gaussian sẽ là một nửa của toàn bộ không gian . Không thú vị $\mu,\sigma^2$ $\mu\in R$ $\sigma^2>0$ $R^2$

— Aksakal
nguồn

Tôi đoán tôi đã nghĩ rằng một "đa tạp" được cho là có kích thước thấp hơn không gian nhúng của nó? Vì vậy, một nửa không gian sẽ không được tính?

— GeoMatt22

Với Gaussian, nó thậm chí không phải là một đa tạp. Bạn cần các ràng buộc, vì vậy nó trở thành một loại máy bay hoặc đường thẳng

— Aksakal

Tôi đang cố gắng để hiểu ý nghĩa của câu trả lời của bạn ... Bạn có nghĩa là " một liên kết hình học"? Ngoài ra, tôi chỉ tìm thấy bài đăng liên quan này trên MathOverflow .

— Antoni Parellada

Nó trở nên thú vị hơn với một số liệu thích hợp ... như một chiếc Fisher-Rao, và sau đó trở thành một nửa của Poincare hyperbolic en.wikipedia.org/wiki/Poincar%C3%A9_half-plane_model

— mic

Đối với tất cả: (1) các đa tạp mô tả các họ tham số là các đa tạp nội tại : chúng không cần phải được nhúng trong bất kỳ không gian vectơ nào. (2) Chúng không chỉ là các đa tạp khác biệt: Thông tin Fisher cung cấp cho chúng một số liệu Riemannian - một khoảng cách địa phương - cho phép chúng được nghiên cứu về mặt hình học. Điều này làm cho "một nửa toàn bộ khoảng trắng" thành một bề mặt cong.

R^{2}

$\mathbb{R}^2$

— whuber