Tại sao niềm đam mê bất ngờ với chất căng?

171

Gần đây tôi đã nhận thấy rằng rất nhiều người đang phát triển tương đương tenor của nhiều phương pháp (nhân tử tenxơ, nhân tenor, tenxơ để mô hình hóa chủ đề, v.v.) Tôi tự hỏi, tại sao thế giới đột nhiên mê mẩn với tenor? Có giấy tờ gần đây / kết quả tiêu chuẩn đặc biệt đáng ngạc nhiên, đã mang lại điều này? Có tính toán rẻ hơn rất nhiều so với nghi ngờ trước đây?

Tôi không phải là người thích, tôi thực sự quan tâm, và nếu có bất kỳ gợi ý nào về các bài báo về điều này, tôi rất thích đọc chúng.

— YS
nguồn

25

Có vẻ như tính năng duy nhất duy nhất mà "các dữ liệu lớn" chia sẻ với định nghĩa toán học thông thường là chúng là các mảng đa chiều. Vì vậy, tôi muốn nói rằng các tenxơ dữ liệu lớn là một cách có thể nói là "mảng đa chiều", bởi vì tôi rất nghi ngờ rằng những người học máy sẽ quan tâm đến các đối xứng hoặc các phép biến đổi mà các tenxơ thông thường của toán học và vật lý thích, đặc biệt là tính hữu dụng của chúng trong việc hình thành các phương trình tọa độ tự do.

— Alex R.

2

@AlexR. không có bất biến đối với các phép biến đổi thì không có tenxơ

— Aksakal

2

@Aksakal Tôi chắc chắn có phần quen thuộc với việc sử dụng chất căng trong vật lý. Quan điểm của tôi sẽ là các đối xứng trong các tenxơ vật lý đến từ sự đối xứng của vật lý, không phải là một cái gì đó thiết yếu trong độ lệch của tenxơ.

— aginensky

3

@aginensky Nếu một tenxơ không có gì nhiều hơn một mảng nhiều chiều, thì tại sao các định nghĩa của các tenxơ được tìm thấy trong sách giáo khoa toán học nghe có vẻ phức tạp như vậy? Từ Wikipedia: "Các số trong mảng đa chiều được gọi là các thành phần vô hướng của tenxơ ... Cũng giống như các thành phần của vectơ thay đổi khi chúng ta thay đổi cơ sở của không gian vectơ, các thành phần của một tenxơ cũng thay đổi theo mỗi tenor được trang bị một luật biến đổi quy định chi tiết cách các thành phần của tenor phản ứng với sự thay đổi của cơ sở. " Trong toán học, một tenxơ không chỉ là một mảng.

— littleO

4

Chỉ cần một số suy nghĩ chung về cuộc thảo luận này: Tôi nghĩ rằng, cũng như các vectơ và ma trận, ứng dụng thực tế thường trở thành một khởi tạo đơn giản hóa hơn nhiều của lý thuyết phong phú hơn nhiều. Tôi đang đọc bài viết này sâu hơn: epub.siam.org/doi/abs/10.1137/07070111X?journalCode=siread và một điều thực sự gây ấn tượng với tôi là các công cụ "đại diện" cho ma trận (phân tách giá trị riêng và giá trị số ít) có sự khái quát thú vị trong các đơn đặt hàng cao hơn. Tôi chắc chắn có nhiều tính chất đẹp hơn nữa, ngoài việc chỉ là một thùng chứa đẹp cho nhiều chỉ số hơn. :)

— YS

89

Các tenxơ thường cung cấp các biểu diễn dữ liệu tự nhiên hơn, ví dụ, xem xét video, bao gồm các hình ảnh rõ ràng tương quan theo thời gian. Bạn có thể biến điều này thành một ma trận, nhưng nó không tự nhiên hoặc trực quan (một yếu tố của một số biểu diễn ma trận của video có nghĩa là gì?).

Tenor đang là xu hướng vì một số lý do:

sự hiểu biết của chúng tôi về đại số đa tuyến đang được cải thiện nhanh chóng, đặc biệt trong các loại yếu tố khác nhau, từ đó giúp chúng tôi xác định các ứng dụng tiềm năng mới (ví dụ: phân tích thành phần đa đường )
các công cụ phần mềm đang nổi lên (ví dụ, Tensorlab ) và đang được hoan nghênh
Các ứng dụng Dữ liệu lớn thường có thể được giải quyết bằng cách sử dụng các thang đo, ví dụ như các hệ thống đề xuất và bản thân Dữ liệu lớn rất nóng
tăng sức mạnh tính toán, vì một số hoạt động tenor có thể rất lớn (đây cũng là một trong những lý do chính tại sao học sâu được phổ biến hiện nay)

— Marc Claesen
nguồn

9

Về phần sức mạnh tính toán: Tôi nghĩ điều quan trọng nhất là đại số tuyến tính có thể rất nhanh trên GPU và gần đây chúng có bộ nhớ lớn hơn và nhanh hơn, đó là hạn chế lớn nhất khi xử lý dữ liệu lớn.

— Davidmh

6

Câu trả lời của Marc Claesen là một câu hỏi hay. David Dunson, Giáo sư Thống kê tại Duke, là một trong những số mũ quan trọng của phương pháp tiếp cận dựa trên tenor như trong bài trình bày này, Bayesian Regor Regression . icerm.brown.edu/m vật liệu / Skides / sp

— Mike Hunter

Như David đã đề cập, các thuật toán Tensor thường tự cho vay song song, phần cứng (như bộ tăng tốc GPU) đang ngày càng trở nên tốt hơn.

— Thomas Russell

1

Tôi giả định rằng các khả năng bộ nhớ / CPU tốt hơn đã đóng một phần, nhưng sự chú ý rất gần đây rất thú vị; Tôi nghĩ rằng nó phải là do rất nhiều thành công đáng ngạc nhiên gần đây với các hệ thống đề xuất, và có lẽ cũng là hạt nhân cho các SVM, vv Cảm ơn các liên kết! những nơi tuyệt vời để bắt đầu tìm hiểu về công cụ này ...

— YS

5

Nếu bạn lưu trữ video dưới dạng một mảng nhiều chiều, tôi sẽ không thấy mảng đa chiều này có bất kỳ thuộc tính bất biến nào mà một tenor được cho là có. Có vẻ như từ "tenor" không phù hợp trong ví dụ này.

— littleO

73

Tôi nghĩ rằng câu hỏi của bạn nên được kết hợp với một câu trả lời không kém phần trôi chảy và suy nghĩ thoáng như chính câu hỏi. Vì vậy, đây là hai tương tự của tôi.

Đầu tiên, trừ khi bạn là một nhà toán học thuần túy, trước tiên bạn có thể được dạy về xác suất và thống kê đơn biến. Chẳng hạn, rất có thể ví dụ OLS đầu tiên của bạn có thể là trên một mô hình như thế này:

y_{i} = a + b x_{i} + e_{i}

$y_i=a+bx_i+e_i$ Rất có thể, bạn đã trải qua việc lấy các ước tính thông qua việc thực sự tối thiểu hóa tổng bình phương tối thiểu:

T S S = \sum_{i} (y_{i} - \bar{a} - \bar{b} x_{i})^{2}

$TSS=\sum_i(y_i-\bar a-\bar b x_i)^2$ Sau đó, bạn viết FOCs cho các thông số và có được giải pháp:

\frac{\partial T T S}{\partial \bar{a}} = 0

$\frac{\partial TTS}{\partial \bar a}=0$

Sau đó, bạn được thông báo rằng có một cách dễ dàng hơn để làm điều này với ký hiệu vectơ (ma trận):

y = X b + e

$y=Xb+e$

và TTS trở thành:

T T S = (y - X \bar{b})^{'} (y - X \bar{b})

$TTS=(y-X\bar b)'(y-X\bar b)$

Các FOC là:

2 X^{'} (y - X \bar{b}) = 0

$2X'(y-X\bar b)=0$

\bar{b} = (X^{'} X)^{- 1} X^{'} y

$\bar b=(X'X)^{-1}X'y$

Nếu bạn giỏi về đại số tuyến tính, bạn sẽ tuân theo cách tiếp cận thứ hai một khi bạn đã học nó, bởi vì nó thực sự dễ dàng hơn việc viết ra tất cả các khoản tiền trong cách tiếp cận đầu tiên, đặc biệt là khi bạn có được số liệu thống kê đa biến.

Do đó, sự tương tự của tôi là việc chuyển sang các tenxơ từ ma trận tương tự như việc chuyển từ vectơ sang ma trận: nếu bạn biết các tenxơ, một số thứ sẽ trông dễ dàng hơn theo cách này.

Thứ hai, các tenor đến từ đâu? Tôi không chắc chắn về toàn bộ lịch sử của điều này, nhưng tôi đã học chúng trong cơ học lý thuyết. Chắc chắn, chúng tôi đã có một khóa học về tenor, nhưng tôi không hiểu thỏa thuận với tất cả những cách thức lạ mắt này để trao đổi các chỉ số trong khóa học toán đó là gì. Tất cả bắt đầu có ý nghĩa trong bối cảnh nghiên cứu các lực căng thẳng.

F = p \cdot d S

$F=p\cdot dS$

F

$F$

p

$p$

d S

$dS$

F = P \cdot d S

$F=P\cdot dS$

F

$F$

d S

$dS$

P

$P$

Ok, một vô hướng và một vectơ cũng là tenxơ :)

$C_0$ $C_1$

C_{θ} (i, j) = C_{0} (i, j) + θ (C_{1} (i, j) - C_{0} (i, j)),

$C_\theta(i,j)=C_0(i,j)+ \theta(C_1(i,j)-C_0(i,j)),$

θ \in [0, 1]

$\theta\in[0,1]$

C_{θ}

$C_\theta$

$\delta C_\theta$ $C_1=C_0+\int_\theta\delta C_\theta$ $\delta C_\theta$

CẬP NHẬT: những gì tenor, anyway?

@amoeba và những người khác đã tham gia vào một cuộc thảo luận sôi nổi về ý nghĩa của tenor và liệu nó có giống như một mảng không. Vì vậy, tôi nghĩ rằng một ví dụ là theo thứ tự.

$d_1$ $d_2$ $x_1$ $d_1$ $x_2$ $d_2$ $d_1$ $y_1=2x_1-x_2$ $d_2$ $y_2=-0.5x_1+2x_2$ $x_1=x_2=1$

$P$

 2   -1
-0.5  2

$x$

y = P x

$y=Px$

Điều này hoạt động chính xác như một ma trận bằng cách nhân vectơ.

$d_1$ $d_2$ $z_1$ $z_2$

$z_1=2$ $x_1=1$ $x_2=1$

$P$ $P$

$P$

$\bar d_1,\bar d_2$ $d_i$ $i$ $\bar d_1',\bar d_2'$ , đó cũng là một vòng quay đơn giản của cơ sở đầu tiên 45 độ ngược chiều kim đồng hồ. Nó cũng là một phân tách PC của cơ sở đầu tiên. do đó, chúng tôi đang nói rằng việc chuyển sang các gói đơn giản là một sự thay đổi tọa độ và nó không nên thay đổi các phép tính. Lưu ý rằng đây là một ràng buộc bên ngoài mà chúng tôi áp đặt cho mô hình. Nó không đến từ các tính chất toán học thuần túy của ma trận.

$x=x_1 \bar d_1+x_2\bar d_2$

P = \sum_{i j} p_{i j} {\bar{d}}_{i} {\bar{d}}_{j}

$P=\sum_{ij}p_{ij}\bar d_i\bar d_j$

y = y_{1} {\bar{d}}_{1} + y_{2} {\bar{d}}_{2}

$y=y_1 \bar d_1+y_2 \bar d_2$

y_{i}

$y_i$

i

$i$

y = P z

$y=Pz$

z = z_{1} {\bar{d}}_{1}^{'} + z_{2} {\bar{d}}_{2}^{'}

$z=z_1 \bar d_1'+z_2\bar d_2'$

y = y_{1} {\bar{d}}_{1} + y_{2} {\bar{d}}_{2}

$y=y_1 \bar d_1+y_2 \bar d_2$

P = \sum_{i j} p_{i j}^{'} {\bar{d}}_{i}^{'} {\bar{d}}_{j}^{'}

$P=\sum_{ij}p_{ij}'\bar d_i'\bar d_j'$

P A

$PA$

{\bar{d}}^{'} = A \bar{d}

$\bar d'=A\bar d$

$x_1=x_2=1$ $z_1=0.71,z_2=0$

— Aksakal
nguồn

2

Tôi đã nhầm lẫn ở đây:

So, let's look at an example where we spend just z1=1.42 on bundle 1. In this case, the first merchant gets x1=1 dollars, and the second merchant gets the same x2=1.

Trước đó bạn nói rằng gói đầu tiên là chúng ta pay both 0.71 dollars. Vì vậy, chi 1,42 cho gói đầu tiên nên nhận 0,71 mỗi gói chứ không phải 1, không?

— amip

{\bar{d}}_{1} / \sqrt{2} + {\bar{d}}_{2} / \sqrt{2}

$\bar d_1/ \sqrt 2+\bar d_2/ \sqrt 2$

\sqrt{2}

$\sqrt 2$

{\bar{d}}_{1} + {\bar{d}}_{2}

$\bar d_1+\bar d_2$

2

{\bar{d}}_{1} / \sqrt{2} + {\bar{d}}_{2} / \sqrt{2}

$\bar d_1/ \sqrt 2+\bar d_2/ \sqrt 2$

@Aksakal Điều này thật tuyệt, cảm ơn! Tôi nghĩ rằng bạn có một lỗi đánh máy ở dòng cuối cùng, trong đó bạn nói x1 = x2 = 1 (đúng) và z1 = 0.71, z2 = 0. Giả sử tôi hiểu mọi thứ chính xác, z1 nên là 1.42 (hoặc 1.41, gần hơn một chút đến 2 ^ 0,5).

— Mike Williamson

71

Đây không phải là một câu trả lời cho câu hỏi của bạn, mà là một nhận xét mở rộng về vấn đề đã được nêu ra ở đây trong các bình luận của những người khác nhau, cụ thể là: liệu máy học có "tenor" giống như tenor trong toán học không?

Bây giờ, theo Cichoki 2014, Kỷ nguyên xử lý dữ liệu lớn: Cách tiếp cận mới thông qua mạng kéo căng và phân tách kéo căng, và Cichoki et al. 2014, Phân rã cho ứng dụng xử lý tín hiệu ,

Một tenxơ bậc cao hơn có thể được hiểu là một mảng nhiều đường, [...]

Một tenxơ có thể được coi là một mảng số đa chỉ số, [...]

Các tenxơ (tức là mảng nhiều chiều) [...]

$1000$ $640\times 480$ $n\times p$

Đây không phải là cách tenor được định nghĩa trong toán học và vật lý!

$V$ $V\otimes\ldots\otimes V^*$ $p\times p$ $p\times p\times p$ $p$ $V$

$3\times 3$ $4\times 4$ $4\times 4\times 4\times 4$ $V$

$V\otimes W$ $p$ $V$ $q$ $W$

$V$

$p\times p$ $p$ $V$ $n\times p$ $X$

$X$ $W\otimes V$ $W$ $n$ $V$ $p$ $X$ $V$ $W$ $X$ $W\otimes V$

$X\in\mathbb R^{n\times p}$ $R^{n\times p}$ $n\times p$

Kết luận của tôi là: (a) tenxơ học máy không phải là tenxơ toán học / vật lý và (b) hầu như không hữu ích khi xem chúng là các yếu tố của các sản phẩm tenor.

Thay vào đó, chúng là những khái quát đa chiều của ma trận. Thật không may, không có thuật ngữ toán học nào được thiết lập cho điều đó, vì vậy có vẻ như ý nghĩa mới này của "tenor" hiện đang ở đây.

— amip
nguồn

19

p

$p$

10

n

$n$

3

$3$

n

$n$

4

@amoeba, trong lập trình các ma trận đa chiều thường được gọi là mảng , nhưng một số ngôn ngữ như MATLAB sẽ gọi chúng là ma trận . Chẳng hạn, trong FORTRAN, các mảng có thể có nhiều hơn 2 chiều. Trong các ngôn ngữ như C / C ++ / Java, các mảng là một chiều, nhưng bạn có thể có các mảng của mảng, làm cho chúng hoạt động giống như các mảng nhiều chiều. MATLAB hỗ trợ 3 hoặc nhiều mảng chiều trong cú pháp.

— Aksakal

3

Điều đó rất thú vị. Tôi hy vọng bạn sẽ nhấn mạnh điểm đó. Nhưng xin lưu ý đừng nhầm lẫn một tập hợp với không gian vectơ mà nó xác định, bởi vì sự khác biệt rất quan trọng trong thống kê. Cụ thể (để lấy một trong các ví dụ của bạn), mặc dù sự kết hợp tuyến tính của mọi người là vô nghĩa, nhưng sự kết hợp tuyến tính của các hàm có giá trị thực trên một nhóm người vừa có ý nghĩa và quan trọng. Đó là chìa khóa để giải quyết hồi quy tuyến tính, ví dụ.

— whuber

8

Per T. Kolda, B, Bada, "Phân tích ứng dụng và ứng dụng" SIAM Đánh giá 2009, epub.siam.org/doi/pdf/10.1137/07070111X 'Một tenxơ là một mảng nhiều chiều. Chính thức hơn, một tenxơ N-way hoặc Nth là một phần tử của sản phẩm tenxơ của không gian vectơ N, mỗi phần tử có hệ tọa độ riêng. Khái niệm về tenxơ này không bị nhầm lẫn với các tenxơ trong vật lý và kỹ thuật (như tenxơ ứng suất) ,, thường được gọi là các trường tenxơ trong toán học "

— Mark L. Stone

14

Là một người nghiên cứu và xây dựng mạng lưới thần kinh và đã liên tục đặt câu hỏi này, tôi đã đi đến kết luận rằng chúng tôi mượn các khía cạnh hữu ích của ký hiệu tenor chỉ vì chúng làm cho việc tạo đạo hàm dễ dàng hơn rất nhiều và giữ cho độ dốc của chúng ta ở dạng nguyên bản. Các quy tắc chuỗi tensor là một trong những công cụ nguồn gốc thanh lịch nhất mà tôi đã từng gặp. Các ký hiệu tenor tiếp theo khuyến khích các đơn giản hóa hiệu quả tính toán mà đơn giản là ác mộng cần tìm khi sử dụng các phiên bản mở rộng phổ biến của phép tính véc tơ.

Trong Vector / Matrix calculus ví dụ có 4 loại sản phẩm ma trận (Hadamard, Kronecker, Ordinary, và Elementwise) nhưng trong tensor calculus chỉ có một loại nhân nhưng nó bao gồm tất cả các phép nhân ma trận và nhiều hơn nữa. Nếu bạn muốn hào phóng, hãy giải thích tenxơ có nghĩa là mảng đa chiều mà chúng tôi dự định sử dụng phép tính dựa trên tenxơ để tìm đạo hàm cho, chứ không phải các đối tượng chúng ta đang thao tác là tenxơ .

Thành thật mà nói, chúng tôi có thể gọi các thang đo mảng đa chiều của chúng tôi bởi vì hầu hết các chuyên gia về máy học không quan tâm nhiều đến việc tuân thủ các định nghĩa về toán học hoặc vật lý cấp cao. Thực tế là chúng ta chỉ đang mượn các Công ước và Tính toán Tổng kết Einstein được phát triển tốt , thường được sử dụng khi mô tả các tenxơ và không muốn nói lặp đi lặp lại phép tính dựa trên quy ước tổng hợp Einstein. Có thể một ngày nào đó chúng ta có thể phát triển một tập hợp các ký hiệu và quy ước mới chỉ ăn cắp những gì họ cần từ phép tính tenor đặc biệt để phân tích mạng lưới thần kinh, nhưng là một lĩnh vực trẻ cần có thời gian.

— James Ryland
nguồn

Vui lòng đăng ký & / hoặc hợp nhất các tài khoản của bạn (bạn có thể tìm thấy thông tin về cách thực hiện việc này trong phần Tài khoản của tôi trong trung tâm trợ giúp của chúng tôi ), sau đó bạn sẽ có thể chỉnh sửa và nhận xét câu trả lời của riêng mình.

— gung

10

Bây giờ tôi thực sự đồng ý với hầu hết các nội dung của các câu trả lời khác. Nhưng tôi sẽ chơi người ủng hộ của Devil ở một điểm. Một lần nữa, nó sẽ được tự do chảy, vì vậy lời xin lỗi ...

Google đã công bố một chương trình có tên là Tensor Flow để học sâu. Điều này khiến tôi tự hỏi 'tenor' về học sâu là gì, vì tôi không thể tạo ra mối liên hệ với các định nghĩa mà tôi đã thấy.

$i$ $y$

$y_i = \sigma(\beta_i^j x_j)$

Bây giờ ý tưởng là xâu chuỗi một loạt các biến đổi như vậy để đi đến một đại diện hữu ích của các tọa độ ban đầu. Vì vậy, ví dụ, sau lần chuyển đổi cuối cùng của hình ảnh, hồi quy logistic đơn giản sẽ tạo ra độ chính xác phân loại tuyệt vời; trong khi đó trên hình ảnh thô chắc chắn sẽ không.

Bây giờ, thứ dường như đã bị mất khỏi tầm nhìn là các thuộc tính bất biến được tìm kiếm trong một tenxơ thích hợp. Đặc biệt khi kích thước của các biến được chuyển đổi có thể khác nhau từ lớp này sang lớp khác. [Ví dụ: một số nội dung tôi đã thấy trên thang đo không có ý nghĩa gì đối với người Jacob không vuông - tôi có thể thiếu một số phương pháp]

Những gì đã được giữ lại là khái niệm biến đổi của các biến và các biểu diễn nhất định của một vectơ có thể hữu ích hơn các biến khác cho các tác vụ cụ thể. Tương tự là liệu nó có ý nghĩa hơn để giải quyết vấn đề trong tọa độ Descartes hay cực.

EDIT để đáp lại @Aksakal:

Vectơ không thể được bảo toàn hoàn hảo vì những thay đổi về số lượng tọa độ. Tuy nhiên, trong một số ý nghĩa, ít nhất thông tin hữu ích có thể được lưu giữ dưới sự biến đổi. Ví dụ: với PCA, chúng tôi có thể loại bỏ phối hợp, vì vậy chúng tôi không thể đảo ngược chuyển đổi nhưng dù sao việc giảm kích thước có thể hữu ích. Nếu tất cả các phép biến đổi liên tiếp là không thể đảo ngược, bạn có thể ánh xạ lại từ lớp áp chót vào không gian đầu vào. Như vậy, tôi chỉ thấy các mô hình xác suất cho phép (RBM) bằng cách lấy mẫu.

— phỏng đoán
nguồn

1

Trong bối cảnh của các mạng lưới thần kinh, tôi luôn cho rằng các tenxơ hoạt động giống như các mảng đa chiều. Bạn có thể giải thích làm thế nào các thuộc tính bất biến đang hỗ trợ phân loại / đại diện?

— YS

Có thể tôi đã không rõ ràng ở trên, nhưng dường như đối với tôi - nếu giải thích là chính xác - mục tiêu của các thuộc tính bất biến đã bị loại bỏ. Những gì dường như đã được giữ là ý tưởng của các biến đổi biến.

— phỏng đoán

\bar{r}

$\bar r$

nhưng đó không phải là một tính chất của sự biến đổi nhiều hơn tenxơ sao? Ít nhất là với các phép biến đổi kiểu tuyến tính và phần tử, có vẻ phổ biến hơn trong các mạng lưới thần kinh, chúng có mặt như nhau với các vectơ và ma trận; những lợi ích bổ sung của các tenor là gì?

— YS

1

@conjectures, PCA chỉ là một vòng quay và hình chiếu. Nó giống như xoay không gian N chiều sang cơ sở PC, sau đó chiếu sang không gian phụ. Máy kéo được sử dụng trong các tình huống tương tự trong vật lý, ví dụ như khi nhìn vào các lực trên bề mặt bên trong cơ thể, v.v.

— Aksakal

7

Dưới đây là một đoạn trích được chỉnh sửa nhẹ (cho ngữ cảnh) từ Yếu tố kéo căng không âm với các ứng dụng cho thống kê và thị giác máy tính, A. Shashua và T. Hazan hiểu được lý do tại sao ít nhất một số người say mê với chất căng.

Bất kỳ vấn đề n chiều nào cũng có thể được biểu diễn dưới dạng hai chiều bằng cách ghép các kích thước. Do đó, ví dụ, vấn đề tìm phân tách thứ hạng thấp không âm của một tập hợp hình ảnh là 3-NTF (Hệ số kéo căng không âm), với các hình ảnh tạo thành các lát của khối 3D, nhưng cũng có thể được biểu diễn dưới dạng một vấn đề NMF (Hệ số ma trận không âm) bằng cách vector hóa các hình ảnh (hình ảnh tạo thành các cột của ma trận).

Có hai lý do tại sao biểu diễn ma trận của một bộ sưu tập hình ảnh sẽ không phù hợp:

Sự dư thừa không gian (pixel, không nhất thiết là lân cận, có các giá trị tương tự) bị mất trong quá trình vector hóa, do đó chúng ta sẽ mong đợi một yếu tố kém hiệu quả hơn và

Do đó, một phân tách NMF không phải là duy nhất, ngay cả khi tồn tại một mô hình thế hệ (của các bộ phận cục bộ), NMF sẽ không nhất thiết phải di chuyển theo hướng đó, đã được xác minh theo kinh nghiệm bởi Chu, M., Diele, F., Plemmons, R., & Ragni, S. "Tính tối ưu, tính toán và giải thích các yếu tố ma trận không âm" SIAM Tạp chí Phân tích Ma trận, 2004. Ví dụ, các phần bất biến trên bộ ảnh sẽ có xu hướng tạo thành bóng ma trong tất cả các yếu tố và làm ô nhiễm hiệu ứng thưa thớt. Một NTF hầu như luôn luôn là duy nhất, do đó chúng tôi hy vọng sơ đồ NTF sẽ hướng tới mô hình thế hệ, và đặc biệt không bị ảnh hưởng bởi các phần bất biến.

— Đánh dấu đá
nguồn

6

[EDIT] Vừa mới phát hiện ra cuốn sách của Peter McCullagh, Phương pháp kéo căng trong thống kê .

Các tenxơ hiển thị các thuộc tính quan tâm trong nhận dạng hỗn hợp chưa biết trong một tín hiệu (hoặc hình ảnh), đặc biệt là xung quanh khái niệm phân rã kéo căng Canonical Polyadic (CP), xem ví dụ Tenor: Giới thiệu ngắn gọn , P. Comon, 2014. Trường được biết đến dưới tên "phân tách nguồn mù (BSS)":

Phân rã tenor là cốt lõi của nhiều thuật toán phân tách nguồn mù (BSS), rõ ràng hoặc ngầm định. Đặc biệt, phân rã kéo căng Canonical Polyadic (CP) đóng vai trò trung tâm trong việc xác định các hỗn hợp chưa xác định. Mặc dù có một số điểm tương đồng, CP và Phân tích giá trị số đơn (SVD) khá khác nhau. Tổng quát hơn, tenxơ và ma trận tận hưởng các tính chất khác nhau, như được chỉ ra trong phần giới thiệu ngắn gọn này.

Một số kết quả duy nhất đã được rút ra cho các tenxơ bậc ba gần đây: Về tính duy nhất của sự phân rã đa hình chính tắc của các tenxơ bậc ba ( phần 1 , phần 2 ), I. Domanov et al. , 2013.

Phân rã tenor là các nốt thường được kết nối với phân rã thưa thớt, ví dụ bằng cách áp đặt cấu trúc lên các yếu tố phân rã (trực giao, Vandermonde, Hankel) và thứ hạng thấp, để phù hợp với tính không độc đáo.

Với nhu cầu ngày càng tăng về phân tích dữ liệu không đầy đủ và xác định các phép đo phức tạp từ các mảng cảm biến, các tenxơ ngày càng được sử dụng để hoàn thành ma trận, phân tích biến tiềm ẩn và tách nguồn.

Lưu ý thêm: rõ ràng, phân rã Canonical Polyadic cũng tương đương với phân rã Waring của một đa thức đồng nhất dưới dạng tổng các lũy thừa của các dạng tuyến tính, với các ứng dụng trong nhận dạng hệ thống (cấu trúc khối, Wiener-Hammerstein song song hoặc mô hình không gian trạng thái phi tuyến).

— Laurent Duval
nguồn

3

Tôi có thể giới thiệu một cách trân trọng cuốn sách của mình: Kroonenberg, PM Ứng dụng Phân tích dữ liệu Multiway và Smilde et al. Phân tích đa đường. Ứng dụng trong Khoa học hóa học (cả Wiley). Quan tâm cũng có thể là bài viết của tôi: Kroonenberg, PM (2014). Lịch sử phân tích thành phần đa đường và phân tích tương ứng ba chiều. Trong Blasius, J. và Greenacre, MJ (biên soạn). Trực quan hóa và diễn đạt bằng lời của dữ liệu (trang 77 Lời94). New York: Chapman & Hội trường / CRC. Sê-ri66589804.

Các tài liệu tham khảo này nói về dữ liệu đa chiều hơn là các tenxơ, nhưng đề cập đến cùng một lĩnh vực nghiên cứu.

— Thủ tướng Kroonenberg
nguồn

-1

Đúng là những người trong Machine Learning không xem các tenxơ có cùng sự chăm sóc như các nhà toán học và bác sĩ. Đây là một bài báo có thể làm rõ sự khác biệt này: Comon P., "Tenors: giới thiệu ngắn gọn" IEEE Sig. Proc. Tạp chí , ngày 31 tháng 5 năm 2014

— Danh từ
nguồn

5

Là sự khác biệt giữa một tenor trong toán học / vật lý và một tenor trong học máy thực sự là một trong những "chăm sóc"? Dường như những người học máy sử dụng "tenor" như một thuật ngữ chung cho các mảng số (vô hướng, vectơ, ma trận và mảng có 3 trục trở lên, ví dụ như trong TensorFlow), trong khi "tenor" trong ngữ cảnh toán học / vật lý có sự khác biệt Ý nghĩa. Tôi cho rằng câu hỏi liên quan đến "sự quan tâm" là, tôi nghĩ, để hiểu sai cách sử dụng là "không chính xác" trong khả năng học máy, trong khi thực tế bối cảnh học máy không có ý định sao chép chính xác việc sử dụng toán học / vật lý.

— Sycorax