Trong học máy, tại sao các siêu ký tự được sử dụng thay vì các chỉ số?

Tôi đang tham gia khóa học của Andrew Ng về Machine Learning thông qua Coursera . Đối với các phương trình, siêu ký tự được sử dụng thay vì các chỉ số. Ví dụ: trong phương trình sau được sử dụng thay cho : $x^{(i)}$ $x_i$

$J(\theta_0, \theta_1) = \frac{1}{2m} \sum\limits_{i=1}^{m}{(h_\theta(x^{(i)}) - y^{(i)})^2}$

Rõ ràng, đây là thực tế phổ biến. Câu hỏi của tôi là tại sao sử dụng siêu ký tự thay vì đăng ký? Các bản sao đã được sử dụng để lũy thừa. Cấp cho tôi dường như có thể phân biệt giữa các trường hợp sử dụng siêu ký tự và lũy thừa bằng cách chú ý xem có dấu ngoặc đơn hay không, nhưng nó vẫn có vẻ khó hiểu.

machine-learning notation

— ủy thác
nguồn

Tôi nghi ngờ có lẽ bởi vì một số người làm khoa học máy tính không thành thạo ký hiệu toán học tiêu chuẩn, và do đó tạo nên ký hiệu riêng của họ. Đôi khi các chuyên gia tính toán cũng làm điều này và thật khó chịu khi bạn có những khái niệm phức tạp hơn.

— rocinante

Là ilập chỉ mục trên kích thước tập dữ liệu, hoặc trên các yếu tố của vectơ x? Nếu trước đây, đó là hoàn toàn tiêu chuẩn. Nếu sau này, đó là hoàn toàn không chuẩn. Và lý do tại sao siêu ký tự được sử dụng là bởi vì đôi khi bạn muốn tham chiếu đến phần tử của vectơ bằng cách sử dụng chỉ mục.

— Rex Kerr

@rocinante lol không, đó là vì các đăng ký đã được sử dụng để lập chỉ mục các vectơ.

— Neil G

@rocinante Điều đó khá tự phụ. Điều gì về vectơ chống chỉ định / ký hiệu Einstein ?

— Will Vousden

@rocinante Tôi phải nhắc lại những người khác nhấn mạnh rằng từ ngữ của bạn là không may. Tất cả chúng ta đều có xu hướng coi những gì địa phương và quen thuộc là tiêu chuẩn.

— Nick Cox

Câu trả lời:

Nếu biểu thị một véc tơ thì là một ký hiệu tiêu chuẩn cho -thứ toạ độ , tức là $x$ $x \in \mathbb R^m$ $x_i$ $i$ $x$

x = (x_{1}, x_{2}, \dots, x_{m}) \in R^{m} .

$x = (x_1, x_2, \ldots, x_m)\in\mathbb R^m.$

Nếu bạn có một tập hợp vectơ như vậy, làm thế nào bạn biểu thị một vectơ thứ ? Bạn không thể viết , điều này có ý nghĩa tiêu chuẩn khác. Vì vậy, đôi khi mọi người viết $n$ $i$ $x_i$ và đó là tôi tin tại sao Andrew Ng làm điều đó. $x^{(i)}$

I E

x^{(1)} = (x_{1}^{(1)}, x_{2}^{(1)}, \dots, x_{m}^{(1)}) \in R^{m} x^{(2)} = (x_{1}^{(2)}, x_{2}^{(2)}, \dots, x_{m}^{(2)}) \in R^{m} \dots x^{(n)} = (x_{1}^{(n)}, x_{2}^{(n)}, \dots, x_{m}^{(n)}) \in R^{m} .

$\begin{equation} x^{(1)} = (x_1^{(1)}, x_2^{(1)}, \ldots, x_m^{(1)}) \in \mathbb R^m\\ x^{(2)} = (x_1^{(2)}, x_2^{(2)}, \ldots, x_m^{(2)}) \in \mathbb R^m\\ \ldots \\ x^{(n)} = (x_1^{(n)}, x_2^{(n)}, \ldots, x_m^{(n)}) \in \mathbb R^m.\\ \end{equation}$

— amip nói phục hồi Monica
nguồn

Tôi không đồng ý, nhưng thường sử dụng

, nghĩa là cho các phép đo lặp lại.

x_{i j}

$x_{ij}$

— Vách đá AB

Có, nhưng

tương đương với

; cái gì sẽ tương đương với

x_{i j}

$x_{ij}$

x_{j}^{(i)}

$x^{(i)}_j$

x^{(i)}

$x^{(i)}$

— amip nói rằng Phục hồi lại

x_{i .}

$x_{i.}$

\sum_{j = 1}^{n} x_{i j} / m

$\sum_{j= 1}^n x_{ij}/m$

x_{m n}^{(i)}

$x_{mn}^{(i)}$ seems the most intuitive way to do so. Therefore the notation stays consistent when moving from vectors to matrices.

— josh

@JAB Yes, it's to make the notation more explicit ("type hinting" as you say). Of course one can agree to use

x_{i}

$x_i$ for the

i

$i$ -th vector and

x_{i j}

$x_{ij}$ for the

j

$j$ -th element of the

i

$i$ -th vector. There are various conventions possible, this is just one of them. I am not even saying it is the best one, just explaining the rationale behind it.

— amoeba says Reinstate Monica

The use of super scripts as you have stated I believe is not very common in machine learning literature. I'd have to review Ng's course notes to confirm, but if he's putting that use there, I would say he would be origin of the proliferation of this notation. This is a possibility. Either way, not to be too unkind, but I don't think many of the online course students are publishing literature on machine learning, so this notation is not very common in the actual literature. After all, these are introductory courses in machine learning, not PhD level courses.

What is very common with super scripts is to denote the iteration of an algorithm using super scripts. For example, you could write an iteration of Newton's method as

$\theta^{(t+1)} = \theta^{(t)} - H(\theta^{(t)}) ^{-1} \nabla \theta^{(t)}$

where $H(\theta^{(t)})$ is the Hessian and $\nabla \theta^{(t)}$ is the gradient.

(...yes this is not quite the best way to implement Newton's method due to the inversion of the Hessian matrix...)

Here, $\theta^{(t)}$ represents the value of $\theta$ in the $t^{th}$ iteration. This is the most common (but certainly not only) use of super scripts that I am aware of.

EDIT: To clarify, in the original question, it appeared to suggest that in the ML notation, $x^{(i)}$ was equivalent to statistic's $x_i$ notation. In my answer, I state that this is not truly prevalent in ML literature. This is true. However, as pointed out by @amoeba, there is plenty of superscript notation in ML literature for data, but in these cases $x^{(i)}$ does not typically mean the $i^{th}$ observation of a single vector $x$ .

— Cliff AB
nguồn

The clash with the use of parenthesized/bracketed superscripts for iteration counts (a notation that is in common use across a wide range of areas) is a really important thing to raise.

— Glen_b -Reinstate Monica

It is also commonly used to indicate the index of the sample in the training set, which is like the iteration but not exactly the same because you usually end up iterating through your training set many times.

— Rex Kerr

I've also seen iteration counts noted using subscripts (

a_{n + 1} = a_{n} + 1

$a_{n+1} = a_n + 1$ ) as well as in line (

a (n + 1) = a (n) + 1

$a(n+1) = a(n) + 1$ ). Which is why, when using some specific notation, I'll usually put something at the start to disambiguate (e.g. saying "in the following series, blah blah blah" and then putting the math). Thus, whatever notation is in use, readers can (hopefully) intuit the meaning for potentially ambiguous cases rather than having to guess based on the conventions they know.

— JAB

I agree with @JAB. More generally, I don't think it's heinous for people who will be writing and using code to borrow notation from software in mathematical treatments. For example, and contentiously, computing people are way ahead of many mathematical groups in using clean notation such as

(x > 0)

$(x > 0)$ , to be evaluated as 1 if true and 0 if false, instead of unnecessary formalisms such as

I (x > 0)

$I(x > 0)$ ; here I am merely following behind Donald Knuth.

— Nick Cox

@NickCox I generally only see the

I (x > 0)

$I(x > 0)$ form when it comes to probability; otherwise,

x > 0

$x > 0$ is just an inequality constraint. When it comes to mathematical equations, they're either broken up into piecewise representations or they just represent the equation itself as an inequality as doing otherwise would induce ambiguity. (It's similar to how

=

$=$ in math is more subtle than either = or == in most programming languages; it introduces a constraint or definition rather than an actual assignment or equality check.)

— JAB

Superscripts are already used for exponentiation.

In mathematics superscripts are used left and right depending on the field. The choice is always historical legacy, nothing more. Whoever first got into the field set the convention of using sub- or superscripts.

Two examples. Superscripts are used to denote derivatives: $f(x)^{(n)}$

In tensor algebra both super and subscripts are used heavily for the same thing like $R^i_i$ could mean $i$ rows and $j$ columns. It's quite expressive: $T_i^k=R_i^jC_j^k$

Also I remember using scripts before letters (prescripts) in Physics, e.g. $^i_jB_k^l$ . I think it was with tensors.

Hence, the choice of superscripts by Ng is purely historical too. There's no real reason to use or not use them, or prefer them to subscripts. Actually, I believe that here ML people are using tensor notation. They definitely are well versed in the subject, e.g. see this paper.

— Aksakal
nguồn

Another example for your point: Einstein notation

— Neil G