Các ký hiệu cổ điển trong thống kê, đại số tuyến tính và học máy là gì? Và các kết nối giữa các ký hiệu này là gì?

Khi chúng ta đọc một cuốn sách, việc hiểu các ký hiệu đóng vai trò rất quan trọng trong việc hiểu nội dung. Thật không may, các cộng đồng khác nhau có các quy ước ký hiệu khác nhau cho việc xây dựng mô hình và vấn đề tối ưu hóa. Bất kỳ ai có thể tóm tắt một số ký hiệu xây dựng ở đây và cung cấp lý do có thể?

Tôi sẽ đưa ra một ví dụ ở đây: Trong văn học đại số tuyến tính, cuốn sách kinh điển là phần giới thiệu của Strang về đại số tuyến tính . Ký hiệu được sử dụng nhiều nhất trong cuốn sách là

A x = b

$A x=b$

Trong đó là ma trận hệ số , là các biến cần giải $A$ $x$ và là một vectơ ở bên phải của phương trình . Các lý do cuốn sách chọn ký hiệu này là mục tiêu chính của đại số tuyến tính được giải quyết một hệ thống tuyến tính và con số ra những gì là vector . Với công thức như vậy, bài toán tối ưu hóa OLS là $b$ $x$

\underset{x}{minimize} ‖ A x - b ‖^{2}

$\underset{x}{\text{minimize}}~~ \|A x-b\|^2$

Trong thống kê hoặc học máy biết chữ (từ cuốn sách Các yếu tố của học thống kê ) mọi người sử dụng các ký hiệu khác nhau để thể hiện cùng một điều:

X β = y

$X \beta= y$

Trong đó là ma trận dữ liệu , là hệ số hoặc trọng số cần học , là đáp ứng. Các lý do người sử dụng này là bởi vì mọi người trong thống kê hoặc máy cộng đồng học tập được dữ liệu điều khiển , vì vậy dữ liệu và $X$ $\beta$ $y$ câu trả lời là những điều thú vị nhất đối với họ, nơi họ sử dụng và để biểu diễn. $X$ $y$

Bây giờ chúng ta có thể thấy tất cả sự nhầm lẫn có thể có ở đó: trong phương trình thứ nhất giống như trong phương trình thứ hai. Và trong phương trình thứ hai không phải là một cái gì đó cần phải giải. Ngoài ra đối với các thuật ngữ: là ma trận hệ số trong đại số tuyến tính, nhưng nó là dữ liệu trong thống kê. còn được gọi là "hệ số". $A$ $X$ $X$ $A$ $\beta$

Ngoài ra, tôi đã đề cập đến không phải là chính xác những gì mọi người sử dụng rộng rãi trong học máy, mọi người sử dụng một phiên bản vector hóa một nửa tóm tắt trên tất cả các điểm dữ liệu. Nhu la $X \beta=y$

min \sum_{i} L (y_{i}, f (x_{i}))

$\min \sum_i \text{L}(y_i,f(x_i))$

Tôi nghĩ lý do cho điều này là nó tốt khi nói về độ dốc dốc ngẫu nhiên và các hàm mất khác nhau. Ngoài ra, ký hiệu ma trận ngắn gọn biến mất cho các vấn đề khác ngoài hồi quy tuyến tính.

Ký hiệu ma trận cho hồi quy logistic

Bất cứ ai có thể đưa ra tóm tắt nhiều hơn về các ký hiệu vượt qua văn học khác nhau? Tôi hy vọng câu trả lời thông minh cho câu hỏi này có thể được sử dụng như một tài liệu tham khảo tốt cho những người đọc sách qua các tài liệu khác nhau.

xin đừng bị giới hạn bởi ví dụ của tôi và . Có nhiều người khác. Nhu la $A x=b$ $X \beta=y$

Tại sao có hai công thức / ký hiệu mất logistic khác nhau?

— hxd1011
nguồn

Ký hiệu không thực sự tồn tại như một loại sự thật có thể kiểm chứng bên ngoài. Đó là một ngôn ngữ, do đó, nó vốn đã theo ngữ cảnh và được xác định lại. Nếu tôi viết x * b và nói điều đó có nghĩa là ma trận x chấm sản phẩm vectơ b, thì nó có được in đậm hay không.

— Sycorax nói Phục hồi lại

Tôi muốn nói rằng và có ký hiệu tương đương. Chỉ cần tên của các biến đã thay đổi. Nói chung, bạn sẽ không tìm thấy cách đặt tên nhất quán của các biến từ giấy này sang giấy khác, ngay cả trong một trường.

A x = b

$Ax = b$

X β = y

$X \beta = y$

— user20160

Hiện tại, điều này có 10 lượt upvote, 150 lượt xem; nó dường như là một chủ đề có giá trị và hữu ích. Hơn nữa, nó có một câu trả lời nâng cao; Vì vậy, tôi không nghĩ rằng nó quá rộng để được trả lời.

— gung - Phục hồi Monica

Tôi đồng ý với @gung, cộng đồng rõ ràng có một số quan tâm đến câu hỏi này. Tôi đã đề cử để mở lại.

— Matthew Drury

Tôi nghĩ rằng nó quá rộng cho một q thông thường. - nhưng vì nó đã được CW và hơi phổ biến, tôi đã thêm phiếu bầu của mình để mở lại cho bốn người đang ở đó.

— Scortchi - Phục hồi Monica

Có lẽ một câu hỏi liên quan là "Các từ được sử dụng trong các ngôn ngữ khác nhau và các kết nối giữa các từ này là gì?"

Ký hiệu theo một nghĩa nào đó giống như ngôn ngữ:

Một số từ có ý nghĩa khu vực cụ thể; một số từ được hiểu rộng rãi.
Giống như các quốc gia hùng mạnh truyền bá ngôn ngữ của họ, các lĩnh vực thành công và các nhà nghiên cứu có ảnh hưởng lan truyền ký hiệu của họ.
Ngôn ngữ phát triển theo thời gian: ngôn ngữ có sự pha trộn của nguồn gốc lịch sử và ảnh hưởng hiện đại.

Câu hỏi cụ thể của bạn ...

Tôi không đồng ý với sự tranh cãi của bạn rằng hai người theo "ký hiệu hoàn toàn khác nhau". Cả và sử dụng chữ in hoa để biểu thị ma trận. Chúng không phải là khác nhau. $X\boldsymbol{\beta} = \boldsymbol{y}$ $A\mathbf{x} = \mathbf{b}$
Học máy có liên quan nhiều đến thống kê, một lĩnh vực rộng lớn và trưởng thành. Sử dụng để biểu diễn ma trận dữ liệu gần như chắc chắn là quy ước chuẩn nhất, dễ đọc nhất. Mặc dù là tiêu chuẩn để giải các hệ tuyến tính, nhưng điều đó không phải là $X$ $A\mathbf{x} = \mathbf{b}$ cách mọi người thực hiện thống kê viết các phương trình bình thường. Bạn sẽ thấy khán giả của mình bối rối hơn nếu bạn cố gắng làm điều đó. Khi ở Rome ...
Trong một nghĩa nào đó, trái tim của câu hỏi sửa đổi của bạn là, "là gì nguồn gốc lịch sử của thống kê sử dụng thư để biểu diễn dữ liệu và chữ β để đại diện cho biến không xác định để giải quyết cho?"
- Đây là một câu hỏi cho các nhà sử học thống kê! Tìm kiếm ngắn gọn, tôi thấy nhà thống kê người Anh có ảnh hưởng và học giả Cambridge, Udny Yule đã sử dụng để thể hiện dữ liệu trong phần Giới thiệu về Lý thuyết Thống kê (1911). Ông đã viết phương trình hồi quy là , với mục tiêu bình phương nhỏ nhất là tối thiểu hóa và với giải pháp $x$ $x_1 = a + bx_2$ $\sum\left( x_1 - a - bx_2\right)^2$ . Nó ít nhất trở lại sau đó ... $b_{12} = \frac{\sum x_1x_2}{\sum x_2^2}$
- RA Fisher thậm chí còn có ảnh hưởng lớn hơn đã sử dụng cho biến phụ thuộc và cho biến độc lập trong cuốn sách năm 1925 Phương pháp thống kê dành cho công nhân nghiên cứu . (Hat tip cho @Nick Cox để cung cấp liên kết với thông tin.) $y$ $x$

Ký hiệu tốt giống như ngôn ngữ tốt. Tránh biệt ngữ trường cụ thể bất cứ khi nào có thể. Viết bằng toán tương đương với tiếng Anh cao của BBC, ngôn ngữ dễ hiểu với hầu hết mọi người nói tiếng Anh. Người ta nên viết, bất cứ khi nào có thể, sử dụng ký hiệu rõ ràng và được hiểu rộng rãi.

— Matthew Gunn
nguồn

Nhà sử học thống kê nghiệp dư này có thể cung cấp một sự điều chỉnh mang tính mô phạm mà Yule chưa bao giờ là Giáo sư ... Thú vị hơn là có một trang web thích hợp tại jeff560.tripod.com/stat.html ngoại trừ việc nó dường như bị ngừng hoạt động.

— Nick Cox

χ^{2}

$\chi^2$

@NickCox Liên kết tuyệt vời jeff560.tripod.com/stat.html (theo tôi ...) có tham khảo Yule và RA Fisher! Nguồn gốc toán học sớm nhất của hồi quy rõ ràng đã quay trở lại sớm hơn với Gauss và Laplace, nhưng trong tìm kiếm nghiệp dư hoàn chỉnh của tôi, chúng dường như sử dụng các ký hiệu khác nhau.

— Matthew Gunn

jeff560.tripod.com/stat.html khi tôi viết là bản cập nhật 2014; www.math.hawaii.edu/~tom/history/stat.html là bản sao của phiên bản từ năm 2007

— Nick Cox