Các bước để chuyển tổng bình phương có trọng số thành dạng ma trận là gì?

Tôi mới chuyển đổi công thức sang dạng ma trận. Nhưng điều này là cần thiết cho mã máy học hiệu quả. Vì vậy, tôi muốn hiểu cách "đúng", không phải những thứ cao bồi tôi làm.

Được rồi, chúng ta đi, tôi đang cố gắng chuyển đổi tổng bình phương có trọng số từ dạng bên dưới thành dạng ma trận. Tôi thường thấy dạng ma trận tương đương với dạng bên dưới và không có lời giải thích nào được đưa ra về cách nó được dẫn xuất.

J (w) = \sum_{i = 1}^{m} u_{i} (w^{T} x_{i} - y_{i})^{2}

$J(w)=\sum_{i=1}^m u_i (w^T x_i - y_i)^2$

Trong đó là trọng số cho mỗi lỗi mẫu . Ngoài ra, , , , , . là giá trị dự đoán, kết quả của việc nhân một vectơ trọng số với một vectơ đặc trưng. $u_i$ $_i$ $x_i \in \mathbb{R^n}$ $w \in \mathbb{R^n}$ $y \in \mathbb{R}$ $u_i \in \mathbb{R}$ $i=1,...,m$ $w^T x_i$

Đây là những gì tôi nghĩ, và tôi có được sáng tạo. Vì vậy, hãy thoải mái bỏ qua đến cuối cùng nếu tôi tiếp tục.

Đặt là một vectơ cột của các hàm đại diện cho lỗi không bình phương. Chúng ta có thể biểu diễn trên là $r$ $(w^T x_i - y_i)^2$ $i=1,...,m$

\begin{matrix} (1) & r^{2} = [\begin{matrix} r_{1} & r_{2} & \dots & r_{m} \end{matrix}] [\begin{matrix} r_{1} \\ r_{2} \\ ⋮ \\ r_{m} \end{matrix}] \end{matrix}

$r^2 = \begin{bmatrix}r_1 & r_2 & \cdots & r_m\end{bmatrix} \begin{bmatrix} r_1 \\ r_2 \\ \vdots \\ r_m \\ \end{bmatrix} \tag{1}\label{1}$

Các kết quả của vector nhân với vector là một ma trận (vô hướng). $1 \times m$ $m \times 1$ $1 \times 1$

Đặt là một vectơ có trọng số cho từng lỗi mẫu. Vì chúng ta cần cân các lỗi bình phương, chúng ta cần kết hợp trong Công thức trước khi lấy vô hướng. Vì chúng ta muốn đầu tiên duy trì dưới dạng vectơ , chúng tôi xác định là ma trận đường chéo với các số hạng chéo đến từ . Chúng tôi hiện có: $u$ $u$ $\ref{1}$ $r$ $1 \times m$ $U$ $u$

\begin{matrix} (2) & J (w) = [\begin{matrix} r_{1} & r_{2} & \dots & r_{m} \end{matrix}] [\begin{matrix} u_{1} & 0 & \dots & 0 \\ 0 & u_{2} & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & u_{m} \end{matrix}] [\begin{matrix} r_{1} \\ r_{2} \\ ⋮ \\ r_{m} \end{matrix}] \end{matrix}

$J(w) = \begin{bmatrix}r_1 & r_2 & \cdots & r_m\end{bmatrix} \begin{bmatrix} u_1 & 0 & \cdots & 0\\ 0 & u_2 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots\\ 0 & 0 & \cdots & u_m\\ \end{bmatrix} \begin{bmatrix} r_1 \\ r_2 \\ \vdots \\ r_m \\ \end{bmatrix} \tag{2}\label{2}$

Chúng ta có thể đơn giản hóa điều này thành

\begin{matrix} (3) & J (w) = r^{T} U r \end{matrix}

$J(w) = r^T U r \tag{3}\label{3}$

$r$ $x_i \in \mathbb{R^n}$ $w \in \mathbb{R^n}$ $Xw$ $m \times n$ $w$ $n \times 1$ $m \times 1$ $y = 1,...,m$ $r = (Xw - y)$ $\ref{3}$

\begin{matrix} (4) & J (w) = (X w - y)^{T} U (X w - y) \end{matrix}

$J(w) = (Xw - y)^T U(Xw-y) \tag{4}\label{4}$

Đầu tiên, điều này có ý nghĩa? Thứ hai, và quan trọng nhất, đây có thực sự là cách bạn phải làm không?

Cảm ơn

regression machine-learning linear-algebra

— Sao Chức Nữ
nguồn

This: math.stackexchange.com/questions/198257/ từ có thể giúp bạn!

— kjetil b halvorsen

+1: Hài hước khi bạn nghĩ rằng bạn đang làm 'đồ cao bồi'. Đây chính xác là cách để làm điều đó, nhưng tôi sẽ không bao giờ viết nó ra một cách toàn diện (công việc rất tốt!). Đây là một chương của một cuốn sách của khóa học kinh tế lượng 1 của tôi trong quá trình nghiên cứu kinh tế lượng của tôi. Trang 120 giải thích cách viết lại hàm (dễ) thành ký hiệu ma trận và trang 121 là ví dụ của bạn mà không có trọng số (mặc dù ký hiệu hơi khác nhau). Nếu tôi nhớ chính xác, một chương khác cũng xử lý các công cụ ước tính của WLS (về cơ bản là biểu thức của bạn).

— Marcel10

Co vẻ tôt vơi tôi.

— Matthew Gunn

Tôi sẽ mạo hiểm trả lời cho câu hỏi này: Mọi thứ bạn trình bày đều đúng.

$\hat{\beta}_{WLS} = \left( \mathbf{X}^T\mathbf{W}\mathbf{X} \right) \left( \mathbf{X}^T \mathbf{W} Y \right)$ $\mathbf{X}$ $\mathbf{1}$ $n \times 1$

$w$ $u$ $\mathbf{X} = [x], \mathbf{W} = \text{diag}(u),$ $\beta=[w]$

Các giấy tờ chứng minh của định lý Gauss Markov là do mâu thuẫn. Xem ở đây . Điều đó có nghĩa là chúng ta không phân tích được một công cụ ước tính như vậy trực tiếp từ hàm mất mát. Bạn có thể đã thấy một cách tiếp cận như vậy được sử dụng với các phương trình ước lượng hồi quy tuyến tính và logistic.

— Adam
nguồn