Câu hỏi về một bằng chứng phương trình bình thường

Làm thế nào bạn có thể chứng minh rằng các phương trình bình thường: có một hoặc nhiều giải pháp mà không có sự giả định rằng X là khả nghịch? $(X^TX)\beta = X^TY$

Dự đoán duy nhất của tôi là nó có liên quan đến nghịch đảo tổng quát, nhưng tôi hoàn toàn lạc lối.

regression proof

— ryati
nguồn

Bạn đạt được điểm bằng cách đặt câu hỏi gây ra câu trả lời tuyệt vời.

— Nikana Reklawyks

Một người bị cám dỗ để được glib và chỉ ra rằng bởi vì hình thức bậc hai

β \to (Y - X β)^{'} (Y - X β)

$\beta \to (Y - X\beta)'(Y - X\beta)$

đang tích cực bán nhất định, tồn tại một mà nó là tối thiểu và tối thiểu được tìm thấy (bằng cách thiết lập gradient đối với bằng không) với các phương trình bình thường $\beta$ $\beta$

X^{'} X (Y - X β) = 0,

$X'X(Y - X\beta) = 0,$

từ đâu thì phải có ít nhất một giải pháp không phụ thuộc vào thứ hạng của $X'X$ . Tuy nhiên, lập luận này dường như không nằm trong tinh thần của câu hỏi, dường như là một tuyên bố đại số thuần túy. Có lẽ thật thú vị khi hiểu tại sao một phương trình như vậy phải có một giải pháp và trong những điều kiện chính xác. Vì vậy, hãy bắt đầu lại và giả vờ rằng chúng ta không biết kết nối với các hình vuông nhỏ nhất.

Tất cả đều đi xuống đến ý nghĩa của , các transpose của . Điều này sẽ trở thành một vấn đề của một định nghĩa đơn giản, ký hiệu phù hợp và khái niệm về một hình thức Sesquilinear không phổ biến. Hãy nhớ rằng là "ma trận thiết kế" của hàng (một cho mỗi quan sát) và cột (một cho mỗi biến, bao gồm cả hằng số nếu có). Do đó, nó đại diện cho một chuyển đổi tuyến tính từ không gian vectơ sang . $X'$ $X$ $X$ $n$ $p$ $\mathbb V = \mathbb{R}^p$ $\mathbb W = \mathbb{R}^n$

Các chuyển vị của , coi như là một biến đổi tuyến tính , là một biến đổi tuyến tính của không gian kép . Để thực hiện ý nghĩa của một thành phần như , sau đó, nó là cần thiết để xác định với . Đó là những gì sản phẩm bên trong thông thường (tổng bình phương) trên làm. $X$ $X': \mathbb{W}^* \to \mathbb{V}^*$ $X'X$ $\mathbb{W}^*$ $\mathbb{W}$ $\mathbb{W}$

Thực tế có hai sản phẩm bên trong và được xác định trên và tương ứng. Đây là các hàm đối xứng song tuyến có giá trị thực không suy biến . Cái sau có nghĩa là $g_V$ $g_W$ $\mathbb V$ $\mathbb W$

g_{W} (u, v) = 0 \forall u \in W ⟹ v = 0,

$g_W(u, v) = 0\ \forall u\in \mathbb W \implies v = 0,$

$g_V$ $g(u,v)=0$ $u$ $v$ $g_W$ $g_V$ $X':\mathbb W\to\mathbb V^*$

$X: \mathbb V \to \mathbb W$ $X': \mathbb W \to \mathbb V$

g_{V} (X^{'} (w), v) = g_{W} (w, X (v))

$g_V(X'(w), v) = g_W(w, X(v))$

$w\in \mathbb W$ $v\in \mathbb V$ $X'(w) \in \mathbb V$ $\mathbb V$ $\mathbb W$ $v_1$ $v_2$ $g_V(v_1,v)=g_V(v_2,v)$ $v\in\mathbb V$ $g_V(v_1-v_2,v)=0$ $v$ $v_1-v_2=0$

$\mathbb U \subset \mathbb W,$ $\mathbb{U}^\perp$ $\mathbb U$ $X(\mathbb V)$ $X$ $\{X(v) | v \in \mathbb V\} \subset \mathbb W$ $X$ $X'$

X^{'} (w) = 0 ⟺ w \in X (V)^{⊥} .

$X'(w) = 0 \iff w \in X(\mathbb V)^\perp.$

$w$ $X'$ $w$ $X$

$X'(w) = 0$ $g_W(w, X(v)) = g_V(X'(w),v) = g_V(0,v)=0$ $v\in\mathbb V$ $w$ $X(V)$
$w$ $X(\mathbb V)$ $g_W(w, X(v)) = 0$ $v\in\mathbb V$ $g_V(X'(w), v) = 0$ $g_V$ $X'(w)=0$

$\mathbb W$ $\mathbb W = X(\mathbb V) \oplus X(\mathbb V)^\perp$ $y \in \mathbb W$ $y = y_0 + y^\perp$ $y_0\in X(\mathbb V)$ $y^\perp \in X(\mathbb V)^\perp$ $y_0$ $X(\beta)$ $\beta\in\mathbb V$

y - X β = (y_{0} + y^{⊥}) - y_{0} = y^{⊥} \in X (V)^{⊥}

$y - X\beta = (y_0 + y^\perp) - y_0 = y^\perp \in X(\mathbb V)^\perp$

$X'$

X^{'} (y - X β) = 0,

$X'(y - X\beta) = 0,$

$\beta$ $X'X\beta = X'y.$

$n$ $y\in\mathbb W$ $y_0$ $X$ $y^\perp$ $y_0$ $y_0$ $p$ $\beta\in\mathbb V$ $X(\mathbb V)$ $X$ $X$ $\mathbb V$ $\mathbb W$

$\mathbb V$ $\mathbb U = X(\mathbb V)\subset\mathbb W$ $X$ $\mathbb U$

Một kết quả thú vị của trình diễn đại số trừu tượng này là chúng ta có thể giải các phương trình bình thường trong các không gian vectơ tùy ý. Kết quả cho thấy, đối với các không gian phức tạp, đối với các không gian trên các trường hữu hạn (trong đó tối thiểu hóa một tổng bình phương có ý nghĩa rất nhỏ) và thậm chí trên các không gian vô hạn hỗ trợ các dạng tuần tự phù hợp.

— whuber
nguồn

Tôi không bao giờ có đại diện để chấp nhận câu trả lời này cho đến sau này. Tôi chỉ vấp ngã về điều này và muốn cảm ơn bạn một lần nữa!

— ryati

β \mapsto (Y - X β)^{'} (Y - X β)

$\beta \mapsto (Y - X\beta)'(Y - X\beta)$

β \to (Y - X β)^{'} (Y - X β),

$\beta \to (Y - X\beta)'(Y - X\beta),$

f : A \to B .

$f:A\to B. \qquad$

— Michael Hardy

@Michael Phải có một lỗi đánh máy trong bình luận của bạn. Bạn có phiền làm rõ những gì bạn có ý nghĩa?

— whuber

“ \mapsto''

$\text{“}\mapsto\text{''}$

“ \to''

$\text{“}\to\text{''}$

$\qquad$

— Michael Hardy

@Michael Hãy tha thứ cho tôi vì đã không thấy sự khác biệt đó, mặc dù có nhiều bài đọc. Bất kể, đối với tôi mũi tên đầu tiên đề cập đến chức năng tiêm trong khi mũi tên thứ hai đề cập đến bất kỳ chức năng nào, nhưng tôi nghi ngờ đó không phải là ý bạn. Bạn có phiền giải thích ký hiệu của bạn?

— whuber

$n$ $X^T X$ $x$ $x_i=x$ $y$ $\overline{y}$

— Lucozade
nguồn

X = [1 x_{1}; 1 x_{2}; \dots; 1 x_{n}]

$X=[1 ~x_1; 1 ~x_2; \ldots; 1 ~x_n]$

X = [1 x_{11} \dots x_{m 1}; \dots; 1 x_{1 n} \dots x_{m n}]

$X=[1 ~x_{11} \ldots x_{m1}; \ldots; 1 ~x_{1n} \ldots x_{mn}]$

X^{'} X

$X'X$

Trong hồi quy điển hình, X gầy và do đó chắc chắn không thể đảo ngược (mặc dù nó có thể bị đảo ngược.) Thật đơn giản để chứng minh (hỏi nếu bạn cần trợ giúp) rằng nếu X gầy và không thể đảo ngược thì X ^ T * X không thể đảo ngược. Trong trường hợp này, sau đó sẽ có chính xác một giải pháp. Và nếu X không có thứ hạng cột đầy đủ, thì X ^ T * X sẽ không có thứ hạng đầy đủ và do đó bạn sẽ có một hệ thống chưa được xác định trước.

— người dùng542833
nguồn

X^{'} X

$X'X$

X

$X$

0 β = 0

$0\beta=0$

β

$\beta$

whuber: tất nhiên họ giải quyết câu hỏi: một soln nếu X là thứ hạng cột đầy đủ (như tôi đã đề cập) và các giải pháp vô hạn nếu đó là một hệ thống không xác định

— user542833

Thực tế là hệ thống "không xác định trước" không có nghĩa là nó có bất kỳ giải pháp nào cả. Câu hỏi là về sự tồn tại của các giải pháp.

— whuber