Làm thế nào một vectơ của các biến đại diện cho một siêu phẳng?

Tôi đang đọc các yếu tố của học thống kê và ở trang 12 (phần 2.3) một mô hình tuyến tính được ký hiệu là:

\hat{Y} = X^{T} \hat{β}

$\widehat{Y} = X^{T} \widehat{\beta}$

... Trong đó là chuyển vị của một vectơ cột của các yếu tố dự đoán / biến độc lập / đầu vào. (Nó tuyên bố trước đó "tất cả các vectơ được coi là vectơ cột" vì vậy điều này sẽ không biến thành một vectơ hàng và một vectơ cột?) $X^{T}$ $X^{T}$ $\widehat{\beta}$

Bao gồm trong là " " được nhân với hệ số tương ứng cho phép chặn (không đổi). $X$ $1$

Nó tiếp tục nói:

Trong không gian đầu ra đầu vào chiều cao , đại diện cho một siêu phẳng. Nếu hằng số được bao gồm trong , thì siêu phẳng bao gồm gốc và là một không gian con; nếu không, đó là một tập hợp affine cắt -axis tại điểm . $(p + 1)$ $(X,\ \widehat{Y})$ $X$ $Y$ $(0,\ \widehat{\beta_0})$

Liệu " " có mô tả một vectơ được hình thành bởi sự kết hợp của các yếu tố dự đoán, phần chặn của " " và không? Và tại sao việc bao gồm " " trong buộc siêu phẳng đi qua gốc tọa độ , chắc chắn rằng " " sẽ được nhân với ? $(X,\ \widehat{Y})$ $1$ $\widehat{Y}$ $1$ $X$ $1$ $\widehat{\beta_0}$

Tôi không hiểu cuốn sách; bất kỳ trợ giúp / lời khuyên / liên kết đến các tài nguyên sẽ được đánh giá rất cao.

regression references statistical-learning

— Scott
nguồn

Nó có thể giúp xem xét trước. Trong trường hợp đó, , với chặn. Đây là phương trình của một dòng đi qua . Mở rộng cho kích thước cao hơn là ngay lập tức.

p = 1

$p = 1$

\hat{y} = {\hat{β}}_{0} + x \hat{β}

$\hat{y} = \hat{\beta}_0 + x \hat{\beta}$

β_{0}

$\beta_0$

(0, {\hat{β}}_{0})

$(0, \hat{\beta}_0)$

— ocram

Nếu sự giúp đỡ của @ocram là không đủ, hãy thử viết ra các vectơ và thực hiện phép nhân.

— Peter Flom - Tái lập Monica

Đây là một bản trình bày đồ họa đẹp: blog.stata.com/2011/03/03/ . Ký hiệu là khác nhau, A có X và x của bạn là .

\hat{β}

$\hat \beta$

— Dimitriy V. Masterov

Cuốn sách này là sai, hoặc ít nhất đó là không phù hợp. Rõ ràng có các biến không bao gồm hằng số. Do đó, tập hợp thực sự là một siêu phẳng, nhưng không đúng khi nói rằng hằng số là "được bao gồm trong " Thay vào đó tôi nghĩ rằng cuốn sách có nghĩa là để nói hằng số được bao gồm trong hồi quy nhưng vẫn không nên được coi là một phần của . Do đó, mô hình thực sự nên được viết trong đó . Đặt ngay lập tức đưa ra khẳng định về việc chặn.

p

$p$

{(X, \hat{Y}) | X \in R^{p}}

$\{(X,\hat{Y})|X\in\mathbb{R}^p\}$

X

$X$

X

$X$

\hat{Y} = {\hat{β}}_{0} + X^{'} \hat{β}

$\hat{Y}=\hat\beta_0 + X'\hat\beta$

β = (β_{1}, β_{2}, \dots, β_{p})^{'}

$\beta=(\beta_1,\beta_2,\ldots,\beta_p)'$

X = 0

$X=0$

— whuber

(Nếu chúng ta thay vì bao gồm hằng số trong , sau đó chúng ta có thể không để cho tự do thay đổi theo tất cả các : nó bị hạn chế nói dối trong một . Không gian con chiều Sơ đồ sau đó có mã hóa ít nhất là và do đó không thực sự là một "siêu phẳng".)

X

$X$

X

$X$

R^{p}

$\mathbb{R}^p$

p - 1

$p-1$

{(X, \hat{Y})}

$\{(X,\hat Y)\}$

2

$2$

— whuber

Câu trả lời:

Gọi là số lượng quan sát và là số lượng biến giải thích. $N$ $K$

$X$ thực sự là ma trậnChỉ khi chúng ta nhìn vào một quan sát duy nhất, chúng ta biểu thị mỗi quan sát thường là - một vectơ hàng của các biến giải thích của một vô hướng quan sát cụ thể nhân với vectơ cột cột . Hơn nữa, là một vectơ cột , giữ tất cả các quan sát . $N\!\times\!K$ $x_i^T$ $K\!\times\!1$ $\beta$ $Y$ $N\!\times\!1$ $Y_n$

Bây giờ, một siêu phẳng hai chiều sẽ trải rộng giữa các vector và một (!) Vector cột của . Hãy nhớ rằng là một ma trận, vì vậy mỗi biến giải thích được thể hiện bằng đúng một vector cột của ma trận . Nếu chúng ta chỉ có một biến giải thích, không có đánh chặn và , tất cả các điểm dữ liệu đều nằm dọc theo mặt phẳng 2 chiều kéo dài bởi và . $Y$ $X$ $X$ $N\!\times\!K$ $X$ $Y$ $Y$ $X$

Đối với hồi quy bội, tổng siêu phẳng giữa và ma trận có bao nhiêu chiều? Trả lời: Vì chúng ta có các vectơ cột của các biến giải thích trong , nên chúng ta phải có một siêu phẳng chiều. $Y$ $X$ $K$ $X$ $K\!+\!1$

Thông thường, trong cài đặt ma trận, hồi quy yêu cầu chặn liên tục không thiên vị để phân tích hợp lý hệ số độ dốc. Để phù hợp với thủ thuật này, chúng tôi buộc một cột của ma trận chỉ bao gồm " s". Trong trường hợp này, công cụ ước tính đứng một mình nhân với một hằng số cho mỗi quan sát thay vì một biến giải thích ngẫu nhiên. Do đó, hệ số biểu thị giá trị mong đợi của khi được giữ cố định với giá trị 1 và tất cả các biến khác đều bằng không. Do đó, siêu phẳng đa chiều bị giảm một chiều xuống không gian con -chiều và $X$ $1$ $\beta_1$ $\beta_1$ $Y$ $x_{1i}$ $K\!+\!1$ $K$ $\beta_1$ tương ứng với "đánh chặn" của mặt phẳng -chiều này. $K$

Trong cài đặt ma trận, luôn luôn nên xem xét trường hợp đơn giản gồm hai chiều, để xem liệu chúng ta có thể tìm thấy một trực giác cho kết quả của mình không. Ở đây, cách dễ nhất là nghĩ về hồi quy đơn giản với hai biến giải thích: hoặc được biểu thị theo cách khác trong đại số Matrix: trong đó là a ma trận.

y_{i} = β_{1} x_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_1x_{1i} + \beta_2x_{2i} +u_i$

Y = X β + u

$Y=X\beta +u$

X

$X$

N \times 2

$N\!\times\!2$

$<Y,X>$ kéo dài một siêu phẳng 3 chiều.

Bây giờ nếu chúng ta buộc tất cả là tất cả , chúng ta sẽ có được: , đó là hồi quy đơn giản thông thường của chúng ta có thể được biểu diễn trong biểu đồ hai chiều . Lưu ý rằng hiện đã được giảm xuống thành một dòng hai chiều - một tập hợp con của siêu phẳng 3 chiều ban đầu. Hệ số tương ứng với việc chặn đường cắt tại . $x_1$ $1$

y_{i} = β_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_{1i} + \beta_2x_{2i} + u_i$

X, Y

$X,\ Y$

< Y, X >

$<Y,X>$

β_{1}

$\beta_1$

x_{2 i} = 0

$x_{2i}=0$

Có thể thấy thêm rằng nó cũng đi qua khi bao gồm hằng số . Nếu chúng ta bỏ đi hằng số, siêu phẳng hồi quy luôn vượt qua tầm thường - không còn nghi ngờ gì nữa. Điều này khái quát cho nhiều thứ nguyên, như sẽ thấy sau này khi xuất phát : Vì có thứ hạng đầy đủ trên mỗi định nghĩa, , và do đó hồi quy sẽ đi qua gốc nếu chúng ta bỏ qua phần chặn. $<0,\beta_1>$ $<0,0>$ $\beta$

(X^{'} X) β = X^{'} y ⟹ (X^{'} X) β - X^{'} y = 0 ⟹ X^{'} (y - X β) = 0.

$(X'X)\beta=X'y \implies (X'X)\beta-X'y=0 \implies X'(y-X\beta)=0.$

X

$X$

y - X β = 0

$y-X\beta=0$

( Chỉnh sửa: Tôi chỉ nhận ra rằng cho câu hỏi thứ hai của bạn này là hoàn toàn ngược lại của bạn đã viết regading bao gồm hoặc loại trừ các hằng số Tuy nhiên, tôi đã nghĩ ra giải pháp ở đây và tôi đứng sửa chữa nếu tôi sai cho người khác.. )

Tôi biết rằng biểu diễn ma trận của hồi quy có thể khá khó hiểu khi bắt đầu nhưng cuối cùng nó đơn giản hóa rất nhiều khi lấy đại số phức tạp hơn. Mong cái này giúp được chút ít.

— Thiếu tá
nguồn

Tôi nghĩ cách nghĩ về nó là sắp xếp lại phương trình đó:

\hat{Y} - X^{T} \hat{β} = 0

$\widehat{Y} - X^{T} \widehat{\beta} = 0$

Cách duy nhất bạn sẽ có được phương trình tuyến tính đó để bao gồm gốc tọa độ là làm cho dự đoán bằng với phần chặn. Và cách để ước tính giá trị đó là bao gồm một thuật ngữ chặn trong mô hình hồi quy.

\hat{Y}

$\widehat{Y}$

— DW
nguồn