Là một quyết định gốc một mô hình tuyến tính?

Gốc cây quyết định là một cây quyết định chỉ với một lần phân chia. Nó cũng có thể được viết như là một hàm piecewise.

Ví dụ: giả sử $x$ là một vectơ và $x_1$ là thành phần đầu tiên của $x$ , trong cài đặt hồi quy, một số gốc quyết định có thể là

$f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases}$

Nhưng nó là một mô hình tuyến tính? nơi có thể được viết như sau $f(x)=\beta^T x$ ? Câu hỏi này nghe có vẻ lạ, vì như đã đề cập trong các câu trả lời và nhận xét, nếu chúng ta vẽ đồ thị của hàm piecewise thì đó không phải là một dòng. Xin vui lòng xem phần tiếp theo tại sao tôi hỏi câu hỏi này.

CHỈNH SỬA:

Lý do tôi đặt câu hỏi này là hồi quy logistic là một mô hình tuyến tính (tổng quát) và ranh giới quyết định là một dòng, cũng cho gốc quyết định. Lưu ý, chúng tôi cũng có câu hỏi này: Tại sao hồi quy logistic là mô hình tuyến tính? . Mặt khác, có vẻ không đúng khi gốc quyết định là mô hình tuyến tính.

Một lý do khác tôi đã hỏi điều này là vì câu hỏi này: Trong việc thúc đẩy, nếu người học cơ sở là một mô hình tuyến tính, thì mô hình cuối cùng chỉ là một mô hình tuyến tính đơn giản? trong đó, nếu chúng ta sử dụng mô hình tuyến tính như một người học cơ sở, chúng ta không nhận được gì nhiều hơn hồi quy tuyến tính. Nhưng nếu chúng ta chọn người học cơ sở làm gốc quyết định, chúng ta sẽ có được mô hình rất thú vị.

Dưới đây là một ví dụ về việc tăng cường quyết định trong hồi quy với 2 tính năng và 1 phản hồi liên tục.

— Haitao Du
nguồn

Tại sao bạn lại coi nó là tuyến tính ..?

— Tim

@ hxd1011 quan trọng để phân biệt giữa ranh giới quyết định và chức năng quyết định ở đây

— Shadowtalker

Tôi có thể gọi nó là đa thức bậc 1000 với tất cả các đơn hàng từ 1 đến 1000 bằng 0. Tôi có thể gọi nó là một mô hình không thứ tự (hay còn gọi là hằng số) và nó sẽ truyền đạt ngắn gọn hơn các tính năng chính. Một cây cổ điển là hằng số piecewise. Cây tầm thường, gốc cây, là một phân chia duy nhất trong không gian nơi mô hình ở một bên là hằng số và bên kia là một hằng số khác nhau. Nó không phải là hằng số toàn cầu, nhưng nó cũng không phải là poly1. Thư viện "lập thể" trong R phù hợp với các mô hình tuyến tính (poly1) thực tế thay vì các mô hình không đổi. Bạn có thể thử nó.

— EngrStudent - Phục hồi Monica

Nếu bạn vẽ một đường thẳng trong mặt phẳng (giả sử y = 0) và nhận bất kỳ hàm

, thì

f (x)

$f(x)$

sẽ có các đường đồng mức là các đường thực tế (song song

trục

), nhưng nó sẽkhông phảilà một hàm tuyến tính.

g (x, y) = f (x)

$g(x, y) = f(x)$

y

$y$

— Matthew Drury

Đây là một câu hỏi kỳ lạ. Bạn có thể vẽ hàm từ ví dụ của bạn (bằng 3 cho x <2 và 5 cho x> 2) không? Nhìn vào nó - nó là một đường thẳng? Nếu nó không phải là một đường thẳng, thì nó không phải là một hàm tuyến tính.

— amip nói rằng Phục hồi lại

Câu trả lời:

Không, trừ khi bạn chuyển đổi dữ liệu.

Đây là mô hình tuyến tính nếu bạn chuyển đổi bằng hàm chỉ thị: $x$

x^{'} = I ({x > 2}) = {\begin{cases} \begin{aligned} 0 & x \leq 2 \\ 1 & x > 2 \end{aligned} \end{cases}

$x' = \mathbb I \left(\{x>2\}\right) = \begin{cases}\begin{align} 0 \quad &x\leq 2\\ 1 \quad &x>2 \end{align}\end{cases}$

Khi đó $f(x) = 2x' + 3 = \left(\matrix{3 \\2}\right)^T \left(\matrix{1 \\x'}\right)$

Chỉnh sửa: điều này đã được đề cập trong các ý kiến nhưng tôi cũng muốn nhấn mạnh nó ở đây. Bất kỳ chức năng nào phân chia dữ liệu thành hai phần đều có thể được chuyển đổi thành mô hình tuyến tính của dạng này, với một đầu vào và một đầu vào (một chỉ báo cho biết "bên" của phân vùng mà điểm dữ liệu được bật). Điều quan trọng cần lưu ý về sự khác biệt giữa chức năng quyết định và ranh giới quyết định .

— bóng tối
nguồn

"Biến đổi" là khó khăn, tôi nghĩ rằng mạng nơ ron (MLP) là phi tuyến tính, nhưng sau khi biến đổi, nó là tuyến tính ..

— Haitao Du

Nó là một mô hình tuyến tính trong các tham số. Và nó là tuyến tính affine trong hình nộm

x^{'}

$x'$

— Michael M

@MichaelM làm thế nào là tuyến tính trong các tham số? Tôi giả sử theo "tham số", ý bạn là sự lựa chọn của

x \leq 2

$x \leq 2$

— Shadowtalker

@ hxd1011 câu trả lời là "không, trừ khi bạn chuyển đổi dữ liệu"

— Shadowtalker

Tôi khuyên bạn nên chỉnh sửa câu trả lời của mình để bao gồm "không, trừ khi bạn chuyển đổi dữ liệu" (từ nhận xét cuối cùng của bạn) sang nó. Hiện tại lời mở đầu của bạn là "Đó là một mô hình tuyến tính" và mọi người có thể bị nhầm lẫn.

— amip nói rằng Phục hồi lại

Trả lời cho những câu hỏi của bạn:

Một gốc cây quyết định không phải là một mô hình tuyến tính.
Ranh giới quyết định có thể là một dòng, ngay cả khi mô hình không tuyến tính. Hồi quy logistic là một ví dụ.
Mô hình được tăng cường không nhất thiết phải là mô hình giống như người học cơ sở. Nếu bạn nghĩ về nó, ví dụ của bạn về việc thúc đẩy, cộng với câu hỏi bạn liên kết đến, chứng tỏ rằng gốc quyết định không phải là mô hình tuyến tính.

— Cá bơn
nguồn

Câu trả lời này dài dòng hơn mức cần thiết để chỉ trả lời câu hỏi. Tôi hy vọng sẽ kích động một số ý kiến từ các chuyên gia thực sự.

Tôi đã từng ở trong phòng xử án và thẩm phán hỏi (vì lý do chính đáng trong bối cảnh), nếu chúng ta gọi đuôi chó là chân, điều đó có nghĩa là chó có 5 chân? Vậy mô hình tuyến tính là gì?

$f_1, f_2, \ldots, f_n$ $y = \sum a_i f_i$ với các ràng buộc quan trọng là các điều khoản lỗi là độc lập và thường được phân phối. Với định nghĩa đó, người ta không thể nói nếu mô hình của bạn là tuyến tính bởi vì bạn không đưa ra thông tin nào về thuật ngữ lỗi. Nếu một người bỏ các ràng buộc thuật ngữ lỗi, thì đó là tuyến tính tự nhiên trong hàm bạn đưa ra hoặc trong hàm ssdecontrol cung cấp. Tuy nhiên, ngây thơ, trong bối cảnh của câu hỏi này, điều đó có thể không thỏa đáng. Bất kỳ chức năng nào cũng có thể được coi là cơ sở của tuyến tính theo nghĩa đó. Đó là bởi vì bất kỳ không gian nào của hàm có thể được biến thành không gian vectơ của hàm.

$\beta$ $f(x) = \beta^{T} x$

$f(x+y) = f(x) + f(y)$ $x$ $y$ $f(1.5) = 3$ $f(3) = 5$ $f(3) \neq f(1.5) + f(1.5)$ $f(x) = \beta^T x$

— ồ
nguồn

Tuyến tính không có gì để làm với các điều khoản lỗi. Nó phải làm với thực tế là nó bao gồm một sự kết hợp tuyến tính của các tham số . Điều này thể hiện một đường thẳng trong không gian 2D (nhưng nói chung hơn đại diện cho một mặt phẳng).

— Shadowtalker

f (x) = 0

$f(x) = 0$

f (x) = a_{0} + \sum_{i = 1}^{i = N} a_{i} x_{i}

$f(x) = a_0 + \sum_{i=1}^{i=N} a_ix_i$ . Tuy nhiên chức năng sẽ là tuyến tính

⟺ a_{0} = 0

$\iff a_0 = 0$ I E

f (x + y) = f (x) + f (y)

$f(x+y) = f(x) + f(y)$ .

— meh

if that's what he insists, then that's his opinion and not some kind of hard fact. As far as I'm aware, there is no rigorous accepted definition for a "linear model", nor is there a need for one in my mind. For me, the fact that there is an error term involved just turns the model from a "linear model" to a "statistical linear model". I don't see anything inherently linear about her terms, nor do I see anything inherently statistical about linear models.

— shadowtalker

IMO insisting on the presence of an error term just discounts what, say, and engineering or physicist might deem a "linear model" of a deterministic physical process.

— shadowtalker