Cây hồi quy có thể dự đoán liên tục?

Giả sử tôi có một hàm trơn như . Tôi có tập huấn luyện D \ subsetneq \ {((x, y), f (x, y)) | (x, y) \ in \ mathbb {R} ^ 2 \} và tất nhiên, tôi không biết f mặc dù tôi có thể đánh giá f bất cứ nơi nào tôi muốn.$f(x, y) = x^2+y^2$$D \subsetneq \{((x, y), f(x,y)) | (x,y) \in \mathbb{R}^2\}$$f$$f$

Các cây hồi quy có khả năng tìm ra một mô hình trơn tru của hàm (do đó một thay đổi nhỏ trong đầu vào chỉ nên tạo ra một thay đổi nhỏ trong đầu ra)?

Từ những gì tôi đã đọc trong Bài giảng 10: Cây hồi quy , đối với tôi, cây hồi quy về cơ bản đặt các giá trị hàm vào các thùng:

Đối với cây hồi quy cổ điển, mô hình trong mỗi ô chỉ là ước tính không đổi của Y.

Khi họ viết "cổ điển", tôi đoán có một biến thể trong đó các tế bào làm điều gì đó thú vị hơn?

Cây hồi quy, đặc biệt là tăng cường độ dốc (về cơ bản là nhiều cây), có xu hướng làm rất tốt các dự đoán liên tục, thường vượt trội so với các mô hình thực sự liên tục như hồi quy tuyến tính khi. Điều này đặc biệt đúng khi có các tương tác thay đổi và khi bạn có một bộ dữ liệu đủ lớn (hơn 10.000 bản ghi) để việc quá mức sẽ ít xảy ra hơn. Nếu mục tiêu chính của bạn chỉ đơn giản là sức mạnh dự đoán, thì liệu mô hình là liên tục 100% hay giả liên tục sẽ không liên quan. Nếu làm cho cây hồi quy của bạn tăng cường liên tục hơn sức mạnh dự đoán mẫu, thì bạn có thể chỉ cần tăng độ sâu của cây hoặc thêm nhiều cây.

Trong cây hồi quy cổ điển, bạn có một giá trị trong lá, nhưng trong lá bạn có thể có mô hình hồi quy tuyến tính, hãy kiểm tra vé này .

Bạn cũng có thể sử dụng tập hợp các cây (Random Forest hoặc Gradient Boosting Machines) để có giá trị đầu ra liên tục.

Nếu bạn hơi mở rộng câu hỏi để bao gồm các kỹ thuật tăng cường độ dốc chung (ngược lại với trường hợp đặc biệt của cây hồi quy được tăng cường), thì câu trả lời là có. Tăng cường độ dốc đã được sử dụng thành công thay thế cho lựa chọn biến. Một ví dụ điển hình là gói mboost . Điều quan trọng là lớp người học cơ sở được sử dụng để tăng cường bao gồm các mô hình liên tục để bắt đầu. Hướng dẫn này mô tả các lớp học cơ bản điển hình như sau:

Các mô hình người học cơ sở thường được sử dụng có thể được phân thành ba loại khác nhau: mô hình tuyến tính, mô hình trơn tru và cây quyết định. Ngoài ra còn có một số mô hình khác, chẳng hạn như các trường ngẫu nhiên markov (Dietterich et al., 2004) hoặc wavelet (Viola và Jones, 2001), nhưng ứng dụng của chúng phát sinh cho các nhiệm vụ thực tế tương đối cụ thể.

Lưu ý rằng nó đặc biệt đề cập đến wavelet. Cây và sóng con đã được kết hợp thành công trước khi thành sóng con dựa trên cây.