Có lẽ chỉ là tôi mệt, nhưng tôi gặp khó khăn khi cố gắng hiểu thuật toán Hồi quy theo giai đoạn chuyển tiếp. Từ "Các yếu tố của học thống kê" trang 60:
Hồi quy theo giai đoạn chuyển tiếp (FS) thậm chí còn hạn chế hơn so với hồi quy từng bước. Nó bắt đầu như hồi quy theo từng bước, với một giao thoa bằng [giá trị trung bình của] y và các yếu tố dự đoán trung tâm với các hệ số ban đầu đều bằng 0.
Ở mỗi bước, thuật toán xác định biến tương quan nhiều nhất với phần dư hiện tại. Sau đó, nó tính toán hệ số hồi quy tuyến tính đơn giản của phần dư trên biến được chọn này, và sau đó thêm nó vào hệ số hiện tại cho biến đó. Điều này được tiếp tục cho đến khi không có biến nào có tương quan với phần dư, tức là bình phương nhỏ nhất khi N> p.
Vì vậy, đây có phải là thuật toán?:
b[1]=mean(y)
b[2..n]=0
r=(y-X*b)
index, maxCorr = max(transpose(r)*X)
while(abs(maxCorr) > someThreshold)
b[index]=b[index]+regress(r,X[1..n][index])
r=(y-X*b)
index, maxCorr = max(transpose(r)*X)
Trong đó b là một vectơ cột của các hệ số, X là ma trận của các đầu vào và y là một vectơ cột của các đầu ra. Tức là y = X * b + lỗi.
Hỏi bởi vì thuật toán này chỉ cung cấp cho tôi một vài hệ số khác không trên tập dữ liệu mà tôi đang thử nghiệm (với ngưỡng = 0,0001) và độ chính xác dự đoán không tốt lắm.