Có phải các tương tác chỉ hữu ích trong bối cảnh hồi quy?

Tôi đã luôn luôn đọc các thuật ngữ tương tác trong bối cảnh hồi quy. Chúng ta cũng nên xem xét các tương tác với các mô hình khác nhau, ví dụ như knn hoặc svm?

Nếu có , hoặc thậm chí nhiều tính năng hơn và cho phép quan sát, cách thông thường để tìm các tương tác hữu ích là gì? Thử tất cả các kết hợp? Hoặc chỉ sử dụng kết hợp có ý nghĩa?100 $50$$100$$1000$

Các tương tác là cần thiết một cách rõ ràng trong các mô hình hồi quy vì công thức không bao gồm bất kỳ tương tác nào. Chính xác hơn, mô hình hồi quy sẽ luôn tuyến tính trong đầu vào của nó, trong khi đó tương tác là sự kết hợp phi tuyến của các tính năng.$X_i * X_j$

Cách đơn giản nhất để thấy điều này là thông qua XOR-Problem, mô hình hồi quy không có bất kỳ tương tác nào có thể giải quyết điều này, vì nó yêu cầu kết hợp phi tuyến.

Mặt khác, KNN và SVM (và nhiều mô hình khác nữa) là các xấp xỉ hàm phổ quát. Điều này có nghĩa là, họ không thể chỉ kết hợp đầu vào của mình theo kiểu tuyến tính, mà còn theo bất kỳ cách phi tuyến tính nào có thể. Điều đó được cung cấp đủ các lớp hoặc một hạt nhân phù hợp, về cơ bản họ có thể "tạo ra" các tương tác của riêng mình, chính xác như họ cần. Tuy nhiên, nếu bạn biết hoặc mong đợi các tương tác cụ thể là quan trọng, bạn vẫn có thể sử dụng chúng làm đầu vào để hướng dẫn các mô hình đi đúng hướng.

Tương tự, các mô hình dựa trên cây có thể được hiểu là chỉ bao gồm các tương tác. Về cơ bản, sự phân chia trong mô hình dựa trên cây tạo ra sự tương tác cụ thể với tất cả các biến trước đó.

Vì vậy, để quyết định sử dụng các tương tác nào, cho các mô hình "công suất cao" đủ (nghĩa là các mô hình xấp xỉ hàm phổ quát), bạn không cần chúng và bạn có thể để mô hình thực hiện phép thuật của riêng mình. Đối với các mô hình khác, nó phụ thuộc. Có một số kỹ thuật có sẵn để hướng dẫn quyết định, như CHAID hoặc hồi quy từng bước. CHAID cũng hoạt động với một số lượng lớn các tính năng, đối với hồi quy từng bước, nó có thể bị mất số lượng tương tác có thể. Cho rằng nếu bạn có tính năng, có tương tác có thể xảy ra (không chỉ tương tác hai chiều mà còn tương tác bậc cao hơn).2 $N$$2^N$

Không.

$(x_1,x_2)$$(x_1^2,x_2^2,x_1x_2)$

$10^{10}$

Vì vậy, không chỉ tương tác đã được sử dụng rộng rãi trong các mô hình khác. Ngoài việc thêm vào tương tác, các mô hình khác cố gắng nhiều hơn với kỹ thuật tính năng. Thay vì nhân hai cột, các tính năng phức tạp hơn được bắt nguồn.

Các tương tác cải thiện bình phương R đã điều chỉnh, BIC cho hồi quy khả năng (AICc và các phương pháp khác), VIF và thống kê F của ANOVA, sau này không có tham số riêng lẻ được đánh giá là không đóng góp bằng xác suất từng phần của chúng.

Cũng rất quan trọng, nhưng không được hỏi, là việc tái tham số hóa có thể cải thiện rõ rệt cả tác động của các biến riêng lẻ và tương tác của chúng. Tuy nhiên, BIC, AIC và các phép đo chất lượng khả năng khác không có giá trị để so sánh các phép đo khác nhau để lại bình phương R điều chỉnh, VIF và thống kê F của ANOVA cho các mục đích đó.