Tôi đã phân tích một tập dữ liệu gồm ~ 400k bản ghi và 9 biến Biến phụ thuộc là nhị phân. Tôi đã trang bị hồi quy logistic, cây hồi quy, rừng ngẫu nhiên và cây tăng cường độ dốc. Tất cả chúng đều cho độ tốt giống hệt ảo của các số phù hợp khi tôi xác thực chúng trên một tập dữ liệu khác.
Tại sao cái này rất? Tôi đoán rằng đó là vì những quan sát của tôi về tỷ lệ biến rất cao. Nếu điều này là chính xác, tại quan sát tỷ lệ biến nào, các mô hình khác nhau sẽ bắt đầu cho kết quả khác nhau?
Câu trả lời:
Kết quả này có nghĩa là bất kỳ phương pháp nào bạn sử dụng, bạn đều có thể tiến gần đến quy tắc quyết định tối ưu (còn gọi là quy tắc Bayes ). Những lý do cơ bản đã được giải thích trong "Các yếu tố học tập thống kê" của Hastie, Tibshirani và Friedman . Họ đã chứng minh làm thế nào các phương pháp khác nhau thực hiện bằng cách so sánh Figs. 2.1, 2.2, 2.3, 5.11 (trong phiên bản đầu tiên của tôi - trong phần về spline đa chiều), 12.2, 12.3 (máy vectơ hỗ trợ), và có lẽ một số khác. Nếu bạn chưa đọc cuốn sách đó, bạn cần bỏ mọi thứ NGAY BÂY GIỜ và đọc nó lên. (Ý tôi là, không đáng để mất việc, nhưng đáng để thiếu một hoặc hai bài tập về nhà nếu bạn là sinh viên.)
Tôi không nghĩ rằng quan sát tỷ lệ thay đổi là lời giải thích. Theo lý do của tôi đưa ra ở trên, đây là dạng ranh giới tương đối đơn giản ngăn cách các lớp của bạn trong không gian đa chiều mà tất cả các phương pháp bạn đã thử có thể xác định được.
giá trị của nó cũng nhìn vào các lỗi đào tạo.
về cơ bản tôi không đồng ý với phân tích của bạn. nếu hồi quy logistic, v.v ... đều cho kết quả giống nhau, thì nó sẽ gợi ý rằng 'mô hình tốt nhất' là một mô hình rất đơn giản (tất cả các mô hình có thể phù hợp tốt như nhau - ví dụ về cơ bản tuyến tính).
Vì vậy, câu hỏi có thể là tại sao mô hình tốt nhất là một mô hình đơn giản?: Nó có thể gợi ý rằng các biến của bạn không mang tính dự đoán cao. Tất nhiên là khó để phân tích mà không biết dữ liệu.
Như @ seanv507 đã đề xuất, hiệu suất tương tự có thể đơn giản là do dữ liệu được phân tách tốt nhất bằng mô hình tuyến tính. Nhưng nói chung, tuyên bố rằng đó là do "quan sát tỷ lệ biến quá cao" là không chính xác. Ngay cả khi tỷ lệ kích thước mẫu của bạn với số lượng biến số là vô cùng, bạn không nên mong đợi các mô hình khác nhau thực hiện gần như giống hệt nhau, trừ khi tất cả chúng đều cung cấp cùng một xu hướng dự đoán.
Tôi đoán rằng đó là vì những quan sát của tôi về tỷ lệ biến rất cao.
Tôi nghĩ rằng lời giải thích này có ý nghĩa hoàn hảo.
Nếu điều này là chính xác, tại quan sát tỷ lệ biến nào, các mô hình khác nhau sẽ bắt đầu cho kết quả khác nhau?
Điều này có thể sẽ phụ thuộc rất nhiều vào dữ liệu cụ thể của bạn (ví dụ, ngay cả khi chín biến của bạn là liên tục, các yếu tố, thông thường hoặc nhị phân), cũng như bất kỳ quyết định điều chỉnh nào bạn đưa ra trong khi điều chỉnh mô hình của mình.
Nhưng bạn có thể chơi xung quanh với tỷ lệ quan sát biến - không phải bằng cách tăng số lượng biến, mà bằng cách giảm số lượng quan sát. Vẽ ngẫu nhiên 100 quan sát, mô hình phù hợp và xem liệu các mô hình khác nhau mang lại kết quả khác nhau. (Tôi đoán họ sẽ làm.) Làm điều này nhiều lần với các mẫu khác nhau được rút ra từ tổng số quan sát của bạn. Sau đó nhìn vào các mẫu phụ của 1.000 quan sát ... 10.000 quan sát ... và vv.