Khi tối ưu hóa mô hình hồi quy logistic, đôi khi nhiều dữ liệu làm cho mọi thứ đi * nhanh hơn *. Bất cứ ý tưởng tại sao?

Tôi đã chơi đùa với hồi quy logistic với các thuật toán tối ưu hóa hàng loạt khác nhau (gradient liên hợp, newton-raphson và các phương pháp quasinewton khác nhau). Một điều tôi nhận thấy là đôi khi, việc thêm nhiều dữ liệu vào một mô hình thực sự có thể khiến việc đào tạo mô hình mất ít thời gian hơn nhiều. Mỗi lần lặp yêu cầu nhìn vào nhiều điểm dữ liệu hơn, nhưng tổng số lần lặp được yêu cầu có thể giảm đáng kể khi thêm nhiều dữ liệu. Tất nhiên, điều này chỉ xảy ra trên một số bộ dữ liệu nhất định và tại một số điểm, việc thêm nhiều dữ liệu sẽ khiến việc tối ưu hóa bị chậm lại.

Đây có phải là một hiện tượng nghiên cứu tốt? Tôi có thể tìm thêm thông tin về lý do tại sao / khi điều này có thể xảy ra?

Với số lượng dữ liệu ít hơn, mối tương quan giả giữa các đầu vào hồi quy thường cao, vì bạn chỉ có quá nhiều dữ liệu. Khi các biến hồi quy tương quan, bề mặt khả năng tương đối bằng phẳng và việc tối ưu hóa trở nên khó khăn hơn, đặc biệt là biến không sử dụng Hessian đầy đủ (ví dụ Newton Raphson), để tìm mức tối thiểu.

Có một số biểu đồ đẹp ở đây và giải thích thêm, với cách thức các thuật toán khác nhau thực hiện đối với dữ liệu với số lượng tương quan khác nhau, tại đây: http://fa.bianp.net/blog/2013/numerical-optimulators-for-logistic-regression/