Ý nghĩa ban đầu của Tiếng Ablation ném là phẫu thuật cắt bỏ mô cơ thể . Thuật ngữ nghiên cứu về Ablation, có nguồn gốc từ lĩnh vực nghiên cứu sinh lý thần kinh thực nghiệm trong những năm 1960 và 1970, trong đó các bộ phận của bộ não động vật đã được loại bỏ để nghiên cứu ảnh hưởng của hành vi này.
Trong bối cảnh học máy, và đặc biệt là các mạng nơ-ron sâu phức tạp, nghiên cứu về lạm dụng mạng đã được áp dụng để mô tả một quy trình trong đó một số phần của mạng được gỡ bỏ, để hiểu rõ hơn về hành vi của mạng.
Thuật ngữ này đã nhận được sự chú ý kể từ một tweet của Francois Chollet , tác giả chính của khung học tập sâu Keras, vào tháng 6 năm 2018:
Các nghiên cứu đánh giá là rất quan trọng cho nghiên cứu học tập sâu - không thể nhấn mạnh điều này đủ. Hiểu nhân quả trong hệ thống của bạn là cách đơn giản nhất để tạo ra kiến thức đáng tin cậy (mục tiêu của bất kỳ nghiên cứu nào). Và lạm phát là một cách rất nỗ lực để xem xét nhân quả.
Nếu bạn thực hiện bất kỳ thiết lập thử nghiệm học tập sâu phức tạp nào, rất có thể bạn có thể xóa một vài mô-đun (hoặc thay thế một số tính năng được đào tạo bằng các tính năng ngẫu nhiên) mà không làm giảm hiệu suất. Loại bỏ tiếng ồn trong quá trình nghiên cứu: làm nghiên cứu cắt bỏ.
Không thể hiểu đầy đủ hệ thống của bạn? Nhiều bộ phận chuyển động? Bạn muốn chắc chắn rằng lý do nó hoạt động thực sự có liên quan đến giả thuyết của bạn? Hãy thử loại bỏ công cụ. Hãy dành ít nhất ~ 10% thời gian thử nghiệm của bạn cho một nỗ lực trung thực để từ chối luận án của bạn.
Ví dụ, Girshick và cộng sự (2014) mô tả một hệ thống phát hiện đối tượng bao gồm ba mô-đun mô-đun: Các khu vực đầu tiên đề xuất một hình ảnh trong đó tìm kiếm đối tượng bằng thuật toán Tìm kiếm chọn lọc ( Uijlings và đồng nghiệp 2012 ), trong đó cung cấp cho một mạng nơ ron tích chập lớn (có 5 lớp chập và 2 lớp được kết nối đầy đủ) thực hiện trích xuất tính năng, từ đó đưa vào một bộ máy vectơ hỗ trợ để phân loại. Để hiểu rõ hơn về hệ thống, các tác giả đã thực hiện một nghiên cứu cắt bỏ trong đó các phần khác nhau của hệ thống đã bị xóa - ví dụ như loại bỏ một hoặc cả hai lớp được kết nối đầy đủ của CNN dẫn đến mất hiệu suất đáng ngạc nhiên, cho phép các tác giả kết luận
Phần lớn sức mạnh đại diện của CNN đến từ các lớp chập của nó, thay vì từ các lớp kết nối dày đặc hơn nhiều.
OP yêu cầu chi tiết về / cách / thực hiện nghiên cứu cắt bỏ và để tham khảo toàn diện. Tôi không tin có câu trả lời "một kích thước phù hợp với tất cả" cho vấn đề này. Số liệu có khả năng khác nhau, tùy thuộc vào ứng dụng và loại mô hình. Nếu chúng ta thu hẹp vấn đề chỉ đơn giản là một mạng nơ-ron sâu thì sẽ tương đối dễ dàng để thấy rằng chúng ta có thể loại bỏ các lớp theo cách nguyên tắc và khám phá cách điều này thay đổi hiệu suất của mạng. Ngoài ra, trong thực tế, mọi tình huống đều khác nhau và trong thế giới của các ứng dụng học máy phức tạp lớn, điều này sẽ có nghĩa là một cách tiếp cận độc đáo có thể sẽ cần thiết cho mỗi tình huống.
Trong bối cảnh của ví dụ trong OP - hồi quy tuyến tính - một nghiên cứu cắt bỏ không có ý nghĩa gì, bởi vì tất cả những gì có thể được "loại bỏ" khỏi mô hình hồi quy tuyến tính là một số dự đoán. Làm điều này theo kiểu "nguyên tắc" chỉ đơn giản là một quy trình lựa chọn ngược lại, thường được xem là khó chịu - xem tại đây , đây và đây để biết chi tiết. Một thủ tục chính quy hóa như Lasso, là một lựa chọn tốt hơn nhiều cho hồi quy tuyến tính.
Tham chiếu:
Girshick, R., Donahue, J., Darrell, T. và Malik, J., 2014. Phân cấp tính năng phong phú để phát hiện đối tượng chính xác và phân đoạn ngữ nghĩa. Trong Kỷ yếu của hội thảo IEEE về tầm nhìn máy tính và nhận dạng mẫu (trang 580-587).
Uijlings, JR, Van De Sande, KE, Gevers, T. và Smeulder, AW, 2013. Tìm kiếm có chọn lọc để nhận dạng đối tượng. Tạp chí quốc tế về tầm nhìn máy tính, 104 (2), tr.154-171.