Co ngót là gì?

13

Từ co rút được ném xung quanh rất nhiều trong một số vòng tròn nhất định. Nhưng những gì là co lại, dường như không có một định nghĩa rõ ràng. Nếu tôi có một chuỗi thời gian (hoặc bất kỳ tập hợp quan sát nào về quá trình nào đó) thì những cách khác nhau tôi có thể đo được một số loại co rút theo kinh nghiệm trên chuỗi là gì? Các loại khác nhau của co rút lý thuyết tôi có thể nói về là gì? Làm thế nào co rút có thể giúp dự đoán? Mọi người có thể cung cấp một số cái nhìn sâu sắc hoặc tài liệu tham khảo?

estimation predictive-models shrinkage

— Wintermute
nguồn

1

Steyergerg: Ứng dụng các kỹ thuật thu nhỏ trong phân tích hồi quy logistic: Nghiên cứu trường hợp và thu nhỏ và khả năng bị phạt vì các phương pháp để cải thiện độ chính xác dự đoán là những nơi tốt để bắt đầu. Không phải là nguồn mở (tôi nghĩ) nhưng google sẽ tìm thấy các bài viết gốc.

— charles

3

Bất kỳ hình thức chính quy hóa công cụ ước tính nào di chuyển (thu nhỏ) ước tính (thường là về 0 hoặc một số 'null' / giá trị đã biết khác); thật vậy, chính quy hóa di chuyển một tập hợp các ước tính về phía nhau cũng là một loại co lại (nó di chuyển các tham số thể hiện sự khác biệt của chúng về 0). Nếu bạn chưa thấy nó, bài viết Wikipedia có thể hữu ích.

— Glen_b -Reinstate Monica

Những gì về co rút theo kinh nghiệm. Giả sử tôi có một chuỗi thời gian tôi phù hợp với một mô hình. Tôi có thể nói về một số loại co ngót giữa phù hợp với mẫu và ngoài hiệu suất mẫu không?

— Wintermute 7/03/2015

2

Năm 1961, James và Stein đã xuất bản một bài báo có tên "Ước tính với tổn thất bậc hai" https://projecteuclid.org/doad/pdf_1/euclid.bsmsp/1200512173 . Mặc dù nó không đặc biệt đồng xu với độ co rút của thuật ngữ, họ thảo luận về các công cụ ước tính minimax cho thống kê chiều cao (thực tế ngay cả đối với vị trí 3 tham số) có ít rủi ro (tổn thất dự kiến) hơn so với MLE thông thường (mỗi thành phần trung bình mẫu) cho dữ liệu thông thường . Bradley Efron gọi phát hiện của họ là "định lý nổi bật nhất về thống kê toán học sau chiến tranh". Bài viết này đã được trích dẫn 3.310 lần.

Copas vào năm 1983 viết bài báo đầu tiên Hồi quy, Dự đoán và Thu hẹp để đồng xu với thuật ngữ "co rút". Nó được định nghĩa ngầm trong bản tóm tắt:

Sự phù hợp của một công cụ dự báo hồi quy với dữ liệu mới hầu như luôn kém hơn so với sự phù hợp với dữ liệu gốc. Dự đoán sự co ngót này dẫn đến các yếu tố dự đoán loại Stein, theo các giả định nhất định, đưa ra dự đoán thấp hơn có nghĩa là bình phương sai số bình phương so với bình phương nhỏ nhất.

Và trong tất cả các nghiên cứu kế tiếp, dường như độ co rút đề cập đến các đặc điểm vận hành (và ước tính của chúng) đối với tính hợp lệ của mẫu dự đoán và ước lượng ngoài mẫu trong bối cảnh tìm các ước lượng ước lượng và / hoặc minimax được chấp nhận.

— Adam
nguồn

2

Đây là về chính quy. Giả sử bạn muốn khớp với một đường cong và bạn sử dụng hàm mất vuông (bạn có thể chọn khác). Bởifitbạn muốn khôi phục các tham số chi phối quá trình tạo đường cong đó. Bây giờ hãy tưởng tượng rằng bạn muốn điều chỉnh đường cong này bằng đa thức thứ 100 (chẳng hạn). Bạn có nhiều khả năng sẽ tập luyện quá sức hoặc nắm bắt mọi kink và tiếng ồn của đường cong. Ngoài ra, khả năng dự đoán của bạn ngoài khoảng thời gian đào tạo dữ liệu nhất định sẽ có khả năng rất kém. Vì vậy, thuật ngữ chính quy được thêm vào hàm mục tiêu với một số trọng số nhân với hệ số chính quy - l_1, l_2 hoặc tùy chỉnh. Trong trường hợp l_2, đơn giản hơn để hiểu, điều này sẽ có tác động là các giá trị tham số lớn sẽ bị buộc phải giảm aka co lại. Bạn có thể nghĩ về việc chính quy hóa hoặc thu hẹp khi điều khiển thuật toán của bạn đến một giải pháp có thể là một giải pháp tốt hơn.

— Vladovov Dovgalecs
nguồn