Có bất kỳ sử dụng đương đại của jackknifing?

Câu hỏi: Bootstrapping vượt trội hơn so với jackknifing; tuy nhiên, tôi tự hỏi liệu có những trường hợp trong đó jackknifing là lựa chọn duy nhất hoặc ít nhất là khả thi để mô tả tính không chắc chắn từ các ước tính tham số. Ngoài ra, trong các tình huống thực tế, làm thế nào sai lệch / không chính xác có liên quan đến bootstrapping và kết quả jackknife có thể cung cấp cái nhìn sâu sắc sơ bộ trước khi bootstrap phức tạp hơn được phát triển không?

Một số bối cảnh: Một người bạn đang sử dụng thuật toán học máy hộp đen ( MaxEnt ) để phân loại dữ liệu địa lý là "chỉ hiện diện" hoặc "chỉ tích cực". Đánh giá mô hình chung thường được thực hiện bằng cách sử dụng xác thực chéo và các đường cong ROC. Tuy nhiên, cô ấy đang sử dụng đầu ra của mô hình để lấy một mô tả số duy nhất của đầu ra mô hình và muốn có khoảng tin cậy xung quanh số đó; Jackknifing dường như là một cách hợp lý để mô tả sự không chắc chắn xung quanh giá trị này. Bootstrapping không xuất hiện có liên quan vì mỗi điểm dữ liệu là một vị trí duy nhất trên bản đồ không thể lấy mẫu lại bằng thay thế. Bản thân chương trình người mẫu có thể cung cấp những gì cô ấy cần; tuy nhiên, tôi quan tâm đến chung nếu / khi jackknifing có thể hữu ích.

— N Brouwer
nguồn

Các ứng dụng ánh xạ như vậy - thực hiện ước tính từ các vị trí được lấy mẫu rời rạc - chính xác là những ứng dụng mà tôi đã lưu ý sử dụng rộng rãi cho việc sử dụng thông tin, vì lý do bạn đưa ra. Đó là một thủ tục tiêu chuẩn được thực hiện sơ bộ để thực hiện giết chết, ví dụ.

— whuber

Trong một số cài đặt mẫu thấp, vì mẫu bootstrapping có thay thế, toàn bộ ma trận dữ liệu có thể trở thành số ít, do đó nhiều mô hình không thể phù hợp.

— rep_ho

Nếu bạn thực hiện không chỉ bao gồm bỏ qua một lần mà bất kỳ loại thay thế nào mà không cần thay thế, chẳng hạn như thủ tục Fold, tôi coi đó là một lựa chọn khả thi và sử dụng thường xuyên, ví dụ như trong Beleites et al. $k$ : Phân loại phổ Raman của các mô tế bào hình sao: sử dụng thông tin tham khảo mềm. Bioanal chem, 2011, 400, 2801-2816

xem thêm: Khoảng tin cậy cho độ chính xác phân loại được xác thực chéo

Tôi tránh LOO vì một số lý do và thay vào đó sử dụng sơ đồ lặp đi lặp lại / lặp đi lặp lại . Trong lĩnh vực của tôi (hóa học / quang phổ / hóa học), xác nhận chéo là phổ biến hơn nhiều so với xác nhận ngoài bootstrap. Đối với dữ liệu / ứng dụng typcial chúng tôi thấy rằng lần lặp -fold kiểm chứng chéo và lặp của out-of-bootstrap ước tính hiệu suất có tổng lỗi rất giống nhau [Beleites et al. : Giảm phương sai trong ước tính lỗi phân loại bằng cách sử dụng bộ dữ liệu thưa thớt. Chem.Intell.Lab.Syst., 2005, 79, 91 - 100.] . $k$ $i$ $k$ $i \cdot k$

$x$ $x$ $x$ trường hợp?" Đây là loại áp dụng cho bootstrapping là tốt, nhưng ít trực tiếp hơn.

$n_s$ $n_p \ll n_s$

$n_p$
$i$ $k$ $i$

Thông thường, tức là nếu mô hình được thiết lập tốt, 2. chỉ cần thiết để cho thấy rằng nó nhỏ hơn nhiều so với phương sai trong 1. và do đó mô hình ổn định hợp lý. Nếu 2. hóa ra là không đáng kể, đã đến lúc xem xét các mô hình tổng hợp: tập hợp mô hình chỉ giúp cho phương sai gây ra bởi sự không ổn định của mô hình, nó không thể làm giảm độ không đảm bảo của phương sai trong phép đo hiệu suất do số lượng các trường hợp thử nghiệm hữu hạn .

$i$ $k$ $k \cdot$ $k$ $k$

Các lợi thế của kiểm chứng chéo ở đây là bạn có được một sự tách biệt rõ ràng giữa sự không chắc chắn gây ra bởi mô hình bất ổn và bất ổn gây ra bởi số hữu hạn các trường hợp thử nghiệm. Tất nhiên, nhược điểm tương ứng là nếu bạn quên tính đến số lượng hữu hạn của các trường hợp thực tế, bạn sẽ đánh giá thấp sự không chắc chắn thực sự. Tuy nhiên, điều này cũng sẽ xảy ra đối với bootstrapping (mặc dù ở mức độ thấp hơn).

Cho đến nay, lý do cô đặc về đo lường hiệu suất cho các mô hình mà bạn lấy được một cho tập dữ liệu. Nếu bạn xem xét một tập dữ liệu cho ứng dụng đã cho và với cỡ mẫu đã cho, có một đóng góp thứ ba cho phương sai mà về cơ bản không thể đo lường được bằng cách lấy lại xác thực, xem ví dụ: Bengio & Grandvalet: Không ước lượng không thiên vị của phương sai của K-Fold Cross -Đánh giá, Tạp chí Nghiên cứu Máy học, 5, 1089-1105 (2004). , chúng tôi cũng có số liệu cho thấy ba đóng góp này trong Beleites et al. : Lập kế hoạch cỡ mẫu cho các mô hình phân loại., Anal Chim Acta, 760, 25-33 (2013). DOI: 10.1016 / j.aca.2012.11.007 )
Tôi nghĩ những gì xảy ra ở đây là kết quả của giả định rằng việc lấy lại mẫu tương tự như vẽ một mẫu hoàn toàn mới bị phá vỡ.

Điều này rất quan trọng nếu so sánh các thuật toán / chiến lược / heuristic xây dựng mô hình thay vì xây dựng một mô hình cụ thể cho ứng dụng và xác nhận mô hình này.

— cbeleites hỗ trợ Monica
nguồn