Bootstrapping là bất kỳ thử nghiệm hoặc số liệu nào dựa trên lấy mẫu ngẫu nhiên với thay thế. Đây là phương pháp giúp trong nhiều tình huống như xác nhận hiệu suất mô hình dự đoán, phương pháp tập hợp, ước tính sai lệch và phương sai của tham số của mô hình, v.v. thực hiện lấy mẫu với sự thay thế từ bộ dữ liệu ban đầu, đồng thời giả định rằng các điểm dữ liệu chưa được chọn là tập dữ liệu thử nghiệm. Chúng tôi có thể lặp lại quy trình này nhiều lần và tính điểm trung bình dưới dạng ước tính hiệu suất mô hình của chúng tôi. Ngoài ra, Bootstrapping có liên quan đến các phương pháp đào tạo đồng bộ, bởi vì chúng ta có thể xây dựng một mô hình bằng cách sử dụng từng bộ dữ liệu bootstrap và túi đựng các mô hình này trong một nhóm bằng cách sử dụng biểu quyết đa số (để phân loại) hoặc tính trung bình (cho dự đoán bằng số) cho tất cả những mô hình này là kết quả cuối cùng của chúng tôi.
Xác thực chéo là một thủ tục để xác nhận hiệu suất của một mô hình và nó được thực hiện bằng cách chia dữ liệu huấn luyện thành k phần. Chúng tôi giả định rằng các phần k-1 là tập huấn luyện và sử dụng phần khác là tập kiểm tra của chúng tôi. Chúng ta có thể lặp lại rằng k lần khác nhau giữ một phần dữ liệu khác nhau mỗi lần. Cuối cùng, chúng tôi lấy điểm trung bình của điểm k làm ước tính hiệu suất của chúng tôi. Xác nhận chéo có thể bị sai lệch hoặc phương sai. Tăng số lượng phân chia, phương sai cũng sẽ tăng và độ lệch sẽ giảm. Mặt khác, nếu chúng ta giảm số lần chia tách, độ lệch sẽ tăng và phương sai sẽ giảm.
Tóm lại, xác thực chéo chia tách tập dữ liệu có sẵn để tạo nhiều bộ dữ liệu và phương pháp Bootstrapping sử dụng bộ dữ liệu gốc để tạo nhiều bộ dữ liệu sau khi lấy mẫu lại với thay thế. Bootstrapping nó không mạnh bằng xác thực chéo khi nó được sử dụng để xác thực mô hình. Bootstrapping liên quan nhiều hơn đến việc xây dựng các mô hình tập hợp hoặc chỉ ước tính các tham số.