Bootstrapping dư: Tôi đang làm đúng không?

Trước hết: Từ những gì tôi hiểu, phần dư bootstrapping hoạt động như sau:

1. Phù hợp với mô hình dữ liệu
2. Tính số dư
3. Lấy mẫu lại phần dư và thêm chúng vào 1.
4. Mô hình phù hợp với tập dữ liệu mới từ 3.
5. Lặp lại nnhiều lần, nhưng luôn luôn thêm các phần dư được lấy mẫu lại cho phù hợp từ 1.

Điều đó có đúng không?

Những gì tôi muốn làm là một cái gì đó hơi khác nhau:

Tôi muốn ước tính độ không đảm bảo của tham số và dự đoán cho một thuật toán ước tính một số biến môi trường.

Những gì tôi có là một chuỗi thời gian không có lỗi (từ một mô phỏng) của biến đó x_true, mà tôi thêm một số nhiễu, x_noiseđể tạo ra một tập dữ liệu tổng hợp x. Sau đó, tôi cố gắng tìm các tham số tối ưu bằng cách khớp thuật toán của mình với tổng bình phương sum((x_estimate - x_true)^2)(! Không x_estimate - x!) Làm hàm mục tiêu. Để xem thuật toán của tôi hoạt động như thế nào và tạo các mẫu phân phối tham số của tôi, tôi muốn lấy mẫu lại x_noise, thêm nó vào x_true, khớp lại mô hình của tôi, rửa sạch và lặp lại. Đó có phải là một cách tiếp cận hợp lệ để đánh giá độ không đảm bảo của tham số? Tôi có thể diễn giải sự phù hợp với các bộ dữ liệu bootstrapping là sự không chắc chắn dự đoán hay tôi phải làm theo quy trình tôi đã đăng ở trên?

/ chỉnh sửa: Tôi nghĩ rằng tôi đã không thực sự làm rõ những gì mô hình của tôi làm. Hãy nghĩ về nó về cơ bản giống như một phương pháp khử nhiễu. Đây không phải là một mô hình dự đoán, đó là một thuật toán cố gắng trích xuất tín hiệu cơ bản của chuỗi dữ liệu môi trường ồn ào.

/ chỉnh sửa ^ 2: Đối với người dùng MATLAB ngoài kia, tôi đã viết ra một số ví dụ hồi quy tuyến tính nhanh và bẩn về ý tôi muốn nói.

Đây là những gì tôi tin rằng bootstrapping của phần dư là (vui lòng sửa cho tôi nếu tôi sai): http://pastebin.com/C0CJp3d1

Đây là những gì tôi muốn làm: http://pastebin.com/mbapsz4c

Dưới đây là thuật toán chung (bán tham số-bootstrap) chi tiết hơn:

$\text{B}$ = số lượng bootstraps

mô hình:
$y = x\beta + \epsilon$

hãy để là phần dư$\hat{\epsilon}$

1. Chạy hồi quy và lấy (các) công cụ ước tính và phần dư . $\hat\beta$$\hat\epsilon$
2. Lấy mẫu lại các phần dư bằng thay thế và thu được vectơ dư bootstrapping .$\hat\epsilon_\text{B}$
3. Lấy biến phụ thuộc bootstrapping bằng cách nhân (các) công cụ ước tính từ (1) với các biến hồi quy ban đầu và thêm phần dư bootstrapping: .$y_\text{B} = x\hat\beta + \hat\epsilon_\text{B}$
4. Chạy hồi quy với các biến phụ thuộc bootstrapping và các biến hồi quy ban đầu, điều này mang lại cho công cụ ước tính bootstrapping, tức là hồi quy trên , điều này mang lại cho . x β$y_B$$x$$\hat\beta_\text{B}$
5. Lặp lại quy trình -times bằng cách quay lại (2).$\text{B}$

Tôi không chắc rằng sự hiểu biết của tôi là chính xác. Nhưng đây là gợi ý của tôi để sửa đổi mã của bạn ("bootstrapping thông thường của phần dư", dòng 28-34) thành:

for i = 2:n_boot  
x_res_boot = x_residuals( randi(n_data,n_data,1) );  
x_boot = x_res_boot+ x_best_fit;  
p_est(:, i) = polyfit( t, x_boot, 1 );  
x_best_fit2 = polyval( p_est(:, i), t );  
x_residuals = x_best_fit2 - x_boot;
x_best_fit=x_best_fit2;
end  

Ý tưởng là mỗi lần bạn sử dụng phần dư không phải từ lần chạy đầu tiên, mà từ lần khởi động trước phù hợp. Đối với tôi, tất cả những thứ khác dường như là hợp lệ.

Đây là phiên bản sửa đổi đã được kiểm tra trong MATLAB. Hai lỗi đã được sửa.

Để xem một thuật toán thực hiện như thế nào về độ chính xác dự đoán / lỗi bình phương trung bình, có lẽ bạn cần bootstrap "lạc quan" Efron-Gong. Điều này được thực hiện để dễ sử dụng trong rmsgói R. Xem chức năng của mình ols, validate.ols, calibrate.