Bootstrapping khoảng tin cậy từ một dự đoán hồi quy

Đối với bài tập về nhà, tôi đã được cung cấp dữ liệu để tạo / huấn luyện một người dự đoán sử dụng hồi quy lasso. Tôi tạo ra công cụ dự đoán và huấn luyện nó bằng thư viện lthon python từ scikit learn.

Vì vậy, bây giờ tôi có dự đoán này rằng khi đầu vào được đưa ra có thể dự đoán đầu ra.

Câu hỏi thứ hai là "Mở rộng dự đoán của bạn để báo cáo khoảng tin cậy của dự đoán bằng cách sử dụng phương pháp bootstrapping."

Tôi đã nhìn xung quanh và tìm thấy những ví dụ về những người làm điều này vì ý nghĩa và những thứ khác.

Nhưng tôi hoàn toàn thất vọng về cách tôi cho là làm điều đó để dự đoán. Tôi đang cố gắng sử dụng thư viện scikit-bootstrap .

Các nhân viên khóa học đang cực kỳ không phản hồi, vì vậy bất kỳ trợ giúp được đánh giá cao. Cảm ơn bạn.

Bootstrapping đề cập đến việc lấy mẫu lại dữ liệu của bạn với sự thay thế. Nghĩa là, thay vì khớp mô hình của bạn với X và y ban đầu, bạn khớp mô hình của mình với các phiên bản X và y được ghép lại nhiều lần.

Do đó, bạn có được n mô hình hơi khác nhau mà bạn có thể sử dụng để tạo khoảng tin cậy. Dưới đây là một ví dụ trực quan của một khoảng thời gian như vậy.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# Create toy data 
x = np.linspace(0, 10, 20)
y = x + (np.random.rand(len(x)) * 10)

# Extend x data to contain another row vector of 1s
X = np.vstack([x, np.ones(len(x))]).T

plt.figure(figsize=(12,8))
for i in range(0, 500):
    sample_index = np.random.choice(range(0, len(y)), len(y))

    X_samples = X[sample_index]
    y_samples = y[sample_index]    

    lr = LinearRegression()
    lr.fit(X_samples, y_samples)
    plt.plot(x, lr.predict(X), color='grey', alpha=0.2, zorder=1)

plt.scatter(x,y, marker='o', color='orange', zorder=4)

lr = LinearRegression()
lr.fit(X, y)
plt.plot(x, lr.predict(X), color='red', zorder=5)

Nếu bạn muốn sử dụng API của scikit cho phần bootstrap của mã:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.ensemble import BaggingRegressor

# Create toy data 
x = np.linspace(0, 10, 20)
y = x + (np.random.rand(len(x)) * 10)

# Extend x data to contain another row vector of 1s
X = np.vstack([x, np.ones(len(x))]).T

n_estimators = 50
model = BaggingRegressor(LinearRegression(), 
                         n_estimators=n_estimators,
                         bootstrap=True)

model.fit(X, y)

plt.figure(figsize=(12,8))

# Accessing each base_estimator (already fitted)
for m in model.estimators_:
    plt.plot(x, m.predict(X), color='grey', alpha=0.2, zorder=1)

plt.scatter(x,y, marker='o', color='orange', zorder=4)

# "Bagging model" prediction
plt.plot(x, model.predict(X), color='red', zorder=5)