Quy tắc .632+ trong bootstrapping là gì?

107

Ở đây @gung làm tham chiếu đến quy tắc .632+. Tìm kiếm nhanh trên Google không mang lại câu trả lời dễ hiểu về quy tắc này có nghĩa là gì và cho mục đích gì được sử dụng. Ai đó vui lòng làm sáng tỏ quy tắc .632+?

bootstrap

— russellpierce
nguồn

115

Tôi sẽ đến công cụ ước tính 0,632, nhưng nó sẽ là một sự phát triển hơi dài:

Giả sử chúng ta muốn dự đoán với sử dụng chức năng , nơi có thể phụ thuộc vào một số tham số được ước tính bằng cách sử dụng dữ liệu , ví dụ: $Y$ $X$ $f$ $f$ $(\mathbf{Y}, \mathbf{X})$ $f(\mathbf{X}) = \mathbf{X}\mathbf{\beta}$

Một ước tính ngây thơ về lỗi dự đoán là trong đólà một số hàm mất, ví dụ mất bình phương lỗi. Điều này thường được gọi là lỗi đào tạo. Efron et al. gọi đó là tỷ lệ lỗi rõ ràng hoặc tỷ lệ tái lập. Nó không tốt lắm vì chúng tôi sử dụng dữ liệu của mìnhđể phù hợp với. Điều này dẫn đếnlà xuống thiên vị. Bạn muốn biết mô hìnhcủa bạn làm tốt như thế nàotrong việc dự đoán các giá trị mới.

\bar{e r r} = \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f (x_{i}))

$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$

L

$L$

(x_{i}, y_{i})

$(x_i,y_i)$

f

$f$

\bar{e r r}

$\overline{err}$

f

$f$

Thông thường chúng tôi sử dụng xác thực chéo như một cách đơn giản để ước tính lỗi dự đoán mẫu phụ dự kiến (mô hình của chúng tôi làm như thế nào trên dữ liệu không có trong tập huấn luyện của chúng tôi?).

E r r = E [L (Y, f (X))]

$Err = \text{E}\left[ L(Y, f(X))\right]$

Một cách phổ biến để làm điều này là xác thực chéo -Fold. Chia dữ liệu của bạn thành các nhóm (ví dụ 10). Đối với mỗi nhóm , điều chỉnh mô hình của bạn trên các nhóm còn lại và kiểm tra mô hình đó trên nhóm thứ . Lỗi dự đoán mẫu phụ được xác thực chéo của chúng tôi chỉ là trung bình $K$ $K$ $k$ $K-1$ $k$ nơiđược một số chức năng chỉ số cho biết phân vùng mà quan sátđược phân bổ vàlà giá trị dự đoán củasử dụng dữ liệu không có trongthiết lập thứ.

E r r_{C V} = \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f_{- κ (i)} (x_{i}))

$Err_{CV} = \dfrac{1}{N}\sum_{i=1}^N L(y_i, f_{-\kappa(i)}(x_i))$

κ

$\kappa$

i

$i$

f_{- κ (i)} (x_{i})

$f_{-\kappa(i)}(x_i)$

x_{i}

$x_i$

κ (i)

$\kappa(i)$

$K=N$ $K$

$\mathbf{X} = (x_1,\ldots,x_N)$ $B$ $\mathbf{Z}_1,\ldots,\mathbf{Z}_B$ $\mathbf{Z}_i$ $N$

E r r_{b o o t} = \frac{1}{B} \sum_{b = 1}^{B} \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f_{b} (x_{i}))

$Err_{boot} = \dfrac{1}{B}\sum_{b=1}^B\dfrac{1}{N}\sum_{i=1}^N L(y_i, f_b(x_i))$

f_{b} (x_{i})

$f_b(x_i)$

x_{i}

$x_i$

b

$b$

f_{b} (x_{i})

$f_b(x_i)$

x_{i}

$x_i$

E r r_{b o o t (1)} = \frac{1}{N} \sum_{i = 1}^{N} \frac{1}{| C^{- i} |} \sum_{b \in C^{- i}} L (y_{i}, f_{b} (x_{i}))

$Err_{boot(1)} = \dfrac{1}{N}\sum_{i=1}^N\dfrac{1}{|C^{-i}|}\sum_{b\in C^{-i}}L(y_i,f_b(x_i))$

C^{- i}

$C^{-i}$

i

$i$

| C^{- i} |

$|C^{-i}|$

E r r_{b o o t (1)}

$Err_{boot(1)}$

0.632 N

$0.632N$

E r r_{.632} = 0.368 \bar{e r r} + 0.632 E r r_{b o o t (1)}

$Err_{.632} = 0.368\overline{err} + 0.632Err_{boot(1)}$

\bar{e r r} = \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f (x_{i}))

$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$

$\overline{err}=0$ $\overline{err}$ $Err_{boot(1)}$

E r r_{.632 +} = (1 - w) \bar{e r r} + w E r r_{b o o t (1)}

$Err_{.632+} = (1 - w) \overline{err} + w Err_{boot(1)}$

w = \frac{0.632}{1 - 0.368 R} and R = \frac{E r r_{b o o t (1)} - \bar{e r r}}{γ - \bar{e r r}}

$w = \dfrac{0.632}{1 - 0.368R} \quad\text{and}\quad R = \dfrac{Err_{boot(1)} - \overline{err}}{\gamma - \overline{err}}$

γ

$\gamma$

y_{i}

$y_i$

x_{i}

$x_i$

γ = \frac{1}{N^{2}} \sum_{i = 1}^{N} \sum_{j = 1}^{N} L (y_{i}, f (x_{j}))

$\gamma = \dfrac{1}{N^2}\sum_{i=1}^N\sum_{j=1}^N L(y_i, f(x_j))$

$R$ $Err_{boot(1)} = \overline{err}$

— bdeonovic
nguồn

2

Đó là những câu hỏi hay, @rpierce, nhưng chúng hơi di chuyển ra khỏi chủ đề trung tâm của chủ đề này. Sẽ tốt hơn, thông minh về tổ chức CV, để có chúng trong một chủ đề mới, để mọi người dễ dàng tìm thấy và sử dụng thông tin đó sau đó.

— gung

1

Câu hỏi 1: stats.stackexchange.com/questions/96764/ từ

— russellpierce

1

Câu hỏi 2: vi.wikipedia.org/wiki/Resampling_%28statistic%29#Jackknife qua stats.stackexchange.com/questions/21023/bootstrap-vs-jackknife

— russellpierce

1

\bar{e r r} = \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, f (x_{i}))

$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$

\frac{1}{n} \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2}

$\dfrac{1}{n}\sum_{i=1}^n (y_i-\hat{y}_i)^2$

1

@rpierce, vâng! Tôi đã có một chút chung chung vì tôi đã viết lại rất nhiều tài liệu này từ một số ghi chú lớp học.

— bdeonovic

53

$S$ $n$ $\{1:n\}$ $S$ $(1-e^{-1})\,n \approx 0.63212056\, n$

$S=\{s_1,\ldots,s_n\}$ $i=1,\ldots,n$ $\{1:n\}$ $m\in\{1:n\}$

Sau đó:

P (s_{i} = m) = 1 / n

$P(s_i=m)=1/n$

và

P (s_{i} \neq m) = 1 - 1 / n

$P(s_i\neq m)=1-1/n$

$\forall 1\leq i \leq n$ $i$

Do vậy

P (m \in S) = 1 - P (m \notin S) = 1 - P (\cap_{i = 1}^{n} s_{i} \neq m) = 1 - \prod_{i = 1}^{n} P (s_{i} \neq m) = 1 - (1 - 1 / n)^{n} \approx 1 - e^{- 1}

$P(m\in S)=1-P(m\notin S)=1-P(\cap_{i=1}^n s_i\neq m)\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;=1-\prod_{i=1}^n P(s_i\neq m)=1-(1-1/n)^n\approx 1-e^{-1}$

$n$

n <- 100
fx01 <- function(ll,n){
    a1 <- sample(1:n, n, replace=TRUE)
    length(unique(a1))/n
}
b1 <- c(lapply(1:1000,fx01,n=100), recursive=TRUE)
mean(b1)

1. Bradley Efron và Robert Tibshirani (1997). Những cải tiến về Xác thực chéo: Phương pháp Bootstrap .632+ . Tạp chí của Hiệp hội Thống kê Hoa Kỳ , Tập. 92, số 438, trang 548--560.

— người dùng603
nguồn

3

đây là tài liệu dành cho bạn trong tài liệu tham khảo - stat.washington.edu/cifts/stat527/s14/readings/ Kẻ

1

(x_{1}, \dots, x_{n})

$(x_1,\dots,x_n)$

S_{1}, \dots, S_{n}

$S_1,\dots,S_n$

P (S_{i} = k) = \frac{1}{n} I_{{1, \dots, n}} (k)

$P(S_i=k)=\frac{1}{n}\;I_{\{1,\dots,n\}}(k)$

P (\cup_{i = 1}^{n} {S_{i} = k}) = 1 - P (\cap_{i = 1}^{n} {S_{i} \neq k}) = 1 - \prod_{i = 1}^{n} P {S_{i} \neq k} = 1 - (1 - 1 / n)^{n} \to 1 - 1 / e \approx 63.21 %

$P(\cup_{i=1}^n\{S_i=k\})=1-P(\cap_{i=1}^n\{S_i\neq k\})=1-\prod_{i=1}^n P\{S_i\neq k\}=1-(1-1/n)^n\to1-1/e\approx 63.21\%$

4

1 - e^{- 1} \approx 0.63212056

$1-e^{-1}\approx0.63212056$

1

Câu trả lời này cũng rất hay, trên thực tế, câu trả lời được chấp nhận cộng với câu trả lời này thực sự cung cấp câu trả lời đầy đủ cho câu hỏi của tôi - nhưng giữa hai câu này tôi cảm thấy như của Benjamin gần với câu trả lời của tôi hơn. Điều đó đang được nói - tôi thực sự muốn nó có thể chấp nhận cả hai.

— russellpierce

1

@rpierce: Để trích dẫn Celine Dion, " Câu chuyện xưa như thời gian / bài hát xưa như vần điệu / Vẻ đẹp và con thú". : P

— Nick Stauner

8

$c$

— Frank Mitchell
nguồn

3

Tôi không nghĩ rằng tôi hiểu hầu hết những điều bạn nói ở đây Frank. Bạn có sẵn sàng làm rõ? Có vẻ như bạn có một cái gì đó độc đáo và quan trọng để đóng góp.

— russellpierce

Vui mừng mở rộng nếu bạn có thể nêu một câu hỏi cụ thể.

— Frank Harrell

1

Những quy tắc tính điểm này đã ... đánh giá chất lượng của kết quả bootstrap? Bạn có thể cung cấp một liên kết mô tả quy tắc chấm điểm "được phân loại" chính xác không, tôi gặp khó khăn khi tưởng tượng loại quái vật nào có thể. Trong số các kết quả hàng đầu cho "sự lạc quan của Efron-Gong" trên Google, đại đa số dường như là các bài đăng của bạn ... nó khác với việc tôi nói "bootstrap" như thế nào nếu không có vòng loại? Tôi nên tìm đến bài báo Effron và Gong nào? Dường như có một vài.

— russellpierce

3

Xem bài báo gốc về 0,632 sử dụng và xác định tỷ lệ được phân loại chính xác (Efron & Tibshirani JASA 92: 548; 1997). Bootstrap lạc quan là một biến thể của bootstrap để ước tính độ lệch. Nó được mô tả trong Công: JASA 85:20; 1990.

— Frank Harrell

2

Những câu trả lời rất hữu ích. Tôi không thể tìm ra cách nào để chứng minh điều đó bằng toán học vì vậy tôi đã viết một số mã Python hoạt động khá tốt:

    from numpy import mean
    from numpy.random import choice

    N = 3000

    variables = range(N)

    num_loop = 1000
    # Proportion of remaining variables
    p_var = []

    for i in range(num_loop):
        set_var = set(choice(variables, N))
        p=len(set_var)/float(N)
        if i%50==0:
            print "value for ", i, " iteration ", "p = ",p
        p_var.append(p)

    print "Estimator of the proportion of remaining variables, ", mean(p_var)

— Anil Narassiguin
nguồn