Khi chúng tôi đánh giá chất lượng của Rừng ngẫu nhiên, ví dụ như sử dụng AUC, liệu có phù hợp hơn để tính các đại lượng này qua các Mẫu ngoài túi hoặc qua bộ xác nhận chéo không?

Tôi nghe rằng việc tính toán nó qua các Mẫu OOB đưa ra một đánh giá bi quan hơn, nhưng tôi không hiểu tại sao.

cross-validation random-forest auc

— người dùng695652
nguồn

Lưu ý: Mặc dù tôi cảm thấy câu trả lời của mình có lẽ đúng, tôi cũng cảm thấy nghi ngờ do thực tế là tôi đã làm tất cả những điều này bằng cách nghĩ về vấn đề này chỉ sau khi đọc câu hỏi này trong khoảng 30-60 phút. Vì vậy, tốt hơn hết bạn nên hoài nghi và xem xét kỹ lưỡng điều này và đừng bị đánh lừa bởi phong cách viết có thể quá tự tin của tôi (tôi sử dụng những từ lớn và biểu tượng Hy Lạp lạ mắt không có nghĩa là tôi đúng).

Tóm lược

Đây chỉ là một bản tóm tắt. Tất cả các chi tiết được đề cập trong phần $\S1$ và $\S2$ dưới đây.

Chúng ta hãy giả sử trường hợp phân loại (cũng có thể được mở rộng để hồi quy, nhưng bỏ qua cho ngắn gọn). Về cơ bản, mục tiêu của chúng tôi là ước tính lỗi của một rừng cây. Cả lỗi xuất túi và xác thực chéo k-thử đều cho chúng tôi biết xác suất:

Khu rừng đưa ra sự phân loại chính xác (xác nhận chéo k-xem xét theo cách này).

Điều này giống hệt với xác suất:

Đa số phiếu bầu của cây rừng là phiếu bầu chính xác (OOBE nhìn theo cách này).

Và cả hai đều giống hệt nhau. Sự khác biệt duy nhất là xác thực chéo k-gấp và OOBE giả định kích thước khác nhau của các mẫu học tập. Ví dụ:

Trong xác thực chéo 10 lần, bộ học tập là 90%, trong khi bộ kiểm tra là 10%.
Tuy nhiên, trong OOBE nếu mỗi túi có mẫu, sao cho tổng số mẫu trong toàn bộ mẫu, thì điều này ngụ ý rằng bộ học tập thực tế khoảng 66% (hai phần ba) và bộ thử nghiệm là khoảng 33% ( một phần ba). $n$ $n =$

Do đó, theo quan điểm của tôi, lý do duy nhất tại sao OOBE là một ước tính bi quan về lỗi rừng chỉ bởi vì nó thường đào tạo bởi một số lượng mẫu nhỏ hơn thường được thực hiện với xác thực chéo k (trong đó phổ biến 10 lần).

Do đó, tôi cũng nghĩ rằng xác thực chéo 2 lần sẽ là ước tính bi quan hơn về lỗi rừng so với OOBE và xác thực chéo 3 lần để tương đối bi quan với OOBE.

1. Hiểu về lỗi xuất túi

1.1 Quan điểm chung về đóng bao

Mỗi cây trong RF được trồng bởi một danh sách mẫu được rút ngẫu nhiên từ bộ học với sự thay thế. Theo cách này, nhiều mẫu có thể có các bản sao và nếu sau đó có thể thấy rằng khoảng một phần ba số mẫu trong $n$ $\mathcal{X}$ $n$ $n = |\mathcal{X}|$ $\mathcal{X}$ có khả năng cuối cùng không nằm trong danh sách mẫu được sử dụng để trồng một cây nhất định (đây là những mẫu ngoài túi của cây cụ thể này. Quá trình này được lặp lại độc lập cho mỗi cây, vì vậy mỗi cây có một bộ mẫu ngoài túi khác nhau. $n$

1.2. Một quan điểm khác về đóng bao

Bây giờ, hãy mô tả lại việc đóng gói một chút khác biệt với hy vọng tìm thấy một mô tả bằng nhau mà hy vọng đơn giản hơn để giải quyết.

Tôi làm điều này bằng cách nói rằng cây được đào tạo bởi các mẫu bagged trong tập . Tuy nhiên, điều này không hoàn toàn chính xác vì bộ không có các mẫu trùng lặp (đây là cách các bộ hoạt động), trong khi - mặt khác - $t$ $\mathcal{X}_t \subseteq \mathcal{X}$ $\mathcal{X}_t$ $n$ danh sách mẫu có thể có các bản sao.

Do đó, chúng ta có thể nói rằng một cây được trồng bằng cách phân tích các mẫu cộng với một số bản sao được chọn ngẫu nhiên được rút ra từ , cụ thể là , như vậy rằng: $t$ $\mathcal{X}_t$ $\mathcal{X}_t$ $\mathcal{X}_{t,1}, \mathcal{X}_{t,2}, \ldots, \mathcal{X}_{t,r} \subseteq \mathcal{X}_t$

| X_{t} | + Σ_{Tôi = = 1}^{r} | X_{t, Tôi} | = = n

$\begin{equation} |\mathcal{X}_t| + \sum_{i=1}^r|\mathcal{X}_{t,i}| = n \end{equation}$

Đó là tầm thường để thấy rằng từ bộ sưu tập này của bộ , chúng ta có thể xác định một danh sách các mẫu -Nhiều có chứa bản sao bằng cách gắn thêm các yếu tố trong mỗi thiết lập để một mảng . Bằng cách này, đối với bất kỳ , tồn tại ít nhất một giá trị của như rằng . $\mathcal{C} = \{\mathcal{X}_t, \mathcal{X}_{t,1}, \ldots, \mathcal{X}_{t,r}\}$ $n$ $\mathcal{C}_i \in \mathcal{C}$ $a$ $1 \le p \le n$ $i$ $a[p] \in \mathcal{C}_i$

Chúng ta cũng có thể thấy rằng danh sách mẫu trong mảng là một khái quát về đóng bao như tôi đã định nghĩa trong Phần 1. Thật là tầm thường khi thấy một số định nghĩa cụ thể về mà tôi đã định nghĩa trong phần này ( ) , danh sách các mẫu trong mảng có thể giống hệt nhau $n$ $a$ $\mathcal{X}_t$ $\S2$ $a$ với danh sách các mẫu như được định nghĩa trong Phần 1.

1.3. Đơn giản hóa việc đóng bao

Thay vì trồng cây bằng các mẫu trong mảng , chúng ta sẽ trồng chúng theo danh sách các trường hợp không trùng lặp được tìm thấy trong $t$ $a$ $\mathcal{X}_t$ .

Tôi tin rằng, nếu là đủ lớn, một cây mà được trồng bằng cách phân tích mẫu trong là giống với một cây được phát triển từ các mẫu trong mảng $n$ $t$ $\mathcal{X}_t$ $t'$ $a$ .

Lý do của tôi là, xác suất nhân đôi mẫu trong $\mathcal{X}_t$ có khả năng như nhau trên các mẫu khác trong cùng một bộ. Điều này có nghĩa là, khi chúng tôi đo mức tăng thông tin (IG) của một số phân tách, IG sẽ vẫn giống hệt nhau vì các entropies cũng sẽ giữ nguyên.

Và lý do tôi tin rằng các entropi sẽ không thay đổi một cách có hệ thống cho một lần phân tách nhất định là bởi vì xác suất đo được theo kinh nghiệm của một mẫu có nhãn cụ thể trong một số tập hợp con (sau khi áp dụng phân tách quyết định) cũng sẽ không thay đổi.

Và lý do xác suất không nên thay đổi theo quan điểm của tôi là vì tất cả các mẫu trong đều có khả năng được sao chép như nhau thành các bản sao . $\mathcal{X}_t$ $d$

1.4 Đo lỗi xuất túi

Đặt là các mẫu ngoài túi của cây . Tức là . Thì lỗi của một cây là: $\mathcal{O}_t$ $t$ $\mathcal{O}_t = \mathcal{X} \setminus \mathcal{X}_t$ $t$ Và tổng lỗi của rừng vớinhiều cây là:

\frac{toàn bộ x trong {Ôi}_{t} được phân loại chính xác bởi t}{| {Ôi}_{t} |}

$\begin{equation} \frac{\text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{|\mathcal{O}_t|} \end{equation}$

n_{t}

$n_t$

\frac{Σ_{t = = 1}^{n_{t}} toàn bộ x trong {Ôi}_{t} được phân loại chính xác bởi t}{Σ_{t = = 1}^{n_{t}} | {Ôi}_{t} |}

$\begin{equation} \frac{\sum_{t=1}^{n_t} \text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{\sum_{t=1}^{n_t}|\mathcal{O}_t|} \end{equation}$

2. Hiểu xác thực chéo k-Fold

$\mathcal{X}$ $n_k$ $\mathcal{K} = \{\mathcal{K}_1, \mathcal{K}_2, \ldots, \mathcal{K}_{n_k}\}$ $\mathcal{K}_1 \cup \mathcal{K}_2 \cup \ldots \cup \mathcal{K}_{n_k} = \mathcal{X}$ $\mathcal{K}_i, \mathcal{K}_j \in \mathcal{K}$ $\mathcal{K}_i \cap \mathcal{K}_j = \emptyset$

$\mathcal{K}_t$ $\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$ $\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$

\frac{Σ_{t = = 1}^{n_{k}} toàn bộ x trong K_{t} được phân loại chính xác bởi f}{Σ_{t = = 1}^{n_{k}} | K_{t} |}

$\begin{equation} \frac{\sum_{t=1}^{n_k} \text{total $\mathbf{x}$ in $\mathcal{K}_t$ correctly classified by $f$}}{\sum_{t=1}^{n_k} |\mathcal{K}_t|} \end{equation}$

$f$

— người Thượng cổ
nguồn

Đánh giá rừng ngẫu nhiên: OOB vs CV