Trong caret sự khác biệt thực sự giữa cv và repeatcv là gì?

Điều này tương tự với câu hỏi phương pháp lấy mẫu lại của Caret , mặc dù điều đó thực sự không bao giờ trả lời phần này của câu hỏi theo cách đã được thống nhất.

chức năng đào tạo của caret cung cấp cvvà repeatedcv. Sự khác biệt trong nói làm là gì:

MyTrainControl=trainControl(
    method = "cv",
    number=5,
    repeats=5
)

đấu với

MyTrainControl=trainControl(
   method = "repeatedcv",
   number=5,
   repeats=5
)

Tôi hiểu cvchia tập hợp thành k-Folds (tham số number), sau đó bắt đầu lại và chạy nó tham repeatssố số lần.

Điều duy nhất tôi có thể nghĩ là có lẽ thường xuyên cvvới repeatsmục đích sử dụng các chỉ số chính xác tương tự cho các nếp gấp mỗi lần? về cơ bản chạy cvtrên cùng một nếp gấp chính xác mỗi lần, và có lẽ repeatedcvchọn các nếp gấp mới mỗi lần?

Ai đó có thể làm rõ?

Theo hướng dẫn sử dụng caret, trang 22 , tham số repeatschỉ áp dụng khi methodđược đặt thành repeatedcv, do đó không có sự lặp lại được thực hiện khi methodđược đặt thành cv. Vì vậy, sự khác biệt giữa cả hai phương pháp thực sự là repeatedcvlặp lại và cvkhông.

Ngoài ra: Lặp lại một phép định giá chéo với sự phân tách chính xác sẽ mang lại kết quả chính xác như nhau cho mỗi lần lặp lại (giả sử rằng mô hình được đào tạo theo cách xác định), không chỉ không hiệu quả, mà còn nguy hiểm khi so sánh kết quả xác thực thuật toán mô hình khác nhau một cách thống kê. Vì vậy, hãy lưu ý điều này nếu bạn phải tự lập trình xác nhận.

Mã thực tế đằng sau các tham số này có thể được tìm thấy trong các tệp nguồn selectByFilter.Rvà createDataPartition.R(trước đây createFolds.R) trong thư mục `caret / R / 'của gói.

Xem các tệp này để biết ví dụ tại đây và tại đây (hãy cẩn thận những permalinks này cuối cùng có thể trỏ đến phiên bản mã cũ hơn). Để thuận tiện, các đoạn có liên quan (kể từ phiên bản 6.0-78 c. Tháng 11 năm 2017) được hiển thị bên dưới

Trong selectByFilter.R c. dòng 157

sbf <- function (x, ...) UseMethod("sbf")
... 

"sbf.default" <-
  function(x, y,
           sbfControl = sbfControl(), ...)
  {
    ...

    if(is.null(sbfControl$index)) sbfControl$index <- switch(
      tolower(sbfControl$method),
      cv = createFolds(y, sbfControl$number, returnTrain = TRUE),
      repeatedcv = createMultiFolds(y, sbfControl$number, sbfControl$repeats),
      loocv = createFolds(y, length(y), returnTrain = TRUE),
      boot =, boot632 = createResample(y, sbfControl$number),
      test = createDataPartition(y, 1, sbfControl$p),
      lgocv = createDataPartition(y, sbfControl$number, sbfControl$p))
...

Trong createdDataPartition.R c. dòng 227

createMultiFolds <- function(y, k = 10, times = 5) {
  if(class(y)[1] == "Surv") y <- y[,"time"]
  prettyNums <- paste("Rep", gsub(" ", "0", format(1:times)), sep = "")
  for(i in 1:times) {
    tmp <- createFolds(y, k = k, list = TRUE, returnTrain = TRUE)
    names(tmp) <- paste("Fold",
                        gsub(" ", "0", format(seq(along = tmp))),
                        ".",
                        prettyNums[i],
                        sep = "")
    out <- if(i == 1) tmp else c(out, tmp)

  }
  out
}