Các tùy chọn lai ghép dplyr hiện nhanh hơn khoảng 30% so với các tập hợp con Base R được gán lại. Trên khung dữ liệu dữ liệu 100M mutate_all(~replace(., is.na(.), 0))chạy nhanh hơn nửa giây so với d[is.na(d)] <- 0tùy chọn R cơ sở . Những gì một người muốn tránh cụ thể là sử dụng một ifelse()hoặc một if_else(). (Toàn bộ 600 phân tích thử nghiệm đã chạy đến hơn 4,5 giờ chủ yếu là do bao gồm các phương pháp tiếp cận này.) Vui lòng xem các phân tích điểm chuẩn bên dưới để biết kết quả hoàn chỉnh.
Nếu bạn đang vật lộn với các datafram lớn, data.tablelà tùy chọn nhanh nhất trong tất cả: nhanh hơn 40% so với cách tiếp cận Base R tiêu chuẩn . Nó cũng sửa đổi dữ liệu tại chỗ, cho phép bạn làm việc với gần gấp đôi số lượng dữ liệu cùng một lúc.
Một nhóm các phương pháp thay thế gọn gàng hữu ích khác
Địa điểm:
- mục lục
mutate_at(c(5:10), ~replace(., is.na(.), 0))
- tham khảo trực tiếp
mutate_at(vars(var5:var10), ~replace(., is.na(.), 0))
- trận đấu cố định
mutate_at(vars(contains("1")), ~replace(., is.na(.), 0))
- hoặc thay thế
contains(), cố gắng ends_with(),starts_with()
- khớp mẫu
mutate_at(vars(matches("\\d{2}")), ~replace(., is.na(.), 0))
Có điều kiện:
(chỉ thay đổi một loại và để các loại khác một mình.)
- số nguyên
mutate_if(is.integer, ~replace(., is.na(.), 0))
- số
mutate_if(is.numeric, ~replace(., is.na(.), 0))
- dây
mutate_if(is.character, ~replace(., is.na(.), 0))
Phân tích hoàn chỉnh -
Đã cập nhật cho dplyr 0.8.0: các hàm sử dụng ~các ký hiệu định dạng purrr : thay thế các đối funs()số không dùng nữa .
Phương pháp thử nghiệm:
# Base R:
baseR.sbst.rssgn <- function(x) { x[is.na(x)] <- 0; x }
baseR.replace <- function(x) { replace(x, is.na(x), 0) }
baseR.for <- function(x) { for(j in 1:ncol(x))
x[[j]][is.na(x[[j]])] = 0 }
# tidyverse
## dplyr
dplyr_if_else <- function(x) { mutate_all(x, ~if_else(is.na(.), 0, .)) }
dplyr_coalesce <- function(x) { mutate_all(x, ~coalesce(., 0)) }
## tidyr
tidyr_replace_na <- function(x) { replace_na(x, as.list(setNames(rep(0, 10), as.list(c(paste0("var", 1:10)))))) }
## hybrid
hybrd.ifelse <- function(x) { mutate_all(x, ~ifelse(is.na(.), 0, .)) }
hybrd.replace_na <- function(x) { mutate_all(x, ~replace_na(., 0)) }
hybrd.replace <- function(x) { mutate_all(x, ~replace(., is.na(.), 0)) }
hybrd.rplc_at.idx<- function(x) { mutate_at(x, c(1:10), ~replace(., is.na(.), 0)) }
hybrd.rplc_at.nse<- function(x) { mutate_at(x, vars(var1:var10), ~replace(., is.na(.), 0)) }
hybrd.rplc_at.stw<- function(x) { mutate_at(x, vars(starts_with("var")), ~replace(., is.na(.), 0)) }
hybrd.rplc_at.ctn<- function(x) { mutate_at(x, vars(contains("var")), ~replace(., is.na(.), 0)) }
hybrd.rplc_at.mtc<- function(x) { mutate_at(x, vars(matches("\\d+")), ~replace(., is.na(.), 0)) }
hybrd.rplc_if <- function(x) { mutate_if(x, is.numeric, ~replace(., is.na(.), 0)) }
# data.table
library(data.table)
DT.for.set.nms <- function(x) { for (j in names(x))
set(x,which(is.na(x[[j]])),j,0) }
DT.for.set.sqln <- function(x) { for (j in seq_len(ncol(x)))
set(x,which(is.na(x[[j]])),j,0) }
DT.nafill <- function(x) { nafill(df, fill=0)}
DT.setnafill <- function(x) { setnafill(df, fill=0)}
Mã cho phân tích này:
library(microbenchmark)
# 20% NA filled dataframe of 10 Million rows and 10 columns
set.seed(42) # to recreate the exact dataframe
dfN <- as.data.frame(matrix(sample(c(NA, as.numeric(1:4)), 1e7*10, replace = TRUE),
dimnames = list(NULL, paste0("var", 1:10)),
ncol = 10))
# Running 600 trials with each replacement method
# (the functions are excecuted locally - so that the original dataframe remains unmodified in all cases)
perf_results <- microbenchmark(
hybrid.ifelse = hybrid.ifelse(copy(dfN)),
dplyr_if_else = dplyr_if_else(copy(dfN)),
hybrd.replace_na = hybrd.replace_na(copy(dfN)),
baseR.sbst.rssgn = baseR.sbst.rssgn(copy(dfN)),
baseR.replace = baseR.replace(copy(dfN)),
dplyr_coalesce = dplyr_coalesce(copy(dfN)),
tidyr_replace_na = tidyr_replace_na(copy(dfN)),
hybrd.replace = hybrd.replace(copy(dfN)),
hybrd.rplc_at.ctn= hybrd.rplc_at.ctn(copy(dfN)),
hybrd.rplc_at.nse= hybrd.rplc_at.nse(copy(dfN)),
baseR.for = baseR.for(copy(dfN)),
hybrd.rplc_at.idx= hybrd.rplc_at.idx(copy(dfN)),
DT.for.set.nms = DT.for.set.nms(copy(dfN)),
DT.for.set.sqln = DT.for.set.sqln(copy(dfN)),
times = 600L
)
Tóm tắt kết quả
> print(perf_results)
Unit: milliseconds
expr min lq mean median uq max neval
hybrd.ifelse 6171.0439 6339.7046 6425.221 6407.397 6496.992 7052.851 600
dplyr_if_else 3737.4954 3877.0983 3953.857 3946.024 4023.301 4539.428 600
hybrd.replace_na 1497.8653 1706.1119 1748.464 1745.282 1789.804 2127.166 600
baseR.sbst.rssgn 1480.5098 1686.1581 1730.006 1728.477 1772.951 2010.215 600
baseR.replace 1457.4016 1681.5583 1725.481 1722.069 1766.916 2089.627 600
dplyr_coalesce 1227.6150 1483.3520 1524.245 1519.454 1561.488 1996.859 600
tidyr_replace_na 1248.3292 1473.1707 1521.889 1520.108 1570.382 1995.768 600
hybrd.replace 913.1865 1197.3133 1233.336 1238.747 1276.141 1438.646 600
hybrd.rplc_at.ctn 916.9339 1192.9885 1224.733 1227.628 1268.644 1466.085 600
hybrd.rplc_at.nse 919.0270 1191.0541 1228.749 1228.635 1275.103 2882.040 600
baseR.for 869.3169 1180.8311 1216.958 1224.407 1264.737 1459.726 600
hybrd.rplc_at.idx 839.8915 1189.7465 1223.326 1228.329 1266.375 1565.794 600
DT.for.set.nms 761.6086 915.8166 1015.457 1001.772 1106.315 1363.044 600
DT.for.set.sqln 787.3535 918.8733 1017.812 1002.042 1122.474 1321.860 600
Boxplot kết quả
ggplot(perf_results, aes(x=expr, y=time/10^9)) +
geom_boxplot() +
xlab('Expression') +
ylab('Elapsed Time (Seconds)') +
scale_y_continuous(breaks = seq(0,7,1)) +
coord_flip()
Scatterplot of Trials được mã hóa màu (với trục y trên thang đo log)
qplot(y=time/10^9, data=perf_results, colour=expr) +
labs(y = "log10 Scaled Elapsed Time per Trial (secs)", x = "Trial Number") +
coord_cartesian(ylim = c(0.75, 7.5)) +
scale_y_log10(breaks=c(0.75, 0.875, 1, 1.25, 1.5, 1.75, seq(2, 7.5)))
Một lưu ý về những người thực hiện cao khác
Khi các bộ dữ liệu trở nên lớn hơn, lịch sử của Tidyrreplace_na đã rút ra trước mặt. Với bộ sưu tập 100M điểm dữ liệu hiện tại để chạy qua, nó thực hiện gần như chính xác cũng như Base R For Loop. Tôi tò mò muốn xem điều gì xảy ra với các datafram có kích thước khác nhau.
Ví dụ bổ sung cho mutatevà summarize _atvà _allcác biến thể chức năng có thể được tìm thấy ở đây: https://rdrr.io/cran/dplyr/man/summarise_all.html
Bên cạnh đó, tôi thấy các cuộc biểu tình hữu ích và các bộ sưu tập các ví dụ ở đây: https: //blog.exploratory. io / dplyr-0-5-is-awesome-heres-why-be095fd4eb8a
Phân bổ và đánh giá cao
Với lời cảm ơn đặc biệt đến:
- Tyler Rinker và Akrun để chứng minh microbenchmark.
- alexis_laz vì đã giúp tôi hiểu được việc sử dụng
local()và (với sự giúp đỡ của bệnh nhân Frank cũng vậy) vai trò của sự ép buộc thầm lặng trong việc đẩy nhanh nhiều cách tiếp cận này.
- ArthurYip cho poke để thêm
coalesce()chức năng mới hơn và cập nhật phân tích.
- Gregor cho nudge để tìm ra các
data.tablechức năng đủ tốt để cuối cùng đưa chúng vào đội hình.
- Cơ sở R Đối với vòng lặp: alexis_laz
- data.table cho các vòng lặp: Matt_Dowle
- Roman để giải thích những gì
is.numeric()thực sự kiểm tra.
(Tất nhiên, vui lòng liên hệ và cung cấp cho họ upvote nếu bạn thấy những cách tiếp cận này hữu ích.)
Lưu ý về việc sử dụng Numerics của tôi: Nếu bạn có bộ dữ liệu số nguyên thuần, tất cả các hàm của bạn sẽ chạy nhanh hơn. Vui lòng xem công việc của alexiz_laz để biết thêm thông tin. IRL, tôi không thể nhớ đã gặp phải một tập dữ liệu chứa hơn 10-15% số nguyên, vì vậy tôi đang chạy các thử nghiệm này trên các tệp dữ liệu số đầy đủ.
Phần cứng được sử dụng
CPU 3,9 GHz với RAM 24 GB