lọc các trường hợp hoàn chỉnh trong data.frame bằng cách sử dụng dplyr (xóa theo từng trường hợp)

Có thể lọc data.frame cho các trường hợp hoàn chỉnh bằng dplyr không? complete.casesvới một danh sách tất cả các biến hoạt động, tất nhiên. Nhưng đó là a) dài dòng khi có rất nhiều biến và b) không thể khi tên biến không được biết (ví dụ: trong một hàm xử lý bất kỳ khung dữ liệu nào).

library(dplyr)
df = data.frame(
    x1 = c(1,2,3,NA),
    x2 = c(1,2,NA,5)
)

df %.%
  filter(complete.cases(x1,x2))

Thử cái này:

df %>% na.omit

hoặc cái này:

df %>% filter(complete.cases(.))

hoặc cái này:

library(tidyr)
df %>% drop_na

Nếu bạn muốn lọc dựa trên sự thiếu hụt của một biến, hãy sử dụng điều kiện:

df %>% filter(!is.na(x1))

hoặc là

df %>% drop_na(x1)

Các câu trả lời khác chỉ ra rằng các giải pháp ở trên na.omitchậm hơn nhiều nhưng điều đó phải được cân bằng với thực tế là nó trả về chỉ số hàng của các hàng bị bỏ qua trong na.actionthuộc tính trong khi các giải pháp khác ở trên thì không.

str(df %>% na.omit)
## 'data.frame':   2 obs. of  2 variables:
##  $ x1: num  1 2
##  $ x2: num  1 2
##  - attr(*, "na.action")= 'omit' Named int  3 4
##    ..- attr(*, "names")= chr  "3" "4"

ADDED Đã cập nhật để phản ánh phiên bản mới nhất của dplyr và nhận xét.

ADDED Đã cập nhật để phản ánh phiên bản mới nhất của sắp xếp và nhận xét.

Điều này phù hợp với tôi:

df %>%
  filter(complete.cases(df))    

Hoặc tổng quát hơn một chút:

library(dplyr) # 0.4
df %>% filter(complete.cases(.))

Điều này sẽ có lợi thế là dữ liệu có thể đã được sửa đổi trong chuỗi trước khi chuyển nó đến bộ lọc.

Một điểm chuẩn khác với nhiều cột hơn:

set.seed(123)
x <- sample(1e5,1e5*26, replace = TRUE)
x[sample(seq_along(x), 1e3)] <- NA
df <- as.data.frame(matrix(x, ncol = 26))
library(microbenchmark)
microbenchmark(
  na.omit = {df %>% na.omit},
  filter.anonymous = {df %>% (function(x) filter(x, complete.cases(x)))},
  rowSums = {df %>% filter(rowSums(is.na(.)) == 0L)},
  filter = {df %>% filter(complete.cases(.))},
  times = 20L,
  unit = "relative")

#Unit: relative
#             expr       min        lq    median         uq       max neval
 #         na.omit 12.252048 11.248707 11.327005 11.0623422 12.823233    20
 #filter.anonymous  1.149305  1.022891  1.013779  0.9948659  4.668691    20
 #         rowSums  2.281002  2.377807  2.420615  2.3467519  5.223077    20
 #          filter  1.000000  1.000000  1.000000  1.0000000  1.000000    20

Dưới đây là một số kết quả tiêu chuẩn cho câu trả lời của Grothendieck. na.omit () mất thời gian gấp 20 lần so với hai giải pháp còn lại. Tôi nghĩ sẽ rất tuyệt nếu dplyr có một chức năng cho điều này có thể là một phần của bộ lọc.

library('rbenchmark')
library('dplyr')

n = 5e6
n.na = 100000
df = data.frame(
    x1 = sample(1:10, n, replace=TRUE),
    x2 = sample(1:10, n, replace=TRUE)
)
df$x1[sample(1:n, n.na)] = NA
df$x2[sample(1:n, n.na)] = NA


benchmark(
    df %>% filter(complete.cases(x1,x2)),
    df %>% na.omit(),
    df %>% (function(x) filter(x, complete.cases(x)))()
    , replications=50)

#                                                  test replications elapsed relative
# 3 df %.% (function(x) filter(x, complete.cases(x)))()           50   5.422    1.000
# 1               df %.% filter(complete.cases(x1, x2))           50   6.262    1.155
# 2                                    df %.% na.omit()           50 109.618   20.217

Đây là một hàm ngắn cho phép bạn chỉ định các cột (về cơ bản là mọi thứ dplyr::selectcó thể hiểu được) không được có bất kỳ giá trị NA nào (được mô hình hóa theo pandas df.dropna () ):

drop_na <- function(data, ...){
    if (missing(...)){
        f = complete.cases(data)
    } else {
        f <- complete.cases(select_(data, .dots = lazyeval::lazy_dots(...)))
    }
    filter(data, f)
}

[ drop_na hiện là một phần của ngăn nắp : phần trên có thể được thay thế bằng library("tidyr")]

Ví dụ:

library("dplyr")
df <- data.frame(a=c(1,2,3,4,NA), b=c(NA,1,2,3,4), ac=c(1,2,NA,3,4))
df %>% drop_na(a,b)
df %>% drop_na(starts_with("a"))
df %>% drop_na() # drops all rows with NAs

thử cái này

df[complete.cases(df),] #output to console

HOẶC thậm chí cái này

df.complete <- df[complete.cases(df),] #assign to a new data.frame

Các lệnh trên có nhiệm vụ kiểm tra tính đầy đủ cho tất cả các cột (biến) trong data.frame của bạn.

Chỉ vì mục đích hoàn chỉnh, dplyr::filtercó thể tránh hoàn toàn nhưng vẫn có thể tạo chuỗi chỉ bằng cách sử dụng magrittr:extract(bí danh của [):

library(magrittr)
df = data.frame(
  x1 = c(1,2,3,NA),
  x2 = c(1,2,NA,5))

df %>%
  extract(complete.cases(.), )

Phần thưởng bổ sung là tốc độ, đây là phương pháp nhanh nhất trong số các phương pháp filtervà na.omitcác biến thể (được thử nghiệm bằng cách sử dụng @Miha Trošt microbenchmarks).