Cách đơn giản để báo cáo các giá trị bị thiếu trong data.frame

Đây là một đoạn mã nhỏ mà tôi đã viết để báo cáo các biến có giá trị bị thiếu từ khung dữ liệu. Tôi đang cố gắng nghĩ ra một cách thanh lịch hơn để làm điều này, một cách có thể trả về data.frame, nhưng tôi bị mắc kẹt:

for (Var in names(airquality)) {
    missing <- sum(is.na(airquality[,Var]))
    if (missing > 0) {
        print(c(Var,missing))
    }
}

Chỉnh sửa: Tôi đang xử lý data.frame với hàng chục đến hàng trăm biến, vì vậy điều quan trọng là chúng tôi chỉ báo cáo các biến có giá trị bị thiếu.

Chỉ dùng sapply

> sapply(airquality, function(x) sum(is.na(x)))
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0

Bạn cũng có thể sử dụng applyhoặc colSumstrên ma trận được tạo bởiis.na()

> apply(is.na(airquality),2,sum)
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0
> colSums(is.na(airquality))
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0 

Chúng ta có thể sử dụng map_dfvới purrr.

library(mice)
library(purrr)

# map_df with purrr
map_df(airquality, function(x) sum(is.na(x)))
# A tibble: 1 × 6
# Ozone Solar.R  Wind  Temp Month   Day
# <int>   <int> <int> <int> <int> <int>
# 1    37       7     0     0     0     0

Yêu thích mới của tôi cho dữ liệu (không quá rộng) là các phương pháp từ gói naniar tuyệt vời . Bạn không chỉ nhận được tần số mà còn cả các dạng mất tích:

library(naniar)
library(UpSetR)

riskfactors %>%
  as_shadow_upset() %>%
  upset()

Thường sẽ hữu ích khi xem vị trí thiếu sót có liên quan đến không thiếu có thể đạt được bằng cách vẽ biểu đồ phân tán với các lần bỏ sót:

ggplot(airquality,
       aes(x = Ozone,
           y = Solar.R)) +
 geom_miss_point()

Hoặc đối với các biến phân loại:

gg_miss_fct(x = riskfactors, fct = marital)

Những ví dụ này là từ gói họa tiết liệt kê các hình ảnh trực quan thú vị khác.

summary(airquality)

đã cung cấp cho bạn thông tin này

Các gói VIM cũng cung cấp một số đồ thị dữ liệu bị thiếu tuyệt vời cho data.frame

library("VIM")
aggr(airquality)

Cô đọng hơn-: sum(is.na(x[1]))

Đó là

1. x[1] Nhìn vào cột đầu tiên

2. is.na() đúng nếu nó NA

3. sum() TRUElà 1, FALSElà0

Một thay thế đồ họa khác - plot_missingchức năng từ DataExplorergói tuyệt vời :

Docs cũng chỉ ra một thực tế là bạn có thể lưu kết quả này để phân tích thêm missing_data <- plot_missing(data).

Một hàm khác sẽ giúp bạn xem dữ liệu bị thiếu là df_status từ thư viện funModeling

library(funModeling)

iris.2 là tập dữ liệu mống mắt với một số NA được bổ sung. Bạn có thể thay thế điều này bằng tập dữ liệu của mình.

df_status(iris.2)

Điều này sẽ cung cấp cho bạn số lượng và tỷ lệ NA trong mỗi cột.

Để có thêm một giải pháp đồ họa, visdat gói cung cấp vis_miss.

library(visdat)
vis_miss(airquality)

Rất giống với Ameliađầu ra với sự khác biệt nhỏ là cho% s khi bỏ lỡ hộp.

Tôi nghĩ rằng thư viện Amelia thực hiện một công việc tốt trong việc xử lý dữ liệu bị thiếu cũng bao gồm một bản đồ để hiển thị các hàng bị thiếu.

install.packages("Amelia")
library(Amelia)
missmap(airquality)

Bạn cũng có thể chạy đoạn mã sau sẽ trả về các giá trị logic của na

row.has.na <- apply(training, 1, function(x){any(is.na(x))})

Một cách đồ họa và tương tác khác là sử dụng is.na10hàm từ heatmaplythư viện:

library(heatmaply)

heatmaply(is.na10(airquality), grid_gap = 1, 
          showticklabels = c(T,F),
            k_col =3, k_row = 3,
            margins = c(55, 30), 
            colors = c("grey80", "grey20"))

Có thể sẽ không hoạt động tốt với các tập dữ liệu lớn ..

Nếu bạn muốn làm điều đó cho cột cụ thể, thì bạn cũng có thể sử dụng

length(which(is.na(airquality[1])==T))

Chức năng gói của ExPanDaR prepare_missing_values_graphcó thể được sử dụng để khám phá dữ liệu bảng điều khiển:

Một dplyrgiải pháp để có được số lượng có thể là:

summarise_all(df, ~sum(is.na(.)))

Hoặc để nhận phần trăm:

summarise_all(df, ~(sum(is_missing(.) / nrow(df))))

Cũng có thể đáng lưu ý rằng dữ liệu bị thiếu có thể xấu, không nhất quán và không phải lúc nào cũng được mã hóa NAtùy thuộc vào nguồn hoặc cách xử lý khi nhập. Chức năng sau có thể được tinh chỉnh tùy thuộc vào dữ liệu của bạn và những gì bạn muốn xem xét còn thiếu:

is_missing <- function(x){
  missing_strs <- c('', 'null', 'na', 'nan', 'inf', '-inf', '-9', 'unknown', 'missing')
  ifelse((is.na(x) | is.nan(x) | is.infinite(x)), TRUE,
         ifelse(trimws(tolower(x)) %in% missing_strs, TRUE, FALSE))
}

# sample ugly data
df <- data.frame(a = c(NA, '1', '  ', 'missing'),
                 b = c(0, 2, NaN, 4),
                 c = c('NA', 'b', '-9', 'null'),
                 d = 1:4,
                 e = c(1, Inf, -Inf, 0))

# counts:
> summarise_all(df, ~sum(is_missing(.)))
  a b c d e
1 3 1 3 0 2

# percentage:
> summarise_all(df, ~(sum(is_missing(.) / nrow(df))))
     a    b    c d   e
1 0.75 0.25 0.75 0 0.5