Loại bỏ các hàng trùng lặp bằng cách sử dụng dplyr

Tôi có một data.frame như thế này -

set.seed(123)
df = data.frame(x=sample(0:1,10,replace=T),y=sample(0:1,10,replace=T),z=1:10)
> df
   x y  z
1  0 1  1
2  1 0  2
3  0 1  3
4  1 1  4
5  1 0  5
6  0 1  6
7  1 0  7
8  1 0  8
9  1 0  9
10 0 1 10

Tôi muốn xóa các hàng trùng lặp dựa trên hai cột đầu tiên. Sản lượng dự kiến ​​-

df[!duplicated(df[,1:2]),]
  x y z
1 0 1 1
2 1 0 2
4 1 1 4

Tôi đặc biệt tìm kiếm một giải pháp sử dụng dplyrgói.

Lưu ý : dplyrbây giờ có chứa distinctchức năng cho mục đích này.

Câu trả lời gốc dưới đây:

library(dplyr)
set.seed(123)
df <- data.frame(
  x = sample(0:1, 10, replace = T),
  y = sample(0:1, 10, replace = T),
  z = 1:10
)

Một cách tiếp cận sẽ là nhóm, và sau đó chỉ giữ hàng đầu tiên:

df %>% group_by(x, y) %>% filter(row_number(z) == 1)

## Source: local data frame [3 x 3]
## Groups: x, y
## 
##   x y z
## 1 0 1 1
## 2 1 0 2
## 3 1 1 4

(Trong dplyr 0,2, bạn sẽ không cần zbiến giả và sẽ chỉ có thể viết row_number() == 1)

Tôi cũng đã suy nghĩ về việc thêm một slice()chức năng sẽ hoạt động như sau:

df %>% group_by(x, y) %>% slice(from = 1, to = 1)

Hoặc có thể một biến thể của unique()điều đó sẽ cho phép bạn chọn biến nào sẽ sử dụng:

df %>% unique(x, y)

Đây là một giải pháp sử dụng dplyr >= 0.5.

library(dplyr)
set.seed(123)
df <- data.frame(
  x = sample(0:1, 10, replace = T),
  y = sample(0:1, 10, replace = T),
  z = 1:10
)

> df %>% distinct(x, y, .keep_all = TRUE)
    x y z
  1 0 1 1
  2 1 0 2
  3 1 1 4

Để hoàn thiện hơn, những điều sau đây cũng hoạt động:

df %>% group_by(x) %>% filter (! duplicated(y))

Tuy nhiên, tôi thích giải pháp sử dụng hơn distinctvà tôi cũng nghi ngờ nó nhanh hơn.

Hầu hết thời gian, giải pháp tốt nhất là sử dụng distinct()từ dplyr, như đã được đề xuất.

Tuy nhiên, đây là một cách tiếp cận khác sử dụng slice()chức năng từ dplyr.

# Generate fake data for the example
  library(dplyr)
  set.seed(123)
  df <- data.frame(
    x = sample(0:1, 10, replace = T),
    y = sample(0:1, 10, replace = T),
    z = 1:10
  )

# In each group of rows formed by combinations of x and y
# retain only the first row

    df %>%
      group_by(x, y) %>%
      slice(1)

Sự khác biệt từ việc sử dụng distinct() chức năng

Ưu điểm của giải pháp này là nó làm cho nó rõ ràng những hàng nào được giữ lại từ khung dữ liệu gốc và nó có thể ghép nối độc đáo với arrange()hàm.

Giả sử bạn có dữ liệu bán hàng của khách hàng và bạn muốn giữ lại một bản ghi cho mỗi khách hàng và bạn muốn bản ghi đó là bản ghi từ lần mua hàng mới nhất của họ. Sau đó, bạn có thể viết:

customer_purchase_data %>%
   arrange(desc(Purchase_Date)) %>%
   group_by(Customer_ID) %>%
   slice(1)

Khi chọn các cột trong R cho tập dữ liệu giảm, bạn thường có thể kết thúc bằng các bản sao.

Hai dòng này cho kết quả như nhau. Mỗi đầu ra một tập dữ liệu duy nhất chỉ có hai cột được chọn:

distinct(mtcars, cyl, hp);

summarise(group_by(mtcars, cyl, hp));

Nếu bạn muốn tìm các hàng được nhân đôi, bạn có thể sử dụng find_duplicatestừ hablar:

library(dplyr)
library(hablar)

df <- tibble(a = c(1, 2, 2, 4),
             b = c(5, 2, 2, 8))

df %>% find_duplicates()