Các cách nhanh chóng trong R để có được hàng đầu tiên của khung dữ liệu được nhóm theo một mã định danh [đã đóng]

Đôi khi tôi chỉ cần lấy hàng đầu tiên của tập dữ liệu được nhóm theo một mã định danh, như khi truy xuất tuổi và giới tính khi có nhiều quan sát cho mỗi cá nhân. Cách nhanh nhất (hoặc nhanh nhất) để làm điều này trong R là gì? Tôi đã sử dụng tổng hợp () bên dưới và nghi ngờ có những cách tốt hơn. Trước khi đăng câu hỏi này, tôi đã tìm kiếm một chút trên google, tìm và thử ddply, và rất ngạc nhiên vì nó rất chậm và khiến tôi bị lỗi bộ nhớ trên tập dữ liệu của mình (400.000 hàng x 16 cols, 7.000 ID duy nhất), trong khi phiên bản tổng hợp () khá nhanh

(dx <- data.frame(ID = factor(c(1,1,2,2,3,3)), AGE = c(30,30,40,40,35,35), FEM = factor(c(1,1,0,0,1,1))))
# ID AGE FEM
#  1  30   1
#  1  30   1
#  2  40   0
#  2  40   0
#  3  35   1
#  3  35   1
ag <- data.frame(ID=levels(dx$ID))
ag <- merge(ag, aggregate(AGE ~ ID, data=dx, function(x) x[1]), "ID")
ag <- merge(ag, aggregate(FEM ~ ID, data=dx, function(x) x[1]), "ID")
ag
# ID AGE FEM
#  1  30   1
#  2  40   0
#  3  35   1
#same result:
library(plyr)
ddply(.data = dx, .var = c("ID"), .fun = function(x) x[1,])

CẬP NHẬT: Xem câu trả lời của Chase và bình luận của Matt Parker về những gì tôi cho là cách tiếp cận thanh lịch nhất. Xem câu trả lời của @Matthew Dowle để biết giải pháp nhanh nhất sử dụng data.tablegói.

Là cột ID của bạn thực sự là một yếu tố? Nếu nó thực sự là số, tôi nghĩ bạn có thể sử dụng diffhàm để lợi thế của bạn. Bạn cũng có thể ép nó thành số với as.numeric().

dx <- data.frame(
    ID = sort(sample(1:7000, 400000, TRUE))
    , AGE = sample(18:65, 400000, TRUE)
    , FEM = sample(0:1, 400000, TRUE)
)

dx[ diff(c(0,dx$ID)) != 0, ]

Theo dõi câu trả lời của Steve, có một cách nhanh hơn nhiều trong data.table:

> # Preamble
> dx <- data.frame(
+     ID = sort(sample(1:7000, 400000, TRUE))
+     , AGE = sample(18:65, 400000, TRUE)
+     , FEM = sample(0:1, 400000, TRUE)
+ )
> dxt <- data.table(dx, key='ID')

> # fast self join
> system.time(ans2<-dxt[J(unique(ID)),mult="first"])
 user  system elapsed 
0.048   0.016   0.064

> # slower using .SD
> system.time(ans1<-dxt[, .SD[1], by=ID])
  user  system elapsed 
14.209   0.012  14.281 

> mapply(identical,ans1,ans2)  # ans1 is keyed but ans2 isn't, otherwise identical
  ID  AGE  FEM 
TRUE TRUE TRUE 

Nếu bạn chỉ cần hàng đầu tiên của mỗi nhóm, thì việc tham gia trực tiếp vào hàng đó sẽ nhanh hơn nhiều. Tại sao tạo đối tượng .SD mỗi lần, chỉ để sử dụng hàng đầu tiên của nó?

So sánh 0,064 dữ liệu. Có thể thay thế "Giải pháp thay thế của Matt Park cho giải pháp của Chase" (dường như là nhanh nhất cho đến nay):

> system.time(ans3<-dxt[c(TRUE, dxt$ID[-1] != dxt$ID[-length(dxt$ID)]), ])
 user  system elapsed 
0.284   0.028   0.310 
> identical(ans1,ans3)
[1] TRUE 

Nhanh hơn gấp 5 lần, nhưng đó là một cái bàn nhỏ dưới 1 triệu hàng. Khi kích thước tăng lên, sự khác biệt cũng vậy.

Bạn không cần nhiều merge()bước, chỉ cần aggregate()cả hai biến quan tâm:

> aggregate(dx[, -1], by = list(ID = dx$ID), head, 1)
  ID AGE FEM
1  1  30   1
2  2  40   0
3  3  35   1

> system.time(replicate(1000, aggregate(dx[, -1], by = list(ID = dx$ID), 
+                                       head, 1)))
   user  system elapsed 
  2.531   0.007   2.547 
> system.time(replicate(1000, {ag <- data.frame(ID=levels(dx$ID))
+ ag <- merge(ag, aggregate(AGE ~ ID, data=dx, function(x) x[1]), "ID")
+ ag <- merge(ag, aggregate(FEM ~ ID, data=dx, function(x) x[1]), "ID")
+ }))
   user  system elapsed 
  9.264   0.009   9.301

Thời gian so sánh:

1) Giải pháp của Matt:

> system.time(replicate(1000, {
+ agg <- by(dx, dx$ID, FUN = function(x) x[1, ])
+ # Which returns a list that you can then convert into a data.frame thusly:
+ do.call(rbind, agg)
+ }))
   user  system elapsed 
  3.759   0.007   3.785

2) Giải pháp định hình lại của Zach2:

> system.time(replicate(1000, {
+ dx <- melt(dx,id=c('ID','FEM'))
+ dcast(dx,ID+FEM~variable,fun.aggregate=mean)
+ }))
   user  system elapsed 
 12.804   0.032  13.019

3) Giải pháp dữ liệu của Steve.

> system.time(replicate(1000, {
+ dxt <- data.table(dx, key='ID')
+ dxt[, .SD[1,], by=ID]
+ }))
   user  system elapsed 
  5.484   0.020   5.608 
> dxt <- data.table(dx, key='ID') ## one time step
> system.time(replicate(1000, {
+ dxt[, .SD[1,], by=ID] ## try this one line on own
+ }))
   user  system elapsed 
  3.743   0.006   3.784

4) Truy tìm giải pháp nhanh bằng cách sử dụng số, không phải yếu tố , ID:

> dx2 <- within(dx, ID <- as.numeric(ID))
> system.time(replicate(1000, {
+ dy <- dx[order(dx$ID),]
+ dy[ diff(c(0,dy$ID)) != 0, ]
+ }))
   user  system elapsed 
  0.663   0.000   0.663

và 5) Giải pháp thay thế của Matt Park cho giải pháp của Chase, về tính cách hoặc yếu tố ID, nhanh hơn một chút so với giải pháp số của Chase ID:

> system.time(replicate(1000, {
+ dx[c(TRUE, dx$ID[-1] != dx$ID[-length(dx$ID)]), ]
+ }))
   user  system elapsed 
  0.513   0.000   0.516

Bạn có thể thử sử dụng gói data.table .

Đối với trường hợp cụ thể của bạn, nhược điểm là nó (cực kỳ nhanh). Lần đầu tiên tôi được giới thiệu về nó, tôi đã làm việc trên các đối tượng data.frame với hàng trăm ngàn hàng. "Bình thường" aggregatehoặc ddplycác phương pháp đã được thực hiện ~ 1-2 phút để hoàn thành (điều này là trước khi Hadley giới thiệu idata.framemojo vào ddply). Sử dụng data.table, các hoạt động đã được thực hiện trong vài giây.

Nhược điểm của nó là quá nhanh bởi vì nó sẽ sử dụng dữ liệu của bạn. Nó giống như data.frame) bằng "các cột chính" và sử dụng chiến lược tìm kiếm thông minh để tìm các tập hợp con của dữ liệu của bạn. Điều này sẽ dẫn đến việc sắp xếp lại dữ liệu của bạn trước khi bạn thu thập số liệu thống kê về dữ liệu đó.

Cho rằng bạn sẽ chỉ muốn hàng đầu tiên của mỗi nhóm - có thể việc sắp xếp lại sẽ làm rối tung hàng nào trước, đó là lý do tại sao nó có thể không phù hợp trong tình huống của bạn.

Dù sao, bạn sẽ phải đánh giá xem có data.tablephù hợp ở đây hay không , nhưng đây là cách bạn sẽ sử dụng nó với dữ liệu bạn đã trình bày:

install.packages('data.table') ## if yo udon't have it already
library(data.table)
dxt <- data.table(dx, key='ID')
dxt[, .SD[1,], by=ID]
     ID AGE FEM
[1,]  1  30   1
[2,]  2  40   0
[3,]  3  35   1

Cập nhật: Matthew Dowle (nhà phát triển chính của gói data.table) đã cung cấp một cách tốt hơn / thông minh hơn / cực kỳ hiệu quả hơn để sử dụng data.table để giải quyết vấn đề này như một trong những câu trả lời ở đây ... chắc chắn kiểm tra xem .

Hãy thử định hình lại2

library(reshape2)
dx <- melt(dx,id=c('ID','FEM'))
dcast(dx,ID+FEM~variable,fun.aggregate=mean)

Bạn có thể thử

agg <- by(dx, dx$ID, FUN = function(x) x[1, ])
# Which returns a list that you can then convert into a data.frame thusly:
do.call(rbind, agg)

Tôi không biết nếu điều này sẽ nhanh hơn plyr, mặc dù.