Làm thế nào để xóa một hàng bằng cách tham chiếu trong data.table?

Câu hỏi của tôi liên quan đến bài tập bằng cách tham chiếu so với sao chép trong data.table. Tôi muốn biết nếu một người có thể xóa các hàng bằng cách tham chiếu, tương tự như

DT[ , someCol := NULL]

Tôi muốn biết về

DT[someRow := NULL, ]

Tôi đoán có một lý do chính đáng cho lý do tại sao chức năng này không tồn tại, vì vậy có lẽ bạn có thể chỉ ra một giải pháp thay thế tốt cho phương pháp sao chép thông thường, như dưới đây. Cụ thể, đi với ví dụ yêu thích của tôi (data.table),

DT = data.table(x = rep(c("a", "b", "c"), each = 3), y = c(1, 3, 6), v = 1:9)
#      x y v
# [1,] a 1 1
# [2,] a 3 2
# [3,] a 6 3
# [4,] b 1 4
# [5,] b 3 5
# [6,] b 6 6
# [7,] c 1 7
# [8,] c 3 8
# [9,] c 6 9

Nói rằng tôi muốn xóa hàng đầu tiên khỏi dữ liệu này. Tôi biết tôi có thể làm điều này:

DT <- DT[-1, ]

nhưng thường chúng ta có thể muốn tránh điều đó, bởi vì chúng ta đang sao chép đối tượng (và điều đó đòi hỏi khoảng 3 * N bộ nhớ, nếu N object.size(DT), như được chỉ ra ở đây . Bây giờ tôi đã tìm thấy set(DT, i, j, value). Tôi biết cách đặt các giá trị cụ thể (như ở đây: đặt tất cả các giá trị trong hàng 1 và 2 và cột 2 và 3 về 0)

set(DT, 1:2, 2:3, 0) 
DT
#      x y v
# [1,] a 0 0
# [2,] a 0 0
# [3,] a 6 3
# [4,] b 1 4
# [5,] b 3 5
# [6,] b 6 6
# [7,] c 1 7
# [8,] c 3 8
# [9,] c 6 9

Nhưng làm thế nào tôi có thể xóa hai hàng đầu tiên, nói? Đang làm

set(DT, 1:2, 1:3, NULL)

đặt toàn bộ DT thành NULL.

Kiến thức SQL của tôi rất hạn chế, vì vậy các bạn nói với tôi: data data.table sử dụng công nghệ SQL, có tương đương với lệnh SQL không

DELETE FROM table_name
WHERE some_column=some_value

trong data.table?

Câu hỏi hay. data.tablekhông thể xóa hàng bằng cách tham khảo nào.

data.tablecó thể thêm và xóa các cột bằng cách tham chiếu vì nó phân bổ quá mức vectơ của các con trỏ cột, như bạn biết. Kế hoạch là làm một cái gì đó tương tự cho các hàng và cho phép nhanh insertvà delete. Một hàng xóa sẽ sử dụng memmovetrong C để tạo ra các mục (trong mỗi và mỗi cột) sau khi các hàng bị xóa. Xóa một hàng ở giữa bảng sẽ vẫn không hiệu quả so với cơ sở dữ liệu lưu trữ hàng như SQL, phù hợp hơn để chèn và xóa nhanh các hàng bất cứ nơi nào có các hàng trong bảng. Tuy nhiên, nó sẽ nhanh hơn rất nhiều so với việc sao chép một đối tượng lớn mới mà không có các hàng bị xóa.

Mặt khác, vì các vectơ cột sẽ được phân bổ quá mức, các hàng có thể được chèn (và xóa) ở cuối , ngay lập tức; ví dụ, một chuỗi thời gian đang phát triển

Nó được coi là một vấn đề: Xóa các hàng theo tham chiếu .

Cách tiếp cận mà tôi đã thực hiện để sử dụng bộ nhớ tương tự như xóa tại chỗ là đặt một cột tại một thời điểm và xóa. không nhanh như một giải pháp memmove C thích hợp, nhưng sử dụng bộ nhớ là tất cả những gì tôi quan tâm ở đây. đại loại như thế này:

DT = data.table(col1 = 1:1e6)
cols = paste0('col', 2:100)
for (col in cols){ DT[, (col) := 1:1e6] }
keep.idxs = sample(1e6, 9e5, FALSE) # keep 90% of entries
DT.subset = data.table(col1 = DT[['col1']][keep.idxs]) # this is the subsetted table
for (col in cols){
  DT.subset[, (col) := DT[[col]][keep.idxs]]
  DT[, (col) := NULL] #delete
}

Đây là chức năng hoạt động dựa trên câu trả lời của @ vc273 và phản hồi của @ Frank.

delete <- function(DT, del.idxs) {           # pls note 'del.idxs' vs. 'keep.idxs'
  keep.idxs <- setdiff(DT[, .I], del.idxs);  # select row indexes to keep
  cols = names(DT);
  DT.subset <- data.table(DT[[1]][keep.idxs]); # this is the subsetted table
  setnames(DT.subset, cols[1]);
  for (col in cols[2:length(cols)]) {
    DT.subset[, (col) := DT[[col]][keep.idxs]];
    DT[, (col) := NULL];  # delete
  }
   return(DT.subset);
}

Và ví dụ về cách sử dụng của nó:

dat <- delete(dat,del.idxs)   ## Pls note 'del.idxs' instead of 'keep.idxs'

Trong đó "dat" là data.table. Xóa 14k hàng khỏi 1,4M hàng mất 0,25 giây trên máy tính xách tay của tôi.

> dim(dat)
[1] 1419393      25
> system.time(dat <- delete(dat,del.idxs))
   user  system elapsed 
   0.23    0.02    0.25 
> dim(dat)
[1] 1404715      25
> 

Tái bút Vì tôi chưa quen với SO, tôi không thể thêm nhận xét vào chủ đề của @ vc273 :-(

Thay vào đó hoặc cố gắng đặt thành NULL, hãy thử đặt thành NA (khớp với loại NA cho cột đầu tiên)

set(DT,1:2, 1:3 ,NA_character_)

Chủ đề vẫn còn nhiều người thú vị (bao gồm cả tôi).

Thế còn cái đó? Tôi đã sử dụng assignđể thay thế glovalenvvà mã được mô tả trước đây. Sẽ tốt hơn nếu chụp môi trường ban đầu nhưng ít nhất trong globalenvđó là bộ nhớ hiệu quả và hoạt động như một sự thay đổi của ref.

delete <- function(DT, del.idxs) 
{ 
  varname = deparse(substitute(DT))

  keep.idxs <- setdiff(DT[, .I], del.idxs)
  cols = names(DT);
  DT.subset <- data.table(DT[[1]][keep.idxs])
  setnames(DT.subset, cols[1])

  for (col in cols[2:length(cols)]) 
  {
    DT.subset[, (col) := DT[[col]][keep.idxs]]
    DT[, (col) := NULL];  # delete
  }

  assign(varname, DT.subset, envir = globalenv())
  return(invisible())
}

DT = data.table(x = rep(c("a", "b", "c"), each = 3), y = c(1, 3, 6), v = 1:9)
delete(DT, 3)

Dưới đây là một số chiến lược tôi đã sử dụng. Tôi tin rằng một chức năng .law có thể sẽ đến. Không có cách tiếp cận nào dưới đây là nhanh. Đây là một số chiến lược vượt ra ngoài tập hợp con hoặc lọc. Tôi đã cố gắng nghĩ như dba chỉ cố gắng để làm sạch dữ liệu. Như đã lưu ý ở trên, bạn có thể chọn hoặc xóa các hàng trong data.table:

data(iris)
iris <- data.table(iris)

iris[3] # Select row three

iris[-3] # Remove row three

You can also use .SD to select or remove rows:

iris[,.SD[3]] # Select row three

iris[,.SD[3:6],by=,.(Species)] # Select row 3 - 6 for each Species

iris[,.SD[-3]] # Remove row three

iris[,.SD[-3:-6],by=,.(Species)] # Remove row 3 - 6 for each Species

Lưu ý: .SD tạo một tập hợp con của dữ liệu gốc và cho phép bạn thực hiện khá nhiều công việc trong j hoặc data.table tiếp theo. Xem https://stackoverflow.com/a/47406952/305675 . Ở đây tôi đã ra lệnh cho tròng mắt của mình theo Độ dài Sepal, lấy tối thiểu Sepal.Lipse được chỉ định là tối thiểu, chọn ba phần trên cùng (theo Độ dài Sepal) của tất cả các Loài và trả về tất cả dữ liệu đi kèm:

iris[order(-Sepal.Length)][Sepal.Length > 3,.SD[1:3],by=,.(Species)]

Các cách tiếp cận trên tất cả sắp xếp lại một data.table tuần tự khi loại bỏ các hàng. Bạn có thể hoán chuyển một data.table và loại bỏ hoặc thay thế các hàng cũ hiện là các cột được hoán chuyển. Khi sử dụng ': = NULL' để xóa hàng được chuyển, tên cột tiếp theo cũng bị xóa:

m_iris <- data.table(t(iris))[,V3:=NULL] # V3 column removed

d_iris <- data.table(t(iris))[,V3:=V2] # V3 column replaced with V2

Khi bạn chuyển đổi data.frame trở lại data.table, bạn có thể muốn đổi tên từ data.table gốc và khôi phục các thuộc tính lớp trong trường hợp xóa. Áp dụng ": = NULL" cho dữ liệu đã được chuyển đổi. Có thể tạo tất cả các lớp ký tự.

m_iris <- data.table(t(d_iris));
setnames(d_iris,names(iris))

d_iris <- data.table(t(m_iris));
setnames(m_iris,names(iris))

Bạn có thể chỉ muốn xóa các hàng trùng lặp mà bạn có thể thực hiện có hoặc không có Khóa:

d_iris[,Key:=paste0(Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species)]     

d_iris[!duplicated(Key),]

d_iris[!duplicated(paste0(Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species)),]  

Cũng có thể thêm bộ đếm tăng dần với '.I'. Sau đó, bạn có thể tìm kiếm các khóa hoặc trường trùng lặp và xóa chúng bằng cách xóa bản ghi với bộ đếm. Đây là tính toán đắt tiền, nhưng có một số lợi thế vì bạn có thể in các dòng cần loại bỏ.

d_iris[,I:=.I,] # add a counter field

d_iris[,Key:=paste0(Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species)]

for(i in d_iris[duplicated(Key),I]) {print(i)} # See lines with duplicated Key or Field

for(i in d_iris[duplicated(Key),I]) {d_iris <- d_iris[!I == i,]} # Remove lines with duplicated Key or any particular field.

Bạn cũng có thể chỉ cần điền một hàng bằng 0 hoặc NA và sau đó sử dụng truy vấn i để xóa chúng:

 X 
   x v foo
1: c 8   4
2: b 7   2

X[1] <- c(0)

X
   x v foo
1: 0 0   0
2: b 7   2

X[2] <- c(NA)
X
    x  v foo
1:  0  0   0
2: NA NA  NA

X <- X[x != 0,]
X <- X[!is.na(x),]