Xóa các hàng có chỉ số trùng lặp (Pandas DataFrame và TimeSeries)

Tôi đang đọc một số dữ liệu thời tiết tự động từ web. Các quan sát xảy ra cứ sau 5 phút và được tổng hợp thành các tệp hàng tháng cho mỗi trạm thời tiết. Khi tôi đã phân tích cú pháp một tệp, DataFrame trông giống như thế này:

                      Sta  Precip1hr  Precip5min  Temp  DewPnt  WindSpd  WindDir  AtmPress
Date                                                                                      
2001-01-01 00:00:00  KPDX          0           0     4       3        0        0     30.31
2001-01-01 00:05:00  KPDX          0           0     4       3        0        0     30.30
2001-01-01 00:10:00  KPDX          0           0     4       3        4       80     30.30
2001-01-01 00:15:00  KPDX          0           0     3       2        5       90     30.30
2001-01-01 00:20:00  KPDX          0           0     3       2       10      110     30.28

Vấn đề tôi gặp phải là đôi khi một nhà khoa học quay lại và sửa chữa các quan sát - không phải bằng cách chỉnh sửa các hàng sai, mà bằng cách nối một hàng trùng lặp vào cuối tệp. Ví dụ đơn giản về trường hợp như vậy được minh họa dưới đây:

import pandas 
import datetime
startdate = datetime.datetime(2001, 1, 1, 0, 0)
enddate = datetime.datetime(2001, 1, 1, 5, 0)
index = pandas.DatetimeIndex(start=startdate, end=enddate, freq='H')
data1 = {'A' : range(6), 'B' : range(6)}
data2 = {'A' : [20, -30, 40], 'B' : [-50, 60, -70]}
df1 = pandas.DataFrame(data=data1, index=index)
df2 = pandas.DataFrame(data=data2, index=index[:3])
df3 = df2.append(df1)
df3
                       A   B
2001-01-01 00:00:00   20 -50
2001-01-01 01:00:00  -30  60
2001-01-01 02:00:00   40 -70
2001-01-01 03:00:00    3   3
2001-01-01 04:00:00    4   4
2001-01-01 05:00:00    5   5
2001-01-01 00:00:00    0   0
2001-01-01 01:00:00    1   1
2001-01-01 02:00:00    2   2

Và vì vậy tôi cần phải df3trở thành đồng đều:

                       A   B
2001-01-01 00:00:00    0   0
2001-01-01 01:00:00    1   1
2001-01-01 02:00:00    2   2
2001-01-01 03:00:00    3   3
2001-01-01 04:00:00    4   4
2001-01-01 05:00:00    5   5

Tôi nghĩ rằng việc thêm một cột số hàng ( df3['rownum'] = range(df3.shape[0])) sẽ giúp tôi chọn ra hàng dưới cùng cho bất kỳ giá trị nào của giá trị DatetimeIndex, nhưng tôi bị mắc kẹt trong việc tìm ra các câu lệnh group_byhoặc pivot(hoặc ???) để thực hiện công việc đó.

Tôi sẽ đề nghị sử dụng phương pháp trùng lặp trên chính Chỉ số Pandas:

df3 = df3.loc[~df3.index.duplicated(keep='first')]

Trong khi tất cả các phương pháp khác hoạt động, câu trả lời hiện được chấp nhận cho đến nay là ít hiệu quả nhất cho ví dụ được cung cấp. Hơn nữa, trong khi phương thức nhóm chỉ có hiệu suất thấp hơn một chút, tôi thấy phương thức trùng lặp dễ đọc hơn.

Sử dụng dữ liệu mẫu được cung cấp:

>>> %timeit df3.reset_index().drop_duplicates(subset='index', keep='first').set_index('index')
1000 loops, best of 3: 1.54 ms per loop

>>> %timeit df3.groupby(df3.index).first()
1000 loops, best of 3: 580 µs per loop

>>> %timeit df3[~df3.index.duplicated(keep='first')]
1000 loops, best of 3: 307 µs per loop

Lưu ý rằng bạn có thể giữ phần tử cuối cùng bằng cách thay đổi đối số keep.

Cũng cần lưu ý rằng phương pháp này cũng hoạt động với MultiIndex(sử dụng df1 như được chỉ định trong ví dụ của Paul ):

>>> %timeit df1.groupby(level=df1.index.names).last()
1000 loops, best of 3: 771 µs per loop

>>> %timeit df1[~df1.index.duplicated(keep='last')]
1000 loops, best of 3: 365 µs per loop

Câu trả lời ban đầu của tôi, hiện đã lỗi thời, được giữ lại để tham khảo.

Một giải pháp đơn giản là sử dụng drop_duplicates

df4 = df3.drop_duplicates(subset='rownum', keep='last')

Đối với tôi, điều này hoạt động nhanh chóng trên các tập dữ liệu lớn.

Điều này đòi hỏi 'rownum' là cột có các bản sao. Trong ví dụ sửa đổi, 'rownum' không có bản sao, do đó không có gì bị loại bỏ. Điều chúng tôi thực sự muốn là đặt 'cols' thành chỉ mục. Tôi không tìm thấy cách nào để nói với drop_d repeatate chỉ xem xét chỉ mục.

Đây là một giải pháp thêm chỉ mục dưới dạng cột dataframe, loại bỏ trùng lặp trên đó, sau đó xóa cột mới:

df3 = df3.reset_index().drop_duplicates(subset='index', keep='last').set_index('index')

Và nếu bạn muốn mọi thứ trở lại theo đúng thứ tự, chỉ cần gọi sortvào khung dữ liệu.

df3 = df3.sort()

Ôi trời. Điều này thực sự rất đơn giản!

grouped = df3.groupby(level=0)
df4 = grouped.last()
df4
                      A   B  rownum

2001-01-01 00:00:00   0   0       6
2001-01-01 01:00:00   1   1       7
2001-01-01 02:00:00   2   2       8
2001-01-01 03:00:00   3   3       3
2001-01-01 04:00:00   4   4       4
2001-01-01 05:00:00   5   5       5

Theo dõi chỉnh sửa 2013-10-29 Trong trường hợp tôi có một vấn đề khá phức tạp MultiIndex, tôi nghĩ rằng tôi thích groupbycách tiếp cận hơn. Đây là ví dụ đơn giản cho hậu thế:

import numpy as np
import pandas

# fake index
idx = pandas.MultiIndex.from_tuples([('a', letter) for letter in list('abcde')])

# random data + naming the index levels
df1 = pandas.DataFrame(np.random.normal(size=(5,2)), index=idx, columns=['colA', 'colB'])
df1.index.names = ['iA', 'iB']

# artificially append some duplicate data
df1 = df1.append(df1.select(lambda idx: idx[1] in ['c', 'e']))
df1
#           colA      colB
#iA iB                    
#a  a  -1.297535  0.691787
#   b  -1.688411  0.404430
#   c   0.275806 -0.078871
#   d  -0.509815 -0.220326
#   e  -0.066680  0.607233
#   c   0.275806 -0.078871  # <--- dup 1
#   e  -0.066680  0.607233  # <--- dup 2

và đây là phần quan trọng

# group the data, using df1.index.names tells pandas to look at the entire index
groups = df1.groupby(level=df1.index.names)  
groups.last() # or .first()
#           colA      colB
#iA iB                    
#a  a  -1.297535  0.691787
#   b  -1.688411  0.404430
#   c   0.275806 -0.078871
#   d  -0.509815 -0.220326
#   e  -0.066680  0.607233

Thật không may, tôi không nghĩ Pandas cho phép một người thả dups khỏi các chỉ số. Tôi muốn đề nghị như sau:

df3 = df3.reset_index() # makes date column part of your data
df3.columns = ['timestamp','A','B','rownum'] # set names
df3 = df3.drop_duplicates('timestamp',take_last=True).set_index('timestamp') #done!

Nếu bất cứ ai như tôi thích thao tác dữ liệu có thể xâu chuỗi bằng cách sử dụng ký hiệu dấu chấm gấu trúc (như đường ống), thì những điều sau đây có thể hữu ích:

df3 = df3.query('~index.duplicated()')

Điều này cho phép xâu chuỗi các câu như thế này:

df3.assign(C=2).query('~index.duplicated()').mean()

Loại bỏ trùng lặp (Giữ đầu tiên)

idx = np.unique( df.index.values, return_index = True )[1]
df = df.iloc[idx]

Xóa các bản sao (Giữ cuối cùng)

df = df[::-1]
df = df.iloc[ np.unique( df.index.values, return_index = True )[1] ]

Kiểm tra: 10k vòng sử dụng dữ liệu của OP

numpy method - 3.03 seconds
df.loc[~df.index.duplicated(keep='first')] - 4.43 seconds
df.groupby(df.index).first() - 21 seconds
reset_index() method - 29 seconds