gấu trúc python: Loại bỏ trùng lặp theo cột A, giữ hàng có giá trị cao nhất trong cột B

Tôi có một khung dữ liệu với các giá trị lặp lại trong cột A. Tôi muốn loại bỏ các mục trùng lặp, giữ cho hàng có giá trị cao nhất trong cột B.

Vậy đây:

A B
1 10
1 20
2 30
2 40
3 10

Nên biến thành thế này:

A B
1 20
2 40
3 10

Wes đã thêm một số chức năng tốt đẹp để loại bỏ các bản sao: http://wesmckinney.com/blog/?p=340 . Nhưng AFAICT, nó được thiết kế cho các bản sao chính xác, vì vậy không đề cập đến các tiêu chí để chọn hàng nào được giữ.

Tôi đoán có lẽ có một cách dễ dàng để làm điều này --- có thể dễ như sắp xếp khung dữ liệu trước khi bỏ các bản sao --- nhưng tôi không biết logic bên trong của nhóm đủ tốt để tìm ra nó. Bất kỳ đề xuất?

Điều này mất cuối cùng. Không phải là tối đa mặc dù:

In [10]: df.drop_duplicates(subset='A', keep="last")
Out[10]: 
   A   B
1  1  20
3  2  40
4  3  10

Bạn cũng có thể làm một cái gì đó như:

In [12]: df.groupby('A', group_keys=False).apply(lambda x: x.loc[x.B.idxmax()])
Out[12]: 
   A   B
A       
1  1  20
2  2  40
3  3  10

Câu trả lời hàng đầu là làm quá nhiều việc và có vẻ rất chậm đối với các tập dữ liệu lớn hơn. applylà chậm và nên tránh nếu có thể. ixkhông được chấp nhận và nên tránh là tốt.

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index()

   A   B
1  1  20
3  2  40
4  3  10

Hoặc đơn giản là nhóm theo tất cả các cột khác và lấy tối đa cột bạn cần. df.groupby('A', as_index=False).max()

Giải pháp đơn giản nhất:

Để loại bỏ trùng lặp dựa trên một cột:

df = df.drop_duplicates('column_name', keep='last')

Để loại bỏ trùng lặp dựa trên nhiều cột:

df = df.drop_duplicates(['col_name1','col_name2','col_name3'], keep='last')

Thử cái này:

df.groupby(['A']).max()

Tôi sẽ sắp xếp khung dữ liệu trước với Cột B giảm dần, sau đó thả các bản sao cho Cột A và giữ trước

df = df.sort_values(by='B', ascending=False)
df = df.drop_duplicates(subset='A', keep="first")

không có bất kỳ nhóm

Bạn cũng có thể thử điều này

df.drop_duplicates(subset='A', keep='last')

Tôi đã giới thiệu điều này từ https://pandas.pydata.org/pandas-docs/urdy/generated/pandas.DataFrame.drop_d repeatates.html

Tôi nghĩ rằng trong trường hợp của bạn, bạn không thực sự cần một nhóm. Tôi sẽ sắp xếp theo thứ tự giảm dần thứ tự cột B của bạn, sau đó thả các bản sao vào cột A và nếu bạn muốn, bạn cũng có thể có một chỉ mục mới đẹp và sạch như thế:

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index().reset_index(drop=True)

Đây là một biến thể tôi phải giải quyết đó là giá trị chia sẻ: với mỗi chuỗi duy nhất trong columnAtôi muốn tìm chuỗi liên kết phổ biến nhất trong đó columnB.

df.groupby('columnA').agg({'columnB': lambda x: x.mode().any()}).reset_index()

Chọn .any()một nếu có một ràng buộc cho chế độ. (Lưu ý rằng việc sử dụng .any()trên Sê-ri ints sẽ trả về giá trị boolean thay vì chọn một trong số chúng.)

Đối với câu hỏi ban đầu, cách tiếp cận tương ứng đơn giản hóa thành

df.groupby('columnA').columnB.agg('max').reset_index().

Khi đã có bài đăng trả lời câu hỏi, tôi đã thực hiện một thay đổi nhỏ bằng cách thêm tên cột mà hàm max () được áp dụng để dễ đọc mã hơn.

df.groupby('A', as_index=False)['B'].max()

Cách dễ nhất để làm điều này:

# First you need to sort this DF as Column A as ascending and column B as descending 
# Then you can drop the duplicate values in A column 
# Optional - you can reset the index and get the nice data frame again
# I'm going to show you all in one step. 

d = {'A': [1,1,2,3,1,2,3,1], 'B': [30, 40,50,42,38,30,25,32]}
df = pd.DataFrame(data=d)
df

    A   B
0   1   30
1   1   40
2   2   50
3   3   42
4   1   38
5   2   30
6   3   25
7   1   32


df = df.sort_values(['A','B'], ascending =[True,False]).drop_duplicates(['A']).reset_index(drop=True)

df

    A   B
0   1   40
1   2   50
2   3   42

cái này cũng hoạt động:

a=pd.DataFrame({'A':a.groupby('A')['B'].max().index,'B':a.groupby('A')       ['B'].max().values})

Tôi sẽ không cung cấp cho bạn toàn bộ câu trả lời (Tôi không nghĩ rằng bạn đang tìm kiếm phân tích cú pháp và viết thành một phần tệp), nhưng một gợi ý quan trọng nên đủ: sử dụng set()chức năng của python , và sau đó sorted()hoặc .sort()kết hợp với .reverse():

>>> a=sorted(set([10,60,30,10,50,20,60,50,60,10,30]))
>>> a
[10, 20, 30, 50, 60]
>>> a.reverse()
>>> a
[60, 50, 30, 20, 10]