gấu trúc có được các hàng KHÔNG trong khung dữ liệu khác

Tôi có hai khung dữ liệu gấu trúc có một số hàng chung.

Giả sử dataframe2 là tập con của dataframe1.

Làm cách nào tôi có thể nhận được các hàng của dataframe1 không có trong dataframe2?

df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5], 'col2' : [10, 11, 12, 13, 14]}) 
df2 = pandas.DataFrame(data = {'col1' : [1, 2, 3], 'col2' : [10, 11, 12]})

Một phương pháp sẽ là lưu trữ kết quả của một hình thức hợp nhất bên trong cả hai dfs, sau đó chúng ta có thể chỉ cần chọn các hàng khi các giá trị của một cột không phổ biến:

In [119]:

common = df1.merge(df2,on=['col1','col2'])
print(common)
df1[(~df1.col1.isin(common.col1))&(~df1.col2.isin(common.col2))]
   col1  col2
0     1    10
1     2    11
2     3    12
Out[119]:
   col1  col2
3     4    13
4     5    14

BIÊN TẬP

Một phương pháp khác mà bạn đã tìm thấy là sử dụng isinsẽ tạo ra NaNcác hàng mà bạn có thể thả:

In [138]:

df1[~df1.isin(df2)].dropna()
Out[138]:
   col1  col2
3     4    13
4     5    14

Tuy nhiên, nếu df2 không bắt đầu các hàng theo cách tương tự thì điều này sẽ không hoạt động:

df2 = pd.DataFrame(data = {'col1' : [2, 3,4], 'col2' : [11, 12,13]})

sẽ sản xuất toàn bộ df:

In [140]:

df1[~df1.isin(df2)].dropna()
Out[140]:
   col1  col2
0     1    10
1     2    11
2     3    12
3     4    13
4     5    14

Các giải pháp hiện đang được lựa chọn tạo ra kết quả không chính xác. Để giải quyết chính xác vấn đề này, chúng tôi có thể thực hiện nối từ trái df1sang df2, trước tiên hãy đảm bảo chỉ nhận các hàng duy nhất chodf2 .

Trước tiên, chúng ta cần sửa đổi DataFrame gốc để thêm hàng với dữ liệu [3, 10].

df1 = pd.DataFrame(data = {'col1' : [1, 2, 3, 4, 5, 3], 
                           'col2' : [10, 11, 12, 13, 14, 10]}) 
df2 = pd.DataFrame(data = {'col1' : [1, 2, 3],
                           'col2' : [10, 11, 12]})

df1

   col1  col2
0     1    10
1     2    11
2     3    12
3     4    13
4     5    14
5     3    10

df2

   col1  col2
0     1    10
1     2    11
2     3    12

Thực hiện nối trái, loại bỏ trùng lặp sao df2cho mỗi hàng df1nối với đúng 1 hàng df2. Sử dụng tham số indicatorđể trả về một cột phụ cho biết hàng đó được lấy từ bảng nào.

df_all = df1.merge(df2.drop_duplicates(), on=['col1','col2'], 
                   how='left', indicator=True)
df_all

   col1  col2     _merge
0     1    10       both
1     2    11       both
2     3    12       both
3     4    13  left_only
4     5    14  left_only
5     3    10  left_only

Tạo một điều kiện boolean:

df_all['_merge'] == 'left_only'

0    False
1    False
2    False
3     True
4     True
5     True
Name: _merge, dtype: bool

Tại sao các giải pháp khác là sai

Một vài giải pháp mắc cùng một lỗi - họ chỉ kiểm tra xem mỗi giá trị độc lập trong mỗi cột chứ không phải cùng một hàng. Thêm hàng cuối cùng, là duy nhất nhưng có các giá trị từ cả hai cột df2để lộ lỗi:

common = df1.merge(df2,on=['col1','col2'])
(~df1.col1.isin(common.col1))&(~df1.col2.isin(common.col2))
0    False
1    False
2    False
3     True
4     True
5    False
dtype: bool

Giải pháp này nhận được kết quả sai tương tự:

df1.isin(df2.to_dict('l')).all(1)

Giả sử rằng các chỉ mục phù hợp trong các dataframes (không tính đến các giá trị col thực tế):

df1[~df1.index.isin(df2.index)]

Như đã được gợi ý, isin yêu cầu các cột và chỉ số giống nhau cho một trận đấu. Nếu chỉ khớp với nội dung hàng, một cách để lấy mặt nạ để lọc các hàng hiện tại là chuyển đổi các hàng thành Chỉ mục (Đa):

In [77]: df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5, 3], 'col2' : [10, 11, 12, 13, 14, 10]})
In [78]: df2 = pandas.DataFrame(data = {'col1' : [1, 3, 4], 'col2' : [10, 12, 13]})
In [79]: df1.loc[~df1.set_index(list(df1.columns)).index.isin(df2.set_index(list(df2.columns)).index)]
Out[79]:
   col1  col2
1     2    11
4     5    14
5     3    10

Nếu chỉ mục cần được tính đến, set_index có thêm đối số từ khóa để nối thêm các cột vào chỉ mục hiện có. Nếu các cột không xếp hàng, danh sách (df.columns) có thể được thay thế bằng thông số kỹ thuật của cột để căn chỉnh dữ liệu.

pandas.MultiIndex.from_tuples(df<N>.to_records(index = False).tolist())

cách khác có thể được sử dụng để tạo các chỉ số, mặc dù tôi nghi ngờ điều này là hiệu quả hơn.

Giả sử bạn có hai datafram, df_1 và df_2 có nhiều trường (cột_names) và bạn muốn tìm các mục duy nhất trong df_1 không có trong df_2 trên cơ sở một số trường (ví dụ: field_x, Field_y), hãy làm theo các bước sau.

Bước 1. Thêm một cột key1 và key2 tương ứng với df_1 và df_2.

Step2.Merge các dataframes như dưới đây. field_x và field_y là các cột mong muốn của chúng tôi.

Bước 3. Chỉ chọn những hàng đó từ df_1 trong đó key1 không bằng key2.

Step4.Drop key1 và key2.

Phương pháp này sẽ giải quyết vấn đề của bạn và hoạt động nhanh ngay cả với các tập dữ liệu lớn. Tôi đã thử nó cho dataframes với hơn 1.000.000 hàng.

df_1['key1'] = 1
df_2['key2'] = 1
df_1 = pd.merge(df_1, df_2, on=['field_x', 'field_y'], how = 'left')
df_1 = df_1[~(df_1.key2 == df_1.key1)]
df_1 = df_1.drop(['key1','key2'], axis=1)

hơi muộn, nhưng có thể đáng để kiểm tra tham số "chỉ báo" của pd.merge.

Xem câu hỏi khác này để biết ví dụ: So sánh PandaS DataFrames và trả về các hàng bị thiếu từ câu đầu tiên

bạn có thể làm điều đó bằng phương pháp isin (dict) :

In [74]: df1[~df1.isin(df2.to_dict('l')).all(1)]
Out[74]:
   col1  col2
3     4    13
4     5    14

Giải trình:

In [75]: df2.to_dict('l')
Out[75]: {'col1': [1, 2, 3], 'col2': [10, 11, 12]}

In [76]: df1.isin(df2.to_dict('l'))
Out[76]:
    col1   col2
0   True   True
1   True   True
2   True   True
3  False  False
4  False  False

In [77]: df1.isin(df2.to_dict('l')).all(1)
Out[77]:
0     True
1     True
2     True
3    False
4    False
dtype: bool

Bạn cũng có thể concat df1, df2:

x = pd.concat([df1, df2])

và sau đó loại bỏ tất cả các bản sao:

y = x.drop_duplicates(keep=False, inplace=False)

Còn cái này thì sao:

df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5], 
                               'col2' : [10, 11, 12, 13, 14]}) 
df2 = pandas.DataFrame(data = {'col1' : [1, 2, 3], 
                               'col2' : [10, 11, 12]})
records_df2 = set([tuple(row) for row in df2.values])
in_df2_mask = np.array([tuple(row) in records_df2 for row in df1.values])
result = df1[~in_df2_mask]

Đây là một cách khác để giải quyết điều này:

df1[~df1.index.isin(df1.merge(df2, how='inner', on=['col1', 'col2']).index)]

Hoặc là:

df1.loc[df1.index.difference(df1.merge(df2, how='inner', on=['col1', 'col2']).index)]

Cách làm của tôi liên quan đến việc thêm một cột mới duy nhất cho một khung dữ liệu và sử dụng điều này để chọn có giữ một mục nhập không

df2[col3] = 1
df1 = pd.merge(df_1, df_2, on=['field_x', 'field_y'], how = 'outer')
df1['Empt'].fillna(0, inplace=True)

Điều này làm cho nó sao cho mọi mục trong df1 đều có mã - 0 nếu nó là duy nhất với df1, 1 nếu nó nằm trong cả hai dataFrames. Sau đó, bạn sử dụng điều này để hạn chế những gì bạn muốn

answer = nonuni[nonuni['Empt'] == 0]

df = df.merge(same.drop_duplicates(), on=['col1','col2'], 
               how='left', indicator=True)

df[df['_merge'] == 'left_only'].to_csv('output.csv')