Sự khác biệt giữa tham gia và hợp nhất trong Pandas là gì?

Giả sử tôi có hai DataFram như vậy:

left = pd.DataFrame({'key1': ['foo', 'bar'], 'lval': [1, 2]})

right = pd.DataFrame({'key2': ['foo', 'bar'], 'rval': [4, 5]})

Tôi muốn hợp nhất chúng, vì vậy tôi thử một cái gì đó như thế này:

pd.merge(left, right, left_on='key1', right_on='key2')

Và tôi hạnh phúc

    key1    lval    key2    rval
0   foo     1       foo     4
1   bar     2       bar     5

Nhưng tôi đang cố gắng sử dụng phương thức tham gia mà tôi đã tin là khá giống nhau.

left.join(right, on=['key1', 'key2'])

Và tôi nhận được điều này:

//anaconda/lib/python2.7/site-packages/pandas/tools/merge.pyc in _validate_specification(self)
    406             if self.right_index:
    407                 if not ((len(self.left_on) == self.right.index.nlevels)):
--> 408                     raise AssertionError()
    409                 self.right_on = [None] * n
    410         elif self.right_on is not None:

AssertionError: 

Tôi đang thiếu gì?

Tôi luôn luôn sử dụng jointrên các chỉ số:

import pandas as pd
left = pd.DataFrame({'key': ['foo', 'bar'], 'val': [1, 2]}).set_index('key')
right = pd.DataFrame({'key': ['foo', 'bar'], 'val': [4, 5]}).set_index('key')
left.join(right, lsuffix='_l', rsuffix='_r')

     val_l  val_r
key            
foo      1      4
bar      2      5

Các chức năng tương tự có thể có bằng cách sử dụng mergetrên các cột sau:

left = pd.DataFrame({'key': ['foo', 'bar'], 'val': [1, 2]})
right = pd.DataFrame({'key': ['foo', 'bar'], 'val': [4, 5]})
left.merge(right, on=('key'), suffixes=('_l', '_r'))

   key  val_l  val_r
0  foo      1      4
1  bar      2      5

pandas.merge() là hàm cơ bản được sử dụng cho tất cả các hành vi hợp nhất / nối.

DataFrames cung cấp pandas.DataFrame.merge()và pandas.DataFrame.join()các phương thức như một cách thuận tiện để truy cập các khả năng của pandas.merge(). Ví dụ, df1.merge(right=df2, ...)tương đương với pandas.merge(left=df1, right=df2, ...).

Đây là những khác biệt chính giữa df.join()và df.merge():

1. tra cứu trên bảng bên phải: df1.join(df2)luôn tham gia thông qua chỉ mục của df2, nhưng df1.merge(df2)có thể tham gia vào một hoặc nhiều cột của df2(mặc định) hoặc chỉ mục của df2(với right_index=True).
2. tra cứu trên bảng bên trái: theo mặc định, df1.join(df2)sử dụng chỉ mục df1và df1.merge(df2)sử dụng (các) cột của df1. Điều đó có thể được ghi đè bằng cách chỉ định df1.join(df2, on=key_or_keys)hoặc df1.merge(df2, left_index=True).
3. trái vs bên tham gia: df1.join(df2)không một trái tham gia theo mặc định (giữ tất cả hàng df1), nhưng df.mergekhông một bên tham gia theo mặc định (lợi nhuận chỉ phù hợp với các hàng df1và df2).

Vì vậy, cách tiếp cận chung là sử dụng pandas.merge(df1, df2)hoặc df1.merge(df2). Nhưng đối với một số tình huống phổ biến (giữ tất cả các hàng df1và tham gia vào một chỉ mục df2), bạn có thể lưu một số cách gõ bằng cách sử dụng df1.join(df2)thay thế.

Một số lưu ý về các vấn đề này từ tài liệu tại http://pandas.pydata.org/pandas-docs/urdy/merging.html#database-style-dataframe-joining-merging :

merge là một hàm trong không gian tên gấu trúc và nó cũng có sẵn như là một phương thức đối tượng DataFrame, với việc gọi DataFrame được coi là đối tượng bên trái trong phép nối.

DataFrame.joinPhương thức liên quan , sử dụng mergenội bộ cho các tham gia index-on-index và index-on-cột, nhưng tham gia vào các chỉ mục theo mặc định thay vì cố gắng tham gia vào các cột chung (hành vi mặc định cho merge). Nếu bạn đang tham gia vào chỉ mục, bạn có thể muốn sử dụng DataFrame.joinđể tiết kiệm cho mình một số thao tác gõ.

...

Hai lệnh gọi hàm này hoàn toàn tương đương:

left.join(right, on=key_or_keys)
pd.merge(left, right, left_on=key_or_keys, right_index=True, how='left', sort=False)

Tôi tin rằng đó join()chỉ là một phương pháp thuận tiện. df1.merge(df2)Thay vào đó, hãy thử , cho phép bạn chỉ định left_onvà right_on:

In [30]: left.merge(right, left_on="key1", right_on="key2")
Out[30]: 
  key1  lval key2  rval
0  foo     1  foo     4
1  bar     2  bar     5

Từ tài liệu này

gấu trúc cung cấp một hàm duy nhất, hợp nhất, làm điểm vào cho tất cả các hoạt động nối cơ sở dữ liệu tiêu chuẩn giữa các đối tượng DataFrame:

merge(left, right, how='inner', on=None, left_on=None, right_on=None,
      left_index=False, right_index=False, sort=True,
      suffixes=('_x', '_y'), copy=True, indicator=False)

Và:

DataFrame.joinlà một phương pháp thuận tiện để kết hợp các cột của hai DataFram có khả năng được lập chỉ mục khác nhau thành một DataFrame kết quả duy nhất. Đây là một ví dụ rất cơ bản: Căn chỉnh dữ liệu ở đây là trên các chỉ mục (nhãn hàng). Hành vi tương tự này có thể đạt được bằng cách sử dụng hợp nhất cộng với các đối số bổ sung hướng dẫn nó sử dụng các chỉ mục:

result = pd.merge(left, right, left_index=True, right_index=True,
how='outer')

Một trong những khác biệt là mergetạo ra một chỉ mục mới và joingiữ chỉ mục bên trái. Nó có thể có một hậu quả lớn đối với các biến đổi sau này của bạn nếu bạn sai khi cho rằng chỉ mục của bạn không thay đổi merge.

Ví dụ:

import pandas as pd

df1 = pd.DataFrame({'org_index': [101, 102, 103, 104],
                    'date': [201801, 201801, 201802, 201802],
                    'val': [1, 2, 3, 4]}, index=[101, 102, 103, 104])
df1

       date  org_index  val
101  201801        101    1
102  201801        102    2
103  201802        103    3
104  201802        104    4

-

df2 = pd.DataFrame({'date': [201801, 201802], 'dateval': ['A', 'B']}).set_index('date')
df2

       dateval
date          
201801       A
201802       B

-

df1.merge(df2, on='date')

     date  org_index  val dateval
0  201801        101    1       A
1  201801        102    2       A
2  201802        103    3       B
3  201802        104    4       B

-

df1.join(df2, on='date')
       date  org_index  val dateval
101  201801        101    1       A
102  201801        102    2       A
103  201802        103    3       B
104  201802        104    4       B

• Tham gia: Chỉ mục mặc định (Nếu có cùng tên cột thì nó sẽ xuất hiện lỗi trong chế độ mặc định vì bạn chưa xác định lsuffix hoặc rsuffix))

df_1.join(df_2)

• Hợp nhất: Tên cột giống nhau mặc định (Nếu không có tên cột giống nhau, nó sẽ gây ra lỗi trong chế độ mặc định)

df_1.merge(df_2)

• on tham số có ý nghĩa khác nhau trong cả hai trường hợp

df_1.merge(df_2, on='column_1')

df_1.join(df_2, on='column_1') // It will throw error
df_1.join(df_2.set_index('column_1'), on='column_1')

Nói một cách tương tự với SQL "Pandas merge là tham gia bên ngoài / bên trong và tham gia Pandas là tham gia tự nhiên". Do đó, khi bạn sử dụng hợp nhất trong gấu trúc, bạn muốn chỉ định loại tham gia sqlish nào bạn muốn sử dụng trong khi bạn sử dụng gấu trúc tham gia, bạn thực sự muốn có nhãn cột phù hợp để đảm bảo nó tham gia