Cập nhật một khung dữ liệu trong gấu trúc trong khi lặp lại theo từng hàng

Tôi có một khung dữ liệu gấu trúc trông như thế này (nó khá lớn)

           date      exer exp     ifor         mat  
1092  2014-03-17  American   M  528.205  2014-04-19 
1093  2014-03-17  American   M  528.205  2014-04-19 
1094  2014-03-17  American   M  528.205  2014-04-19 
1095  2014-03-17  American   M  528.205  2014-04-19    
1096  2014-03-17  American   M  528.205  2014-05-17 

bây giờ tôi muốn lặp lại từng hàng và khi tôi đi qua từng hàng, giá trị của ifor mỗi hàng có thể thay đổi tùy thuộc vào một số điều kiện và tôi cần tra cứu một khung dữ liệu khác.

Bây giờ, làm thế nào để tôi cập nhật điều này khi tôi lặp lại. Đã thử một vài điều không ai trong số họ làm việc.

for i, row in df.iterrows():
    if <something>:
        row['ifor'] = x
    else:
        row['ifor'] = y

    df.ix[i]['ifor'] = x

Không có cách tiếp cận nào có vẻ hiệu quả. Tôi không thấy các giá trị được cập nhật trong khung dữ liệu.

Bạn có thể gán giá trị trong vòng lặp bằng df.set_value:

for i, row in df.iterrows():
    ifor_val = something
    if <condition>:
        ifor_val = something_else
    df.set_value(i,'ifor',ifor_val)

Nếu bạn không cần các giá trị hàng, bạn có thể chỉ cần lặp lại các chỉ số của df, nhưng tôi vẫn giữ vòng lặp for ban đầu trong trường hợp bạn cần giá trị hàng cho thứ gì đó không được hiển thị ở đây.

cập nhật

df.set_value () không được dùng nữa kể từ phiên bản 0.21.0, bạn có thể sử dụng df.at () thay thế:

for i, row in df.iterrows():
    ifor_val = something
    if <condition>:
        ifor_val = something_else
    df.at[i,'ifor'] = ifor_val

Đối tượng Pandas DataFrame nên được coi là một Series của Series. Nói cách khác, bạn nên nghĩ về nó theo các cột. Lý do tại sao điều này quan trọng là vì khi bạn sử dụng, pd.DataFrame.iterrowsbạn đang lặp qua các hàng dưới dạng Sê-ri. Nhưng đây không phải là Sê-ri mà khung dữ liệu đang lưu trữ và vì vậy chúng là Sê-ri mới được tạo cho bạn trong khi bạn lặp lại. Điều đó ngụ ý rằng khi bạn cố gắng gán tho chúng, những chỉnh sửa đó sẽ không được phản ánh trong khung dữ liệu gốc.

Ok, bây giờ điều đó đã hết cách: Chúng ta phải làm gì?

Gợi ý trước bài đăng này bao gồm:

1. pd.DataFrame.set_valueđang bị phản đối như của Pandas phiên bản 0.21
2. pd.DataFrame.ixđang bị phản đối
3. pd.DataFrame.loclà tốt nhưng có thể làm việc trên các bộ chỉ mục mảng và bạn có thể làm tốt hơn

Đề nghị của tôi
Sử dụngpd.DataFrame.at

for i in df.index:
    if <something>:
        df.at[i, 'ifor'] = x
    else:
        df.at[i, 'ifor'] = y

Bạn thậm chí có thể thay đổi điều này thành:

for i in df.index:
    df.at[i, 'ifor'] = x if <something> else y

Trả lời bình luận

và nếu tôi cần sử dụng giá trị của hàng trước cho điều kiện if thì sao?

for i in range(1, len(df) + 1):
    j = df.columns.get_loc('ifor')
    if <something>:
        df.iat[i - 1, j] = x
    else:
        df.iat[i - 1, j] = y

Một phương thức bạn có thể sử dụng là itertuples(), nó lặp đi lặp lại trên các hàng DataFrame dưới dạng các tên được đặt tên, với giá trị chỉ mục là phần tử đầu tiên của bộ dữ liệu. Và nó nhanh hơn nhiều so với iterrows(). Đối với itertuples(), mỗi cái rowchứa nó Indextrong DataFrame và bạn có thể sử dụng locđể đặt giá trị.

for row in df.itertuples():
    if <something>:
        df.at[row.Index, 'ifor'] = x
    else:
        df.at[row.Index, 'ifor'] = x

    df.loc[row.Index, 'ifor'] = x

Trong hầu hết các trường hợp, itertuples()là nhanh hơn iathoặc at.

Cảm ơn @SantiStSupery, sử dụng .atnhanh hơn nhiềuloc .

Bạn nên gán giá trị bằng df.ix[i, 'exp']=Xhoặc df.loc[i, 'exp']=Xthay vì df.ix[i]['ifor'] = x.

Nếu không, bạn đang làm việc trên một khung nhìn và sẽ có được sự nóng lên:

-c:1: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame. Try using .loc[row_index,col_indexer] = value instead

Nhưng chắc chắn, vòng lặp có lẽ nên được thay thế bằng một số thuật toán được vector hóa để sử dụng toàn bộ DataFramenhư @Phillip Cloud đề xuất.

Chà, dù sao bạn cũng sẽ lặp đi lặp lại, tại sao không sử dụng phương pháp đơn giản nhất trong tất cả, df['Column'].values[i]

df['Column'] = ''

for i in range(len(df)):
    df['Column'].values[i] = something/update/new_value

Hoặc nếu bạn muốn so sánh các giá trị mới với cũ hoặc bất cứ thứ gì tương tự, tại sao không lưu trữ nó trong một danh sách và sau đó nối vào cuối.

mylist, df['Column'] = [], ''

for <condition>:
    mylist.append(something/update/new_value)

df['Column'] = mylist

for i, row in df.iterrows():
    if <something>:
        df.at[i, 'ifor'] = x
    else:
        df.at[i, 'ifor'] = y

Tốt hơn là sử dụng các lambdachức năng bằng cách sử dụng df.apply()-

df["ifor"] = df.apply(lambda x: {value} if {condition} else x["ifor"], axis=1)

Tăng số MAX từ một cột. Ví dụ :

df1 = [sort_ID, Column1,Column2]
print(df1)

Đầu ra của tôi:

Sort_ID Column1 Column2
12         a    e
45         b    f
65         c    g
78         d    h

MAX = df1['Sort_ID'].max() #This returns my Max Number 

Bây giờ, tôi cần tạo một cột trong df2 và điền vào các giá trị cột làm tăng MAX.

Sort_ID Column1 Column2
79      a1       e1
80      b1       f1
81      c1       g1
82      d1       h1

_{Lưu ý: ban đầu df2 sẽ chỉ chứa Cột1 và Cột2. chúng ta cần cột Sortid được tạo và tăng MAX từ df1.}