Tại sao chức năng 'ứng dụng' của Pandas của tôi tham chiếu nhiều cột hoạt động? [đóng cửa]

Tôi có một số vấn đề với hàm áp dụng Pandas, khi sử dụng nhiều cột với khung dữ liệu sau

df = DataFrame ({'a' : np.random.randn(6),
                 'b' : ['foo', 'bar'] * 3,
                 'c' : np.random.randn(6)})

và các chức năng sau đây

def my_test(a, b):
    return a % b

Khi tôi cố gắng áp dụng chức năng này với:

df['Value'] = df.apply(lambda row: my_test(row[a], row[c]), axis=1)

Tôi nhận được thông báo lỗi:

NameError: ("global name 'a' is not defined", u'occurred at index 0')

Tôi không hiểu tin nhắn này, tôi đã xác định đúng tên.

Tôi đánh giá cao bất kỳ sự giúp đỡ nào về vấn đề này

Cập nhật

Cảm ơn bạn đã giúp đỡ. Tôi thực sự đã thực hiện một số lỗi cú pháp với mã, chỉ mục nên được đặt ''. Tuy nhiên tôi vẫn gặp vấn đề tương tự khi sử dụng một hàm phức tạp hơn, chẳng hạn như:

def my_test(a):
    cum_diff = 0
    for ix in df.index():
        cum_diff = cum_diff + (a - df['a'][ix])
    return cum_diff 

Có vẻ bạn đã quên ''chuỗi của bạn.

In [43]: df['Value'] = df.apply(lambda row: my_test(row['a'], row['c']), axis=1)

In [44]: df
Out[44]:
                    a    b         c     Value
          0 -1.674308  foo  0.343801  0.044698
          1 -2.163236  bar -2.046438 -0.116798
          2 -0.199115  foo -0.458050 -0.199115
          3  0.918646  bar -0.007185 -0.001006
          4  1.336830  foo  0.534292  0.268245
          5  0.976844  bar -0.773630 -0.570417

BTW, theo tôi, cách sau là thanh lịch hơn:

In [53]: def my_test2(row):
....:     return row['a'] % row['c']
....:     

In [54]: df['Value'] = df.apply(my_test2, axis=1)

Nếu bạn chỉ muốn tính toán (cột a)% (cột b), bạn không cần apply, chỉ cần thực hiện trực tiếp:

In [7]: df['a'] % df['c']                                                                                                                                                        
Out[7]: 
0   -1.132022                                                                                                                                                                    
1   -0.939493                                                                                                                                                                    
2    0.201931                                                                                                                                                                    
3    0.511374                                                                                                                                                                    
4   -0.694647                                                                                                                                                                    
5   -0.023486                                                                                                                                                                    
Name: a

Giả sử chúng ta muốn áp dụng hàm add5 cho các cột 'a' và 'b' của DataFrame df

def add5(x):
    return x+5

df[['a', 'b']].apply(add5)

Tất cả các đề xuất ở trên đều hoạt động, nhưng nếu bạn muốn tính toán của mình hiệu quả hơn, bạn nên tận dụng các phép toán vectơ numpy (như được chỉ ra ở đây) .

import pandas as pd
import numpy as np


df = pd.DataFrame ({'a' : np.random.randn(6),
             'b' : ['foo', 'bar'] * 3,
             'c' : np.random.randn(6)})

Ví dụ 1: lặp với pandas.apply():

%%timeit
def my_test2(row):
    return row['a'] % row['c']

df['Value'] = df.apply(my_test2, axis=1)

Chạy chậm nhất mất 7,49 lần so với nhanh nhất. Điều này có thể có nghĩa là một kết quả trung gian đang được lưu trữ. 1000 vòng lặp, tốt nhất trong 3: 480 lượt mỗi vòng

Ví dụ 2: vectorize bằng cách sử dụng pandas.apply():

%%timeit
df['a'] % df['c']

Chạy chậm nhất mất 45,85 lần so với nhanh nhất. Điều này có thể có nghĩa là một kết quả trung gian đang được lưu trữ. 10000 vòng, tốt nhất là 3: 70,9 lượt mỗi vòng

Ví dụ 3: vectorize bằng cách sử dụng mảng numpy:

%%timeit
df['a'].values % df['c'].values

Chạy chậm nhất mất 7,98 lần so với nhanh nhất. Điều này có thể có nghĩa là một kết quả trung gian đang được lưu trữ. 100000 vòng, tốt nhất là 3: 6,39 lượt mỗi vòng

Vì vậy, vector hóa bằng cách sử dụng mảng numpy đã cải thiện tốc độ gần như hai bậc độ lớn.

Điều này giống như giải pháp trước đây nhưng tôi đã xác định hàm trong df.apply:

df['Value'] = df.apply(lambda row: row['a']%row['c'], axis=1)

Tôi đã đưa ra so sánh của cả ba thảo luận ở trên.

Sử dụng các giá trị

% timeit df ['value'] = df ['a']. value% df ['c']. value

139 Khen ± 1.91 Phát trên mỗi vòng lặp (trung bình ± std. Dev của 7 lần chạy, mỗi vòng 10000 vòng)

Không có giá trị

% timeit df ['value'] = df ['a']% df ['c'] 

216 Vòng lặp ± 1,86 Vòng lặp trên mỗi vòng lặp (trung bình ± std. Dev của 7 lần chạy, mỗi vòng 1000 vòng)

Áp dụng chức năng

% timeit df ['Value'] = df.apply (lambda row: row ['a']% row ['c'], angle = 1)

474 Nhận xét ± 5.07 Trao đổi trên mỗi vòng lặp (trung bình ± std. Dev của 7 lần chạy, mỗi vòng 1000 vòng)