Tách / cắt tất cả các chuỗi của khung dữ liệu

Đang xóa các giá trị của khung dữ liệu nhiều kiểu trong python / pandas, tôi muốn cắt bớt các chuỗi. Tôi hiện đang thực hiện theo hai hướng dẫn:

import pandas as pd

df = pd.DataFrame([['  a  ', 10], ['  c  ', 5]])

df.replace('^\s+', '', regex=True, inplace=True) #front
df.replace('\s+$', '', regex=True, inplace=True) #end

df.values

Điều này khá chậm, tôi có thể cải thiện điều gì?

Bạn có thể sử dụng DataFrame.select_dtypesđể chọn stringcột và sau đó applyhoạt động str.strip.

Lưu ý: Các giá trị không thể typesgiống dictshoặc lists, bởi vì chúng dtypeslà object.

df_obj = df.select_dtypes(['object'])
print (df_obj)
0    a  
1    c  

df[df_obj.columns] = df_obj.apply(lambda x: x.str.strip())
print (df)

   0   1
0  a  10
1  c   5

Nhưng nếu chỉ có một vài cột, hãy sử dụng str.strip:

df[0] = df[0].str.strip()

Bắn tiền

Đây là một phiên bản nhỏ gọn của việc sử dụng applymapvới biểu thức lambda đơn giản để stripchỉ gọi khi giá trị thuộc loại chuỗi:

df.applymap(lambda x: x.strip() if isinstance(x, str) else x)

Đầy đủ ví dụ

Một ví dụ đầy đủ hơn:

import pandas as pd


def trim_all_columns(df):
    """
    Trim whitespace from ends of each value across all series in dataframe
    """
    trim_strings = lambda x: x.strip() if isinstance(x, str) else x
    return df.applymap(trim_strings)


# simple example of trimming whitespace from data elements
df = pd.DataFrame([['  a  ', 10], ['  c  ', 5]])
df = trim_all_columns(df)
print(df)


>>>
   0   1
0  a  10
1  c   5

Ví dụ làm việc

Đây là một ví dụ hoạt động được lưu trữ bởi trinket: https://trinket.io/python3/e6ab7fb4ab

Bạn co thể thử:

df[0] = df[0].str.strip()

hoặc cụ thể hơn cho tất cả các cột chuỗi

non_numeric_columns = list(set(df.columns)-set(df._get_numeric_data().columns))
df[non_numeric_columns] = df[non_numeric_columns].apply(lambda x : str(x).strip())

Nếu bạn thực sự muốn sử dụng regex, thì

>>> df.replace('(^\s+|\s+$)', '', regex=True, inplace=True)
>>> df
   0   1
0  a  10
1  c   5

Nhưng sẽ nhanh hơn nếu làm như thế này:

>>> df[0] = df[0].str.strip()

Bạn có thể sử dụng applychức năng của Seriesđối tượng:

>>> df = pd.DataFrame([['  a  ', 10], ['  c  ', 5]])
>>> df[0][0]
'  a  '
>>> df[0] = df[0].apply(lambda x: x.strip())
>>> df[0][0]
'a'

Lưu ý cách sử dụng stripchứ không phải cái regexnào nhanh hơn nhiều

Một tùy chọn khác - sử dụng applychức năng của đối tượng DataFrame:

>>> df = pd.DataFrame([['  a  ', 10], ['  c  ', 5]])
>>> df.apply(lambda x: x.apply(lambda y: y.strip() if type(y) == type('') else y), axis=0)

   0   1
0  a  10
1  c   5

def trim(x):
    if x.dtype == object:
        x = x.str.split(' ').str[0]
    return(x)

df = df.apply(trim)