Cách lọc hàng trong gấu trúc bằng regex

Tôi muốn lọc sạch một khung dữ liệu bằng regex trên một trong các cột.

Đối với một ví dụ giả định:

In [210]: foo = pd.DataFrame({'a' : [1,2,3,4], 'b' : ['hi', 'foo', 'fat', 'cat']})
In [211]: foo
Out[211]: 
   a    b
0  1   hi
1  2  foo
2  3  fat
3  4  cat

Tôi muốn lọc các hàng cho những hàng bắt đầu fbằng regex. Đầu tiên đi

In [213]: foo.b.str.match('f.*')
Out[213]: 
0    []
1    ()
2    ()
3    []

Điều đó không quá hữu ích. Tuy nhiên, điều này sẽ giúp tôi có được chỉ số boolean của mình:

In [226]: foo.b.str.match('(f.*)').str.len() > 0
Out[226]: 
0    False
1     True
2     True
3    False
Name: b

Vì vậy, sau đó tôi có thể thực hiện hạn chế của mình bằng cách:

In [229]: foo[foo.b.str.match('(f.*)').str.len() > 0]
Out[229]: 
   a    b
1  2  foo
2  3  fat

Điều đó làm cho tôi giả tạo đưa một nhóm vào regex, và dường như có thể không phải là con đường sạch sẽ để đi. Có cách nào tốt hơn để làm điều này?

Sử dụng có chứa thay thế:

In [10]: df.b.str.contains('^f')
Out[10]: 
0    False
1     True
2     True
3    False
Name: b, dtype: bool

Đã có một chức năng xử lý chuỗi Series.str.startswith(). Bạn nên thử foo[foo.b.str.startswith('f')].

Kết quả:

    a   b
1   2   foo
2   3   fat

Tôi nghĩ những gì bạn mong đợi.

Ngoài ra, bạn có thể sử dụng chứa với tùy chọn regex. Ví dụ:

foo[foo.b.str.contains('oo', regex= True, na=False)]

Kết quả:

    a   b
1   2   foo

na=False là để ngăn lỗi trong trường hợp có các giá trị nan, null, v.v.

Tìm kiếm nhiều cột với dataframe:

frame[frame.filename.str.match('*.'+MetaData+'.*') & frame.file_path.str.match('C:\test\test.txt')]

Điều này có thể hơi muộn, nhưng điều này bây giờ dễ thực hiện hơn ở Pandas. Bạn có thể gọi kết hợp với as_indexer=Trueđể có kết quả boolean. Điều này được ghi lại (cùng với sự khác biệt giữa matchvà contains) ở đây .

Cảm ơn câu trả lời tuyệt vời @ user3136169, đây là một ví dụ về cách thực hiện điều đó cũng có thể loại bỏ các giá trị noneType.

def regex_filter(val):
    if val:
        mo = re.search(regex,val)
        if mo:
            return True
        else:
            return False
    else:
        return False

df_filtered = df[df['col'].apply(regex_filter)]

Ngoài ra, bạn cũng có thể thêm regex dưới dạng arg:

def regex_filter(val,myregex):
    ...

df_filtered = df[df['col'].apply(res_regex_filter,regex=myregex)]

Viết hàm Boolean kiểm tra biểu thức chính quy và sử dụng áp dụng trên cột

foo[foo['b'].apply(regex_function)]

Sử dụng str lát

foo[foo.b.str[0]=='f']
Out[18]: 
   a    b
1  2  foo
2  3  fat