Cách xác định xem Cột Pandas có chứa một giá trị cụ thể không

Tôi đang cố gắng xác định xem có một mục trong cột Pandas có giá trị cụ thể không. Tôi đã cố gắng để làm điều này với if x in df['id']. Tôi nghĩ rằng điều này đang hoạt động, ngoại trừ khi tôi cho nó một giá trị mà tôi biết không có trong cột 43 in df['id']thì nó vẫn trả về True. Khi tôi tập hợp vào một khung dữ liệu chỉ chứa các mục khớp với id bị thiếu df[df['id'] == 43], rõ ràng, không có mục nào trong đó. Làm cách nào để xác định xem một cột trong khung dữ liệu Pandas có chứa một giá trị cụ thể không và tại sao phương thức hiện tại của tôi không hoạt động? (FYI, tôi có cùng một vấn đề khi tôi sử dụng cách thực hiện trong câu trả lời này cho một câu hỏi tương tự).

in của Sê-ri kiểm tra xem giá trị có trong chỉ mục hay không:

In [11]: s = pd.Series(list('abc'))

In [12]: s
Out[12]: 
0    a
1    b
2    c
dtype: object

In [13]: 1 in s
Out[13]: True

In [14]: 'a' in s
Out[14]: False

Một tùy chọn là để xem nếu nó trong các giá trị duy nhất :

In [21]: s.unique()
Out[21]: array(['a', 'b', 'c'], dtype=object)

In [22]: 'a' in s.unique()
Out[22]: True

hoặc một bộ trăn:

In [23]: set(s)
Out[23]: {'a', 'b', 'c'}

In [24]: 'a' in set(s)
Out[24]: True

Như @DSM đã chỉ ra, có thể hiệu quả hơn (đặc biệt nếu bạn chỉ làm điều này cho một giá trị) để chỉ sử dụng trực tiếp trên các giá trị:

In [31]: s.values
Out[31]: array(['a', 'b', 'c'], dtype=object)

In [32]: 'a' in s.values
Out[32]: True

Bạn cũng có thể sử dụng pandas.Series.isin mặc dù nó dài hơn một chút so với 'a' in s.values:

In [2]: s = pd.Series(list('abc'))

In [3]: s
Out[3]: 
0    a
1    b
2    c
dtype: object

In [3]: s.isin(['a'])
Out[3]: 
0    True
1    False
2    False
dtype: bool

In [4]: s[s.isin(['a'])].empty
Out[4]: False

In [5]: s[s.isin(['z'])].empty
Out[5]: True

Nhưng cách tiếp cận này có thể linh hoạt hơn nếu bạn cần khớp nhiều giá trị cùng một lúc cho DataFrame (xem DataFrame.isin )

>>> df = DataFrame({'A': [1, 2, 3], 'B': [1, 4, 7]})
>>> df.isin({'A': [1, 3], 'B': [4, 7, 12]})
       A      B
0   True  False  # Note that B didn't match 1 here.
1  False   True
2   True   True

found = df[df['Column'].str.contains('Text_to_search')]
print(found.count())

di found.count()chúc chứa số lượng trận đấu

Và nếu nó là 0 thì có nghĩa là chuỗi không được tìm thấy trong Cột.

Tôi đã làm một vài bài kiểm tra đơn giản:

In [10]: x = pd.Series(range(1000000))

In [13]: timeit 999999 in x.values
567 µs ± 25.6 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

In [15]: timeit x.isin([999999]).any()
9.54 ms ± 291 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

In [16]: timeit (x == 999999).any()
6.86 ms ± 107 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

In [17]: timeit 999999 in set(x)
79.8 ms ± 1.98 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

In [21]: timeit x.eq(999999).any()
7.03 ms ± 33.7 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

In [22]: timeit x.eq(9).any()
7.04 ms ± 60 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

In [24]: timeit 9 in x.values
666 µs ± 15.7 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

Điều thú vị là không có vấn đề gì nếu bạn tra cứu 9 hoặc 999999, có vẻ như mất khoảng thời gian tương tự bằng cách sử dụng cú pháp trong (phải sử dụng tìm kiếm nhị phân)

In [24]: timeit 9 in x.values
666 µs ± 15.7 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

In [25]: timeit 9999 in x.values
647 µs ± 5.21 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

In [26]: timeit 999999 in x.values
642 µs ± 2.11 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

In [27]: timeit 99199 in x.values
644 µs ± 5.31 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

In [28]: timeit 1 in x.values
667 µs ± 20.8 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

Có vẻ như sử dụng x.values ​​là nhanh nhất, nhưng có lẽ có một cách thanh lịch hơn trong gấu trúc?

Hoặc sử dụng Series.tolisthoặc Series.any:

>>> s = pd.Series(list('abc'))
>>> s
0    a
1    b
2    c
dtype: object
>>> 'a' in s.tolist()
True
>>> (s=='a').any()
True

Series.tolistlập một danh sách về a Series, và một cái khác tôi chỉ nhận được một boolean Seriestừ thông thường Series, sau đó kiểm tra xem có bất kỳ Trues nào trong boolean không Series.

Điều kiện đơn giản:

if any(str(elem) in ['a','b'] for elem in df['column'].tolist()):

Sử dụng

df[df['id']==x].index.tolist()

Nếu xcó mặt idthì nó sẽ trả về danh sách các chỉ mục nơi nó hiện diện, nếu không nó sẽ đưa ra một danh sách trống.

Tôi không đề xuất sử dụng "giá trị trong chuỗi", điều này có thể dẫn đến nhiều lỗi. Vui lòng xem câu trả lời này để biết chi tiết: Sử dụng toán tử với chuỗi Pandas

Giả sử bạn dataframe trông như:

Bây giờ bạn muốn kiểm tra xem tên tệp "80900026941984" có xuất hiện trong khung dữ liệu hay không.

Bạn chỉ có thể viết:

if sum(df["filename"].astype("str").str.contains("80900026941984")) > 0:
    print("found")