Cách thả các hàng của Pandas DataFrame có giá trị trong một cột nhất định là NaN

Tôi có cái này DataFramevà chỉ muốn các bản ghi có EPScột không NaN:

>>> df
                 STK_ID  EPS  cash
STK_ID RPT_Date                   
601166 20111231  601166  NaN   NaN
600036 20111231  600036  NaN    12
600016 20111231  600016  4.3   NaN
601009 20111231  601009  NaN   NaN
601939 20111231  601939  2.5   NaN
000001 20111231  000001  NaN   NaN

... tức là một cái gì đó muốn df.drop(....)có được khung dữ liệu kết quả này:

                  STK_ID  EPS  cash
STK_ID RPT_Date                   
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Làm thế nào để làm điều đó?

Đừng bỏ qua, chỉ lấy các hàng trong đó EPS không NA:

df = df[df['EPS'].notna()]

Câu hỏi này đã được giải quyết, nhưng ...

... cũng xem xét giải pháp được đề xuất bởi Wouter trong nhận xét ban đầu của mình . Khả năng xử lý dữ liệu bị thiếu, bao gồm dropna(), được xây dựng thành gấu trúc một cách rõ ràng. Bên cạnh hiệu suất có khả năng được cải thiện so với thực hiện thủ công, các chức năng này cũng đi kèm với nhiều tùy chọn có thể hữu ích.

In [24]: df = pd.DataFrame(np.random.randn(10,3))

In [25]: df.iloc[::2,0] = np.nan; df.iloc[::4,1] = np.nan; df.iloc[::3,2] = np.nan;

In [26]: df
Out[26]:
          0         1         2
0       NaN       NaN       NaN
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [27]: df.dropna()     #drop all rows that have any NaN values
Out[27]:
          0         1         2
1  2.677677 -1.466923 -0.750366
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295

In [28]: df.dropna(how='all')     #drop only if ALL columns are NaN
Out[28]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [29]: df.dropna(thresh=2)   #Drop row if it does not have at least two values that are **not** NaN
Out[29]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

In [30]: df.dropna(subset=[1])   #Drop only if NaN in specific column (as asked in the question)
Out[30]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

Ngoài ra còn có các tùy chọn khác (Xem tài liệu tại http://pandas.pydata.org/pandas-docs/urdy/generated/pandas.DataFrame.dropna.html ), bao gồm cả việc thả cột thay vì hàng.

Khá tiện dụng!

Tôi biết điều này đã được trả lời, nhưng chỉ vì một giải pháp hoàn toàn cho gấu trúc cho câu hỏi cụ thể này trái ngược với mô tả chung từ Aman (thật tuyệt vời) và trong trường hợp bất kỳ ai khác xảy ra về điều này:

import pandas as pd
df = df[pd.notnull(df['EPS'])]

Bạn có thể sử dụng điều này:

df.dropna(subset=['EPS'], how='all', inplace=True)

Đơn giản nhất trong tất cả các giải pháp:

filtered_df = df[df['EPS'].notnull()]

Giải pháp trên là cách tốt hơn so với sử dụng np.isfinite ()

Bạn có thể sử dụng phương thức dataframe notnull hoặc nghịch đảo của isnull hoặc numpy.isnan :

In [332]: df[df.EPS.notnull()]
Out[332]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [334]: df[~df.EPS.isnull()]
Out[334]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [347]: df[~np.isnan(df.EPS)]
Out[347]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN

Cách đơn giản và dễ dàng

df.dropna(subset=['EPS'],inplace=True)

nguồn: https://pandas.pydata.org/pandas-docs/urdy/generated/pandas.DataFrame.dropna.html

một giải pháp khác sử dụng thực tế là np.nan != np.nan:

In [149]: df.query("EPS == EPS")
Out[149]:
                 STK_ID  EPS  cash
STK_ID RPT_Date
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Phiên bản khác:

df[~df['EPS'].isna()]

Trong các bộ dữ liệu có số lượng cột lớn thậm chí còn tốt hơn để xem có bao nhiêu cột chứa giá trị null và bao nhiêu cột không.

print("No. of columns containing null values")
print(len(df.columns[df.isna().any()]))

print("No. of columns not containing null values")
print(len(df.columns[df.notna().all()]))

print("Total no. of columns in the dataframe")
print(len(df.columns))

Ví dụ: trong khung dữ liệu của tôi, nó chứa 82 cột, trong đó 19 cột chứa ít nhất một giá trị null.

Hơn nữa, bạn cũng có thể tự động xóa cols và hàng tùy theo đó có nhiều giá trị null hơn
Đây là mã thực hiện điều này một cách thông minh:

df = df.drop(df.columns[df.isna().sum()>len(df.columns)],axis = 1)
df = df.dropna(axis = 0).reset_index(drop=True)

Lưu ý: Mã trên loại bỏ tất cả các giá trị null của bạn. Nếu bạn muốn giá trị null, xử lý chúng trước.

Nó có thể được thêm vào tại đó '&' có thể được sử dụng để thêm các điều kiện bổ sung, vd

df = df[(df.EPS > 2.0) & (df.EPS <4.0)]

Lưu ý rằng khi đánh giá các tuyên bố, gấu trúc cần dấu ngoặc đơn.

Vì một số lý do, không có câu trả lời nào được gửi trước đây làm việc cho tôi. Giải pháp cơ bản này đã làm:

df = df[df.EPS >= 0]

Mặc dù tất nhiên điều đó cũng sẽ giảm hàng với số âm. Vì vậy, nếu bạn muốn những thứ đó có lẽ cũng thông minh để thêm cái này sau.

df = df[df.EPS <= 0]

Một trong những giải pháp có thể là

df = df[df.isnull().sum(axis=1) <= Cutoff Value]

Một cách khác có thể là

df= df.dropna(thresh=(df.shape[1] - Cutoff_value))

Tôi hy vọng những điều này là hữu ích.