Suy ra cột nào là datetime

Tôi có một khung dữ liệu khổng lồ với nhiều cột, nhiều cột có kiểu datetime.datetime. Vấn đề là nhiều người cũng có các loại hỗn hợp, bao gồm các datetime.datetimegiá trị và giá trị ví dụ None(và có thể có các giá trị không hợp lệ khác):

0         2017-07-06 00:00:00
1         2018-02-27 21:30:05
2         2017-04-12 00:00:00
3         2017-05-21 22:05:00
4         2018-01-22 00:00:00
                 ...         
352867    2019-10-04 00:00:00
352868                   None
352869            some_string
Name: colx, Length: 352872, dtype: object

Do đó dẫn đến một objectcột loại. Điều này có thể được giải quyết với df.colx.fillna(pd.NaT). Vấn đề là khung dữ liệu quá lớn để tìm kiếm các cột riêng lẻ.

Một cách tiếp cận khác là sử dụng pd.to_datetime(col, errors='coerce'), tuy nhiên điều này sẽ truyền tới datetimenhiều cột có chứa các giá trị số.

Tôi cũng có thể làm df.fillna(float('nan'), inplace=True), mặc dù các cột chứa ngày vẫn thuộc objectloại và vẫn có cùng một vấn đề.

Cách tiếp cận nào tôi có thể làm theo để truyền tới datetime những cột có giá trị thực sự chứa datetimegiá trị, nhưng cũng có thể chứa Nonevà có khả năng một số giá trị không hợp lệ (đề cập đến nếu không thì pd.to_datetimetrong mệnh đề try/ exceptsẽ làm gì)? Một cái gì đó giống như một phiên bản linh hoạt củapd.to_datetime(col)

Vấn đề chính tôi thấy là khi phân tích các giá trị số.

Tôi đề nghị chuyển đổi chúng thành chuỗi trước

Thiết lập

dat = {
    'index': [0, 1, 2, 3, 4, 352867, 352868, 352869],
    'columns': ['Mixed', 'Numeric Values', 'Strings'],
    'data': [
        ['2017-07-06 00:00:00', 1, 'HI'],
        ['2018-02-27 21:30:05', 1, 'HI'],
        ['2017-04-12 00:00:00', 1, 'HI'],
        ['2017-05-21 22:05:00', 1, 'HI'],
        ['2018-01-22 00:00:00', 1, 'HI'],
        ['2019-10-04 00:00:00', 1, 'HI'],
        ['None', 1, 'HI'],
        ['some_string', 1, 'HI']
    ]
}

df = pd.DataFrame(**dat)

df

                      Mixed  Numeric Values Strings
0       2017-07-06 00:00:00               1      HI
1       2018-02-27 21:30:05               1      HI
2       2017-04-12 00:00:00               1      HI
3       2017-05-21 22:05:00               1      HI
4       2018-01-22 00:00:00               1      HI
352867  2019-10-04 00:00:00               1      HI
352868                 None               1      HI
352869          some_string               1      HI

Giải pháp

df.astype(str).apply(pd.to_datetime, errors='coerce')

                     Mixed Numeric Values Strings
0      2017-07-06 00:00:00            NaT     NaT
1      2018-02-27 21:30:05            NaT     NaT
2      2017-04-12 00:00:00            NaT     NaT
3      2017-05-21 22:05:00            NaT     NaT
4      2018-01-22 00:00:00            NaT     NaT
352867 2019-10-04 00:00:00            NaT     NaT
352868                 NaT            NaT     NaT
352869                 NaT            NaT     NaT

Hàm này sẽ đặt kiểu dữ liệu của cột thành datetime, nếu bất kỳ giá trị nào trong cột khớp với mẫu biểu thức chính quy (\ d {4} - \ d {2} - \ d {2}) + (ví dụ: 2019-01-01 ). Tín dụng cho câu trả lời này về cách Tìm kiếm Chuỗi trong tất cả các cột và bộ lọc DataFrame của Pandas đã giúp cài đặt và áp dụng mặt nạ.

def presume_date(dataframe):
    """ Set datetime by presuming any date values in the column
        indicates that the column data type should be datetime.

    Args:
        dataframe: Pandas dataframe.

    Returns:
        Pandas dataframe.

    Raises:
        None
    """
    df = dataframe.copy()
    mask = dataframe.astype(str).apply(lambda x: x.str.match(
        r'(\d{4}-\d{2}-\d{2})+').any())
    df_dates = df.loc[:, mask].apply(pd.to_datetime, errors='coerce')
    for col in df_dates.columns:
        df[col] = df_dates[col]
    return df

Làm việc từ gợi ý để sử dụng dateutil, điều này có thể giúp đỡ. Nó vẫn đang làm việc với giả định rằng nếu có bất kỳ giá trị giống như ngày nào trong một cột, thì cột đó phải là một mốc thời gian. Tôi đã cố gắng xem xét các phương pháp lặp dữ liệu khác nhau nhanh hơn. Tôi nghĩ câu trả lời này về Cách lặp qua các hàng trong DataFrame ở Pandas đã làm rất tốt khi mô tả chúng.

Lưu ý rằng dateutil.parsersẽ sử dụng ngày hoặc năm hiện tại cho bất kỳ chuỗi nào như 'Tháng 12' hoặc 'Tháng 11 năm 2019' không có giá trị năm hoặc ngày.

import pandas as pd
import datetime
from dateutil.parser import parse

df = pd.DataFrame(columns=['are_you_a_date','no_dates_here'])
df = df.append(pd.Series({'are_you_a_date':'December 2015','no_dates_here':'just a string'}), ignore_index=True)
df = df.append(pd.Series({'are_you_a_date':'February 27 2018','no_dates_here':'just a string'}), ignore_index=True)
df = df.append(pd.Series({'are_you_a_date':'May 2017 12','no_dates_here':'just a string'}), ignore_index=True)
df = df.append(pd.Series({'are_you_a_date':'2017-05-21','no_dates_here':'just a string'}), ignore_index=True)
df = df.append(pd.Series({'are_you_a_date':None,'no_dates_here':'just a string'}), ignore_index=True)
df = df.append(pd.Series({'are_you_a_date':'some_string','no_dates_here':'just a string'}), ignore_index=True)
df = df.append(pd.Series({'are_you_a_date':'Processed: 2019/01/25','no_dates_here':'just a string'}), ignore_index=True)
df = df.append(pd.Series({'are_you_a_date':'December','no_dates_here':'just a string'}), ignore_index=True)


def parse_dates(x):
    try:
        return parse(x,fuzzy=True)
    except ValueError:
        return ''
    except TypeError:
        return ''


list_of_datetime_columns = []
for row in df:
    if any([isinstance(parse_dates(row[0]),
                       datetime.datetime) for row in df[[row]].values]):
        list_of_datetime_columns.append(row)

df_dates = df.loc[:, list_of_datetime_columns].apply(pd.to_datetime, errors='coerce')

for col in list_of_datetime_columns:
    df[col] = df_dates[col]

Trong trường hợp bạn cũng muốn sử dụng các giá trị datatime từ dateutil.parser, bạn có thể thêm điều này:

for col in list_of_datetime_columns:
    df[col] = df[col].apply(lambda x: parse_dates(x))