Tôi đang đọc trong tệp csv có nhiều cột ngày giờ. Tôi cần đặt các kiểu dữ liệu khi đọc trong tệp, nhưng lịch ngày có vẻ là một vấn đề. Ví dụ:

headers = ['col1', 'col2', 'col3', 'col4']
dtypes = ['datetime', 'datetime', 'str', 'float']
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes)

Khi chạy báo lỗi:

TypeError: không hiểu kiểu dữ liệu "datetime"

Chuyển đổi cột sau thực tế, thông qua pandas.to_datetime () không phải là một tùy chọn Tôi không thể biết cột nào sẽ là đối tượng datetime. Thông tin đó có thể thay đổi và đến từ bất cứ thứ gì thông báo cho danh sách dtypes của tôi.

Ngoài ra, tôi đã cố gắng tải tệp csv bằng numpy.genfromtxt, đặt các dtypes trong hàm đó, rồi chuyển đổi thành pandas.dataframe nhưng nó cắt xén dữ liệu. Bất kỳ trợ giúp nào cũng được đánh giá rất cao!

Tại sao nó không hoạt động

Không có loại ngày giờ nào được đặt cho read_csv vì tệp csv chỉ có thể chứa chuỗi, số nguyên và số thực.

Đặt một dtype thành datetime sẽ khiến gấu trúc hiểu datetime dưới dạng một đối tượng, nghĩa là bạn sẽ kết thúc bằng một chuỗi.

Gấu trúc cách giải quyết vấn đề này

Các pandas.read_csv()chức năng có một cuộc tranh luận từ khóa gọiparse_dates

Sử dụng điều này, bạn có thể nhanh chóng chuyển đổi chuỗi, số thực hoặc số nguyên thành lịch ngày bằng cách sử dụng default date_parser( dateutil.parser.parser)

headers = ['col1', 'col2', 'col3', 'col4']
dtypes = {'col1': 'str', 'col2': 'str', 'col3': 'str', 'col4': 'float'}
parse_dates = ['col1', 'col2']
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes, parse_dates=parse_dates)

Điều này sẽ khiến gấu trúc đọc col1và col2dưới dạng chuỗi, mà chúng rất có thể là ("2016-05-05", v.v.) và sau khi đọc chuỗi, date_parser cho mỗi cột sẽ hoạt động dựa trên chuỗi đó và trả lại bất kỳ thứ gì mà hàm trả về .

Xác định chức năng phân tích cú pháp ngày của riêng bạn:

Các pandas.read_csv()chức năng cũng có một đối số từ khóa gọidate_parser

Đặt điều này thành một hàm lambda sẽ làm cho hàm cụ thể đó được sử dụng để phân tích ngày tháng.

CẢNH BÁO GOTCHA

Bạn phải cung cấp cho nó chức năng chứ không phải thực thi chức năng, do đó điều này là Đúng

date_parser = pd.datetools.to_datetime

Điều này không chính xác :

date_parser = pd.datetools.to_datetime()

Pandas 0.22 Cập nhật

pd.datetools.to_datetime đã được chuyển đến date_parser = pd.to_datetime

Cảm ơn @stackoverYC

Có một parse_datestham số cho read_csvphép bạn xác định tên của các cột bạn muốn được coi là ngày tháng hoặc thời gian:

date_cols = ['col1', 'col2']
pd.read_csv(file, sep='\t', header=None, names=headers, parse_dates=date_cols)

Bạn có thể thử chuyển các loại thực tế thay vì các chuỗi.

import pandas as pd
from datetime import datetime
headers = ['col1', 'col2', 'col3', 'col4'] 
dtypes = [datetime, datetime, str, float] 
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes)

Nhưng sẽ rất khó để chẩn đoán điều này nếu không có bất kỳ dữ liệu nào của bạn để sửa đổi.

Và thực sự, bạn có thể muốn gấu trúc phân tích ngày tháng thành TimeStamps, vì vậy đó có thể là:

pd.read_csv(file, sep='\t', header=None, names=headers, parse_dates=True)

Tôi đã thử sử dụng tùy chọn dtypes = [datetime, ...], nhưng

import pandas as pd
from datetime import datetime
headers = ['col1', 'col2', 'col3', 'col4'] 
dtypes = [datetime, datetime, str, float] 
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes)

Tôi gặp lỗi sau:

TypeError: data type not understood

Thay đổi duy nhất tôi phải thực hiện là thay datetime bằng datetime.datetime

import pandas as pd
from datetime import datetime
headers = ['col1', 'col2', 'col3', 'col4'] 
dtypes = [datetime.datetime, datetime.datetime, str, float] 
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes)