Xử lý số cột biến với gấu trúc - Python

Tôi có một tập dữ liệu trông như thế này (nhiều nhất là 5 cột - nhưng có thể ít hơn)

1,2,3
1,2,3,4
1,2,3,4,5
1,2
1,2,3,4
....

Tôi đang cố gắng sử dụng pandas read_table để đọc nó thành một khung dữ liệu 5 cột. Tôi muốn đọc cái này mà không cần xoa bóp thêm.

Nếu tôi cố gắng

import pandas as pd
my_cols=['A','B','C','D','E']
my_df=pd.read_table(path,sep=',',header=None,names=my_cols)

Tôi gặp lỗi - "tên cột có 5 trường, dữ liệu có 3 trường".

Có cách nào khiến gấu trúc điền NaN vào các cột còn thiếu trong khi đọc dữ liệu không?

Một cách có vẻ hoạt động (ít nhất là trong 0.10.1 và 0.11.0.dev-fc8de6d):

>>> !cat ragged.csv
1,2,3
1,2,3,4
1,2,3,4,5
1,2
1,2,3,4
>>> my_cols = ["A", "B", "C", "D", "E"]
>>> pd.read_csv("ragged.csv", names=my_cols, engine='python')
   A  B   C   D   E
0  1  2   3 NaN NaN
1  1  2   3   4 NaN
2  1  2   3   4   5
3  1  2 NaN NaN NaN
4  1  2   3   4 NaN

Tuy nhiên, lưu ý rằng cách tiếp cận này yêu cầu bạn đặt tên cho các cột bạn muốn. Không chung chung như một số cách khác, nhưng đủ hiệu quả khi áp dụng.

Tôi cũng muốn biết liệu điều này có khả thi hay không, từ tài liệu có vẻ như không phải vậy. Những gì bạn có thể làm là đọc từng dòng của tệp và nối mỗi lần đọc với DataFrame:

import pandas as pd

df = pd.DataFrame()

with open(filepath, 'r') as f:
    for line in f:
        df = pd.concat( [df, pd.DataFrame([tuple(line.strip().split(','))])], ignore_index=True )

Nó hoạt động nhưng không phải theo cách thanh lịch nhất, tôi đoán ...

Đồng ý. Không chắc điều này hiệu quả đến mức nào - nhưng đây là những gì tôi đã làm. Rất muốn nghe nếu có cách tốt hơn để làm điều này. Cảm ơn !

from pandas import DataFrame

list_of_dicts=[]
labels=['A','B','C','D','E']
for line in file:
    line=line.rstrip('\n')
    list_of_dicts.append(dict(zip(labels,line.split(','))))
frame=DataFrame(list_of_dicts)