Thêm siêu thông tin / siêu dữ liệu vào DataFrame của gấu trúc

Có thể thêm một số siêu thông tin / siêu dữ liệu vào DataFrame của gấu trúc không?

Ví dụ: tên của công cụ được sử dụng để đo dữ liệu, công cụ chịu trách nhiệm, v.v.

Một cách giải quyết là tạo một cột với thông tin đó, nhưng có vẻ lãng phí nếu lưu trữ một phần thông tin trong mỗi hàng!

Chắc chắn, giống như hầu hết các đối tượng Python, bạn có thể đính kèm các thuộc tính mới vào pandas.DataFrame:

import pandas as pd
df = pd.DataFrame([])
df.instrument_name = 'Binky'

Lưu ý, tuy nhiên, trong khi bạn có thể đính kèm các thuộc tính cho một DataFrame, các hoạt động thực hiện trên DataFrame (ví dụ như groupby, pivot, joinhoặc locđể đặt tên chỉ là một vài) có thể trả về một DataFrame mới mà không siêu dữ liệu kèm theo. Pandas vẫn chưa có phương pháp truyền siêu dữ liệu mạnh mẽ được gắn vào DataFrames .

Có thể lưu siêu dữ liệu trong một tệp . Bạn có thể tìm thấy ví dụ về cách lưu trữ siêu dữ liệu trong tệp HDF5 tại đây .

Tôi chỉ gặp vấn đề này. Kể từ gấu trúc 0.13, DataFrames có một thuộc tính _metadata trên chúng mà vẫn tồn tại thông qua các hàm trả về DataFrames mới. Cũng có vẻ như để tồn tại tuần tự tốt (tôi chỉ thử json, nhưng tôi tưởng tượng hdf cũng được bảo hiểm).

Không hẳn. Mặc dù bạn có thể thêm các thuộc tính chứa siêu dữ liệu vào lớp DataFrame như @unutbu đã đề cập, nhiều phương thức DataFrame trả về một DataFrame mới, do đó, siêu dữ liệu của bạn sẽ bị mất. Nếu bạn cần thao tác khung dữ liệu của mình, thì tùy chọn tốt nhất sẽ là bọc siêu dữ liệu và DataFrame của bạn trong một lớp khác. Xem cuộc thảo luận này trên GitHub: https://github.com/pydata/pandas/issues/2485

Hiện có một yêu cầu kéo mở để thêm đối tượng MetaDataFrame, đối tượng này sẽ hỗ trợ siêu dữ liệu tốt hơn.

Kể từ pandas 1.0, có thể sớm hơn, bây giờ có một thuộc Dataframe.attrstính. Nó là thử nghiệm, nhưng đây có thể là những gì bạn sẽ muốn trong tương lai. Ví dụ:

import pandas as pd
df = pd.DataFrame([])
df.attrs['instrument_name'] = 'Binky'

Tìm nó trong tài liệu ở đây .

to_parquetSau đó from_parquet, hãy thử điều này và sau đó , nó dường như không tiếp tục, vì vậy hãy đảm bảo bạn kiểm tra điều đó với trường hợp sử dụng của mình.

Câu trả lời hàng đầu của việc gắn các thuộc tính tùy ý vào đối tượng DataFrame là tốt, nhưng nếu bạn sử dụng từ điển, danh sách hoặc tuple, nó sẽ phát ra lỗi "Pandas không cho phép tạo cột thông qua tên thuộc tính mới". Giải pháp sau đây hoạt động để lưu trữ các thuộc tính tùy ý.

from types import SimpleNamespace
df = pd.DataFrame()
df.meta = SimpleNamespace()
df.meta.foo = [1,2,3]

Như đã đề cập trong các câu trả lời và nhận xét khác, _metadatanó không phải là một phần của API công khai, vì vậy chắc chắn không phải là ý kiến ​​hay khi sử dụng nó trong môi trường sản xuất. Nhưng bạn vẫn có thể muốn sử dụng nó trong quá trình tạo mẫu nghiên cứu và thay thế nó nếu nó ngừng hoạt động. Và ngay bây giờ nó hoạt động với groupby/ apply, rất hữu ích. Đây là một ví dụ (mà tôi không thể tìm thấy trong các câu trả lời khác):

df = pd.DataFrame([1, 2, 2, 3, 3], columns=['val']) 
df.my_attribute = "my_value"
df._metadata.append('my_attribute')
df.groupby('val').apply(lambda group: group.my_attribute)

Đầu ra:

val
1    my_value
2    my_value
3    my_value
dtype: object

Đến khá muộn với việc này, tôi nghĩ điều này có thể hữu ích nếu bạn cần siêu dữ liệu để duy trì I / O. Có một gói tương đối mới có tên h5io mà tôi đang sử dụng để thực hiện điều này.

Nó sẽ cho phép bạn đọc / ghi nhanh từ HDF5 đối với một số định dạng phổ biến, một trong số chúng là khung dữ liệu. Vì vậy, bạn có thể, chẳng hạn, đặt khung dữ liệu vào từ điển và bao gồm siêu dữ liệu dưới dạng các trường trong từ điển. Ví dụ:

save_dict = dict(data=my_df, name='chris', record_date='1/1/2016')
h5io.write_hdf5('path/to/file.hdf5', save_dict)
in_data = h5io.read_hdf5('path/to/file.hdf5')
df = in_data['data']
name = in_data['name']
etc...

Một lựa chọn khác sẽ là xem xét một dự án như xray , theo một số cách thì phức tạp hơn, nhưng tôi nghĩ nó cho phép bạn sử dụng siêu dữ liệu và khá dễ dàng để chuyển đổi thành DataFrame.

Như đã đề cập bởi @choldgraf, tôi thấy xarray là một công cụ tuyệt vời để đính kèm siêu dữ liệu khi so sánh dữ liệu và vẽ kết quả giữa một số khung dữ liệu.

Trong công việc của tôi, chúng tôi thường so sánh kết quả của một số bản sửa đổi chương trình cơ sở và các tình huống thử nghiệm khác nhau, việc thêm thông tin này đơn giản như sau:

df = pd.read_csv(meaningless_test)
metadata = {'fw': foo, 'test_name': bar, 'scenario': sc_01}
ds = xr.Dataset.from_dataframe(df)
ds.attrs = metadata

Tôi đã tìm kiếm một giải pháp và nhận thấy rằng khung gấu trúc có thuộc tính attrs

pd.DataFrame().attrs.update({'your_attribute' : 'value'})
frame.attrs['your_attribute']

Thuộc tính này sẽ luôn dính vào khung của bạn bất cứ khi nào bạn vượt qua nó!

Tôi đang gặp vấn đề tương tự và đã sử dụng một giải pháp khác là tạo DF mới, nhỏ hơn từ một từ điển với siêu dữ liệu:

    meta = {"name": "Sample Dataframe", "Created": "19/07/2019"}
    dfMeta = pd.DataFrame.from_dict(meta, orient='index')

Sau đó, dfMeta này có thể được lưu cùng với DF ban đầu của bạn trong dưa chua, v.v.

Xem Lưu và tải nhiều đối tượng trong tệp dưa chua? (Câu trả lời của Lutz) cho câu trả lời tuyệt vời về cách lưu và truy xuất nhiều khung dữ liệu bằng cách sử dụng pickle