Tạo khung dữ liệu gấu trúc không điền

Cách tốt nhất để tạo khung dữ liệu gấu trúc không điền có kích thước nhất định là gì?

Tôi đã sử dụng:

zero_data = np.zeros(shape=(len(data),len(feature_list)))
d = pd.DataFrame(zero_data, columns=feature_list)

Có cách nào tốt hơn để làm điều đó không?

Bạn có thể thử điều này:

d = pd.DataFrame(0, index=np.arange(len(data)), columns=feature_list)

Tốt nhất là làm điều này với numpy theo ý kiến ​​của tôi

import numpy as np
import pandas as pd
d = pd.DataFrame(np.zeros((N_rows, N_cols)))

Tương tự như @Shravan, nhưng không sử dụng numpy:

  height = 10
  width = 20
  df_0 = pd.DataFrame(0, index=range(height), columns=range(width))

Sau đó, bạn có thể làm bất cứ điều gì bạn muốn với nó:

post_instantiation_fcn = lambda x: str(x)
df_ready_for_whatever = df_0.applymap(post_instantiation_fcn)

Nếu bạn muốn khung dữ liệu mới có cùng chỉ mục và các cột như khung dữ liệu hiện có, bạn chỉ có thể nhân khung dữ liệu hiện có với 0:

df_zeros = df * 0

Nếu bạn đã có dataframe, đây là cách nhanh nhất:

In [1]: columns = ["col{}".format(i) for i in range(10)]
In [2]: orig_df = pd.DataFrame(np.ones((10, 10)), columns=columns)
In [3]: %timeit d = pd.DataFrame(np.zeros_like(orig_df), index=orig_df.index, columns=orig_df.columns)
10000 loops, best of 3: 60.2 µs per loop

So với:

In [4]: %timeit d = pd.DataFrame(0, index = np.arange(10), columns=columns)
10000 loops, best of 3: 110 µs per loop

In [5]: temp = np.zeros((10, 10))
In [6]: %timeit d = pd.DataFrame(temp, columns=columns)
10000 loops, best of 3: 95.7 µs per loop

Giả sử có một DataFrame mẫu, mẫu nào muốn sao chép với các giá trị 0 được điền vào đây ...

Nếu bạn không có NaN trong tập dữ liệu của mình, việc nhân với 0 có thể nhanh hơn đáng kể:

In [19]: columns = ["col{}".format(i) for i in xrange(3000)]                                                                                       

In [20]: indices = xrange(2000)

In [21]: orig_df = pd.DataFrame(42.0, index=indices, columns=columns)

In [22]: %timeit d = pd.DataFrame(np.zeros_like(orig_df), index=orig_df.index, columns=orig_df.columns)
100 loops, best of 3: 12.6 ms per loop

In [23]: %timeit d = orig_df * 0.0
100 loops, best of 3: 7.17 ms per loop

Sự cải thiện phụ thuộc vào kích thước DataFrame, nhưng không bao giờ thấy nó chậm hơn.

Và chỉ vì cái quái của nó:

In [24]: %timeit d = orig_df * 0.0 + 1.0
100 loops, best of 3: 13.6 ms per loop

In [25]: %timeit d = pd.eval('orig_df * 0.0 + 1.0')
100 loops, best of 3: 8.36 ms per loop

Nhưng:

In [24]: %timeit d = orig_df.copy()
10 loops, best of 3: 24 ms per loop

BIÊN TẬP!!!

Giả sử bạn có một khung sử dụng float64, thì đây sẽ là tốc độ nhanh nhất với lợi nhuận rất lớn! Nó cũng có thể tạo ra bất kỳ giá trị nào bằng cách thay thế 0,0 thành số điền mong muốn.

In [23]: %timeit d = pd.eval('orig_df > 1.7976931348623157e+308 + 0.0')
100 loops, best of 3: 3.68 ms per loop

Tùy thuộc vào sở thích, người ta có thể xác định bên ngoài nan và thực hiện một giải pháp chung, bất kể loại phao cụ thể:

In [39]: nan = np.nan
In [40]: %timeit d = pd.eval('orig_df > nan + 0.0')
100 loops, best of 3: 4.39 ms per loop