Chuyển đổi cột Pandas chứa NaN thành dtype `int`

Tôi đọc dữ liệu từ tệp .csv đến khung dữ liệu Pandas như bên dưới. Đối với một trong các cột, cụ thể id, tôi muốn chỉ định loại cột là int. Vấn đề là idchuỗi có giá trị thiếu / trống.

Khi tôi cố gắng chuyển idcột thành số nguyên trong khi đọc .csv, tôi nhận được:

df= pd.read_csv("data.csv", dtype={'id': int}) 
error: Integer column has NA values

Ngoài ra, tôi đã cố gắng chuyển đổi loại cột sau khi đọc như dưới đây, nhưng lần này tôi nhận được:

df= pd.read_csv("data.csv") 
df[['id']] = df[['id']].astype(int)
error: Cannot convert NA to integer

Làm thế nào tôi có thể giải quyết điều này?

Việc thiếu đại diện NaN trong các cột số nguyên là một chú gấu trúc "gotcha" .

Cách giải quyết thông thường là chỉ cần sử dụng phao.

Trong phiên bản 0.24. + Gấu trúc đã đạt được khả năng giữ các số nguyên với các giá trị bị thiếu.

Kiểu dữ liệu số nguyên Nullable .

Gấu trúc có thể biểu diễn dữ liệu số nguyên với các giá trị có thể thiếu bằng cách sử dụng arrays.IntegerArray. Đây là một loại mở rộng được thực hiện trong gấu trúc. Nó không phải là dtype mặc định cho số nguyên và sẽ không được suy ra; bạn rõ ràng phải chuyển dtype vào array()hoặc Series:

arr = pd.array([1, 2, np.nan], dtype=pd.Int64Dtype())
pd.Series(arr)

0      1
1      2
2    NaN
dtype: Int64

Để chuyển đổi cột thành số nguyên nullable, sử dụng:

df['myCol'] = df['myCol'].astype('Int64')

Trường hợp sử dụng của tôi là trộn dữ liệu trước khi tải vào bảng DB:

df[col] = df[col].fillna(-1)
df[col] = df[col].astype(int)
df[col] = df[col].astype(str)
df[col] = df[col].replace('-1', np.nan)

Loại bỏ NaN, chuyển đổi thành int, chuyển đổi sang str và sau đó gắn lại NAN.

Nó không đẹp nhưng nó hoàn thành công việc!

Bây giờ có thể tạo một cột gấu trúc chứa NaN dưới dạng dtype int, vì hiện tại nó đã được thêm chính thức vào gấu trúc 0.24.0

Ghi chú phát hành pandas 0.24.x Trích dẫn: " Pandas đã đạt được khả năng giữ các số nguyên với các giá trị bị thiếu

Nếu bạn hoàn toàn muốn kết hợp số nguyên và NaN trong một cột, bạn có thể sử dụng kiểu dữ liệu 'đối tượng':

df['col'] = (
    df['col'].fillna(0)
    .astype(int)
    .astype(object)
    .where(df['col'].notnull())
)

Điều này sẽ thay thế NaN bằng một số nguyên (không quan trọng), chuyển đổi thành int, chuyển đổi thành đối tượng và cuối cùng là gắn lại NaNs.

Nếu bạn có thể sửa đổi dữ liệu được lưu trữ của mình, hãy sử dụng giá trị sentinel cho thiếu id. Một trường hợp sử dụng phổ biến, được suy ra bởi tên cột, idlà một số nguyên, lớn hơn 0, bạn có thể sử dụng 0làm giá trị sentinel để bạn có thể viết

if row['id']:
   regular_process(row)
else:
   special_process(row)

Bạn có thể sử dụng .dropna()nếu có thể thả các hàng có giá trị NaN.

df = df.dropna(subset=['id'])

Ngoài ra, sử dụng .fillna()và .astype()thay thế NaN bằng các giá trị và chuyển đổi chúng thành int.

Tôi gặp vấn đề này khi xử lý tệp CSV có số nguyên lớn, trong khi một số trong số đó bị thiếu (NaN). Sử dụng float làm kiểu không phải là một lựa chọn, vì tôi có thể mất độ chính xác.

Giải pháp của tôi là sử dụng str làm loại trung gian . Sau đó, bạn có thể chuyển đổi chuỗi thành int như bạn muốn sau này trong mã. Tôi đã thay thế NaN bằng 0, nhưng bạn có thể chọn bất kỳ giá trị nào.

df = pd.read_csv(filename, dtype={'id':str})
df["id"] = df["id"].fillna("0").astype(int)

Đối với hình minh họa, đây là một ví dụ về cách phao có thể làm mất độ chính xác:

s = "12345678901234567890"
f = float(s)
i = int(f)
i2 = int(s)
print (f, i, i2)

Và đầu ra là:

1.2345678901234567e+19 12345678901234567168 12345678901234567890

Hầu hết các giải pháp ở đây cho bạn biết cách sử dụng số nguyên giữ chỗ để thể hiện null. Cách tiếp cận đó không hữu ích nếu bạn không chắc chắn rằng số nguyên sẽ không hiển thị trong dữ liệu nguồn của bạn. Phương thức của tôi với định dạng nổi sẽ không có giá trị thập phân của chúng và chuyển đổi null thành Không có. Kết quả là một kiểu dữ liệu đối tượng sẽ trông giống như một trường số nguyên với các giá trị null khi được tải vào CSV.

keep_df[col] = keep_df[col].apply(lambda x: None if pandas.isnull(x) else '{0:.0f}'.format(pandas.to_numeric(x)))

Tôi gặp vấn đề này khi làm việc với pyspark. Vì đây là một giao diện python cho mã chạy trên jvm, nó yêu cầu loại an toàn và sử dụng float thay vì int không phải là một tùy chọn. Tôi đã giải quyết vấn đề bằng cách gói gấu trúc pd.read_csvvào một hàm sẽ điền vào các cột do người dùng xác định bằng các giá trị điền do người dùng xác định trước khi chuyển chúng sang loại được yêu cầu. Đây là những gì tôi đã kết thúc bằng cách sử dụng:

def custom_read_csv(file_path, custom_dtype = None, fill_values = None, **kwargs):
    if custom_dtype is None:
        return pd.read_csv(file_path, **kwargs)
    else:
        assert 'dtype' not in kwargs.keys()
        df = pd.read_csv(file_path, dtype = {}, **kwargs)
        for col, typ in custom_dtype.items():
            if fill_values is None or col not in fill_values.keys():
                fill_val = -1
            else:
                fill_val = fill_values[col]
            df[col] = df[col].fillna(fill_val).astype(typ)
    return df

import pandas as pd

df= pd.read_csv("data.csv")
df['id'] = pd.to_numeric(df['id'])

Đầu tiên loại bỏ các hàng có chứa NaN. Sau đó thực hiện chuyển đổi Integer trên các hàng còn lại. Cuối cùng chèn các hàng bị loại bỏ một lần nữa. Hy vọng nó sẽ làm việc

Giả sử DateColumn của bạn được định dạng 3312018.0 nên được chuyển đổi thành ngày 31/03/2018 dưới dạng chuỗi. Và, một số hồ sơ bị thiếu hoặc 0.

df['DateColumn'] = df['DateColumn'].astype(int)
df['DateColumn'] = df['DateColumn'].astype(str)
df['DateColumn'] = df['DateColumn'].apply(lambda x: x.zfill(8))
df.loc[df['DateColumn'] == '00000000','DateColumn'] = '01011980'
df['DateColumn'] = pd.to_datetime(df['DateColumn'], format="%m%d%Y")
df['DateColumn'] = df['DateColumn'].apply(lambda x: x.strftime('%m/%d/%Y'))