Gấu trúc: điền các giá trị còn thiếu theo trung bình trong mỗi nhóm

Điều này nên đơn giản, nhưng điều gần nhất mà tôi tìm thấy là bài đăng này: pandas: Điền các giá trị bị thiếu trong một nhóm và tôi vẫn không thể giải quyết vấn đề của mình ....

Giả sử tôi có khung dữ liệu sau

df = pd.DataFrame({'value': [1, np.nan, np.nan, 2, 3, 1, 3, np.nan, 3], 'name': ['A','A', 'B','B','B','B', 'C','C','C']})

  name  value
0    A      1
1    A    NaN
2    B    NaN
3    B      2
4    B      3
5    B      1
6    C      3
7    C    NaN
8    C      3

và tôi muốn điền "NaN" với giá trị trung bình trong mỗi nhóm "tên", tức là

      name  value
0    A      1
1    A      1
2    B      2
3    B      2
4    B      3
5    B      1
6    C      3
7    C      3
8    C      3

Tôi không chắc sẽ đi đâu sau:

grouped = df.groupby('name').mean()

Cảm ơn nhiều.

Một cách sẽ là sử dụng transform:

>>> df
  name  value
0    A      1
1    A    NaN
2    B    NaN
3    B      2
4    B      3
5    B      1
6    C      3
7    C    NaN
8    C      3
>>> df["value"] = df.groupby("name").transform(lambda x: x.fillna(x.mean()))
>>> df
  name  value
0    A      1
1    A      1
2    B      2
3    B      2
4    B      3
5    B      1
6    C      3
7    C      3
8    C      3

fillna+ groupby+ transform+mean

Điều này có vẻ trực quan:

df['value'] = df['value'].fillna(df.groupby('name')['value'].transform('mean'))

Các groupby+ transformcú pháp bản đồ giá trị trung bình GroupWise sang các chỉ số của dataframe gốc. Điều này gần tương đương với giải pháp của @ DSM , nhưng tránh được sự cần thiết phải xác định một lambdahàm ẩn danh .

@DSM có IMO câu trả lời đúng, nhưng tôi muốn chia sẻ sự khái quát và tối ưu hóa của tôi cho câu hỏi: Nhiều cột thành từng nhóm và có nhiều cột giá trị:

df = pd.DataFrame(
    {
        'category': ['X', 'X', 'X', 'X', 'X', 'X', 'Y', 'Y', 'Y'],
        'name': ['A','A', 'B','B','B','B', 'C','C','C'],
        'other_value': [10, np.nan, np.nan, 20, 30, 10, 30, np.nan, 30],
        'value': [1, np.nan, np.nan, 2, 3, 1, 3, np.nan, 3],
    }
)

... cho ...

  category name  other_value value
0        X    A         10.0   1.0
1        X    A          NaN   NaN
2        X    B          NaN   NaN
3        X    B         20.0   2.0
4        X    B         30.0   3.0
5        X    B         10.0   1.0
6        Y    C         30.0   3.0
7        Y    C          NaN   NaN
8        Y    C         30.0   3.0

Trong trường hợp tổng quát này, chúng tôi muốn nhóm theo categoryvà namevà chỉ hàm ý trên value.

Điều này có thể được giải quyết như sau:

df['value'] = df.groupby(['category', 'name'])['value']\
    .transform(lambda x: x.fillna(x.mean()))

Lưu ý danh sách cột trong mệnh đề từng nhóm và chúng tôi chọn valuecột ngay sau từng nhóm. Điều này làm cho phép biến đổi chỉ được chạy trên cột cụ thể đó. Bạn có thể thêm nó vào cuối, nhưng sau đó bạn sẽ chạy nó cho tất cả các cột chỉ để loại bỏ tất cả trừ một cột đo lường ở cuối. Một công cụ lập kế hoạch truy vấn SQL chuẩn có thể đã tối ưu hóa điều này, nhưng gấu trúc (0.19.2) dường như không làm được điều này.

Kiểm tra hiệu suất bằng cách tăng tập dữ liệu bằng cách thực hiện ...

big_df = None
for _ in range(10000):
    if big_df is None:
        big_df = df.copy()
    else:
        big_df = pd.concat([big_df, df])
df = big_df

... xác nhận rằng điều này làm tăng tốc độ tương ứng với số cột bạn không phải áp dụng:

import pandas as pd
from datetime import datetime

def generate_data():
    ...

t = datetime.now()
df = generate_data()
df['value'] = df.groupby(['category', 'name'])['value']\
    .transform(lambda x: x.fillna(x.mean()))
print(datetime.now()-t)

# 0:00:00.016012

t = datetime.now()
df = generate_data()
df["value"] = df.groupby(['category', 'name'])\
    .transform(lambda x: x.fillna(x.mean()))['value']
print(datetime.now()-t)

# 0:00:00.030022

Lưu ý cuối cùng, bạn có thể tổng quát hóa hơn nữa nếu bạn muốn áp dụng nhiều hơn một cột, nhưng không phải tất cả:

df[['value', 'other_value']] = df.groupby(['category', 'name'])['value', 'other_value']\
    .transform(lambda x: x.fillna(x.mean()))

Tôi sẽ làm theo cách này

df.loc[df.value.isnull(), 'value'] = df.groupby('group').value.transform('mean')

Hầu hết các câu trả lời ở trên liên quan đến việc sử dụng "groupby" và "biến đổi" để điền vào các giá trị còn thiếu.

Nhưng tôi thích sử dụng "groupby" với "apply" để điền vào các giá trị còn thiếu, trực quan hơn đối với tôi.

>>> df['value']=df.groupby('name')['value'].apply(lambda x:x.fillna(x.mean()))
>>> df.isnull().sum().sum()
    0 

Phím tắt: Groupby + Apply / Lambda + Fillna + Mean

Giải pháp này vẫn hoạt động nếu bạn muốn nhóm theo nhiều cột để thay thế các giá trị bị thiếu.

     >>> df = pd.DataFrame({'value': [1, np.nan, np.nan, 2, 3, np.nan,np.nan, 4, 3], 
    'name': ['A','A', 'B','B','B','B', 'C','C','C'],'class':list('ppqqrrsss')})  

     >>> df
   value name   class
0    1.0    A     p
1    NaN    A     p
2    NaN    B     q
3    2.0    B     q
4    3.0    B     r
5    NaN    B     r
6    NaN    C     s
7    4.0    C     s
8    3.0    C     s

>>> df['value']=df.groupby(['name','class'])['value'].apply(lambda x:x.fillna(x.mean()))

>>> df
        value name   class
    0    1.0    A     p
    1    1.0    A     p
    2    2.0    B     q
    3    2.0    B     q
    4    3.0    B     r
    5    3.0    B     r
    6    3.5    C     s
    7    4.0    C     s
    8    3.0    C     s

Câu trả lời được xếp hạng cao nổi bật chỉ hoạt động với Khung dữ liệu gấu trúc chỉ có hai cột. Nếu bạn có nhiều cột hơn, hãy sử dụng thay thế:

df['Crude_Birth_rate'] = df.groupby("continent").Crude_Birth_rate.transform(
    lambda x: x.fillna(x.mean()))

def groupMeanValue(group):
    group['value'] = group['value'].fillna(group['value'].mean())
    return group

dft = df.groupby("name").transform(groupMeanValue)

df.fillna(df.groupby(['name'], as_index=False).mean(), inplace=True)

Bạn cũng có thể sử dụng "dataframe or table_name".apply(lambda x: x.fillna(x.mean())).