cột dataframe pandas mở rộng với sklearn

Tôi có một khung dữ liệu gấu trúc với các cột loại hỗn hợp và tôi muốn áp dụng min_max_scaler của sklearn cho một số cột. Lý tưởng nhất là tôi muốn thực hiện những biến đổi này tại chỗ, nhưng vẫn chưa tìm ra cách để làm điều đó. Tôi đã viết đoạn mã sau hoạt động:

import pandas as pd
import numpy as np
from sklearn import preprocessing

scaler = preprocessing.MinMaxScaler()

dfTest = pd.DataFrame({'A':[14.00,90.20,90.95,96.27,91.21],'B':[103.02,107.26,110.35,114.23,114.68], 'C':['big','small','big','small','small']})
min_max_scaler = preprocessing.MinMaxScaler()

def scaleColumns(df, cols_to_scale):
    for col in cols_to_scale:
        df[col] = pd.DataFrame(min_max_scaler.fit_transform(pd.DataFrame(dfTest[col])),columns=[col])
    return df

dfTest

    A   B   C
0    14.00   103.02  big
1    90.20   107.26  small
2    90.95   110.35  big
3    96.27   114.23  small
4    91.21   114.68  small

scaled_df = scaleColumns(dfTest,['A','B'])
scaled_df

A   B   C
0    0.000000    0.000000    big
1    0.926219    0.363636    small
2    0.935335    0.628645    big
3    1.000000    0.961407    small
4    0.938495    1.000000    small

Tôi tò mò liệu đây có phải là cách ưa thích / hiệu quả nhất để thực hiện chuyển đổi này. Có cách nào tôi có thể sử dụng df.apply sẽ tốt hơn không?

Tôi cũng ngạc nhiên khi tôi không thể làm cho đoạn mã sau hoạt động:

bad_output = min_max_scaler.fit_transform(dfTest['A'])

Nếu tôi chuyển toàn bộ khung dữ liệu cho bộ chia tỷ lệ thì nó hoạt động:

dfTest2 = dfTest.drop('C', axis = 1) good_output = min_max_scaler.fit_transform(dfTest2) good_output

Tôi bối rối tại sao vượt qua một loạt để mở rộng thất bại. Trong mã làm việc đầy đủ của tôi ở trên, tôi đã hy vọng chỉ cần truyền một chuỗi cho bộ chia tỷ lệ sau đó đặt cột dataframe = cho chuỗi được chia tỷ lệ. Tôi đã thấy câu hỏi này hỏi một vài nơi khác, nhưng không tìm thấy câu trả lời hay. Bất kỳ trợ giúp để hiểu những gì đang xảy ra ở đây sẽ được đánh giá rất cao!

Tôi không chắc chắn nếu các phiên bản trước pandasđã ngăn chặn điều này nhưng bây giờ đoạn mã sau hoạt động hoàn hảo với tôi và tạo ra chính xác những gì bạn muốn mà không phải sử dụngapply

>>> import pandas as pd
>>> from sklearn.preprocessing import MinMaxScaler


>>> scaler = MinMaxScaler()

>>> dfTest = pd.DataFrame({'A':[14.00,90.20,90.95,96.27,91.21],
                           'B':[103.02,107.26,110.35,114.23,114.68],
                           'C':['big','small','big','small','small']})

>>> dfTest[['A', 'B']] = scaler.fit_transform(dfTest[['A', 'B']])

>>> dfTest
          A         B      C
0  0.000000  0.000000    big
1  0.926219  0.363636  small
2  0.935335  0.628645    big
3  1.000000  0.961407  small
4  0.938495  1.000000  small

Như thế này?

dfTest = pd.DataFrame({
           'A':[14.00,90.20,90.95,96.27,91.21],
           'B':[103.02,107.26,110.35,114.23,114.68], 
           'C':['big','small','big','small','small']
         })
dfTest[['A','B']] = dfTest[['A','B']].apply(
                           lambda x: MinMaxScaler().fit_transform(x))
dfTest

    A           B           C
0   0.000000    0.000000    big
1   0.926219    0.363636    small
2   0.935335    0.628645    big
3   1.000000    0.961407    small
4   0.938495    1.000000    small

Vì nó đang được đề cập trong bình luận của hải tặc - .apply(lambda el: scale.fit_transform(el))phương pháp sẽ đưa ra cảnh báo sau:

DeprecationWarning: Vượt qua mảng 1d khi dữ liệu bị phản đối trong 0.17 và sẽ tăng ValueError trong 0.19. Định hình lại dữ liệu của bạn bằng X.reshape (-1, 1) nếu dữ liệu của bạn có một tính năng duy nhất hoặc X.reshape (1, -1) nếu nó chứa một mẫu.

Chuyển đổi các cột của bạn thành các mảng numpy sẽ thực hiện công việc (tôi thích StandardScaler):

from sklearn.preprocessing import StandardScaler
scale = StandardScaler()

dfTest[['A','B','C']] = scale.fit_transform(dfTest[['A','B','C']].as_matrix())

- Chỉnh sửa tháng 11 năm 2018 (Đã thử nghiệm cho gấu trúc 0.23.4 ) -

Như Rob Murray đã đề cập trong các bình luận, trong phiên bản hiện tại (v0.23.4) của gấu trúc .as_matrix()trở lại FutureWarning. Do đó, cần được thay thế bằng .values:

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()

scaler.fit_transform(dfTest[['A','B']].values)

- Chỉnh sửa tháng 5 năm 2019 (Đã thử nghiệm cho gấu trúc 0.24.2 ) -

Như joelostblom đề cập trong các ý kiến, "Kể từ 0.24.0đó, nên sử dụng .to_numpy()thay vì .values."

Ví dụ cập nhật:

import pandas as pd
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
dfTest = pd.DataFrame({
               'A':[14.00,90.20,90.95,96.27,91.21],
               'B':[103.02,107.26,110.35,114.23,114.68],
               'C':['big','small','big','small','small']
             })
dfTest[['A', 'B']] = scaler.fit_transform(dfTest[['A','B']].to_numpy())
dfTest
      A         B      C
0 -1.995290 -1.571117    big
1  0.436356 -0.603995  small
2  0.460289  0.100818    big
3  0.630058  0.985826  small
4  0.468586  1.088469  small

df = pd.DataFrame(scale.fit_transform(df.values), columns=df.columns, index=df.index)

Điều này sẽ làm việc mà không có cảnh báo khấu hao.

Bạn chỉ có thể làm điều đó bằng cách sử dụng pandas:

In [235]:
dfTest = pd.DataFrame({'A':[14.00,90.20,90.95,96.27,91.21],'B':[103.02,107.26,110.35,114.23,114.68], 'C':['big','small','big','small','small']})
df = dfTest[['A', 'B']]
df_norm = (df - df.min()) / (df.max() - df.min())
print df_norm
print pd.concat((df_norm, dfTest.C),1)

          A         B
0  0.000000  0.000000
1  0.926219  0.363636
2  0.935335  0.628645
3  1.000000  0.961407
4  0.938495  1.000000
          A         B      C
0  0.000000  0.000000    big
1  0.926219  0.363636  small
2  0.935335  0.628645    big
3  1.000000  0.961407  small
4  0.938495  1.000000  small

Tôi biết đó là một nhận xét rất cũ, nhưng vẫn:

Thay vì sử (dfTest['A'])dụng dấu ngoặc đơn, hãy sử dụng dấu ngoặc kép (dfTest[['A']]).

tức là : min_max_scaler.fit_transform(dfTest[['A']]).

Tôi tin rằng điều này sẽ cho kết quả mong muốn.