Xáo trộn các hàng DataFrame

Tôi có DataFrame sau:

    Col1  Col2  Col3  Type
0      1     2     3     1
1      4     5     6     1
...
20     7     8     9     2
21    10    11    12     2
...
45    13    14    15     3
46    16    17    18     3
...

DataFrame được đọc từ tệp csv. Tất cả các hàng có Type1 ở trên cùng, theo sau là các hàng có Type2, theo sau là các hàng có Type3, v.v.

Tôi muốn xáo trộn thứ tự các hàng của DataFrame để tất cả Typecác mục được trộn lẫn. Một kết quả có thể là:

    Col1  Col2  Col3  Type
0      7     8     9     2
1     13    14    15     3
...
20     1     2     3     1
21    10    11    12     2
...
45     4     5     6     1
46    16    17    18     3
...

Làm thế nào tôi có thể đạt được điều này?

Cách thành ngữ để làm điều này với Pandas là sử dụng .samplephương thức của khung dữ liệu của bạn để lấy mẫu tất cả các hàng mà không cần thay thế:

df.sample(frac=1)

Đối fracsố từ khóa chỉ định tỷ lệ các hàng sẽ trả về trong mẫu ngẫu nhiên, do đó frac=1có nghĩa là trả về tất cả các hàng (theo thứ tự ngẫu nhiên).

Lưu ý: Nếu bạn muốn xáo trộn khung dữ liệu của mình tại chỗ và đặt lại chỉ mục, bạn có thể làm, vd

df = df.sample(frac=1).reset_index(drop=True)

Ở đây, chỉ định drop=Truengăn không cho .reset_indextạo cột chứa các mục chỉ mục cũ.

Theo dõi lưu ý: Mặc dù nó có thể không giống như các hoạt động trên là tại chỗ , python / gấu trúc là đủ thông minh để không làm malloc khác cho đối tượng xáo trộn. Đó là, mặc dù đối tượng tham chiếu đã thay đổi (ý tôi id(df_old)là không giống với id(df_new)), đối tượng C bên dưới vẫn giống nhau. Để cho thấy rằng đây thực sự là trường hợp, bạn có thể chạy một trình lược tả bộ nhớ đơn giản:

$ python3 -m memory_profiler .\test.py
Filename: .\test.py

Line #    Mem usage    Increment   Line Contents
================================================
     5     68.5 MiB     68.5 MiB   @profile
     6                             def shuffle():
     7    847.8 MiB    779.3 MiB       df = pd.DataFrame(np.random.randn(100, 1000000))
     8    847.9 MiB      0.1 MiB       df = df.sample(frac=1).reset_index(drop=True)

Bạn chỉ có thể sử dụng sklearn cho việc này

from sklearn.utils import shuffle
df = shuffle(df)

Bạn có thể xáo trộn các hàng của khung dữ liệu bằng cách lập chỉ mục với chỉ mục được xáo trộn. Đối với điều này, bạn có thể sử dụng np.random.permutation(nhưng np.random.choicecũng có khả năng):

In [12]: df = pd.read_csv(StringIO(s), sep="\s+")

In [13]: df
Out[13]: 
    Col1  Col2  Col3  Type
0      1     2     3     1
1      4     5     6     1
20     7     8     9     2
21    10    11    12     2
45    13    14    15     3
46    16    17    18     3

In [14]: df.iloc[np.random.permutation(len(df))]
Out[14]: 
    Col1  Col2  Col3  Type
46    16    17    18     3
45    13    14    15     3
20     7     8     9     2
0      1     2     3     1
1      4     5     6     1
21    10    11    12     2

Nếu bạn muốn giữ chỉ mục được đánh số từ 1, 2, .., n như trong ví dụ của bạn, bạn chỉ cần đặt lại chỉ mục: df_shuffled.reset_index(drop=True)

TL; DR : np.random.shuffle(ndarray)có thể thực hiện công việc.
Vì vậy, trong trường hợp của bạn

np.random.shuffle(DataFrame.values)

DataFrame, dưới mui xe, sử dụng NumPy ndarray làm chủ dữ liệu. (Bạn có thể kiểm tra từ mã nguồn DataFrame )

Vì vậy, nếu bạn sử dụng np.random.shuffle(), nó sẽ xáo trộn mảng dọc theo trục đầu tiên của mảng đa chiều. Nhưng chỉ số củaDataFrame vẫn còn xáo trộn.

Mặc dù, có một số điểm để xem xét.

• Hàm trả về không. Trong trường hợp bạn muốn giữ một bản sao của đối tượng ban đầu, bạn phải làm như vậy trước khi bạn chuyển đến hàm.
• sklearn.utils.shuffle(), như người dùng tj89 đề xuất, có thể chỉ định random_statecùng với một tùy chọn khác để kiểm soát đầu ra. Bạn có thể muốn điều đó cho mục đích dev.
• sklearn.utils.shuffle()nhanh hơn. Nhưng S SH CHIA SẺ thông tin trục (chỉ mục, cột) DataFramecùng với thông tin trục ndarraychứa.

Kết quả điểm chuẩn

giữa sklearn.utils.shuffle()vànp.random.shuffle() .

ndarray

nd = sklearn.utils.shuffle(nd)

0.10793248389381915 giây. Nhanh hơn gấp 8 lần

np.random.shuffle(nd)

0.8897626010002568 giây

Khung dữ liệu

df = sklearn.utils.shuffle(df)

0,3183923360193148 giây. Nhanh hơn gấp 3 lần

np.random.shuffle(df.values)

0,9357550159329548 giây

Kết luận: Nếu thông tin trục (chỉ mục, cột) được xáo trộn cùng với ndarray, hãy sử dụng sklearn.utils.shuffle(). Nếu không, sử dụngnp.random.shuffle()

mã đã sử dụng

import timeit
setup = '''
import numpy as np
import pandas as pd
import sklearn
nd = np.random.random((1000, 100))
df = pd.DataFrame(nd)
'''

timeit.timeit('nd = sklearn.utils.shuffle(nd)', setup=setup, number=1000)
timeit.timeit('np.random.shuffle(nd)', setup=setup, number=1000)
timeit.timeit('df = sklearn.utils.shuffle(df)', setup=setup, number=1000)
timeit.timeit('np.random.shuffle(df.values)', setup=setup, number=1000)

trănđiểm chuẩn

(Tôi không có đủ danh tiếng để bình luận điều này trên bài đăng hàng đầu, vì vậy tôi hy vọng ai đó có thể làm điều đó cho tôi.) Có một mối lo ngại được nêu ra là phương pháp đầu tiên:

df.sample(frac=1)

tạo một bản sao sâu hoặc chỉ thay đổi khung dữ liệu. Tôi đã chạy mã sau đây:

print(hex(id(df)))
print(hex(id(df.sample(frac=1))))
print(hex(id(df.sample(frac=1).reset_index(drop=True))))

và kết quả của tôi là:

0x1f8a784d400
0x1f8b9d65e10
0x1f8b9d65b70

có nghĩa là phương thức không trả về cùng một đối tượng, như đã được đề xuất trong bình luận cuối cùng. Vì vậy, phương pháp này thực sự làm cho một bản sao xáo trộn .

Điều gì cũng hữu ích, nếu bạn sử dụng nó cho Machine_learning và muốn tách riêng luôn cùng một dữ liệu, bạn có thể sử dụng:

df.sample(n=len(df), random_state=42)

điều này đảm bảo rằng bạn giữ cho sự lựa chọn ngẫu nhiên của bạn luôn có thể lặp lại

AFAIK giải pháp đơn giản nhất là:

df_shuffled = df.reindex(np.random.permutation(df.index))

xáo trộn khung dữ liệu gấu trúc bằng cách lấy một mảng mẫu trong chỉ mục trường hợp này và chọn ngẫu nhiên thứ tự của nó sau đó đặt mảng làm chỉ mục của khung dữ liệu. Bây giờ sắp xếp khung dữ liệu theo chỉ mục. Đây là khung dữ liệu được xáo trộn của bạn

import random
df = pd.DataFrame({"a":[1,2,3,4],"b":[5,6,7,8]})
index = [i for i in range(df.shape[0])]
random.shuffle(index)
df.set_index([index]).sort_index()

đầu ra

    a   b
0   2   6
1   1   5
2   3   7
3   4   8

Chèn khung dữ liệu của bạn vào vị trí của tôi trong đoạn mã trên.

Đây là một cách khác:

df['rnd'] = np.random.rand(len(df)) df = df.sort_values(by='rnd', inplace=True).drop('rnd', axis=1)