Tôi tải một số dữ liệu học máy từ tệp CSV. 2 cột đầu tiên là các quan sát và các cột còn lại là các tính năng.

Hiện tại, tôi làm như sau:

data = pandas.read_csv('mydata.csv')

cung cấp một cái gì đó như:

data = pandas.DataFrame(np.random.rand(10,5), columns = list('abcde'))

Tôi muốn cắt dataframe này trong hai dataframes: một chứa các cột avà bvà một chứa các cột c, dvà e.

Không thể viết một cái gì đó như

observations = data[:'c']
features = data['c':]

Tôi không chắc phương pháp tốt nhất là gì. Tôi có cần pd.Panelkhông?

Nhân tiện, tôi thấy việc lập chỉ mục khung dữ liệu khá không nhất quán: data['a']được phép, nhưng data[0]không được. Mặt khác, data['a':]không được phép nhưng data[0:]là. Có một lý do thực tế cho việc này? Điều này thực sự khó hiểu nếu các cột được lập chỉ mục bởi Int, cho rằngdata[0] != data[0:1]

Trả lời 2017 - gấu trúc 0,20: .ix không được dùng nữa. Sử dụng .loc

Xem sự phản đối trong các tài liệu

.locsử dụng lập chỉ mục dựa trên nhãn để chọn cả hàng và cột. Các nhãn là các giá trị của chỉ mục hoặc các cột. Cắt lát .locbao gồm các yếu tố cuối cùng.

Giả sử chúng ta có một DataFrame với các cột sau:
foo, bar, quz, ant, cat, sat, dat.

# selects all rows and all columns beginning at 'foo' up to and including 'sat'
df.loc[:, 'foo':'sat']
# foo bar quz ant cat sat

.locchấp nhận cùng một ký hiệu lát mà danh sách Python thực hiện cho cả hàng và cột. Ký hiệu látstart:stop:step

# slice from 'foo' to 'cat' by every 2nd column
df.loc[:, 'foo':'cat':2]
# foo quz cat

# slice from the beginning to 'bar'
df.loc[:, :'bar']
# foo bar

# slice from 'quz' to the end by 3
df.loc[:, 'quz'::3]
# quz sat

# attempt from 'sat' to 'bar'
df.loc[:, 'sat':'bar']
# no columns returned

# slice from 'sat' to 'bar'
df.loc[:, 'sat':'bar':-1]
sat cat ant quz bar

# slice notation is syntatic sugar for the slice function
# slice from 'quz' to the end by 2 with slice function
df.loc[:, slice('quz',None, 2)]
# quz cat dat

# select specific columns with a list
# select columns foo, bar and dat
df.loc[:, ['foo','bar','dat']]
# foo bar dat

Bạn có thể cắt theo hàng và cột. Ví dụ, nếu bạn có 5 hàng với nhãn v, w, x, y,z

# slice from 'w' to 'y' and 'foo' to 'ant' by 3
df.loc['w':'y', 'foo':'ant':3]
#    foo ant
# w
# x
# y

Lưu ý: .ix đã bị từ chối kể từ Pandas v0.20. Thay vào đó, bạn nên sử dụng .lochoặc .iloc, khi thích hợp.

Chỉ mục DataFrame.ix là những gì bạn muốn truy cập. Có một chút khó hiểu (tôi đồng ý rằng lập chỉ mục Pandas đôi khi rất khó hiểu!), Nhưng những điều sau đây dường như làm những gì bạn muốn:

>>> df = DataFrame(np.random.rand(4,5), columns = list('abcde'))
>>> df.ix[:,'b':]
      b         c         d         e
0  0.418762  0.042369  0.869203  0.972314
1  0.991058  0.510228  0.594784  0.534366
2  0.407472  0.259811  0.396664  0.894202
3  0.726168  0.139531  0.324932  0.906575

trong đó .ix [lát hàng, lát cột] là những gì đang được diễn giải. Thông tin thêm về lập chỉ mục Pandas tại đây: http://pandas.pydata.org/pandas-docs/urdy/indexing.html#indexing-advified

Hãy sử dụng bộ dữ liệu titanic từ gói seaborn làm ví dụ

# Load dataset (pip install seaborn)
>> import seaborn.apionly as sns
>> titanic = sns.load_dataset('titanic')

sử dụng tên cột

>> titanic.loc[:,['sex','age','fare']]

sử dụng các chỉ số cột

>> titanic.iloc[:,[2,3,6]]

sử dụng ix (Cũ hơn Pandas <.20 phiên bản)

>> titanic.ix[:,[‘sex’,’age’,’fare’]]

hoặc là

>> titanic.ix[:,[2,3,6]]

sử dụng phương pháp reindex

>> titanic.reindex(columns=['sex','age','fare'])

Ngoài ra, đưa ra một DataFrame

dữ liệu

như trong ví dụ của bạn, nếu bạn chỉ muốn trích xuất cột a và d (ei cột thứ 1 và thứ 4), iloc mothod từ dataframe là những gì bạn cần và có thể được sử dụng rất hiệu quả. Tất cả những gì bạn cần biết là chỉ mục của các cột bạn muốn trích xuất. Ví dụ:

>>> data.iloc[:,[0,3]]

sẽ cho bạn

          a         d
0  0.883283  0.100975
1  0.614313  0.221731
2  0.438963  0.224361
3  0.466078  0.703347
4  0.955285  0.114033
5  0.268443  0.416996
6  0.613241  0.327548
7  0.370784  0.359159
8  0.692708  0.659410
9  0.806624  0.875476

Bạn có thể cắt dọc theo các cột của a DataFramebằng cách tham khảo tên của từng cột trong danh sách, như vậy:

data = pandas.DataFrame(np.random.rand(10,5), columns = list('abcde'))
data_ab = data[list('ab')]
data_cde = data[list('cde')]

Và nếu bạn đến đây để tìm cách cắt hai dãy cột và kết hợp chúng lại với nhau (như tôi), bạn có thể làm một cái gì đó như

op = df[list(df.columns[0:899]) + list(df.columns[3593:])]
print op

Điều này sẽ tạo ra một khung dữ liệu mới với 900 cột đầu tiên và (tất cả) cột> 3593 (giả sử bạn có khoảng 4000 cột trong tập dữ liệu của mình).

Dưới đây là cách bạn có thể sử dụng các phương pháp khác nhau để thực hiện cắt cột chọn lọc, bao gồm dựa trên nhãn chọn lọc, dựa trên chỉ mục và phạm vi cắt cột dựa trên phạm vi chọn lọc.

In [37]: import pandas as pd    
In [38]: import numpy as np
In [43]: df = pd.DataFrame(np.random.rand(4,7), columns = list('abcdefg'))

In [44]: df
Out[44]: 
          a         b         c         d         e         f         g
0  0.409038  0.745497  0.890767  0.945890  0.014655  0.458070  0.786633
1  0.570642  0.181552  0.794599  0.036340  0.907011  0.655237  0.735268
2  0.568440  0.501638  0.186635  0.441445  0.703312  0.187447  0.604305
3  0.679125  0.642817  0.697628  0.391686  0.698381  0.936899  0.101806

In [45]: df.loc[:, ["a", "b", "c"]] ## label based selective column slicing 
Out[45]: 
          a         b         c
0  0.409038  0.745497  0.890767
1  0.570642  0.181552  0.794599
2  0.568440  0.501638  0.186635
3  0.679125  0.642817  0.697628

In [46]: df.loc[:, "a":"c"] ## label based column ranges slicing 
Out[46]: 
          a         b         c
0  0.409038  0.745497  0.890767
1  0.570642  0.181552  0.794599
2  0.568440  0.501638  0.186635
3  0.679125  0.642817  0.697628

In [47]: df.iloc[:, 0:3] ## index based column ranges slicing 
Out[47]: 
          a         b         c
0  0.409038  0.745497  0.890767
1  0.570642  0.181552  0.794599
2  0.568440  0.501638  0.186635
3  0.679125  0.642817  0.697628

### with 2 different column ranges, index based slicing: 
In [49]: df[df.columns[0:1].tolist() + df.columns[1:3].tolist()]
Out[49]: 
          a         b         c
0  0.409038  0.745497  0.890767
1  0.570642  0.181552  0.794599
2  0.568440  0.501638  0.186635
3  0.679125  0.642817  0.697628

Tương đương của nó

 >>> print(df2.loc[140:160,['Relevance','Title']])
 >>> print(df2.ix[140:160,[3,7]])

nếu khung dữ liệu trông như thế:

group         name      count
fruit         apple     90
fruit         banana    150
fruit         orange    130
vegetable     broccoli  80
vegetable     kale      70
vegetable     lettuce   125

và OUTPUT có thể giống như

   group    name  count
0  fruit   apple     90
1  fruit  banana    150
2  fruit  orange    130

nếu bạn sử dụng toán tử logic np.logical_not

df[np.logical_not(df['group'] == 'vegetable')]

thêm về

https://docs.scipy.org/doc/numpy-1.13.0/reference/routines.logic.html

toán tử logic khác

1. logic_and (x1, x2, / [, out, where, ...]) Tính giá trị thật của phần tử x1 VÀ x2-khôn ngoan.

2. logic_or (x1, x2, / [, out, where, casting, ...]) Tính giá trị thật của x1 OR x2 phần tử khôn ngoan.

3. logic_not (x, / [, out, where, casting, ...]) Tính giá trị thật của KHÔNG x phần tử khôn ngoan.
4. logic_xor (x1, x2, / [, out, where, ..]) Tính giá trị thật của x1 XOR x2, phần tử khôn ngoan.

Một cách khác để có một tập hợp các cột từ DataFrame của bạn, giả sử bạn muốn tất cả các hàng, sẽ là:
data[['a','b']]và data[['c','d','e']]
nếu bạn muốn sử dụng các chỉ mục cột số, bạn có thể làm:
data[data.columns[:2]]vàdata[data.columns[2:]]