Cách xóa các cột trong khung dữ liệu pyspark

>>> a
DataFrame[id: bigint, julian_date: string, user_id: bigint]
>>> b
DataFrame[id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint]
>>> a.join(b, a.id==b.id, 'outer')
DataFrame[id: bigint, julian_date: string, user_id: bigint, id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint]

Có hai id: bigintvà tôi muốn xóa một. Làm thế nào tôi có thể làm được?

Đọc tài liệu Spark, tôi tìm thấy một giải pháp dễ dàng hơn.

Kể từ phiên bản 1.4 của spark có một hàm drop(col)có thể được sử dụng trong pyspark trên khung dữ liệu.

Bạn có thể sử dụng nó theo hai cách

1. df.drop('age').collect()
2. df.drop(df.age).collect()

Tài liệu Pyspark - Drop

Thêm vào câu trả lời của @ Patrick, bạn có thể sử dụng cách sau để thả nhiều cột

columns_to_drop = ['id', 'id_copy']
df = df.drop(*columns_to_drop)

Một cách dễ dàng để làm điều này là sử dụng " select" và nhận ra bạn có thể nhận được một danh sách tất cả columnscho dataframe, dfvớidf.columns

drop_list = ['a column', 'another column', ...]

df.select([column for column in df.columns if column not in drop_list])

Bạn có thể đặt tên rõ ràng cho các cột bạn muốn giữ lại, như sau:

keep = [a.id, a.julian_date, a.user_id, b.quan_created_money, b.quan_created_cnt]

Hoặc trong một cách tiếp cận tổng quát hơn, bạn sẽ bao gồm tất cả các cột ngoại trừ một cột cụ thể thông qua việc hiểu danh sách. Ví dụ như thế này (không bao gồm idcột từ b):

keep = [a[c] for c in a.columns] + [b[c] for c in b.columns if c != 'id']

Cuối cùng, bạn lựa chọn kết quả tham gia của mình:

d = a.join(b, a.id==b.id, 'outer').select(*keep)

Bạn có thể sử dụng hai cách:

1: Bạn chỉ cần giữ lại các cột cần thiết:

drop_column_list = ["drop_column"]
df = df.select([column for column in df.columns if column not in drop_column_list])  

2: Đây là cách thanh lịch hơn.

df = df.drop("col_name")

Bạn nên tránh phiên bản Collect (), vì nó sẽ gửi cho người chủ toàn bộ tập dữ liệu, sẽ tốn một công sức tính toán lớn!

Có thể hơi lạc đề, nhưng đây là giải pháp sử dụng Scala. Tạo Arraytên cột từ của bạn oldDataFramevà xóa các cột bạn muốn bỏ ("colExclude"). Sau đó chuyển Array[Column]đến selectvà giải nén nó.

val columnsToKeep: Array[Column] = oldDataFrame.columns.diff(Array("colExclude"))
                                               .map(x => oldDataFrame.col(x))
val newDataFrame: DataFrame = oldDataFrame.select(columnsToKeep: _*)

Hãy xem xét 2 dữ liệu

>>> aDF.show()
+---+----+
| id|datA|
+---+----+
|  1|  a1|
|  2|  a2|
|  3|  a3|
+---+----+

và

>>> bDF.show()
+---+----+
| id|datB|
+---+----+
|  2|  b2|
|  3|  b3|
|  4|  b4|
+---+----+

Để đạt được những gì bạn đang tìm kiếm, có 2 cách:

1. Điều kiện gia nhập khác nhau. Thay vì nói aDF.id == bDF.id

aDF.join(bDF, aDF.id == bDF.id, "outer")

Ghi chép lại cái đó:

aDF.join(bDF, "id", "outer").show()
+---+----+----+
| id|datA|datB|
+---+----+----+
|  1|  a1|null|
|  3|  a3|  b3|
|  2|  a2|  b2|
|  4|null|  b4|
+---+----+----+

Điều này sẽ tự động loại bỏ quá trình giảm thêm.

2. Sử dụng Bí danh: Bạn sẽ mất dữ liệu liên quan đến B Cụ thể của Id trong này.

>>> from pyspark.sql.functions import col
>>> aDF.alias("a").join(bDF.alias("b"), aDF.id == bDF.id, "outer").drop(col("b.id")).show()

+----+----+----+
|  id|datA|datB|
+----+----+----+
|   1|  a1|null|
|   3|  a3|  b3|
|   2|  a2|  b2|
|null|null|  b4|
+----+----+----+

Bạn có thể xóa cột như thế này:

df.drop("column Name).columns

Trong trường hợp của bạn :

df.drop("id").columns

Nếu bạn muốn bỏ nhiều hơn một cột, bạn có thể làm:

dfWithLongColName.drop("ORIGIN_COUNTRY_NAME", "DEST_COUNTRY_NAME")