hiển thị các giá trị cột riêng biệt trong khung dữ liệu pyspark: python

Vui lòng đề xuất thay thế khung dữ liệu pyspark cho Gấu trúc df['col'].unique().

Tôi muốn liệt kê tất cả các giá trị duy nhất trong cột khung dữ liệu pyspark.

Không phải kiểu SQL (đăng ký phương thức truy vấn sau đó truy vấn SQL cho các giá trị riêng biệt).

Ngoài ra, tôi không cần groupby->countDistinct, thay vào đó tôi muốn kiểm tra các GIÁ TRỊ riêng biệt trong cột đó.

Giả sử chúng ta đang làm việc với biểu diễn dữ liệu sau (hai cột kvà v, trong đó kchứa ba mục nhập, hai mục duy nhất:

+---+---+
|  k|  v|
+---+---+
|foo|  1|
|bar|  2|
|foo|  3|
+---+---+

Với khung dữ liệu Pandas:

import pandas as pd
p_df = pd.DataFrame([("foo", 1), ("bar", 2), ("foo", 3)], columns=("k", "v"))
p_df['k'].unique()

Điều này trả về một ndarray, tức làarray(['foo', 'bar'], dtype=object)

Bạn đã yêu cầu "thay thế khung dữ liệu pyspark cho gấu trúc df ['col']. Unique ()". Bây giờ, với khung dữ liệu Spark sau:

s_df = sqlContext.createDataFrame([("foo", 1), ("bar", 2), ("foo", 3)], ('k', 'v'))

Nếu bạn muốn kết quả tương tự từ Spark, tức là an ndarray, hãy sử dụng toPandas():

s_df.toPandas()['k'].unique()

Ngoài ra, nếu bạn không cần ndarraycụ thể và chỉ muốn có danh sách các giá trị duy nhất của cột k:

s_df.select('k').distinct().rdd.map(lambda r: r[0]).collect()

Cuối cùng, bạn cũng có thể sử dụng cách hiểu danh sách như sau:

[i.k for i in s_df.select('k').distinct().collect()]

Điều này sẽ giúp nhận được các giá trị riêng biệt của một cột:

df.select('column1').distinct().collect()

Lưu ý rằng .collect()không có bất kỳ giới hạn tích hợp nào về số lượng giá trị có thể trả về, vì vậy điều này có thể chậm - hãy sử dụng .show()thay thế hoặc thêm .limit(20)trước .collect()để quản lý điều này.

Bạn có thể sử dụng df.dropDuplicates(['col1','col2'])để chỉ lấy các hàng riêng biệt dựa trên colX trong mảng.

collect_set có thể giúp lấy các giá trị duy nhất từ ​​một cột nhất định của pyspark.sql.DataFrame df.select(F.collect_set("column").alias("column")).first()["column"]

Nếu bạn muốn chọn TẤT CẢ (cột) dữ liệu riêng biệt từ DataFrame (df), thì

df.select('*').distinct().show(10,truncate=False)

bạn có thể làm

distinct_column = 'somecol' 

distinct_column_vals = df.select(distinct_column).distinct().collect()
distinct_column_vals = [v[distinct_column] for v in distinct_column_vals]

Ngoài dropDuplicatestùy chọn, có phương thức được đặt tên như chúng ta biết trong :pandas drop_duplicates

drop_duplicates () là một bí danh cho dropDuplicates () .

Thí dụ

s_df = sqlContext.createDataFrame([("foo", 1),
                                   ("foo", 1),
                                   ("bar", 2),
                                   ("foo", 3)], ('k', 'v'))
s_df.show()

+---+---+
|  k|  v|
+---+---+
|foo|  1|
|foo|  1|
|bar|  2|
|foo|  3|
+---+---+

Từng tập hợp con

s_df.drop_duplicates(subset = ['k']).show()

+---+---+
|  k|  v|
+---+---+
|bar|  2|
|foo|  1|
+---+---+
s_df.drop_duplicates().show()


+---+---+
|  k|  v|
+---+---+
|bar|  2|
|foo|  3|
|foo|  1|
+---+---+

Chạy cái này trước

df.createOrReplaceTempView('df')

Sau đó chạy

spark.sql("""
    SELECT distinct
        column name
    FROM
        df
    """).show()

Nếu bạn muốn xem các giá trị riêng biệt của một cột cụ thể trong khung dữ liệu của mình, bạn chỉ cần viết:

    df.select('colname').distinct().show(100,False)

Điều này sẽ hiển thị 100 giá trị riêng biệt (nếu 100 giá trị có sẵn) cho cột tên miền trong khung dữ liệu df.

Nếu bạn muốn làm điều gì đó lạ mắt trên các giá trị riêng biệt, bạn có thể lưu các giá trị riêng biệt trong một vectơ

    a = df.select('colname').distinct()

Ở đây, a sẽ có tất cả các giá trị riêng biệt của tên cột