Thay thế tất cả các giá trị số trong khung dữ liệu pyspark bằng một giá trị không đổi

12

Hãy xem xét một khung dữ liệu pyspark bao gồm các phần tử 'null' và các phần tử số. Nói chung, các phần tử số có các giá trị khác nhau. Làm thế nào có thể thay thế tất cả các giá trị số của khung dữ liệu bằng một giá trị số không đổi (ví dụ bằng giá trị 1)? Cảm ơn trước!

Ví dụ cho khung dữ liệu pyspark: started

\begin{array}{clcr} c1 & c2 & c3 \\ 1 & 0.04 & 1 & 1.35 \\ 2 & - 1 & n u l l & - 1.2 \\ 3 & n u l l & 1.2 & n u l l \end{array}

$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 0.04 & 1 & 1.35 \\ 2 & -1 & null & -1.2 \\ 3 & null & 1.2 & null \end{array}$

Kết quả sẽ là:

\begin{array}{clcr} c1 & c2 & c3 \\ 1 & 1 & 1 & 1 \\ 2 & 1 & n u l l & 1 \\ 3 & n u l l & 1 & n u l l \end{array}

$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & null & 1 \\ 3 & null & 1 & null \end{array}$

python apache-spark

— justus
nguồn

Chào mừng đến với SO! Bạn có thể đăng một số dữ liệu và / hoặc ví dụ mã để chúng tôi có thể giúp bạn tốt hơn không?

— Âm thanh nổi

8

Sử dụng litsẽ chuyển đổi tất cả các giá trị của cột thành giá trị nhất định.

Để làm điều đó chỉ với các giá trị không null của khung dữ liệu, bạn sẽ phải lọc các giá trị không null của mỗi cột và thay thế giá trị của bạn. whencó thể giúp bạn đạt được điều này.

from pyspark.sql.functions import when   

df.withColumn('c1', when(df.c1.isNotNull(), 1))
  .withColumn('c2', when(df.c2.isNotNull(), 1))
  .withColumn('c3', when(df.c3.isNotNull(), 1))

Điều này sẽ dẫn đến:

\begin{array}{clcr} c1 & c2 & c3 \\ 1 & 1 & 1 & 1 \\ 2 & 1 & n u l l & 1 \\ 3 & n u l l & 1 & n u l l \end{array}

$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & null & 1 \\ 3 & null & 1 & null \end{array}$

Ngoài ra, nếu bạn muốn thay thế các giá trị null đó bằng một số giá trị khác, bạn có thể sử dụng otherwisekết hợp với when. Giả sử bạn muốn áp đặt 0ở đó:

from pyspark.sql.functions import when   

df.withColumn('c1', when(df.c1.isNotNull(), 1).otherwise(0))
  .withColumn('c2', when(df.c2.isNotNull(), 1).otherwise(0))
  .withColumn('c3', when(df.c3.isNotNull(), 1).otherwise(0))

Điều này sẽ dẫn đến:

\begin{array}{clcr} c1 & c2 & c3 \\ 1 & 1 & 1 & 1 \\ 2 & 1 & 0 & 1 \\ 3 & 0 & 1 & 0 \end{array}

$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & 0 & 1 \\ 3 & 0 & 1 & 0 \end{array}$

— Santoshi M
nguồn

7

Theo vấn đề của bạn, tôi nghĩ rằng nó có thể được dễ dàng hơn để sử dụng thắp sáng . Thử đi-

from pyspark.sql.functions import lit
new_df = df.withColumn('column_name', lit(1))

Hy vọng nó giúp!

— Abhishek Jaiswal
nguồn

2

Điều này sẽ dễ dàng hơn nếu bạn có nhiều cột:

from pyspark.sql.functions import when   
cols = df.columns # list of all columns
for col in cols:
    df= df.withColumn(col, when(df[col]>0,1).otherwise(0))

— M. Mashayekhi
nguồn