Câu hỏi được gắn thẻ «pyspark-sql»

Tôi đến từ nền gấu trúc và quen đọc dữ liệu từ các tệp CSV thành một khung dữ liệu và sau đó chỉ cần thay đổi tên cột thành một cái gì đó hữu ích bằng cách sử dụng lệnh đơn giản: df.columns = new_column_name_list Tuy nhiên, điều tương …

201 python  apache-spark  pyspark  pyspark-sql 

Vui lòng đề xuất thay thế khung dữ liệu pyspark cho Gấu trúc df['col'].unique(). Tôi muốn liệt kê tất cả các giá trị duy nhất trong cột khung dữ liệu pyspark. Không phải kiểu SQL (đăng ký phương thức truy vấn sau đó truy vấn SQL cho các giá trị …

82 pyspark  pyspark-sql 

Tôi có khung dữ liệu pyspark ngày tháng với cột chuỗi ở định dạng MM-dd-yyyyvà tôi đang cố chuyển đổi khung này thành cột ngày tháng. Tôi đã thử: df.select(to_date(df.STRING_COLUMN).alias('new_date')).show() và tôi nhận được một chuỗi null. Có ai giúp được không?

80 apache-spark  pyspark  apache-spark-sql  pyspark-sql