Làm cách nào để hiển thị nội dung cột đầy đủ trong Spark Dataframe?

Tôi đang sử dụng spark-csv để tải dữ liệu vào DataFrame. Tôi muốn thực hiện một truy vấn đơn giản và hiển thị nội dung:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()

Col có vẻ bị cắt ngắn:

scala> results.show();
+--------------------+
|                 col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+

Làm cách nào để hiển thị toàn bộ nội dung của cột?

results.show(20, false)sẽ không cắt ngắn. Kiểm tra nguồn

Nếu bạn đặt results.show(false), kết quả sẽ không bị cắt ngắn

Các giải pháp khác là tốt. Nếu đây là những mục tiêu của bạn:

1. Không cắt bớt cột,
2. Không mất hàng,
3. Nhanh và
4. Có hiệu quả

Hai dòng này rất hữu ích ...

    df.persist
    df.show(df.count, false) // in Scala or 'False' in Python

Bằng cách kiên trì, 2 hành động thực thi, đếm và hiển thị, nhanh hơn & hiệu quả hơn khi sử dụng persisthoặc cacheđể duy trì cấu trúc khung dữ liệu cơ bản tạm thời bên trong các bộ thực thi. Xem thêm về kiên trì và bộ nhớ cache .

Mã bên dưới sẽ giúp xem tất cả các hàng mà không bị cắt bớt trong mỗi cột

df.show(df.count(), False)

results.show(20, False)hoặc results.show(20, false) tùy thuộc vào việc bạn đang chạy nó trên Java / Scala / Python

results.show(false) sẽ cho bạn thấy nội dung cột đầy đủ.

Hiển thị phương thức theo giới hạn mặc định là 20 và thêm một số trước falsesẽ hiển thị nhiều hàng hơn.

thử lệnh này:

df.show(df.count())

results.show(20,false) đã lừa tôi ở Scala.

Trong Databricks, bạn có thể hình dung khung dữ liệu theo định dạng bảng. Với lệnh:

display(results)

Nó sẽ trông giống như

Tôi sử dụng plugin Chrome tiện ích mở rộng hoạt động khá tốt:

[ https://userstyles.org/styles/157357/jupyter-notebook- Worldwide [ [1 ]

Hãy thử điều này trong scala:

df.show(df.count.toInt, false)

Phương thức hiển thị chấp nhận một số nguyên và giá trị Boolean nhưng df.count trả về Dài ... vì vậy cần phải truyền kiểu

Trong c # Option("truncate", false)không cắt bớt dữ liệu trong đầu ra.

StreamingQuery query = spark
                    .Sql("SELECT * FROM Messages")
                    .WriteStream()
                    .OutputMode("append")
                    .Format("console")
                    .Option("truncate", false)
                    .Start();

Câu trả lời sau đây áp dụng cho ứng dụng Spark Streaming.

Bằng cách đặt tùy chọn "cắt ngắn" thành false, bạn có thể yêu cầu phần chìm đầu ra hiển thị cột đầy đủ.

val query = out.writeStream
          .outputMode(OutputMode.Update())
          .format("console")
          .option("truncate", false)
          .trigger(Trigger.ProcessingTime("5 seconds"))
          .start()