Làm thế nào để in nội dung của RDD?

Tôi đang cố in nội dung của bộ sưu tập lên bảng điều khiển Spark.

Tôi có một loại:

linesWithSessionId: org.apache.spark.rdd.RDD[String] = FilteredRDD[3]

Và tôi sử dụng lệnh:

scala> linesWithSessionId.map(line => println(line))

Nhưng điều này được in:

res1: org.apache.spark.rdd.RDD [Đơn vị] = MappedRDD [4] tại bản đồ tại: 19

Làm cách nào tôi có thể ghi RDD vào bàn điều khiển hoặc lưu nó vào đĩa để tôi có thể xem nội dung của nó?

Nếu bạn muốn xem nội dung của RDD, một cách là sử dụng collect():

myRDD.collect().foreach(println)

Tuy nhiên, đó không phải là một ý tưởng hay khi RDD có hàng tỷ dòng. Sử dụng take()để chỉ mất một vài để in ra:

myRDD.take(n).foreach(println)

Các mapchức năng là một chuyển đổi , có nghĩa là Spark sẽ không thực sự đánh giá RDD của bạn cho đến khi bạn chạy một hành động trên nó.

Để in nó, bạn có thể sử dụng foreach(đó là một hành động):

linesWithSessionId.foreach(println)

Để ghi nó vào đĩa, bạn có thể sử dụng một trong các saveAs...hàm (hành động tĩnh) từ API RDD

Nếu bạn đang chạy cái này trên một cụm thì printlnsẽ không in lại ngữ cảnh của bạn. Bạn cần mang RDDdữ liệu đến phiên của bạn. Để làm điều này, bạn có thể buộc nó vào mảng cục bộ và sau đó in nó ra:

linesWithSessionId.toArray().foreach(line => println(line))

Bạn có thể chuyển đổi của bạn RDDđể DataFramesau đó show()nó.

// For implicit conversion from RDD to DataFrame
import spark.implicits._

fruits = sc.parallelize([("apple", 1), ("banana", 2), ("orange", 17)])

// convert to DF then show it
fruits.toDF().show()

Điều này sẽ hiển thị 20 dòng dữ liệu hàng đầu của bạn, vì vậy kích thước của dữ liệu của bạn không phải là một vấn đề.

+------+---+                                                                    
|    _1| _2|
+------+---+
| apple|  1|
|banana|  2|
|orange| 17|
+------+---+

Có lẽ có nhiều sự khác biệt về kiến ​​trúc giữa myRDD.foreach(println)và myRDD.collect().foreach(println)(không chỉ 'thu thập', mà còn các hành động khác). Một trong những khác biệt tôi thấy là khi thực hiện myRDD.foreach(println), đầu ra sẽ theo thứ tự ngẫu nhiên. Ví dụ: nếu rdd của tôi đến từ tệp văn bản trong đó mỗi dòng có một số, đầu ra sẽ có một thứ tự khác nhau. Nhưng khi tôi đã làm myRDD.collect().foreach(println), thứ tự vẫn giống như các tập tin văn bản.

Trong trăn

   linesWithSessionIdCollect = linesWithSessionId.collect()
   linesWithSessionIdCollect

Điều này sẽ in ra tất cả các nội dung của RDD

c.take(10)

và Spark phiên bản mới hơn sẽ hiển thị bảng độc đáo.

Thay vì gõ mỗi lần, bạn có thể;

[1] Tạo phương thức in chung trong Spark Shell.

def p(rdd: org.apache.spark.rdd.RDD[_]) = rdd.foreach(println)

[2] Hoặc thậm chí tốt hơn, bằng cách sử dụng các ẩn ý, ​​bạn có thể thêm chức năng vào lớp RDD để in nội dung của nó.

implicit class Printer(rdd: org.apache.spark.rdd.RDD[_]) {
    def print = rdd.foreach(println)
}

Ví dụ sử dụng:

val rdd = sc.parallelize(List(1,2,3,4)).map(_*2)

p(rdd) // 1
rdd.print // 2

Đầu ra:

2
6
4
8

Quan trọng

Điều này chỉ có ý nghĩa nếu bạn đang làm việc ở chế độ cục bộ và với một lượng nhỏ dữ liệu được đặt. Mặt khác, bạn sẽ không thể xem kết quả trên máy khách hoặc hết bộ nhớ vì kết quả bộ dữ liệu lớn.

Bạn cũng có thể lưu dưới dạng tệp: rdd.saveAsTextFile("alicia.txt")

Trong cú pháp java:

rdd.collect().forEach(line -> System.out.println(line));