12
Spark java.lang.OutOfMemoryError: không gian heap Java
Cụm của tôi: 1 chủ, 11 nô lệ, mỗi nút có bộ nhớ 6 GB. Cài đặt của tôi: spark.executor.memory=4g, Dspark.akka.frameSize=512 Đây là vấn đề: Đầu tiên , tôi đọc một số dữ liệu (2,19 GB) từ HDFS sang RDD: val imageBundleRDD = sc.newAPIHadoopFile(...) Thứ hai , làm một cái …