Cách ghi đè thư mục đầu ra trong spark

Tôi có một ứng dụng phát trực tuyến tia lửa tạo ra một tập dữ liệu cho mỗi phút. Tôi cần lưu / ghi đè kết quả của dữ liệu đã xử lý.

Khi tôi cố gắng ghi đè tập dữ liệu org.apache.hadoop.mapred.FileAlreadyExistsException ngừng thực thi.

Tôi đặt thuộc tính Spark set("spark.files.overwrite","true"), nhưng không có may mắn.

Làm cách nào để ghi đè hoặc Xóa trước các tệp khỏi tia lửa?

CẬP NHẬT: Đề xuất sử dụng Dataframes, cộng với một cái gì đó như ... .write.mode(SaveMode.Overwrite) ....

Tay ma cô:

implicit class PimpedStringRDD(rdd: RDD[String]) {
    def write(p: String)(implicit ss: SparkSession): Unit = {
      import ss.implicits._
      rdd.toDF().as[String].write.mode(SaveMode.Overwrite).text(p)
    }
  }

Đối với các phiên bản cũ hơn, hãy thử

yourSparkConf.set("spark.hadoop.validateOutputSpecs", "false")
val sc = SparkContext(yourSparkConf)

Trong 1.1.0, bạn có thể thiết lập cài đặt conf bằng cách sử dụng tập lệnh spark-submit với cờ --conf.

CẢNH BÁO (các phiên bản cũ hơn): Theo @piggybox, có một lỗi trong Spark nơi nó sẽ chỉ ghi đè lên các tệp cần thiết để ghi part-tệp của nó , bất kỳ tệp nào khác sẽ không được di chuyển.

từ df.save(path, source, mode) không được dùng nữa, ( http://spark.apache.org/docs/1.5.0/api/scala/index.html#org.apache.spark.sql.DataFrame )

sử dụng df.write.format(source).mode("overwrite").save(path)
nơi df.write là DataFrameWriter

'source' có thể là ("com.databricks.spark.avro" | "parquet" | "json")

Tài liệu cho tham số spark.files.overwritecho biết điều này: "Có ghi đè lên các tệp được thêm vào SparkContext.addFile()khi tệp đích tồn tại và nội dung của nó không khớp với nội dung của nguồn hay không." Vì vậy, nó không ảnh hưởng đến phương thức saveAsTextFiles.

Bạn có thể làm điều này trước khi lưu tệp:

val hadoopConf = new org.apache.hadoop.conf.Configuration()
val hdfs = org.apache.hadoop.fs.FileSystem.get(new java.net.URI("hdfs://localhost:9000"), hadoopConf)
try { hdfs.delete(new org.apache.hadoop.fs.Path(filepath), true) } catch { case _ : Throwable => { } }

Aas đã giải thích ở đây: http://apache-spark-user-list.1001560.n3.nabble.com/How-can-I-make-Spark-1-0-saveAsTextFile-to-overwrite-existing-file-td6696. html

Từ tài liệu pyspark.sql.DataFrame.save (hiện ở 1.3.1), bạn có thể chỉ định mode='overwrite'khi lưu DataFrame:

myDataFrame.save(path='myPath', source='parquet', mode='overwrite')

Tôi đã xác minh rằng điều này thậm chí sẽ xóa các tệp phân vùng còn sót lại. Vì vậy, nếu ban đầu bạn đã nói 10 phân vùng / tệp, nhưng sau đó ghi đè thư mục bằng DataFrame chỉ có 6 phân vùng, thư mục kết quả sẽ có 6 phân vùng / tệp.

Xem tài liệu Spark SQL để biết thêm thông tin về các tùy chọn chế độ.

df.write.mode('overwrite').parquet("/output/folder/path")hoạt động nếu bạn muốn ghi đè lên một tệp parquet bằng python. Đây là trong tia lửa 1.6.2. API có thể khác trong các phiên bản sau

  val jobName = "WordCount";
  //overwrite the output directory in spark  set("spark.hadoop.validateOutputSpecs", "false")
  val conf = new 
  SparkConf().setAppName(jobName).set("spark.hadoop.validateOutputSpecs", "false");
  val sc = new SparkContext(conf)

Phiên bản quá tải này của lưu hàm hợp với tôi:

yourDF.save (outputPath, org.apache.spark.sql.SaveMode.valueOf ("Ghi đè"))

Ví dụ trên sẽ ghi đè lên một thư mục hiện có. Chế độ lưu cũng có thể nhận các tham số này ( https://spark.apache.org/docs/1.4.0/api/java/org/apache/spark/sql/SaveMode.html ):

Nối : Chế độ nối có nghĩa là khi lưu DataFrame vào nguồn dữ liệu, nếu dữ liệu / bảng đã tồn tại, nội dung của DataFrame sẽ được nối vào dữ liệu hiện có.

ErrorIfExists : Chế độ ErrorIfExists có nghĩa là khi lưu DataFrame vào một nguồn dữ liệu, nếu dữ liệu đã tồn tại, một ngoại lệ sẽ được đưa ra.

Bỏ qua : Chế độ bỏ qua có nghĩa là khi lưu DataFrame vào nguồn dữ liệu, nếu dữ liệu đã tồn tại, hoạt động lưu dự kiến ​​sẽ không lưu nội dung của DataFrame và không thay đổi dữ liệu hiện có.

Nếu bạn sẵn sàng sử dụng định dạng đầu ra tùy chỉnh của riêng mình, bạn cũng sẽ có thể có được hành vi mong muốn với RDD.

Hãy xem các lớp sau: FileOutputFormat , FileOutputCommitter

Ở định dạng đầu ra tệp, bạn có một phương thức có tên là checkOutputSpecs, phương thức này đang kiểm tra xem thư mục đầu ra có tồn tại hay không. Trong FileOutputCommitter, bạn có commitJob thường chuyển dữ liệu từ thư mục tạm thời đến vị trí cuối cùng của nó.

Tôi chưa thể xác minh điều đó (sẽ làm điều đó ngay khi tôi có vài phút rảnh rỗi) nhưng về mặt lý thuyết: Nếu tôi mở rộng FileOutputFormat và ghi đè checkOutputSpecs thành một phương thức không ném ngoại lệ vào thư mục đã tồn tại và điều chỉnh Phương thức commitJob của trình cam kết đầu ra tùy chỉnh của tôi để thực hiện logic nào mà tôi muốn (ví dụ: Ghi đè một số tệp, nối các tệp khác) hơn là tôi có thể đạt được hành vi mong muốn với RDD.

Định dạng đầu ra được chuyển tới: saveAsNewAPIHadoopFile (đây cũng là phương thức mà saveAsTextFile được gọi để thực sự lưu các tệp). Và trình cam kết đầu ra được cấu hình ở cấp ứng dụng.