Câu hỏi được gắn thẻ «rdd»

Tôi chỉ tự hỏi sự khác biệt giữa một RDDvà DataFrame (Spark 2.0.0 DataFrame là bí danh loại đơn thuần Dataset[Row]) trong Apache Spark là gì? Bạn có thể chuyển đổi cái này sang cái khác không?

257 dataframe  apache-spark  apache-spark-sql  rdd  apache-spark-dataset 

Theo Học Spark Hãy nhớ rằng phân vùng lại dữ liệu của bạn là một hoạt động khá tốn kém. Spark cũng có một phiên bản repartition()được gọi là tối ưu hóa coalesce()cho phép tránh di chuyển dữ liệu, nhưng chỉ khi bạn giảm số lượng phân vùng RDD. Một …

254 apache-spark  distributed-computing  rdd 

Về RDDsự kiên trì, sự khác biệt giữa cache()và persist()trong tia lửa là gì?

202 apache-spark  distributed-computing  rdd 

Tôi thích Python hơn Scala. Nhưng, vì Spark được viết bằng Scala, tôi đã hy vọng mã của mình chạy nhanh hơn trong Scala so với phiên bản Python vì những lý do rõ ràng. Với giả định đó, tôi nghĩ sẽ học và viết phiên bản Scala của một …

178 scala  performance  apache-spark  pyspark  rdd 

Khi bộ dữ liệu phân tán linh hoạt (RDD) được tạo từ tệp văn bản hoặc bộ sưu tập (hoặc từ RDD khác), chúng ta có cần gọi "bộ đệm" hoặc "tồn tại" một cách rõ ràng để lưu trữ dữ liệu RDD vào bộ nhớ không? Hoặc là dữ …

171 scala  apache-spark  rdd 

Làm cách nào tôi có thể chuyển đổi RDD ( org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]) thành Dataframe org.apache.spark.sql.DataFrame. Tôi đã chuyển đổi một dataframe sang rdd bằng cách sử dụng .rdd. Sau khi xử lý nó tôi muốn nó trở lại trong dataframe. Tôi có thể làm cái này như thế nào ?

139 scala  apache-spark  apache-spark-sql  rdd 

Sự khác biệt giữa RDD map và mapPartitionsphương pháp là gì? Và flatMapcư xử như thế nào maphay thích mapPartitions? Cảm ơn. (chỉnh sửa) tức là sự khác biệt (về mặt ngữ nghĩa hoặc về mặt thực thi) giữa def map[A, B](rdd: RDD[A], fn: (A => B)) (implicit a: Manifest[A], …

133 performance  scala  apache-spark  rdd 

Từ giao diện người dùng Spark của tôi. Nó có nghĩa là gì khi bỏ qua?

87 apache-spark  rdd 

Tôi đọc trên tài liệu của HashPartitioner. Thật không may, không có gì được giải thích nhiều ngoại trừ các lệnh gọi API. Tôi đang giả định rằng HashPartitionerphân vùng tập hợp phân tán dựa trên băm của các khóa. Ví dụ: nếu dữ liệu của tôi giống như (1,1), …

82 scala  apache-spark  rdd  partitioning