Câu hỏi được gắn thẻ «apache-spark»

Giả sử tôi đang làm một cái gì đó như: val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> "cars.csv", "header" -> "true")) df.printSchema() root |-- year: string (nullable = true) |-- make: string (nullable = true) |-- model: string (nullable = true) |-- comment: string (nullable = true) |-- blank: string (nullable …

152 scala  apache-spark  apache-spark-sql 

Theo Giới thiệu Bộ dữ liệu Spark : Khi chúng tôi mong đợi Spark 2.0, chúng tôi lên kế hoạch một số cải tiến thú vị cho Bộ dữ liệu, cụ thể: ... Bộ mã hóa tùy chỉnh - trong khi chúng tôi hiện đang tự động mã hóa cho …

149 scala  apache-spark  apache-spark-dataset  apache-spark-encoders 

Tôi đã cài đặt Spark bằng hướng dẫn AWS EC2 và tôi có thể khởi chạy chương trình tốt bằng cách sử dụng bin/pysparktập lệnh để đến dấu nhắc tia lửa và cũng có thể thực hiện thành công nhanh chóng bắt đầu. Tuy nhiên, tôi không thể tìm ra …

144 python  scala  apache-spark  hadoop  pyspark 

Tôi có một DataFrame được tạo như sau: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) Kết quả trông như sau: +----+--------+----------+ |Hour|Category|TotalValue| +----+--------+----------+ | 0| cat26| 30.9| | 0| cat13| 22.1| | 0| cat95| 19.6| | 0| cat105| 1.3| | 1| cat67| 28.5| | 1| cat4| 26.8| | 1| cat13| …

143 sql  scala  apache-spark  dataframe  apache-spark-sql 

Giả sử như sau rằng chỉ có một công việc Spark đang chạy tại mọi thời điểm. Những gì tôi nhận được cho đến nay Đây là những gì tôi hiểu những gì xảy ra trong Spark: Khi a SparkContextđược tạo, mỗi nút worker bắt đầu một tệp thực thi. …

143 apache-spark 

Tôi muốn đọc một CSV trong tia lửa và chuyển đổi nó thành DataFrame và lưu trữ nó trong HDFS với df.registerTempTable("table_name") Tôi đã thử: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Lỗi mà tôi nhận được: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, …

140 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Làm cách nào tôi có thể chuyển đổi RDD ( org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]) thành Dataframe org.apache.spark.sql.DataFrame. Tôi đã chuyển đổi một dataframe sang rdd bằng cách sử dụng .rdd. Sau khi xử lý nó tôi muốn nó trở lại trong dataframe. Tôi có thể làm cái này như thế nào ?

139 scala  apache-spark  apache-spark-sql  rdd 

Tôi muốn thêm một cột trong một DataFramegiá trị tùy ý (tương tự cho mỗi hàng). Tôi gặp lỗi khi sử dụng withColumnnhư sau: dt.withColumn('new_column', 10).head(5) --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-50-a6d0257ca2be> in <module>() 1 dt = (messages 2 .select(messages.fromuserid, messages.messagetype, floor(messages.datetime/(1000*60*5)).alias("dt"))) ----> 3 dt.withColumn('new_column', 10).head(5) /Users/evanzamir/spark-1.4.1/python/pyspark/sql/dataframe.pyc in …

137 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Tôi đã thử df.orderBy("col1").show(10)nhưng nó sắp xếp theo thứ tự tăng dần. df.sort("col1").show(10)cũng sắp xếp theo thứ tự giảm dần. Tôi đã xem trên stackoverflow và các câu trả lời tôi tìm thấy đều lỗi thời hoặc được đề cập đến RDD . Tôi muốn sử dụng dataframe gốc trong …

137 scala  apache-spark  apache-spark-sql 

Sự khác biệt giữa RDD map và mapPartitionsphương pháp là gì? Và flatMapcư xử như thế nào maphay thích mapPartitions? Cảm ơn. (chỉnh sửa) tức là sự khác biệt (về mặt ngữ nghĩa hoặc về mặt thực thi) giữa def map[A, B](rdd: RDD[A], fn: (A => B)) (implicit a: Manifest[A], …

133 performance  scala  apache-spark  rdd 

Tôi đã bắt đầu sử dụng Spark SQL và DataFrames trong Spark 1.4.0. Tôi muốn xác định một trình phân vùng tùy chỉnh trên DataFrames, trong Scala, nhưng không thấy cách thực hiện điều này. Một trong những bảng dữ liệu tôi đang làm việc chứa một danh sách các …

128 scala  apache-spark  dataframe  apache-spark-sql  partitioning 

Làm cách nào tôi có thể tăng bộ nhớ khả dụng cho các nút thực thi tia lửa Apache? Tôi có tệp 2 GB phù hợp để tải vào Apache Spark. Tôi đang chạy apache spark cho thời điểm này trên 1 máy, vì vậy trình điều khiển và người …

127 memory  apache-spark 

Tôi có Spark DataFrame (sử dụng PySpark 1.5.1) và muốn thêm một cột mới. Tôi đã thử những cách sau mà không thành công: type(randomed_hours) # => list # Create in Python and transform to RDD new_col = pd.DataFrame(randomed_hours, columns=['new_col']) spark_new_col = sqlContext.createDataFrame(new_col) my_df_spark.withColumn("hours", spark_new_col["new_col"]) Cũng có một lỗi sử …

127 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Tôi đang cố in nội dung của bộ sưu tập lên bảng điều khiển Spark. Tôi có một loại: linesWithSessionId: org.apache.spark.rdd.RDD[String] = FilteredRDD[3] Và tôi sử dụng lệnh: scala> linesWithSessionId.map(line => println(line)) Nhưng điều này được in: res1: org.apache.spark.rdd.RDD [Đơn vị] = MappedRDD [4] tại bản đồ tại: 19 Làm …

124 scala  apache-spark 

Làm cách nào để nối hai cột trong Apache Spark DataFrame? Có chức năng nào trong Spark SQL mà chúng ta có thể sử dụng không?

116 sql  apache-spark  dataframe  apache-spark-sql