Câu hỏi được gắn thẻ «apache-spark-sql»

Tôi chỉ tự hỏi sự khác biệt giữa một RDDvà DataFrame (Spark 2.0.0 DataFrame là bí danh loại đơn thuần Dataset[Row]) trong Apache Spark là gì? Bạn có thể chuyển đổi cái này sang cái khác không?

257 dataframe  apache-spark  apache-spark-sql  rdd  apache-spark-dataset 

Giả sử tôi đang làm một cái gì đó như: val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> "cars.csv", "header" -> "true")) df.printSchema() root |-- year: string (nullable = true) |-- make: string (nullable = true) |-- model: string (nullable = true) |-- comment: string (nullable = true) |-- blank: string (nullable …

152 scala  apache-spark  apache-spark-sql 

Tôi có một DataFrame được tạo như sau: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) Kết quả trông như sau: +----+--------+----------+ |Hour|Category|TotalValue| +----+--------+----------+ | 0| cat26| 30.9| | 0| cat13| 22.1| | 0| cat95| 19.6| | 0| cat105| 1.3| | 1| cat67| 28.5| | 1| cat4| 26.8| | 1| cat13| …

143 sql  scala  apache-spark  dataframe  apache-spark-sql 

Tôi muốn đọc một CSV trong tia lửa và chuyển đổi nó thành DataFrame và lưu trữ nó trong HDFS với df.registerTempTable("table_name") Tôi đã thử: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Lỗi mà tôi nhận được: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, …

140 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Làm cách nào tôi có thể chuyển đổi RDD ( org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]) thành Dataframe org.apache.spark.sql.DataFrame. Tôi đã chuyển đổi một dataframe sang rdd bằng cách sử dụng .rdd. Sau khi xử lý nó tôi muốn nó trở lại trong dataframe. Tôi có thể làm cái này như thế nào ?

139 scala  apache-spark  apache-spark-sql  rdd 

Tôi muốn thêm một cột trong một DataFramegiá trị tùy ý (tương tự cho mỗi hàng). Tôi gặp lỗi khi sử dụng withColumnnhư sau: dt.withColumn('new_column', 10).head(5) --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-50-a6d0257ca2be> in <module>() 1 dt = (messages 2 .select(messages.fromuserid, messages.messagetype, floor(messages.datetime/(1000*60*5)).alias("dt"))) ----> 3 dt.withColumn('new_column', 10).head(5) /Users/evanzamir/spark-1.4.1/python/pyspark/sql/dataframe.pyc in …

137 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Tôi đã thử df.orderBy("col1").show(10)nhưng nó sắp xếp theo thứ tự tăng dần. df.sort("col1").show(10)cũng sắp xếp theo thứ tự giảm dần. Tôi đã xem trên stackoverflow và các câu trả lời tôi tìm thấy đều lỗi thời hoặc được đề cập đến RDD . Tôi muốn sử dụng dataframe gốc trong …

137 scala  apache-spark  apache-spark-sql 

Tôi đã bắt đầu sử dụng Spark SQL và DataFrames trong Spark 1.4.0. Tôi muốn xác định một trình phân vùng tùy chỉnh trên DataFrames, trong Scala, nhưng không thấy cách thực hiện điều này. Một trong những bảng dữ liệu tôi đang làm việc chứa một danh sách các …

128 scala  apache-spark  dataframe  apache-spark-sql  partitioning 

Tôi có Spark DataFrame (sử dụng PySpark 1.5.1) và muốn thêm một cột mới. Tôi đã thử những cách sau mà không thành công: type(randomed_hours) # => list # Create in Python and transform to RDD new_col = pd.DataFrame(randomed_hours, columns=['new_col']) spark_new_col = sqlContext.createDataFrame(new_col) my_df_spark.withColumn("hours", spark_new_col["new_col"]) Cũng có một lỗi sử …

127 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Làm cách nào để nối hai cột trong Apache Spark DataFrame? Có chức năng nào trong Spark SQL mà chúng ta có thể sử dụng không?

116 sql  apache-spark  dataframe  apache-spark-sql 

Ngay bây giờ, tôi phải sử dụng df.count > 0để kiểm tra xem DataFramecó trống hay không. Nhưng nó là loại không hiệu quả. Có cách nào tốt hơn để làm điều đó không? Cảm ơn. Tái bút: Tôi muốn kiểm tra xem nó có trống không để tôi chỉ …

101 apache-spark  apache-spark-sql 

Tôi đang cố gắng lọc khung dữ liệu PySpark có Nonegiá trị hàng: df.select('dt_mvmt').distinct().collect() [Row(dt_mvmt=u'2016-03-27'), Row(dt_mvmt=u'2016-03-28'), Row(dt_mvmt=u'2016-03-29'), Row(dt_mvmt=None), Row(dt_mvmt=u'2016-03-30'), Row(dt_mvmt=u'2016-03-31')] và tôi có thể lọc chính xác với một giá trị chuỗi: df[df.dt_mvmt == '2016-03-31'] # some results here nhưng điều này không thành công: df[df.dt_mvmt == None].count() 0 df[df.dt_mvmt …

100 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Tôi có một khung dữ liệu với cột là Chuỗi. Tôi muốn thay đổi loại cột thành Loại kép trong PySpark. Sau đây là cách, tôi đã làm: toDoublefunc = UserDefinedFunction(lambda x: x,DoubleType()) changedTypedf = joindf.withColumn("label",toDoublefunc(joindf['show'])) Tôi chỉ muốn biết, đây có phải là cách đúng đắn để làm điều …

99 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Tôi muốn tạo trên DataFramevới một lược đồ được chỉ định trong Scala. Tôi đã cố gắng sử dụng JSON read (ý tôi là đọc tệp trống) nhưng tôi không nghĩ đó là phương pháp hay nhất.

94 scala  apache-spark  dataframe  apache-spark-sql 

Tôi đang cố gắng chuyển đổi tất cả các tiêu đề / tên cột của một DataFrametrong Spark-Scala. như bây giờ tôi nghĩ ra mã sau chỉ thay thế một tên cột duy nhất. for( i <- 0 to origCols.length - 1) { df.withColumnRenamed( df.columns(i), df.columns(i).toLowerCase ); }

93 scala  apache-spark  dataframe  apache-spark-sql