Làm cách nào để sắp xếp theo cột theo thứ tự giảm dần trong Spark SQL?

Tôi đã thử df.orderBy("col1").show(10)nhưng nó sắp xếp theo thứ tự tăng dần. df.sort("col1").show(10)cũng sắp xếp theo thứ tự giảm dần. Tôi đã xem trên stackoverflow và các câu trả lời tôi tìm thấy đều lỗi thời hoặc được đề cập đến RDD . Tôi muốn sử dụng dataframe gốc trong spark.

Bạn cũng có thể sắp xếp cột bằng cách nhập các hàm spark sql

import org.apache.spark.sql.functions._
df.orderBy(asc("col1"))

Hoặc là

import org.apache.spark.sql.functions._
df.sort(desc("col1"))

nhập sqlContext.implicits._

import sqlContext.implicits._
df.orderBy($"col1".desc)

Hoặc là

import sqlContext.implicits._
df.sort($"col1".desc)

Đó là org.apache.spark.sql.DataFramecho sortphương pháp:

df.sort($"col1", $"col2".desc)

Lưu ý $và .descbên trong sortcho cột để sắp xếp kết quả theo.

Chỉ PySpark

Tôi đã xem qua bài đăng này khi muốn làm điều tương tự trong PySpark. Cách dễ nhất là chỉ cần thêm tham số tăng dần = Sai:

df.orderBy("col1", ascending=False).show(10)

Tham khảo: http://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html#pyspark.sql.DataFrame.orderBy

import org.apache.spark.sql.functions.desc

df.orderBy(desc("columnname1"),desc("columnname2"),asc("columnname3"))

df.sort($"ColumnName".desc).show()

Trong trường hợp của Java:

Nếu chúng ta sử dụng DataFrames, trong khi áp dụng các phép nối (ở đây là phép nối trong), chúng ta có thể sắp xếp (theo ASC) sau khi chọn các phần tử riêng biệt trong mỗi DF như:

Dataset<Row> d1 = e_data.distinct().join(s_data.distinct(), "e_id").orderBy("salary");

nơi e_idlà cột mà tham gia được áp dụng khi được sắp xếp theo mức lương trong ASC.

Ngoài ra, chúng ta có thể sử dụng Spark SQL như:

SQLContext sqlCtx = spark.sqlContext();
sqlCtx.sql("select * from global_temp.salary order by salary desc").show();

Ở đâu

• tia lửa -> SparkSession
• lương -> Chế độ xem toàn cầu.