Câu hỏi được gắn thẻ «pyspark»

Tôi đang cố gắng cài đặt Spark trên máy Mac của mình. Tôi đã sử dụng home-brew để cài đặt spark 2.4.0 và Scala. Tôi đã cài đặt PySpark trong môi trường anaconda của mình và đang sử dụng PyCharm để phát triển. Tôi đã xuất sang hồ sơ bash …

82 java  python  macos  apache-spark  pyspark 

>>> a DataFrame[id: bigint, julian_date: string, user_id: bigint] >>> b DataFrame[id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint] >>> a.join(b, a.id==b.id, 'outer') DataFrame[id: bigint, julian_date: string, user_id: bigint, id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint] Có hai id: bigintvà tôi muốn xóa một. Làm thế nào tôi có thể làm được?

81 apache-spark  apache-spark-sql  pyspark 

Tôi có khung dữ liệu pyspark ngày tháng với cột chuỗi ở định dạng MM-dd-yyyyvà tôi đang cố chuyển đổi khung này thành cột ngày tháng. Tôi đã thử: df.select(to_date(df.STRING_COLUMN).alias('new_date')).show() và tôi nhận được một chuỗi null. Có ai giúp được không?

80 apache-spark  pyspark  apache-spark-sql  pyspark-sql 

Để so sánh hiệu suất của Spark khi sử dụng Python và Scala, tôi đã tạo ra cùng một công việc trong cả hai ngôn ngữ và so sánh thời gian chạy. Tôi dự kiến ​​cả hai công việc sẽ mất khoảng thời gian như nhau, nhưng công việc Python …

16 python  scala  apache-spark  pyspark 

Điều gì sẽ là cách hiệu quả nhất để chèn hàng triệu bản ghi nói 50 triệu từ khung dữ liệu Spark vào Bảng Postgres. Tôi đã thực hiện điều này từ tia lửa đến MSSQL trong quá khứ bằng cách sử dụng tùy chọn kích thước hàng loạt và …

16 postgresql  apache-spark  pyspark  apache-spark-sql  bigdata 

Tôi đã cài đặt OpenJDK 13.0.1 và python 3.8 và spark 2.4.4. Hướng dẫn để kiểm tra cài đặt là chạy. \ Bin \ pyspark từ thư mục gốc của cài đặt tia lửa. Tôi không chắc chắn nếu tôi bỏ lỡ một bước trong cài đặt tia lửa, như …

16 apache-spark  pyspark 

Gần đây tôi đã bắt đầu nhận được một loạt lỗi về một số pysparkcông việc đang chạy trên các cụm EMR. Các erro là java.lang.IllegalArgumentException at java.nio.ByteBuffer.allocate(ByteBuffer.java:334) at org.apache.arrow.vector.ipc.message.MessageSerializer.readMessage(MessageSerializer.java:543) at org.apache.arrow.vector.ipc.message.MessageChannelReader.readNext(MessageChannelReader.java:58) at org.apache.arrow.vector.ipc.ArrowStreamReader.readSchema(ArrowStreamReader.java:132) at org.apache.arrow.vector.ipc.ArrowReader.initialize(ArrowReader.java:181) at org.apache.arrow.vector.ipc.ArrowReader.ensureInitialized(ArrowReader.java:172) at org.apache.arrow.vector.ipc.ArrowReader.getVectorSchemaRoot(ArrowReader.java:65) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:162) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:122) at org.apache.spark.api.python.BasePythonRunner$ReaderIterator.hasNext(PythonRunner.scala:406) at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec$$anon$2.<init>(ArrowEvalPythonExec.scala:98) …

12 pandas  apache-spark  pyspark  pyarrow 

Tôi đang khám phá hành vi của Spark khi tham gia một bảng vào chính nó. Tôi đang sử dụng Databricks. Kịch bản giả của tôi là: Đọc bảng bên ngoài dưới dạng dataframe A (các tệp cơ bản ở định dạng delta) Xác định khung dữ liệu B là …

10 apache-spark  pyspark  bigdata  azure-databricks  delta-lake