Câu hỏi được gắn thẻ «apache-spark»

>>> a DataFrame[id: bigint, julian_date: string, user_id: bigint] >>> b DataFrame[id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint] >>> a.join(b, a.id==b.id, 'outer') DataFrame[id: bigint, julian_date: string, user_id: bigint, id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint] Có hai id: bigintvà tôi muốn xóa một. Làm thế nào tôi có thể làm được?

81 apache-spark  apache-spark-sql  pyspark 

Apache Beam hỗ trợ nhiều phụ trợ Á hậu, bao gồm Apache Spark và Flink. Tôi quen thuộc với Spark / Flink và tôi đang cố gắng xem ưu / nhược điểm của Beam để xử lý hàng loạt. Nhìn vào ví dụ đếm từ Beam , có cảm giác …

81 apache-spark  apache-flink  apache-beam 

Đã đóng cửa . Câu hỏi này dựa trên ý kiến . Nó hiện không chấp nhận câu trả lời. Bạn muốn cải thiện câu hỏi này? Cập nhật câu hỏi để nó có thể được trả lời với các dữ kiện và trích dẫn bằng cách chỉnh sửa bài …

81 python  pandas  apache-spark  dask 

Tôi có khung dữ liệu pyspark ngày tháng với cột chuỗi ở định dạng MM-dd-yyyyvà tôi đang cố chuyển đổi khung này thành cột ngày tháng. Tôi đã thử: df.select(to_date(df.STRING_COLUMN).alias('new_date')).show() và tôi nhận được một chuỗi null. Có ai giúp được không?

80 apache-spark  pyspark  apache-spark-sql  pyspark-sql 

Tôi đã nhận thấy một hành vi kỳ lạ của trình biên dịch scala của mình. Nó thỉnh thoảng ném ra OutOfMemoryError khi biên dịch một lớp. Đây là thông báo lỗi: [info] Compiling 1 Scala source to /Users/gruetter/Workspaces/scala/helloscala/target/scala-2.9.0/test-classes... java.lang.OutOfMemoryError: PermGen space Error during sbt execution: java.lang.OutOfMemoryError: PermGen space Nó …

79 scala  apache-spark  memory-management  sbt  scalatra-sbt 

Tôi đã cố gắng tìm một cách hợp lý để kiểm tra SparkSessionvới khung kiểm tra JUnit. Mặc dù có vẻ là những ví dụ tốt cho SparkContext, nhưng tôi không thể tìm ra cách để có được một ví dụ tương ứng hoạt động SparkSession, mặc dù nó được …

78 scala  unit-testing  apache-spark  junit  apache-spark-sql 

Tôi mới sử dụng Apache Spark và tôi vừa biết rằng Spark hỗ trợ ba loại cụm: Độc lập - nghĩa là Spark sẽ quản lý cụm riêng của nó YARN - sử dụng trình quản lý tài nguyên YARN của Hadoop Mesos - Dự án quản lý tài nguyên …

76 apache-spark  yarn  mesos  apache-spark-standalone 

Đã đóng cửa . Câu hỏi này cần được tập trung hơn . Nó hiện không chấp nhận câu trả lời. Bạn muốn cải thiện câu hỏi này? Cập nhật câu hỏi để nó chỉ tập trung vào một vấn đề bằng cách chỉnh sửa bài đăng này . Đóng …

20 apache-spark  apache-kafka  stream-processing 

Sử dụng tia lửa 2.4.4 chạy trong chế độ cụm YARN với bộ lập lịch biểu đồ tia sáng FIFO. Tôi đang gửi nhiều hoạt động cơ sở dữ liệu tia lửa (tức là ghi dữ liệu lên S3) bằng cách sử dụng bộ thực thi nhóm luồng với số …

17 apache-spark 

Để so sánh hiệu suất của Spark khi sử dụng Python và Scala, tôi đã tạo ra cùng một công việc trong cả hai ngôn ngữ và so sánh thời gian chạy. Tôi dự kiến ​​cả hai công việc sẽ mất khoảng thời gian như nhau, nhưng công việc Python …

16 python  scala  apache-spark  pyspark 

Điều gì sẽ là cách hiệu quả nhất để chèn hàng triệu bản ghi nói 50 triệu từ khung dữ liệu Spark vào Bảng Postgres. Tôi đã thực hiện điều này từ tia lửa đến MSSQL trong quá khứ bằng cách sử dụng tùy chọn kích thước hàng loạt và …

16 postgresql  apache-spark  pyspark  apache-spark-sql  bigdata 

Tôi đã cài đặt OpenJDK 13.0.1 và python 3.8 và spark 2.4.4. Hướng dẫn để kiểm tra cài đặt là chạy. \ Bin \ pyspark từ thư mục gốc của cài đặt tia lửa. Tôi không chắc chắn nếu tôi bỏ lỡ một bước trong cài đặt tia lửa, như …

16 apache-spark  pyspark 

Gần đây tôi đã bắt đầu nhận được một loạt lỗi về một số pysparkcông việc đang chạy trên các cụm EMR. Các erro là java.lang.IllegalArgumentException at java.nio.ByteBuffer.allocate(ByteBuffer.java:334) at org.apache.arrow.vector.ipc.message.MessageSerializer.readMessage(MessageSerializer.java:543) at org.apache.arrow.vector.ipc.message.MessageChannelReader.readNext(MessageChannelReader.java:58) at org.apache.arrow.vector.ipc.ArrowStreamReader.readSchema(ArrowStreamReader.java:132) at org.apache.arrow.vector.ipc.ArrowReader.initialize(ArrowReader.java:181) at org.apache.arrow.vector.ipc.ArrowReader.ensureInitialized(ArrowReader.java:172) at org.apache.arrow.vector.ipc.ArrowReader.getVectorSchemaRoot(ArrowReader.java:65) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:162) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:122) at org.apache.spark.api.python.BasePythonRunner$ReaderIterator.hasNext(PythonRunner.scala:406) at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec$$anon$2.<init>(ArrowEvalPythonExec.scala:98) …

12 pandas  apache-spark  pyspark  pyarrow 

Tôi đang khám phá hành vi của Spark khi tham gia một bảng vào chính nó. Tôi đang sử dụng Databricks. Kịch bản giả của tôi là: Đọc bảng bên ngoài dưới dạng dataframe A (các tệp cơ bản ở định dạng delta) Xác định khung dữ liệu B là …

10 apache-spark  pyspark  bigdata  azure-databricks  delta-lake 

Tôi đang xử lý Pandas DataFrame khá lớn - tập dữ liệu của tôi giống với dfthiết lập sau : import pandas as pd import numpy as np #--------------------------------------------- SIZING PARAMETERS : R1 = 20 # .repeat( repeats = R1 ) R2 = 10 # .repeat( repeats = R2 ) …

9 python  pandas  apache-spark  parallel-processing  dask