Câu hỏi được gắn thẻ «partitioning»

Trong Kafka, tôi chỉ muốn sử dụng một nhà môi giới duy nhất, một chủ đề duy nhất và một phân vùng duy nhất có một nhà sản xuất và nhiều người tiêu dùng (mỗi người tiêu dùng nhận được bản sao dữ liệu của riêng họ từ nhà môi …

134 partitioning  apache-zookeeper  producer-consumer  apache-kafka  broker 

Tôi đã bắt đầu sử dụng Spark SQL và DataFrames trong Spark 1.4.0. Tôi muốn xác định một trình phân vùng tùy chỉnh trên DataFrames, trong Scala, nhưng không thấy cách thực hiện điều này. Một trong những bảng dữ liệu tôi đang làm việc chứa một danh sách các …

128 scala  apache-spark  dataframe  apache-spark-sql  partitioning 

Tôi đọc trên tài liệu của HashPartitioner. Thật không may, không có gì được giải thích nhiều ngoại trừ các lệnh gọi API. Tôi đang giả định rằng HashPartitionerphân vùng tập hợp phân tán dựa trên băm của các khóa. Ví dụ: nếu dữ liệu của tôi giống như (1,1), …

82 scala  apache-spark  rdd  partitioning