Câu hỏi được gắn thẻ «yarn»

Tôi đang cố gắng tìm hiểu mối quan hệ của số lượng lõi và số lượng nhân viên thực thi khi chạy một công việc Spark trên YARN. Môi trường thử nghiệm như sau: Số nút dữ liệu: 3 Thông số máy nút dữ liệu: CPU: Core i7-4790 (# lõi: …

192 hadoop  apache-spark  yarn 

Tôi có một ứng dụng Spark đang chạy trong đó nó chiếm tất cả các lõi mà các ứng dụng khác của tôi sẽ không được phân bổ bất kỳ tài nguyên nào. Tôi đã thực hiện một số nghiên cứu nhanh và mọi người đề xuất sử dụng YARN …

101 apache-spark  yarn  pyspark 

Trong Hadoop v1, tôi đã chỉ định mỗi 7 khe cắm bản đồ và trình thu gọn với kích thước 1GB, trình liên kết và trình giảm tốc của tôi chạy tốt. Máy mình có bộ nhớ 8G, vi xử lý 8 nhân. Bây giờ với YARN, khi chạy cùng …

85 hadoop  mapreduce  yarn  mrv2 

Hiện tại, tôi có một công việc Hadoop tạo ra các quầy với một cái tên khá lớn. Ví dụ, sau một: stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits. Bộ đếm này được cắt ngắn trên giao diện web và khi getName()gọi phương thức. Tôi đã phát hiện ra rằng Hadoop có giới hạn về tên …

79 java  hadoop  mapreduce  yarn 

Tôi mới sử dụng Apache Spark và tôi vừa biết rằng Spark hỗ trợ ba loại cụm: Độc lập - nghĩa là Spark sẽ quản lý cụm riêng của nó YARN - sử dụng trình quản lý tài nguyên YARN của Hadoop Mesos - Dự án quản lý tài nguyên …

76 apache-spark  yarn  mesos  apache-spark-standalone