Làm thế nào để truyền tham số -D hoặc biến môi trường cho công việc Spark?

Tôi muốn thay đổi cấu hình Typeafe của công việc Spark trong môi trường dev / prod. Đối với tôi, dường như cách dễ nhất để đạt được điều này là vượt qua -Dconfig.resource=ENVNAMEcông việc. Sau đó, thư viện cấu hình Typeafe sẽ thực hiện công việc cho tôi.

Có cách nào để chuyển tùy chọn đó trực tiếp vào công việc không? Hoặc có thể có cách tốt hơn để thay đổi cấu hình công việc trong thời gian chạy?

BIÊN TẬP:

• Không có gì xảy ra khi tôi thêm --conf "spark.executor.extraJavaOptions=-Dconfig.resource=dev"tùy chọn vào lệnh spark-submit .
• Tôi nhận được Error: Unrecognized option '-Dconfig.resource=dev'.khi tôi chuyển -Dconfig.resource=devđến lệnh spark-submit .

Thay đổi spark-submitdòng lệnh thêm ba tùy chọn:

• --files <location_to_your_app.conf>
• --conf 'spark.executor.extraJavaOptions=-Dconfig.resource=app'
• --conf 'spark.driver.extraJavaOptions=-Dconfig.resource=app'

Đây là chương trình tia lửa của tôi chạy với tùy chọn java bổ sung

/home/spark/spark-1.6.1-bin-hadoop2.6/bin/spark-submit \
--files /home/spark/jobs/fact_stats_ad.conf \
--conf spark.executor.extraJavaOptions=-Dconfig.fuction.conf \
--conf 'spark.driver.extraJavaOptions=-Dalluxio.user.file.writetype.default=CACHE_THROUGH -Dalluxio.user.file.write.location.policy.class=alluxio.client.file.policy.MostAvailableFirstPolicy -Dconfig.file=/home/spark/jobs/fact_stats_ad.conf' \
--class jobs.DiskDailyJob \
--packages com.databricks:spark-csv_2.10:1.4.0 \
--jars /home/spark/jobs/alluxio-core-client-1.2.0-RC2-jar-with-dependencies.jar \
--driver-memory 2g \
/home/spark/jobs/convert_to_parquet.jar \
AD_COOKIE_REPORT FACT_AD_STATS_DAILY | tee /data/fact_ad_stats_daily.log

như bạn có thể thấy tệp cấu hình tùy chỉnh --files /home/spark/jobs/fact_stats_ad.conf

các tùy chọn java thực thi --conf spark.executor.extraJavaOptions=-Dconfig.fuction.conf

các tùy chọn java trình điều khiển. --conf 'spark.driver.extraJavaOptions=-Dalluxio.user.file.writetype.default=CACHE_THROUGH -Dalluxio.user.file.write.location.policy.class=alluxio.client.file.policy.MostAvailableFirstPolicy -Dconfig.file=/home/spark/jobs/fact_stats_ad.conf'

Hy vọng nó có thể giúp.

Tôi đã gặp rất nhiều vấn đề với việc truyền tham số -D cho trình thực thi và trình điều khiển, tôi đã thêm một trích dẫn từ bài đăng trên blog của mình về điều đó: "Cách phù hợp để truyền tham số là thông qua thuộc tính:“ spark.driver.extraJavaOptions”và“ spark.executor.extraJavaOptions”: Tôi đã chuyển cả thuộc tính cấu hình log4J và tham số mà tôi cần cho các cấu hình. (Đối với Trình điều khiển, tôi chỉ có thể truyền cấu hình log4j). Ví dụ (được viết trong tệp thuộc tính được chuyển trong spark-submit với “- thuộc tính-tệp ”):“

spark.driver.extraJavaOptions –Dlog4j.configuration=file:///spark/conf/log4j.properties -
spark.executor.extraJavaOptions –Dlog4j.configuration=file:///spark/conf/log4j.properties -Dapplication.properties.file=hdfs:///some/path/on/hdfs/app.properties
spark.application.properties.file hdfs:///some/path/on/hdfs/app.properties

“

Bạn có thể đọc bài đăng trên blog của tôi về các cấu hình tổng thể của tia lửa. Tôi cũng đang chạy trên Yarn.

--files <location_to_your_app.conf> --conf 'spark.executor.extraJavaOptions=-Dconfig.resource=app' --conf 'spark.driver.extraJavaOptions=-Dconfig.resource=app'

Nếu bạn viết theo cách này, cái sau --confsẽ ghi đè cái trước, bạn có thể xác minh điều này bằng cách xem sparkUI sau khi công việc bắt đầu trong Environmenttab.

vì vậy cách chính xác là đặt các tùy chọn dưới cùng một dòng như thế này: --conf 'spark.executor.extraJavaOptions=-Da=b -Dc=d' nếu bạn làm điều này, bạn có thể thấy tất cả cài đặt của mình sẽ được hiển thị dưới sparkUI.

Tôi đang khởi động ứng dụng Spark của mình thông qua lệnh spark-submit được khởi chạy từ bên trong một ứng dụng Scala khác. Vì vậy, tôi có một Mảng như

Array(".../spark-submit", ..., "--conf", confValues, ...)

ở đâu confValues:

• cho yarn-clusterchế độ:
  "spark.driver.extraJavaOptions=-Drun.mode=production -Dapp.param=..."
• cho local[*]chế độ:
  "run.mode=development"

Tuy nhiên, sẽ hơi khó hiểu khi (không) thoát khỏi dấu ngoặc kép và dấu cách. Bạn có thể kiểm tra giao diện web Spark để biết các giá trị thuộc tính hệ thống.

spark-submit --driver-java-options "-Denv=DEV -Dmode=local" --class co.xxx.datapipeline.jobs.EventlogAggregator target/datapipeline-jobs-1.0-SNAPSHOT.jar

Lệnh trên phù hợp với tôi:

-Denv=DEV=> để đọc tệp thuộc tính DEV env và
-Dmode=local=> để tạo SparkContext trong local - .setMaster ("local [*]")

Sử dụng phương pháp như trong lệnh dưới đây, có thể hữu ích cho bạn -

spark-submit --master local [2] --conf 'spark.driver.extraJavaOptions = Dlog4j.configuration = file: /tmp/log4j.properties' --conf 'spark.executor.extraJavaOptions = -Dlog4j.configuration = file: /tmp/log4j.properties ' --class com.test.spark.application.TestSparkJob target / application-0.0.1-SNAPSHOT-jar-with-dependencies.jar prod

Tôi đã thử và nó hiệu quả với tôi, tôi cũng khuyên bạn nên xem qua tiêu đề bên dưới bài đăng spark thực sự hữu ích - https://spark.apache.org/docs/latest/running-on-yarn.html

Tôi ban đầu có tệp cấu hình này:

my-app {
  environment: dev
  other: xxx
}

Đây là cách tôi đang tải cấu hình của mình trong mã scala tia lửa:

val config = ConfigFactory.parseFile(File<"my-app.conf">)
  .withFallback(ConfigFactory.load())
  .resolve
  .getConfig("my-app")

Với thiết lập này, bất chấp tài liệu Cấu hình an toàn loại và tất cả các câu trả lời khác nói gì, tính năng ghi đè thuộc tính hệ thống không hoạt động với tôi khi tôi khởi chạy công việc spark của mình như vậy:

spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --name my-app \
  --driver-java-options='-XX:MaxPermSize=256M -Dmy-app.environment=prod' \
  --files my-app.conf \
  my-app.jar

Để nó hoạt động, tôi phải thay đổi tệp cấu hình của mình thành:

my-app {
  environment: dev
  environment: ${?env.override}
  other: xxx
}

và sau đó khởi chạy nó như vậy:

spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --name my-app \
  --driver-java-options='-XX:MaxPermSize=256M -Denv.override=prod' \
  --files my-app.conf \
  my-app.jar