AWSEMR是否能在单个集群中并行运行多个Spark应用程序？ _编程开发

AWSEMR是否能在单个集群中并行运行多个Spark应用程序？

创始人

2024-09-25 10:02:57

0次

是的，AWS EMR可以在单个集群中并行运行多个Spark应用程序。以下是一个示例：

在EMR集群中创建多个Spark应用程序，每个应用程序使用不同的应用程序ID：

spark-submit --master yarn --deploy-mode cluster --name app1 --class com.example.App1 s3://path/to/your/app1.jar
spark-submit --master yarn --deploy-mode cluster --name app2 --class com.example.App2 s3://path/to/your/app2.jar

在创建的多个Spark应用程序中，在应用程序代码中设置Spark的配置：

val conf = new SparkConf()
  .setAppName("app1")
  .set( "spark.driver.allowMultipleContexts", "true" )
val sc = new SparkContext(conf)

在EMR控制台中，通过监视UI和应用程序提交的运行日志来监视多个Spark应用程序的执行情况。

请注意，尽管在单个EMR集群中可以并行运行多个Spark应用程序，但不同的应用程序可能会竞争相同的资源，例如内存和计算资源。为避免资源冲突，请在为每个应用程序分配资源时使用适当的调整策略。

上一篇：AWSEMR上运行Spark应用程序时无法运行MapReduce作业。

下一篇：AWSEMR是否通常会为S3模型文件发送大量的list和head请求?

AWSEMR是否能在单个集群中并行运行多个Spark应用程序？

相关内容

热门资讯