不确定如何将 .env 文件传递给 Dataproc Job Submit 调用_编程开发

不确定如何将 .env 文件传递给 Dataproc Job Submit 调用

创始人

2024-12-27 16:32:06

0次

当使用 gcloud 命令行工具将作业提交到 Dataproc 时，可以使用 --properties 参数将环境变量传递给作业。

首先，创建一个名为 .env 的文件，其中包含要传递给作业的环境变量。例如：

ENV_VAR_1=value1
ENV_VAR_2=value2

然后，使用以下命令将作业提交到 Dataproc：

gcloud dataproc jobs submit spark --cluster= \
    --properties=spark.executorEnv.ENV_VAR_1=$ENV_VAR_1,spark.executorEnv.ENV_VAR_2=$ENV_VAR_2 \
    --class= --jars= --

在上述命令中，将替换为要将作业提交到的 Dataproc 集群的名称，替换为要运行的作业的主类，替换为要运行的作业的 JAR 文件的路径，替换为作业的参数。

这将将 .env 文件中的环境变量传递给作业，并将它们设置为 Spark 执行器的环境变量。

注意：这种方法只适用于提交 Spark 作业。如果要提交其他类型的作业，例如 PySpark 作业或 Hive 作业，则需要相应调整 --class 和 --jars 参数，并确保作业能够正确读取环境变量。

上一篇：不确定如何检查在SELECT（CASE .. END）中执行的部分。

下一篇：不确定如何将 Radio 组添加到已经存在的 Formik 表单中，该表单还使用了 Material UI。

不确定如何将 .env 文件传递给 Dataproc Job Submit 调用

相关内容

热门资讯