要保留 Spark 节点的历史记录,你可以使用以下两种方法:
方法一:通过配置文件设置
打开 Spark 的配置文件 spark-defaults.conf
(或者 spark-env.sh
,取决于你的 Spark 版本和配置文件的位置)。
添加以下配置参数:
spark.eventLog.enabled true
spark.eventLog.dir file:/path/to/event-log
spark.history.fs.logDirectory file:/path/to/history/logs
这些参数分别表示:
spark.eventLog.enabled
:启用事件日志记录。spark.eventLog.dir
:指定事件日志记录的目录。你需要将 /path/to/event-log
替换为实际的目录路径。spark.history.fs.logDirectory
:指定历史记录日志存储的目录。你需要将 /path/to/history/logs
替换为实际的目录路径。保存配置文件并重新启动 Spark 集群。
方法二:通过命令行参数设置
在启动 Spark 应用程序时,使用以下命令行参数:
spark.eventLog.enabled=true \
spark.eventLog.dir=file:/path/to/event-log \
spark.history.fs.logDirectory=file:/path/to/history/logs \
spark.history.provider=org.apache.spark.deploy.history.FsHistoryProvider
这些参数的含义与上述方法一中的参数相同。
提交应用程序并等待其完成。
无论使用哪种方法,Spark 都会将事件日志和历史记录写入指定的目录中。你可以使用 Spark 的历史服务器(Spark History Server)来查看和分析这些日志。