使用SparkContext.stop()方法,在程序运行结束后手动关闭SparkContext对象,以释放内存。
示例代码:
from pyspark import SparkContext
sc = SparkContext("local", "demo")
sc.stop()
上一篇:本地模式下的Spark提交作业失败,但没有显示任何错误。
下一篇:本地模式运行Spark应用程序的资源消耗