AWSGLUEPyspark作业意外删除S3文件夹 _编程开发

AWSGLUEPyspark作业意外删除S3文件夹

创始人

2024-09-25 16:01:52

0次

首先，您可以尝试禁用job commit选项以防止AWS Glue删除S3目录。要禁用job commit选项，请将以下代码添加到您的PySpark作业中：

from awsglue.context import GlueContext

glueContext = GlueContext(SparkContext.getOrCreate())

# Disable the job commit option
glueContext.setJobCommit(False)

如果禁用job commit选项不起作用，请尝试使用AWS CLI进行S3文件夹恢复。以下是AWS CLI命令的示例，用于复制先前保存在S3中的文件夹：

aws s3 cp --recursive s3://your-bucket-name/your-folder s3://your-bucket-name/your-folder-backup/

此外，您可以尝试设置AWS S3 Lifecycle规则，以确保S3文件夹不会被意外删除。以下是AWS S3控制台中设置Lifecycle规则的示例：

转到S3控制台并选择您的S3存储桶。
单击“Lifecycle”选项卡，然后单击“添加生命周期规则”。
输入规则名称，并为“转换为标准IA存储类型”和“转换为 Glacier 存储类型”指定有效期。
保存规则。

通过上述方法，您可以避免AWS Glue Pyspark作业意外删除S3文件夹。

上一篇：AWSGluePySpark上下文修改日期格式的方法

下一篇：AWSGluePythonFileNotFoundError:[Errno2]Nosuchfileordirector（AWSGluePython文件未找到错误：[Errno2]没有这样的文件或目录）

AWSGLUEPyspark作业意外删除S3文件夹

相关内容

热门资讯