AWSGlue-getSink()在glue_context.purge_s3_path之后抛出'找不到文件或目录”的错误 _编程开发

AWSGlue-getSink()在glue_context.purge_s3_path之后抛出'找不到文件或目录”的错误

创始人

2024-09-25 14:03:01

0次

这个问题通常是由于AWS Glue作业执行环境中s3_path被purge了，导致无法找到目录或文件。为了解决这个问题，可以在getSink()方法调用之前再次创建s3_path。

以下是一些可能有效的示例代码：

# 删除S3目录
glue_context.purge_s3_path(s3_path)

# 其他流程

# 重新创建S3目录
s3 = boto3.resource('s3')
s3_bucket = s3.Bucket(s3_bucket_name)
s3_bucket.put_object(Key=s3_key)
s3_path = "s3://{}/{}".format(s3_bucket_name, s3_key)

这里，我们首先删除s3_path，然后执行其他的任务，最后重新创建s3_path以解决问题。在重新创建s3_path时，我们使用了boto3库中的resouce()方法来获取S3对象，然后使用put_object()方法来创建一个新的对象。最后，我们重新定义s3_path以确保它指向正确的目录。

请注意，这只是一个例子，您需要根据自己的代码和要求来进行修改。

上一篇：AWSGlue-disablingbookmarksforsomeofsourcesinthejob

下一篇：AWSGlue-将自定义的S3分区转换成单个表格

AWSGlue-getSink()在glue_context.purge_s3_path之后抛出'找不到文件或目录”的错误

相关内容

热门资讯