AWSGlue作业（pyspark脚本）执行时出现错误：“输入路径不存在”，导致阻塞执行。 _编程开发

AWSGlue作业（pyspark脚本）执行时出现错误：“输入路径不存在”，导致阻塞执行。

创始人

2024-09-25 18:32:05

0次

该错误通常发生在AWS Glue作业中，当作业脚本试图访问不存在的路径时，会触发该错误。为了解决这个问题，您可以执行以下步骤：

确定输入路径是否存在，可以通过AWS CLI或者AWS管理界面验证该路径。
确保要访问的路径与作业脚本中的路径匹配。
如果路径中包含变量，则确保变量在作业中正确设置。

以下是一个示例，演示如何在pyspark作业中访问S3中的CSV文件：

from pyspark import SparkContext
from pyspark.sql import SparkSession

# Create Spark Session
spark = SparkSession.builder.appName("ReadCSVData").getOrCreate()

# Set input file path
input_path = "s3://mybucket/input_data.csv"

# Read the CSV file into a dataframe
df = spark.read.csv(input_path, header=True, inferSchema=True)

# Show the data
df.show()

在上面的示例中，“input_path”指向存储在S3存储桶中的CSV文件。如果该路径不存在，则会触发与初始问题相同的错误。请确保在作业脚本中使用正确的路径进行调用，如果您在访问S3存储桶而出现问题，请检查AWS凭证是否正确配置。

上一篇：AWSGlue作业中连接是否必需？

下一篇：AWSGlue作业：最佳实践如何处理新进数据？

AWSGlue作业（pyspark脚本）执行时出现错误：“输入路径不存在”，导致阻塞执行。

相关内容

热门资讯