AutoloaderDatabricks中的FileDiscovery对于流作业不起作用，Glob模式无效。 _编程开发

AutoloaderDatabricks中的FileDiscovery对于流作业不起作用，Glob模式无效。

创始人

2024-09-23 08:01:43

0次

Autoloader Databricks的FileDiscovery功能允许Databricks自动加载数据并进行流式处理。然而，有时候Glob模式不能正确地匹配所需的文件。为了解决这个问题，我们可以使用SparkContext的textFile()函数直接读取文件并转换为DataFrame。

以下是使用SparkContext的代码示例：

from pyspark.sql.functions import input_file_name

# create SparkContext
sc = spark.sparkContext

# read files into RDD
rdd = sc.textFile("path/to/files/2019/*.csv")

# convert RDD to DataFrame with input_file_name column
df = rdd.toDF("value").withColumn("filename", input_file_name())

在上述示例中，首先创建SparkContext，然后使用textFile()函数读取所需的文件列表并将它们转换为RDD。接下来，将RDD转换为DataFrame，并通过input_file_name()函数添加“filename”列以包含文件名。

这样，我们就可以通过文件名对数据进行分组或过滤等操作。

上一篇：Autoloader:emptystructs

下一篇：Autoloader检查点保留

AutoloaderDatabricks中的FileDiscovery对于流作业不起作用，Glob模式无效。

相关内容

热门资讯