使用Spark中的union函数来连接数据。
示例代码:
#读取数据
df1 = spark.read.csv("file1.csv", header=True)
df2 = spark.read.csv("file2.csv", header=True)
#使用union函数连接数据
df_concatenated = df1.union(df2)
#将连接后的数据保存为新的文件
df_concatenated.write.csv("concatenated.csv", mode="overwrite", header=True)