在使用AS或ALIAS时,需要先将文件读取成DataFrame格式,再对其进行重命名或别名的操作。如下所示:
import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder()
.appName("Test")
.master("local[*]")
.getOrCreate()
val df = spark.read.format("csv")
.option("header", "true")
.load("path/to/file.csv")
// 对DataFrame进行重命名
val df1 = df.withColumnRenamed("old_column_name", "new_column_name")
// 对DataFrame添加别名
val df2 = df.alias("alias_name")
在上述代码中,我们先使用SparkSession
对象将数据读取为DataFrame格式,然后再使用withColumnRenamed()
方法对DataFrame中的某一列进行重命名操作,或使用alias()
方法给DataFrame添加一个别名。这个过程是在DataFrame对象上进行的,而不是在DataFrameReader对象上进行的。