Apache Spark MLlib提供了标准化工具StandardScaler，但是它的标准差是通过除以样本标准差得到的，而不是通过除以总体标准差得到的z-score。如果想使用z-score进行标准化，可以使用以下代码：

from pyspark.ml.feature import StandardScaler
from pyspark.sql.functions import sqrt, mean

# 计算所有样本的平均值和标准差
mean_std = df.select(
    mean('col1').alias('mean'),
    sqrt(variance('col1') * (count('col1') / (count('col1') - 1))).alias('std')
).first()

# 将mean和std作为转换器的参数，使用z-score进行标准化
scaler = StandardScaler(inputCol='col1', outputCol='scaled_col1', withMean=True, withStd=False,
                        mean=mean_std.mean, std=mean_std.std)
scaled_df = scaler.fit(df).transform(df)

在上述代码中，首先使用Spark SQL中的函数计算所有样本的平均值和标准差（需要注意的是，这里使用无偏样本方差校正系数进行调整），然后将计算得到的mean和std作为转换器StandardScaler的参数，设置withMean为True表示使用z-score进行标准化，withStd为False表示不再计算样本标准差。最后将转换器应用于原始数据集，得到标准化后的新数据集。