Apache Spark dataframe的随机分割问题_编程开发

Apache Spark dataframe的随机分割问题

创始人

2024-09-04 21:00:37

0次

在Apache Spark中，可以使用randomSplit函数来对DataFrame进行随机分割。randomSplit函数接受一个数组作为参数，数组的元素是分割的比例。以下是一个示例代码：

from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 读取数据集
data = spark.read.csv("data.csv", header=True)

# 定义分割比例
splits = [0.6, 0.4]

# 随机分割DataFrame
train_data, test_data = data.randomSplit(splits)

# 打印分割后的数据集大小
print("训练集大小:", train_data.count())
print("测试集大小:", test_data.count())

上述代码假设数据集已经存在，并且以CSV格式存储，其中包含列名。首先，我们创建一个SparkSession对象。然后，使用read.csv函数读取数据集。接下来，我们定义了一个包含两个元素的数组splits，其中第一个元素表示训练集的比例，第二个元素表示测试集的比例。最后，我们使用randomSplit函数对DataFrame进行随机分割，并将结果保存在train_data和test_data中。通过count函数，我们可以打印出分割后的数据集大小。

上一篇：Apache Spark 从S3读取异常：Content-Length delimited message body 过早结束（期望值：2,250,236; 接收到：16,360）

下一篇：Apache Spark dataframe在写入parquet文件时不会重新分区。

Apache Spark dataframe的随机分割问题

相关内容

热门资讯