使用Python中的yield关键字生成器函数,对数据进行分块处理。
示例代码如下:
def chunked_data(data, chunk_size):
"""
分块返回数据
:param data: 数据
:param chunk_size: 分块大小
:return: 生成器,返回分块后的数据块
"""
for i in range(0, len(data), chunk_size):
yield data[i:i+chunk_size]
# 将数据分成5个一组进行处理
data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
chunk_size = 5
for chunk in chunked_data(data, chunk_size):
print(chunk)
运行结果为:
[1, 2, 3, 4, 5]
[6, 7, 8, 9, 10]
以上代码通过生成器函数,将数据分块处理,便于遍历不同大小的数据块。
上一篇:遍历数据集,使用ifelse检查列的值以设置新的列(因子)。
下一篇:遍历数据框