按日期拆分CSV或XLSX文件并设置最大文件大小。
创始人
2024-11-05 00:01:47
0

以下是一个示例代码,用于按日期拆分CSV或XLSX文件并设置最大文件大小:

import pandas as pd
import os

# 设置输入文件路径
input_file = 'input.csv'

# 设置输出文件夹路径
output_folder = 'output'

# 设置最大文件大小(以字节为单位)
max_file_size = 5000000

# 加载CSV或XLSX文件
df = pd.read_csv(input_file)  # 如果是XLSX文件,可以使用pd.read_excel()函数

# 按日期拆分文件
df['date'] = pd.to_datetime(df['date'])  # 假设日期列名为'date'
dates = df['date'].dt.date.unique()

for date in dates:
    # 筛选当前日期的数据
    df_date = df[df['date'].dt.date == date]
    
    # 检查文件大小是否超过最大文件大小
    file_size = df_date.memory_usage().sum()  # 获取数据框所占内存大小
    if file_size > max_file_size:
        # 如果文件大小超过最大文件大小,则拆分为多个文件
        num_files = int(file_size / max_file_size) + 1  # 计算所需的文件数量
        chunk_size = int(len(df_date) / num_files)  # 计算每个文件的行数
        
        for i in range(num_files):
            # 计算当前文件的起始和结束索引
            start_index = i * chunk_size
            end_index = start_index + chunk_size if i < num_files - 1 else len(df_date)
            
            # 创建子数据框
            df_chunk = df_date.iloc[start_index:end_index]
            
            # 生成输出文件名
            output_file = os.path.join(output_folder, f'{date}_{i+1}.csv')
            
            # 保存子数据框为CSV文件
            df_chunk.to_csv(output_file, index=False)  # 如果要保存为XLSX文件,可以使用.to_excel()函数
    else:
        # 如果文件大小未超过最大文件大小,则保存为单个文件
        output_file = os.path.join(output_folder, f'{date}.csv')
        df_date.to_csv(output_file, index=False)  # 如果要保存为XLSX文件,可以使用.to_excel()函数

以上代码将输入文件按日期拆分为多个CSV文件,并将它们保存在指定的输出文件夹中。如果拆分后的文件大小超过最大文件大小,则会将其拆分为多个文件。拆分后的文件命名方式为日期_编号.csv(例如,2022-01-01_1.csv),其中编号表示拆分后的文件序号。您可以根据需要调整输入文件路径、输出文件夹路径和最大文件大小的值。

相关内容

热门资讯

保存时出现了1个错误,导致这篇... 当保存文章时出现错误时,可以通过以下步骤解决问题:查看错误信息:查看错误提示信息可以帮助我们了解具体...
汇川伺服电机位置控制模式参数配... 1. 基本控制参数设置 1)设置位置控制模式   2)绝对值位置线性模...
不能访问光猫的的管理页面 光猫是现代家庭宽带网络的重要组成部分,它可以提供高速稳定的网络连接。但是,有时候我们会遇到不能访问光...
不一致的条件格式 要解决不一致的条件格式问题,可以按照以下步骤进行:确定条件格式的规则:首先,需要明确条件格式的规则是...
本地主机上的图像未显示 问题描述:在本地主机上显示图像时,图像未能正常显示。解决方法:以下是一些可能的解决方法,具体取决于问...
表格列调整大小出现问题 问题描述:表格列调整大小出现问题,无法正常调整列宽。解决方法:检查表格的布局方式是否正确。确保表格使...
表格中数据未显示 当表格中的数据未显示时,可能是由于以下几个原因导致的:HTML代码问题:检查表格的HTML代码是否正...
Android|无法访问或保存... 这个问题可能是由于权限设置不正确导致的。您需要在应用程序清单文件中添加以下代码来请求适当的权限:此外...
银河麒麟V10SP1高级服务器... 银河麒麟高级服务器操作系统简介: 银河麒麟高级服务器操作系统V10是针对企业级关键业务...
【NI Multisim 14...   目录 序言 一、工具栏 🍊1.“标准”工具栏 🍊 2.视图工具...