100000行级别数据的 Excel 导入优化

创始人

2024-03-16 07:16:48

0次

需求说明

项目中有一个 Excel 导入的需求：缴费记录导入由实施 / 用户将别的系统的数据填入我们系统中的 Excel 模板，应用将文件内容读取、校对、转换之后产生欠费数据、票据、票据详情并存储到数据库中。

在接手之前可能由于之前导入的数据量并不多没有对效率有过高的追求。但是到了 4.0 版本，预估导入时Excel 行数会是 10w+ 级别，而往数据库插入的数据量是大于 3n 的，也就是说 10w 行的 Excel，则至少向数据库插入 30w 行数据。因此优化原来的导入代码是势在必行的。逐步分析和优化了导入的代码，使之在百秒内完成(最终性能瓶颈在数据库的处理速度上，测试服务器 4g 内存不仅放了数据库，还放了很多微服务应用。处理能力不太行)。具体的过程如下，每一步都有列出影响性能的问题和解决的办法。

迭代记录

1. 第一版：POI + 逐行查询校对 + 逐行插入

这个版本是最古老的版本，采用原生 POI，手动将 Excel 中的行映射成 ArrayList 对象，然后存储到 List，代码执行的步骤如下： 1、手动读取 Excel 成 List 2、循环遍历，在循环中进行以下步骤 3、检验字段长度一些查询数据库的校验，比如校验当前行欠费对应的房屋是否在系统中存在，需要查询房屋表写入当前行数据 4、返回执行结果，如果出错 / 校验不合格。则返回提示信息并回滚数据显而易见的，

上一篇：Mysql进阶学习（八）DDL语言+数据类型和DTL语言

下一篇：Qt扫盲-Qt Designer 设计师使用总结

100000行级别数据的 Excel 导入优化

迭代记录

1. 第一版：POI + 逐行查询校对 + 逐行插入

相关内容

热门资讯