DataX-Web 解决任务批量构建Bug
创始人
2024-03-29 18:42:58
0

前文回顾:
《DataX 及 DataX-Web 安装使用详解》
《DataX 源码调试及打包》
《DataX-Web 源码调试及打包》
《DataX 二次开发支持 Oracle 更新数据》


在使用任务批量构建功能过程中,偶然发现异构数据库之间表的对应关系错乱,最终排查是由于两边表名大小写导致 datax-web 对表名排序后顺序没对应上,因为大小写的ASCII码不一样,就比如 mysql 导入到 oracle,我们可以做如下改动。

方法一:排序时忽略大小写。

方法二:两边先全部转大写或小写排序,再取出原表名。如下

修改com.wugui.datax.admin.service.impl.DatasourceQueryServiceImpl类 的 getTables() 方法

@Override
public List getTables(Long id, String tableSchema) throws IOException {//获取数据源对象JobDatasource datasource = jobDatasourceService.getById(id);//queryTool组装if (ObjectUtil.isNull(datasource)) {return Lists.newArrayList();}if (JdbcConstants.HBASE.equals(datasource.getDatasource())) {return new HBaseQueryTool(datasource).getTableNames();} else if (JdbcConstants.MONGODB.equals(datasource.getDatasource())) {return new MongoDBQueryTool(datasource).getCollectionNames(datasource.getDatabaseName());} else if (JdbcConstants.MYSQL.equals(datasource.getDatasource()) || JdbcConstants.ORACLE.equals(datasource.getDatasource())) {//如果是MYSQL或者ORACLE 对表名重新排序BaseQueryTool qTool = QueryToolFactory.getByDbType(datasource);if (StringUtils.isBlank(tableSchema)) {List list = qTool.getTableNames();return parseList(list);} else {List list = qTool.getTableNames(tableSchema);return parseList(list);}} else {BaseQueryTool qTool = QueryToolFactory.getByDbType(datasource);if (StringUtils.isBlank(tableSchema)) {return qTool.getTableNames();} else {return qTool.getTableNames(tableSchema);}}
}/**
* 将集合内容大写并重新排序,然后返回原表名
*
* @param list
* @return
* @date 20220821 12"52
*/
private List parseList(List list) {List upList = new ArrayList<>();List resultList = new ArrayList<>();Map map=new HashMap<>();for (String str : list) {//转为大写加入新集合String upStr = str.toUpperCase();upList.add(upStr);map.put(upStr,str);}//对集合重新排序Collections.sort(upList);//顺序取出原表名for (String upstr : upList) {String oldStr=map.get(upstr);resultList.add(oldStr);}return resultList;
}


更多技术干货,请持续关注程序员大佬超。
原创不易,转载请注明出处。

相关内容

热门资讯

前端-session、jwt 目录:   (1)session (2&#x...
linux入门---制作进度条 了解缓冲区 我们首先来看看下面的操作: 我们首先创建了一个文件并在这个文件里面添加了...
关于测试,我发现了哪些新大陆 关于测试 平常也只是听说过一些关于测试的术语,但并没有使用过测试工具。偶然看到编程老师...
前缀和与对数器与二分法 1. 前缀和 假设有一个数组,我们想大量频繁的去访问L到R这个区间的和,...
nodejs:本地安装nvm实... 一、背景-使用不同版本node的原因 vue3+ts、nuxt3版本,node...
JAVA集合知识整理 Java集合知识整理 HashMap相关 HashMap的底层数据结构:jdk1.8之...
无刷直流电机介绍及单片机控制实... 无刷直流电机介绍及单片机控制实例前言基本概念优势与劣势使用寿命基本结构使用单片机控制实例电子调速器&...
fwdiary(2) dp2 1.传纸条  AcWing 275. 传纸条 - AcWing 走两条路,走一条最大的...
常用的DOS命令 常用的DOS命令 DOS(Disk Operating System,磁...
<C++> 类和对象(下) 1.const成员函数将const修饰的“成员函数”称之为const成员函数,cons...