DataX-Web 解决任务批量构建Bug
创始人
2024-03-29 18:42:58
0

前文回顾:
《DataX 及 DataX-Web 安装使用详解》
《DataX 源码调试及打包》
《DataX-Web 源码调试及打包》
《DataX 二次开发支持 Oracle 更新数据》


在使用任务批量构建功能过程中,偶然发现异构数据库之间表的对应关系错乱,最终排查是由于两边表名大小写导致 datax-web 对表名排序后顺序没对应上,因为大小写的ASCII码不一样,就比如 mysql 导入到 oracle,我们可以做如下改动。

方法一:排序时忽略大小写。

方法二:两边先全部转大写或小写排序,再取出原表名。如下

修改com.wugui.datax.admin.service.impl.DatasourceQueryServiceImpl类 的 getTables() 方法

@Override
public List getTables(Long id, String tableSchema) throws IOException {//获取数据源对象JobDatasource datasource = jobDatasourceService.getById(id);//queryTool组装if (ObjectUtil.isNull(datasource)) {return Lists.newArrayList();}if (JdbcConstants.HBASE.equals(datasource.getDatasource())) {return new HBaseQueryTool(datasource).getTableNames();} else if (JdbcConstants.MONGODB.equals(datasource.getDatasource())) {return new MongoDBQueryTool(datasource).getCollectionNames(datasource.getDatabaseName());} else if (JdbcConstants.MYSQL.equals(datasource.getDatasource()) || JdbcConstants.ORACLE.equals(datasource.getDatasource())) {//如果是MYSQL或者ORACLE 对表名重新排序BaseQueryTool qTool = QueryToolFactory.getByDbType(datasource);if (StringUtils.isBlank(tableSchema)) {List list = qTool.getTableNames();return parseList(list);} else {List list = qTool.getTableNames(tableSchema);return parseList(list);}} else {BaseQueryTool qTool = QueryToolFactory.getByDbType(datasource);if (StringUtils.isBlank(tableSchema)) {return qTool.getTableNames();} else {return qTool.getTableNames(tableSchema);}}
}/**
* 将集合内容大写并重新排序,然后返回原表名
*
* @param list
* @return
* @date 20220821 12"52
*/
private List parseList(List list) {List upList = new ArrayList<>();List resultList = new ArrayList<>();Map map=new HashMap<>();for (String str : list) {//转为大写加入新集合String upStr = str.toUpperCase();upList.add(upStr);map.put(upStr,str);}//对集合重新排序Collections.sort(upList);//顺序取出原表名for (String upstr : upList) {String oldStr=map.get(upstr);resultList.add(oldStr);}return resultList;
}


更多技术干货,请持续关注程序员大佬超。
原创不易,转载请注明出处。

相关内容

热门资讯

银河麒麟V10SP1高级服务器... 银河麒麟高级服务器操作系统简介: 银河麒麟高级服务器操作系统V10是针对企业级关键业务...
【NI Multisim 14...   目录 序言 一、工具栏 🍊1.“标准”工具栏 🍊 2.视图工具...
AWSECS:访问外部网络时出... 如果您在AWS ECS中部署了应用程序,并且该应用程序需要访问外部网络,但是无法正常访问,可能是因为...
不能访问光猫的的管理页面 光猫是现代家庭宽带网络的重要组成部分,它可以提供高速稳定的网络连接。但是,有时候我们会遇到不能访问光...
AWSElasticBeans... 在Dockerfile中手动配置nginx反向代理。例如,在Dockerfile中添加以下代码:FR...
Android|无法访问或保存... 这个问题可能是由于权限设置不正确导致的。您需要在应用程序清单文件中添加以下代码来请求适当的权限:此外...
月入8000+的steam搬砖... 大家好,我是阿阳 今天要给大家介绍的是 steam 游戏搬砖项目,目前...
​ToDesk 远程工具安装及... 目录 前言 ToDesk 优势 ToDesk 下载安装 ToDesk 功能展示 文件传输 设备链接 ...
北信源内网安全管理卸载 北信源内网安全管理是一款网络安全管理软件,主要用于保护内网安全。在日常使用过程中,卸载该软件是一种常...
AWS管理控制台菜单和权限 要在AWS管理控制台中创建菜单和权限,您可以使用AWS Identity and Access Ma...