DataX-Web 解决任务批量构建Bug
创始人
2024-03-29 18:42:58
0

前文回顾:
《DataX 及 DataX-Web 安装使用详解》
《DataX 源码调试及打包》
《DataX-Web 源码调试及打包》
《DataX 二次开发支持 Oracle 更新数据》


在使用任务批量构建功能过程中,偶然发现异构数据库之间表的对应关系错乱,最终排查是由于两边表名大小写导致 datax-web 对表名排序后顺序没对应上,因为大小写的ASCII码不一样,就比如 mysql 导入到 oracle,我们可以做如下改动。

方法一:排序时忽略大小写。

方法二:两边先全部转大写或小写排序,再取出原表名。如下

修改com.wugui.datax.admin.service.impl.DatasourceQueryServiceImpl类 的 getTables() 方法

@Override
public List getTables(Long id, String tableSchema) throws IOException {//获取数据源对象JobDatasource datasource = jobDatasourceService.getById(id);//queryTool组装if (ObjectUtil.isNull(datasource)) {return Lists.newArrayList();}if (JdbcConstants.HBASE.equals(datasource.getDatasource())) {return new HBaseQueryTool(datasource).getTableNames();} else if (JdbcConstants.MONGODB.equals(datasource.getDatasource())) {return new MongoDBQueryTool(datasource).getCollectionNames(datasource.getDatabaseName());} else if (JdbcConstants.MYSQL.equals(datasource.getDatasource()) || JdbcConstants.ORACLE.equals(datasource.getDatasource())) {//如果是MYSQL或者ORACLE 对表名重新排序BaseQueryTool qTool = QueryToolFactory.getByDbType(datasource);if (StringUtils.isBlank(tableSchema)) {List list = qTool.getTableNames();return parseList(list);} else {List list = qTool.getTableNames(tableSchema);return parseList(list);}} else {BaseQueryTool qTool = QueryToolFactory.getByDbType(datasource);if (StringUtils.isBlank(tableSchema)) {return qTool.getTableNames();} else {return qTool.getTableNames(tableSchema);}}
}/**
* 将集合内容大写并重新排序,然后返回原表名
*
* @param list
* @return
* @date 20220821 12"52
*/
private List parseList(List list) {List upList = new ArrayList<>();List resultList = new ArrayList<>();Map map=new HashMap<>();for (String str : list) {//转为大写加入新集合String upStr = str.toUpperCase();upList.add(upStr);map.put(upStr,str);}//对集合重新排序Collections.sort(upList);//顺序取出原表名for (String upstr : upList) {String oldStr=map.get(upstr);resultList.add(oldStr);}return resultList;
}


更多技术干货,请持续关注程序员大佬超。
原创不易,转载请注明出处。

相关内容

热门资讯

保存时出现了1个错误,导致这篇... 当保存文章时出现错误时,可以通过以下步骤解决问题:查看错误信息:查看错误提示信息可以帮助我们了解具体...
汇川伺服电机位置控制模式参数配... 1. 基本控制参数设置 1)设置位置控制模式   2)绝对值位置线性模...
不能访问光猫的的管理页面 光猫是现代家庭宽带网络的重要组成部分,它可以提供高速稳定的网络连接。但是,有时候我们会遇到不能访问光...
表格中数据未显示 当表格中的数据未显示时,可能是由于以下几个原因导致的:HTML代码问题:检查表格的HTML代码是否正...
本地主机上的图像未显示 问题描述:在本地主机上显示图像时,图像未能正常显示。解决方法:以下是一些可能的解决方法,具体取决于问...
表格列调整大小出现问题 问题描述:表格列调整大小出现问题,无法正常调整列宽。解决方法:检查表格的布局方式是否正确。确保表格使...
不一致的条件格式 要解决不一致的条件格式问题,可以按照以下步骤进行:确定条件格式的规则:首先,需要明确条件格式的规则是...
Android|无法访问或保存... 这个问题可能是由于权限设置不正确导致的。您需要在应用程序清单文件中添加以下代码来请求适当的权限:此外...
【NI Multisim 14...   目录 序言 一、工具栏 🍊1.“标准”工具栏 🍊 2.视图工具...
银河麒麟V10SP1高级服务器... 银河麒麟高级服务器操作系统简介: 银河麒麟高级服务器操作系统V10是针对企业级关键业务...