前文回顾:
《DataX 及 DataX-Web 安装使用详解》
《DataX 源码调试及打包》
《DataX-Web 源码调试及打包》
《DataX 二次开发支持 Oracle 更新数据》
在使用任务批量构建功能过程中,偶然发现异构数据库之间表的对应关系错乱,最终排查是由于两边表名大小写导致 datax-web 对表名排序后顺序没对应上,因为大小写的ASCII码不一样,就比如 mysql 导入到 oracle,我们可以做如下改动。
方法一:排序时忽略大小写。
方法二:两边先全部转大写或小写排序,再取出原表名。如下
修改com.wugui.datax.admin.service.impl.DatasourceQueryServiceImpl
类 的 getTables() 方法
@Override
public List getTables(Long id, String tableSchema) throws IOException {//获取数据源对象JobDatasource datasource = jobDatasourceService.getById(id);//queryTool组装if (ObjectUtil.isNull(datasource)) {return Lists.newArrayList();}if (JdbcConstants.HBASE.equals(datasource.getDatasource())) {return new HBaseQueryTool(datasource).getTableNames();} else if (JdbcConstants.MONGODB.equals(datasource.getDatasource())) {return new MongoDBQueryTool(datasource).getCollectionNames(datasource.getDatabaseName());} else if (JdbcConstants.MYSQL.equals(datasource.getDatasource()) || JdbcConstants.ORACLE.equals(datasource.getDatasource())) {//如果是MYSQL或者ORACLE 对表名重新排序BaseQueryTool qTool = QueryToolFactory.getByDbType(datasource);if (StringUtils.isBlank(tableSchema)) {List list = qTool.getTableNames();return parseList(list);} else {List list = qTool.getTableNames(tableSchema);return parseList(list);}} else {BaseQueryTool qTool = QueryToolFactory.getByDbType(datasource);if (StringUtils.isBlank(tableSchema)) {return qTool.getTableNames();} else {return qTool.getTableNames(tableSchema);}}
}/**
* 将集合内容大写并重新排序,然后返回原表名
*
* @param list
* @return
* @date 20220821 12"52
*/
private List parseList(List list) {List upList = new ArrayList<>();List resultList = new ArrayList<>();Map map=new HashMap<>();for (String str : list) {//转为大写加入新集合String upStr = str.toUpperCase();upList.add(upStr);map.put(upStr,str);}//对集合重新排序Collections.sort(upList);//顺序取出原表名for (String upstr : upList) {String oldStr=map.get(upstr);resultList.add(oldStr);}return resultList;
}
更多技术干货,请持续关注程序员大佬超。
原创不易,转载请注明出处。