Apache NiFi:通过比较多行具有不同数据的方式创建新列
创始人
2024-09-04 13:31:47
0

要通过比较多行具有不同数据的方式创建新列,可以使用Apache NiFi中的EvaluateJsonPath处理器和ExecuteScript处理器。下面是一个使用Python脚本的解决方法示例:

  1. 配置EvaluateJsonPath处理器:

    • 将EvaluateJsonPath处理器添加到NiFi流程中。
    • 配置JsonPath表达式来提取需要比较的数据字段,并使用属性名称存储提取的值。例如,可以使用$.data.field1$.data.field2分别提取两个字段的值。
    • 将提取的值存储在属性中,以便在后续步骤中使用。
  2. 配置ExecuteScript处理器:

    • 将ExecuteScript处理器添加到NiFi流程中,并将其连接到EvaluateJsonPath处理器。
    • 配置Script Engine为Python。
    • 编写以下Python脚本来进行比较并创建新列:
import json

flowFile = session.get()
if flowFile is not None:
    try:
        # 获取EvaluateJsonPath处理器中提取的属性值
        field1 = flowFile.getAttribute('field1')
        field2 = flowFile.getAttribute('field2')
        
        # 比较字段值并创建新列
        if field1 == field2:
            new_column = 'same'
        else:
            new_column = 'different'
        
        # 将新列添加到JSON数据中
        json_data = json.loads(flowFile.getAttribute('json'))
        json_data['new_column'] = new_column
        
        # 将更新后的JSON数据写回流文件
        flowFile = session.putAttribute(flowFile, 'json', json.dumps(json_data))
        
        session.transfer(flowFile, REL_SUCCESS)
    except Exception as e:
        # 处理异常情况
        log.error(str(e))
        session.transfer(flowFile, REL_FAILURE)
  1. 配置连接:
    • 将ExecuteScript处理器连接到下一个处理器(例如PutFile)以便将结果写入文件或其他目标。
    • 配置连接的成功和失败关系。

这样,当流文件通过流程时,EvaluateJsonPath处理器将提取的字段值存储在属性中,然后ExecuteScript处理器将使用Python脚本进行比较并创建新列,并将更新后的JSON数据写回流文件。最后,流文件将传输到下一个处理器进行进一步处理或写入目标。

相关内容

热门资讯

保存时出现了1个错误,导致这篇... 当保存文章时出现错误时,可以通过以下步骤解决问题:查看错误信息:查看错误提示信息可以帮助我们了解具体...
汇川伺服电机位置控制模式参数配... 1. 基本控制参数设置 1)设置位置控制模式   2)绝对值位置线性模...
不能访问光猫的的管理页面 光猫是现代家庭宽带网络的重要组成部分,它可以提供高速稳定的网络连接。但是,有时候我们会遇到不能访问光...
本地主机上的图像未显示 问题描述:在本地主机上显示图像时,图像未能正常显示。解决方法:以下是一些可能的解决方法,具体取决于问...
表格中数据未显示 当表格中的数据未显示时,可能是由于以下几个原因导致的:HTML代码问题:检查表格的HTML代码是否正...
不一致的条件格式 要解决不一致的条件格式问题,可以按照以下步骤进行:确定条件格式的规则:首先,需要明确条件格式的规则是...
表格列调整大小出现问题 问题描述:表格列调整大小出现问题,无法正常调整列宽。解决方法:检查表格的布局方式是否正确。确保表格使...
Android|无法访问或保存... 这个问题可能是由于权限设置不正确导致的。您需要在应用程序清单文件中添加以下代码来请求适当的权限:此外...
【NI Multisim 14...   目录 序言 一、工具栏 🍊1.“标准”工具栏 🍊 2.视图工具...
银河麒麟V10SP1高级服务器... 银河麒麟高级服务器操作系统简介: 银河麒麟高级服务器操作系统V10是针对企业级关键业务...