Apache Nifi使用多个输入的EvaluateJsonPath
创始人
2024-09-04 13:01:55
0次

在Apache Nifi中,您可以使用EvaluateJsonPath处理器来从JSON数据中提取特定字段的值。如果您需要处理多个输入,您可以使用MergeContent处理器将它们合并到一个流中,然后将该流作为EvaluateJsonPath的输入。

以下是一个使用多个输入的EvaluateJsonPath的示例流程:

  1. 在流程中添加一个MergeContent处理器,将多个输入流合并为一个流。配置MergeContent处理器的属性如下:

    • Merge Strategy:使用"Defragment"策略
    • Minimum Number of Entries:设置合并的最小条目数
  2. 在MergeContent处理器后添加一个EvaluateJsonPath处理器。配置EvaluateJsonPath处理器的属性如下:

    • JsonPath Expression:指定要提取的字段的JSON路径表达式
    • Destination:指定提取的字段的属性名
  3. 在EvaluateJsonPath处理器后添加一个LogAttribute处理器,用于将提取的字段值输出到日志中。

以下是一个示例的Groovy脚本,可以使用Apache Nifi的REST API将上述流程导入到Nifi中:

import groovyx.net.http.RESTClient

def baseUrl = 'http://localhost:8080/nifi-api'
def clientId = 'your-client-id'
def processGroupId = 'your-process-group-id'

def restClient = new RESTClient(baseUrl)

// 创建一个新的流程
def createProcessResponse = restClient.post(
    path: '/process-groups/' + processGroupId + '/process-groups',
    headers: [
        'Content-Type': 'application/json',
        'Accept': 'application/json'
    ],
    body: [
        'revision': [
            'clientId': clientId,
            'version': 0
        ],
        'component': [
            'name': 'Multi-input EvaluateJsonPath',
            'position': [
                'x': 0,
                'y': 0
            ]
        ]
    ]
)

def processGroup = createProcessResponse.data
def processGroupId2 = processGroup.id

// 添加MergeContent处理器
def mergeContentProcessor = [
    'revision': [
        'clientId': clientId,
        'version': 0
    ],
    'component': [
        'name': 'MergeContent',
        'type': 'org.apache.nifi.processors.standard.MergeContent',
        'position': [
            'x': 200,
            'y': 200
        ],
        'bundle': [
            'group': 'org.apache.nifi',
            'artifact': 'nifi-standard-nar',
            'version': 'x.y.z'
        ],
        'config': {
            'mergeStrategy': 'Defragment',
            'minimumNumberOfEntries': '2'
        }
    ]
]

def addMergeContentResponse = restClient.post(
    path: '/process-groups/' + processGroupId2 + '/processors',
    headers: [
        'Content-Type': 'application/json',
        'Accept': 'application/json'
    ],
    body: mergeContentProcessor
)

def mergeContentProcessorId = addMergeContentResponse.data.id

// 添加EvaluateJsonPath处理器
def evaluateJsonPathProcessor = [
    'revision': [
        'clientId': clientId,
        'version': 0
    ],
    'component': [
        'name': 'EvaluateJsonPath',
        'type': 'org.apache.nifi.processors.standard.EvaluateJsonPath',
        'position': [
            'x': 400,
            'y': 200
        ],
        'bundle': [
            'group': 'org.apache.nifi',
            'artifact': 'nifi-standard-nar',
            'version': 'x.y.z'
        ],
        'config': {
            'jsonPathExpression': '$.field',
            'destination': 'field'
        }
    ]
]

def addEvaluateJsonPathResponse = restClient.post(
    path: '/process-groups/' + processGroupId2 + '/processors',
    headers: [
        'Content-Type': 'application/json',
        'Accept': 'application/json'
    ],
    body: evaluateJsonPathProcessor
)

def evaluateJsonPathProcessorId = addEvaluateJsonPathResponse.data.id

// 添加LogAttribute处理器
def logAttributeProcessor = [
    'revision': [
        'clientId': clientId,
        'version': 0
    ],
    'component': [
        'name': 'LogAttribute',
        'type': 'org.apache.nifi.processors.attributes.LogAttribute',
        'position': [
            'x': 600,
            'y': 200
        ],
        'bundle': [
            'group': 'org.apache

相关内容

热门资讯

前端-session、jwt 目录:   (1)session (2&#x...
linux入门---制作进度条 了解缓冲区 我们首先来看看下面的操作: 我们首先创建了一个文件并在这个文件里面添加了...
关于测试,我发现了哪些新大陆 关于测试 平常也只是听说过一些关于测试的术语,但并没有使用过测试工具。偶然看到编程老师...
前缀和与对数器与二分法 1. 前缀和 假设有一个数组,我们想大量频繁的去访问L到R这个区间的和,...
nodejs:本地安装nvm实... 一、背景-使用不同版本node的原因 vue3+ts、nuxt3版本,node...
JAVA集合知识整理 Java集合知识整理 HashMap相关 HashMap的底层数据结构:jdk1.8之...
无刷直流电机介绍及单片机控制实... 无刷直流电机介绍及单片机控制实例前言基本概念优势与劣势使用寿命基本结构使用单片机控制实例电子调速器&...
fwdiary(2) dp2 1.传纸条  AcWing 275. 传纸条 - AcWing 走两条路,走一条最大的...
常用的DOS命令 常用的DOS命令 DOS(Disk Operating System,磁...
<C++> 类和对象(下) 1.const成员函数将const修饰的“成员函数”称之为const成员函数,cons...