不要使用参数"kafka.bootstrap.servers"从spark-streaming-kafka-0-10消费任何消息。
创始人
2025-01-10 21:31:21
0

要消费kafka消息并避免使用参数"kafka.bootstrap.servers",可以使用以下代码示例:

import org.apache.spark.streaming.kafka010._
import org.apache.kafka.common.serialization.StringDeserializer

val kafkaParams = Map[String, Object](
  "bootstrap.servers" -> "localhost:9092",   // Kafka broker地址
  "key.deserializer" -> classOf[StringDeserializer],
  "value.deserializer" -> classOf[StringDeserializer],
  "group.id" -> "spark-consumer-group",   // 消费者组ID
  "auto.offset.reset" -> "latest",   // 从最新的偏移量开始消费
  "enable.auto.commit" -> (false: java.lang.Boolean)   // 不自动提交偏移量
)

val topics = Array("topic1", "topic2")   // 要消费的主题

val kafkaStream = KafkaUtils.createDirectStream[String, String](
  streamingContext,
  LocationStrategies.PreferConsistent,
  ConsumerStrategies.Subscribe[String, String](topics, kafkaParams)
)

kafkaStream.foreachRDD { rdd =>
  // 在这里处理接收到的消息
  rdd.foreach { record =>
    println(record.value())
  }
}

这个示例使用了spark-streaming-kafka-0-10库的API来创建一个直接的Kafka流。它设置了一些必要的参数,如Kafka broker地址,消费者组ID等。然后,它使用KafkaUtils.createDirectStream方法来创建一个直接的Kafka流,并订阅指定的主题。最后,通过kafkaStream.foreachRDD方法来处理接收到的消息。

注意:在这个示例中,并没有使用参数"kafka.bootstrap.servers"来指定Kafka broker地址,而是将其作为一个Map传递给createDirectStream方法。这样可以避免直接使用该参数来消费消息。

相关内容

热门资讯

AWSECS:访问外部网络时出... 如果您在AWS ECS中部署了应用程序,并且该应用程序需要访问外部网络,但是无法正常访问,可能是因为...
AWSElasticBeans... 在Dockerfile中手动配置nginx反向代理。例如,在Dockerfile中添加以下代码:FR...
银河麒麟V10SP1高级服务器... 银河麒麟高级服务器操作系统简介: 银河麒麟高级服务器操作系统V10是针对企业级关键业务...
AWR报告解读 WORKLOAD REPOSITORY PDB report (PDB snapshots) AW...
AWS管理控制台菜单和权限 要在AWS管理控制台中创建菜单和权限,您可以使用AWS Identity and Access Ma...
北信源内网安全管理卸载 北信源内网安全管理是一款网络安全管理软件,主要用于保护内网安全。在日常使用过程中,卸载该软件是一种常...
群晖外网访问终极解决方法:IP... 写在前面的话 受够了群晖的quickconnet的小水管了,急需一个新的解决方法&#x...
​ToDesk 远程工具安装及... 目录 前言 ToDesk 优势 ToDesk 下载安装 ToDesk 功能展示 文件传输 设备链接 ...
Azure构建流程(Power... 这可能是由于配置错误导致的问题。请检查构建流程任务中的“发布构建制品”步骤,确保正确配置了“Arti...
不能访问光猫的的管理页面 光猫是现代家庭宽带网络的重要组成部分,它可以提供高速稳定的网络连接。但是,有时候我们会遇到不能访问光...