文章目录

• • • • • 分区理解
        • 一、单播模式，只有一个消费者组
        • • 1. topic只有1个partition
          • 2. topic有多个partition,该组内有多个消费者
        • 二、广播模式，多个消费者组
        • • 2.1. 多个消费者组，1个partition
          • 2.2. 多个消费者组，多个partition
        • 三、Java实践-producer
        • • 3.1. 引入依赖
          • 3.2. 导入配置
          • 3.3. kafka工具类
          • 3.4. 发送消息
          • 3.5. 消息序列化
        • 四、Java实践-producer
        • • 4.1. 引入依赖
          • 4.2. 导入配置
          • 4.3. kafka监听
          • 4.4. kafka消息反序列化
          • 4.5. 通用工具类
        • 五、集群测试
        • • 5.1. 创建kafka主题
          • 5.2. 启动一个生产者
          • 5.3. 启动3个消费者
          • 5.4. 发送消息测试
          • 5.5. 数据分析总结
        • 六、命令版本集群验证
        • • 6.1. 创建kafka主题
          • 6.2. 发送5笔消息
          • 6.3. 克隆3个终端窗口模拟消费者
          • 6.4. 数据分析总结
          • 6.5. 总结
          • 6.6. 使用kafkaManager为topic增加partition数量

分区理解

kafka中partition类似数据库中的分表数据，可以起到水平扩展数据的目的，比如有a,b,c,d,e,f 6个数据，某个topic有两个partition，一般情况下partition-0存储a,c,e3个数据，partition-1存储b,d，f另外3个数据。

消费者组数量的不同以及partition数量的不同对应着不同的消费情况，下面分别进行梳理之：

一、单播模式，只有一个消费者组

1. topic只有1个partition

（1）topic只有1个partition,该组内有多个消费者时，此时同一个partition内的消息只能被该组中的一个consumer消费。当消费者数量多于partition数量时，多余的消费者是处于空闲状态的,如图1所示。topic，pis-business只有一个partition，并且只有1个group，G1,该group内有多个consumer,只能被其中一个消费者消费，其他的处于空闲状态。

2. topic有多个partition,该组内有多个消费者

该topic有多个partition,该组内有多个消费者，

• 第一种场景：
  比如pis-business 有3个partition,该组内有2个消费者，那么可能就是C0对应消费p0，p1内的数据，c1对应消费p2的数据；

• 第二种场景：
  如果有3个消费者，就是一个消费者对应消费一个partition内的数据了这种模式在集群模式下使用是非常普遍的，比如我们可以起3个服务，对应的topic设置3个partiition，这样就可以实现并行消费，大大提高处理消息的效率。

二、广播模式，多个消费者组

如果想实现广播的模式就需要设置多个消费者组，这样当一个消费者组消费完这个消息后，丝毫不影响其他组内的消费者进行消费，这就是广播的概念。

2.1. 多个消费者组，1个partition

该topic内的数据被多个消费者组同时消费，当某个消费者组有多个消费者时也只能被一个消费者消费，如图所示：

2.2. 多个消费者组，多个partition

该topic内的数据可被多个消费者组多次消费，在一个消费者组内，每个消费者又可对应该topic内的一个或者多个partition并行消费，如图所示：

三、Java实践-producer

这里使用Java服务进行实践，模拟3个parition，然后同一个组内有3个消费者的情况：

3.1. 引入依赖

       org.springframework.kafkaspring-kafka1.3.10.RELEASEcom.fasterxml.jackson.corejackson-databind2.5.4com.alibabafastjson1.2.83

3.2. 导入配置

3.3. kafka工具类

package com.gblfy.kafka;import org.apache.kafka.clients.producer.RecordMetadata;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.support.SendResult;
import org.springframework.stereotype.Service;
import org.springframework.util.concurrent.ListenableFuture;/*** kafka发送工具类** @author gblfy* @date: 2022-11-18**/
@Service
public class KafkaProducerService {@Autowiredprivate KafkaTemplate kafkaTemplate;// @Autowired// private xxxMapper xxxMMapper;TODO 数据库轨迹Mapper/*** @param topic   topic分区* @param message kafka消息* @return 发送Kafka成功并返回请求响应信息*/public void sendMessageForgetResult(String topic, String message) {try {System.out.println("---------topic-------" + topic);ListenableFuture> listenableFuture = kafkaTemplate.send(topic, message);SendResult sendResult = listenableFuture.get();RecordMetadata recordMetadata;if (sendResult != null) {recordMetadata = sendResult.getRecordMetadata();System.out.println("发送成功！");System.out.println("topic:" + recordMetadata.topic());System.out.println("partition:" + recordMetadata.partition());System.out.println("offset:" + recordMetadata.offset());}// TODO 设置消息发送状态// TODO 更新数据落库} catch (Exception e) {e.printStackTrace();System.out.println("--------kafka发送失败---------！");// TODO 设置消息发送状态// TODO 更新数据落库}System.out.println("发送成功！");}}

3.4. 发送消息

package com.gblfy.producer;import com.alibaba.fastjson.JSON;
import com.gblfy.kafka.KafkaProducerService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;import java.util.HashMap;
import java.util.Map;/*** 监听类的实现** @author gblfy* @date 2022-11-18*/
@RestController
@RequestMapping("kafka")
public class KafkaProducer {@Autowiredprivate KafkaProducerService kafkaProducerService;//kafka发送的主题public static final String KAFKA_TOPIC = "pis-business";/*** 消息发送* http://localhost:8080/springmvc-producer/kafka/producer?value=123*/@GetMapping("producer")public String producer(@RequestParam String value) {Map map = new HashMap<>();map.put("key", value);String message = JSON.toJSONString(map);// 发送kafkakafkaProducerService.sendMessageForgetResult(KAFKA_TOPIC, message);return "已发送";}}

3.5. 消息序列化

package com.gblfy.kafka.encode;import com.gblfy.kafka.BeanUtils;
import org.apache.kafka.common.serialization.Serializer;
import org.springframework.stereotype.Component;import java.util.Map;@Component
public class EncodeingKafka implements Serializer