默认分区器DefaultPartitioner

（1）指明partition的情况下，直
接将指明的值作为partition值；

（2）没有指明partition值但有key的情况下，将key的hash值与topic的
partition数进行取余得到partition值；

例如：key1的hash值=5， key2的hash值=6 ，topic的partition数=2，那
么key1 对应的value1写入1号分区，key2对应的value2写入0号分区。

（3）既没有partition值又没有key值的情况下，Kafka采用Sticky Partition（黏性分区器），会随机选择一个分区，并尽可能一直
使用该分区，待该分区的batch已满或者已完成，Kafka再随机一个分区进行使用（和上一次的分区不同）。

例如：第一次随机选择0号分区，等0号分区当前批次满了（默认16k）或者linger.ms设置的时间到， Kafka再随机一个分区进
行使用（如果还是0会继续随机）。

自定义分区器

• 1. 实现接口 Partitioner
• 2. 实现 3 个方法:partition,close,configure
• 3. 编写 partition 方法,返回分区号
     

import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;import java.util.Map;/*** 1. 实现接口 Partitioner* 2. 实现 3 个方法:partition,close,configure* 3. 编写 partition 方法,返回分区号*/public class MyPartitioner implements Partitioner {/*** 返回信息对应的分区** @param topic      主题* @param key        消息的 key* @param keyBytes   消息的 key 序列化后的字节数组* @param value      消息的 value* @param valueBytes 消息的 value 序列化后的字节数组* @param cluster    集群元数据可以查看分区信息* @return*/@Overridepublic int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {//获取消息String msgValue = value.toString();//创建partitionint partition;//判断消息是否包含silenceif (msgValue.contains("silence")) {partition = 0;} else {partition = 1;}//返回分区号return partition;}//关闭资源@Overridepublic void close() {}//配置方法@Overridepublic void configure(Map configs) {}
}

使用分区器的方法，在生产者的配置中添加分区器参数

import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.serialization.StringSerializer;import java.util.Properties;public class CustomProducerCallbackPartitions {public static void main(String[] args) {// 1. 创建 kafka 生产者的配置对象Properties properties = new Properties();// 2. 给 kafka 配置对象添加配置信息properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop100:9092");// key,value 序列化（必须）：key.serializer，value.serializerproperties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());// 添加自定义分区器properties.put(ProducerConfig.PARTITIONER_CLASS_CONFIG, "com.itsp.kafka.producer.MyPartitioner");// 3. 创建 kafka 生产者对象KafkaProducer kafkaProducer = new KafkaProducer<>(properties);// 4. 调用 send方法,发送消息for (int i = 0; i < 5; i++) {kafkaProducer.send(new ProducerRecord<>("first", "call of silence" + i), new Callback() {@Overridepublic void onCompletion(RecordMetadata metadata, Exception e) {if (e == null) {System.out.println("主题 : " + metadata.topic() + "->" + "分区" + metadata.partition());} else {e.printStackTrace();}}});}// 5. 关闭资源kafkaProducer.close();}
}

测试

开启 Kafka 消费者。

启动生产者，在 IDEA 控制台观察回调信息。