Kafka源码学习:Sender 线程

前言 在前面我们学习到 Kafka 生产者在发送时,消息会先流入到消息收集器 RecordAccumulator,随后再由另外的线程—— Sender 线程将累积的消息发往 Kafka 服务端。本篇文章一起学习下 Sender 线程的工作流程。 Sender 线程的启动可以在 KafkaProducer 的构造函数中找到: 123456//...this.sender = newSender(logContext, kafkaClient, this.metadata);String ioThreadName = NETWORK_THREAD_PREFIX + " | " + clientId;this.ioThread = new KafkaThread(ioThreadName, this.sender, true);this.ioThread.start();//...

Kafka

Kafka源码学习:生产者消息收集器

前言 前面我们提到,当通过 KafkaProducer#send 方法发送消息时,消息会先被写入到消息收集器—— RecordAccumulator 中缓存,当缓存的消息满足一定的条件后,将由 Sender 线程获取批量消息并将其发往 Kafka ,这样的好处是能够减少网络请求的次数,从而提升网络吞量。本篇文章一起来学习下 RecordAccumulator 的内部实现。

Kafka

Kafka源码学习:生产者发送消息的流程

我们都知道,在使用 Kakfa 客户端发送消息时,只需要指定主题和消息的内容,再调用发送方法即可。那发送方法中具体包含了哪些逻辑呢,本文结合源码一起来看下。 1234// 构建消息ProducerRecord<String, String> record = new ProducerRecord<>(topic, "value");// 发送producer.send(record);

Kafka

Kafka源码学习:时间轮

前言 在 Kafka 中,有许多地方都需要用到延时操作,如延时生产、延时拉取等。Kafka 作为一个高性能的消息队列,并没有使用 JDK 中自带的 DelayQueue 来实现延时的功能,而是基于时间轮的概念实现了一个更高效的数据结构。

Kafka

站内搜索

没有找到内容!