标签: 中间件
所有带有标签 "中间件".
Kafka(七)集成Apache Avro+Apicurio Schema Registry以保障生产者与消费者的消息兼容性
针对Kafka消息格式变更引发的反序列化失败,介绍从JSON迁移到Avro并接入Apicurio Schema Registry的流程。涵盖Schema定义、Java类生成、生产与消费配置,以及版本兼容性检查,降低毒药消息带来的风险。
Kafka(五)消费者回调 +定时重试 + 理解Rebalance
至此为止,利用Kafka实现一个消息系统就基本完成了,所有关键的代码都在不同的博文中并进行了详细说明,说过想要体会完整的设计、实现思路,请移步源码仓库获取完整代码。下一篇关于Kafak的博文打算分享一下如何利用Kafka Connect将Oracle数据库的数据同步到Postgre SQL中。
Kafka(四)消费者消费JSON消息+使用统一反序列化器+提升吞吐量
介绍Kafka消费者处理JSON消息的实现,包括统一反序列化、消息去重、失败重试与偏移量提交。结合压测讨论分区数和消费参数的调整,并使用模板方法复用不同优先级邮件的消费流程。
Kafka(三)生产者发送JSON消息+使用统一序列化器+提升吞吐量
介绍Kafka生产者发送JSON消息的实现,使用统一序列化器处理不同对象,并配置异步发送、失败记录和重试。结合邮件消息的实际大小,讨论压缩、批次大小、请求大小和等待时间对吞吐量的影响。