标签: kafka
所有带有标签 "kafka".
Kafka(七)集成Apache Avro+Apicurio Schema Registry以保障生产者与消费者的消息兼容性
针对Kafka消息格式变更引发的反序列化失败,介绍从JSON迁移到Avro并接入Apicurio Schema Registry的流程。涵盖Schema定义、Java类生成、生产与消费配置,以及版本兼容性检查,降低毒药消息带来的风险。
Kafka(六)利用Kafka Connect+Debezium通过CDC方式将Oracle数据库的数据同步至PostgreSQL中以及实现缓存一致性
介绍CDC的基本思路,并通过Kafka Connect和Debezium示例,将Oracle数据同步到PostgreSQL。讨论数据库同步、Elasticsearch数据导入及缓存一致性等场景,并比较不同方案的适用条件。
Kafka(五)消费者回调 +定时重试 + 理解Rebalance
至此为止,利用Kafka实现一个消息系统就基本完成了,所有关键的代码都在不同的博文中并进行了详细说明,说过想要体会完整的设计、实现思路,请移步源码仓库获取完整代码。下一篇关于Kafak的博文打算分享一下如何利用Kafka Connect将Oracle数据库的数据同步到Postgre SQL中。
Kafka(四)消费者消费JSON消息+使用统一反序列化器+提升吞吐量
介绍Kafka消费者处理JSON消息的实现,包括统一反序列化、消息去重、失败重试与偏移量提交。结合压测讨论分区数和消费参数的调整,并使用模板方法复用不同优先级邮件的消费流程。