标签: 大数据

所有带有标签 "大数据".

• Kafka（五）消费者回调 +定时重试 + 理解Rebalance

  2023年11月25日

  至此为止，利用Kafka实现一个消息系统就基本完成了，所有关键的代码都在不同的博文中并进行了详细说明，说过想要体会完整的设计、实现思路，请移步源码仓库获取完整代码。下一篇关于Kafak的博文打算分享一下如何利用Kafka Connect将Oracle数据库的数据同步到Postgre SQL中。

• Kafka（三）生产者发送JSON消息+使用统一序列化器+提升吞吐量

  2023年11月13日

  介绍Kafka生产者发送JSON消息的实现，使用统一序列化器处理不同对象，并配置异步发送、失败记录和重试。结合邮件消息的实际大小，讨论压缩、批次大小、请求大小和等待时间对吞吐量的影响。

• Kafka（一）使用Docker Compose安装单机Kafka+Kafka UI+Prometheus JMX Exporter

  2023年9月30日

  使用Docker Compose搭建KRaft模式的单机Kafka，并集成Kafka UI和Prometheus JMX Exporter。说明监听器、角色、内存和监控配置，记录启动验证、JMX端口冲突及资源配置问题的排查方法。

• solr使用二(将数据从MySQL数据库增量导入、全量导入)

  2020年5月2日

  介绍使用Solr DataImportHandler从MySQL进行全量与增量导入的配置，并通过系统定时任务周期性更新数据。文章还整理tinyint字段、多值字段与Transformer的处理方法，并说明DIH的组成及后续版本变化。