JackSparrow414

Elasticsearch 与 ELK 实战

从环境搭建、查询与 Java 客户端，到日志配置与采集、ILM、集群部署、监控和业务优化。

11 篇文章 · 按阅读顺序排列

  1. ELK环境搭建+入门使用

    Elasticsearch+Logstash+Kibana环境安装以及初级入门

  2. Elasticsearch查询

    本文将着重于数据查询部分，ES查询也是很重要的一部分

  3. Elasticsearch 常用操作、对接Logstash以及处理本地IP、ECS规范(干货满满)

    经过前面两篇博文之后，现在已经有了article数据、可以查询相关数据。那接下来就是在这个基础上继续完善

  4. ELK生成PEM格式的ca证书、设置Https并使用Elasticsearch Java Client连接

    以ELK 8.2为例，介绍生成CA证书、配置节点间TLS与HTTP层HTTPS，以及为Kibana、Logstash和Java客户端配置证书的流程。补充PEM与PKCS#12格式的区别及相关JDK兼容性问题。

  5. ElasticSearch Java API的使用

    从Search API的请求结构和Query DSL入手，介绍Elasticsearch查询条件、排序、返回字段及分页的组织方式。通过示例说明如何将DSL转换为Java API调用，并开启请求日志辅助调试。

  6. 使用Filebeat和AWS CloudWatch Logs将EC2上的Tomcat的access_log传送到ELK

    介绍将AWS EC2上的Tomcat访问日志送入ELK的整体方案：由CloudWatch Agent收集日志，Filebeat从CloudWatch Logs拉取，再交给Logstash解析并写入Elasticsearch。记录相关配置、流程验证及故障排查思路。

  7. 使用Filebeat和AWS CloudWatch Logs将EC2上的Tomcat的access_log传送到Elasticsearch中并使用ILM完成日志的自动管理

    在CloudWatch Logs到Elasticsearch的日志采集方案中，使用Data Stream和ILM管理索引滚动与过期删除。结合实践介绍Filebeat内存队列、批量写入和并发参数的调优过程，并记录延迟、费用与少量日志丢失等问题。

  8. 跟着官方文档一步一步搭建Elastic Stack（3节点ES集群+Kibana+Filebeat+Metricbeat）+ 零停机由单节点切换到集群解决方案

    使用Docker Compose搭建包含三节点Elasticsearch集群、Kibana、Filebeat和Metricbeat的Elastic Stack，说明TLS与监控配置。结合生产环境迁移经历，讨论通过域名切换、数据迁移和连接验证完成单机到集群过渡的步骤。

  9. 在业务开发中使用ElasticSearch的指导手册+附真实业务优化ElasticSearch场景

    整理业务开发中使用Elasticsearch的检查要点，包括分词验证、字段映射、索引规划、生命周期和容量评估。结合真实日志业务，记录清理与写入引发的性能问题，以及Data Stream、熔断和批量处理等优化思路。

  10. 脚本自动化创建AWS EC2实例+安装ElasticSearch和Kibana+集成OpenTelemetry监控

    通过AWS CLI脚本创建EC2实例和内部域名，使用属性文件与User Data组织部署参数和初始化步骤。以Elasticsearch、Kibana及OpenTelemetry监控为例，介绍服务器配置、自动化部署与结果验证的整体流程。

  11. 使用Elasticsearch代替数据库like以加快查询的各种技术方案+实现细节

    以海量订单查询为例，使用Elasticsearch替代联系人信息的数据库LIKE模糊查询，再回查数据库获取订单。介绍索引设计、历史与增量数据同步、UTC时间处理、分页优化，以及查询回退和同步差异的处理思路。