本文导航
展开本文导航
ELK环境搭建+入门使用
前言
- 使用的Elasticsearch、Logstash、Kibana版本均为7.13
- 使用场景假定为对一堆文章做搜索，这里设定一个场景然后可以不断的完善这个场景，从而触发学习ELK相关知识，个人认为比枯燥的看文档来的快，带着疑问学习，才有效果
- 在博文中我会把自己学习ELK时如何思考写出来，供参考，希望以后学习、入门其他技术时对你自己的思考有帮助
- 建议使用Windows的时候使用PowerShell
使用的数据格式定义
一篇文章的基本数据结构如下
{
"title": "文章标题-字符串类型",
"author": "作者名字-字符串类型",
"article_content": "文章实际内容-字符串类型",
"article_genre": "文章体裁-字符串类型，可以有多个值，也就是说这个字段对应的是数组",
"chines": "文章是否为中文-布尔类型",
"reading_count": "文章被阅读数-数值类型",
"created": "文章创建时间-日期类型",
"updated": "文章更新时间-日期类型"
}安装、启动
Windows版本安装方式可在官网上找到安装方式，这里给一个ES Windows安装方式,其他两个参考官方文档即可
brew tap elastic/tap
brew install elastic/tap/elasticsearch-full
brew install elastic/tap/kibana-full
brew install elastic/tap/logstash-full启动ES
默认使用9200端口
brew service start elasticsearch稍等一会
出现类似下面格式的信息则代表启动成功
{
"name" : "duhongbodeMacBook-Pro.local",
"cluster_name" : "elasticsearch_jacksparrow414",
"cluster_uuid" : "rp73VaY8RRCgQrl4M5uR9A",
"version" : {
"number" : "7.7.1",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "ad56dce891c901a492bb1ee393f12dfff473a423",
"build_date" : "2020-05-28T16:30:01.040088Z",
"build_snapshot" : false,
"lucene_version" : "8.5.1",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}启动Kibana
启动之前需要配置下kibana.yml文件，打开端口和host，路径在/usr/local/etc/kibana
brew service start kibana在浏览器输入localhost:5601即可访问
启动Logstash
配置first-pipeline.conf
input {
2 stdin {
}
5 }
6
7 output {
8 elasticsearch {
9 hosts => [ "localhost:9200" ]
10 user => "elastic"
11 password => "password"
12 }
13 }前台启动Logstash
进入logstash配置目录
cd /usr/local/etc/logstash不知道logstash配置目录在哪？查看Logstash directory layout
指定配置文件first-pipeline执行
logstash -f first-pipeline.conf --config.reload.automatic若要在前台关闭logstash则使用CTRL-D
在Logstash中安装插件
如果需要安装插件，参看官方文档和logstash插件名字列表
配置基本权限
如果没有配置权限，登录到Kibana上提示要配置权限
对于开发时的权限配置，配置最小的权限即可.
配置ES用户名密码
配置用户名密码的文档
这里全部密码设置成password
配置Kibana权限
将kibana.yml下的elasticsearch相关的username注释放开
后续步骤见官方文档
配置好权限之后登录
访问kibana.localhost:5601,使用用户名elastic，密码password进行登陆
登录Kibana
登录进去之后，进入Dev Tools，对ES的rest操作，使用这个可视化的面板，体验比较好，还自动提示
ES创建数据
创建index
如果有Solr的使用经验，可以简单理解为Elasticsearch中的Index相当于Solr中的core，相当于具有类似数据结构的数据的集合。(为什么说类似而不是一致呢？因为index下可以根据type动态的来调整数据结构，入门这里不做深入说明)
注意：虽然也可以不用创建index，再写数据时，ES如果发现没有index，会动态的进行创建，但这里还是采用先创建index，再写数据的方式
既然是数据的集合，首先要定义Index和其中数据结构,在Kibana中的Managent->Dev Tools中
PUT /my-articles
{
"mappings": {
"properties": {
"title": {
"type": "text"
},
"author": {
"type": "text"
},
"article_content": {
"type": "text"
},
"article_genre": {
"type": "text"
},
"chinese": {
"type": "boolean"
},
"reading_count": {
"type": "integer"
},
"created": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss"
},
"updated": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss"
}
}
},
"settings": {
"index": {
"number_of_shards": 1,
"number_of_replicas": 1
}
},
"aliases": {
}
}-
创建index，使用PUT方法，后面跟具体的index名字，注意index名字必须全部小写，index命名详细规则
-
Request body中结构为mappings-定义具体数据的数据结构、setttings-index的分片数，复制数、aliases-目前我还没研究有什么用，不涉及到具体场景的先不研究
-
mappings的下一级是properties,properties里就是具体数据的字段，以及字段对应的类型，格式为
"字段名": { "type": "具体字段对应的类型" }上面的mappings中，按照最上面定义的数据格式声明字段，有字符串类型的text，布尔类型的boolean，日期类型的date，数值类型的integer。更多数据类型见官方Field文档
查看创建的index
刚刚创建好，那么第一个想法是查一下刚才完整的index的结构
GET /my-articles
查看创建的mappings
只查看mappings的结构
GET /my-articles/_mapping查看某个字段的数据类型
查看author的数据类型
GET /my-articles/_mapping/field/author
创建数据
定义好数据结构之后，便可以添加数据.ES添加数据文档
POST /my-articles/_doc
{
"title": "青玉案·元夕",
"author": "辛弃疾",
"article_content":"东风夜放花千树，更吹落、星如雨。宝马雕车香满路。凤箫声动，玉壶光转，一夜鱼龙舞。蛾儿雪柳黄金缕，笑语盈盈暗香去。众里寻他千百度，蓦然回首，那人却在，灯火阑珊处。",
"article_genre": ["古词","记叙文"],
"reading_count": 25,
"chinese": true,
"created": "2021-06-03 19:27:56",
"updated": "2021-06-03 19:27:56"
}有两种方式，一种是创建时指定ID，一种就是不指定ID，由ES生成，这里采用第二种方式.
在Kibana中展示数据
在Kibana中展示数据，直接点击Discovery即可。但在点之前，需要创建indexpatterns
创建IndexPatterns
Management->Stack Management->Kibana->Index Patterns
点击Created index pattern ,选择刚刚创建的index名字，点击Next step,在time field那里可以选择created，然后点击Create index pattern
查看数据
选择具体的index patterns，点击刷新，如果没有数据，调整到有数据的区间即可
默认只有Time和Document
可以将经常查看的field点击+添加到列中
写在最后
本篇只做最简单的入门说明，可以看到，我思路是
- 先下载，保证正常安装
- 启动，保证三个组件启动都是没问题的
- 然后自己模拟了一个场景，根据这个场景的需要(这里只需要创建index、添加数据这两个简单的场景，至于修改index，修改数据不在我入门的思路里面,我的理解是入门要快速建立起对这个东西的兴趣，其他的可以留在后续的思考中)，再去看对应的官方文档
而且由于入门这个场景还用不到Logstash，所以只是保证安装、启动没问题即可，后续博文用到Logstash时会进行更详细的说明
思维导图
下一篇文章会着重在Elasticsearch的查询语法上