2023年3月31日 (五) 14:02 Eijux

2023-03-31T14:02:55Z

←上一版本		2023年3月31日 (五) 22:02的版本
第1行：		第1行：
	[[category:~~ElasticSearch~~]]		[[category:ElasticSearch教程]]

	== 关于 ==		== 关于 ==

Eijux：建立内容为“category:ElasticSearch == 关于 == 【转自：[https://www.orchome.com/Elasticsearch/index https://www.orchome.com/Elasticsearch/index]】 == 设置elasti…”的新页面

2021-05-22T11:10:05Z

建立内容为“category:ElasticSearch == 关于 == 【转自：[https://www.orchome.com/Elasticsearch/index https://www.orchome.com/Elasticsearch/index]】 == 设置elasti…”的新页面

新页面

[[category:ElasticSearch]]

== 关于 ==
【转自：[https://www.orchome.com/Elasticsearch/index https://www.orchome.com/Elasticsearch/index]】

== 设置elasticsearch的默认分区数和副本数 ==
elasticsearch 5.1版本，默认在配置中可设置分区和副本的数量现在不能使用了。

修改现有elasticsearch的默认副本数：（如下，修改：副本数为0）
<syntaxhighlight lang="bash" highlight="">
curl -XPUT https://192.168.x.x:9200/_settings -d '
{
"index":{
"number_of_replicas":0
}
}
</syntaxhighlight>

设置elasticsearch默认模板：（如下，修改：分区数为10，副本数为0）
<syntaxhighlight lang="bash" highlight="">
curl -XPUT https://192.168.x.x:9200/_template/log -d '{
"template": "log-*",
"settings": {
"number_of_shards": 10,
"number_of_replicas": "0"
}
}
</syntaxhighlight>
* 这样后面生成 log-* 的索引都会按照这个模板来了。
* 参见：【'''[https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-templates.html 模板官网页面]'''】

== Elasticsearch删除历史日志 ==
示例，从 kafka 采集日志到 es 的相关 logstash 的配置：
<syntaxhighlight lang="bash" highlight="">
input{
kafka{
topics => ["logs-normal","logs-error","logs-point"]
bootstrap_servers => "192.168.x.x:9092,192.168.x.x:9092,192.168.x.x:9092"
codec => json
group_id=> "logstash"
codec => multiline {
pattern => "\s"
negate=>true
what => "previous"
}
}
}
filter{
grok{
match => {"message" => "\[(?<datetime>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3})"}
}
date{
match => ["datetime", "yyyy-MM-dd HH:mm:ss,SSS"]
target => "@timestamp"
}
mutate {
remove_field => ["datetime"]
}
}
output{
elasticsearch {
action => "index"
hosts => ["192.168.x.x:9200","192.168.x.x:9200","192.168.x.x:9200"]
index => "applog-%{+YYYY.MM.dd}"
}
}
</syntaxhighlight>
如上，“index => "applog-%{+YYYY.MM.dd}"”会根据 timestamp 的时间来生成每天的日志块，那么删除日志也根据“索引+日期”来删除。

如：
<syntaxhighlight lang="bash" highlight="">
curl -XDELETE "192.168.101.123:9200/applog-2016.12.26"
</syntaxhighlight>
查看日志存储的位置，磁盘已经释放了。

== ElasticSearch定时删除数据 ==
如下脚本可以定时删除数据：
: （新建 delete_es_by_day.sh 脚本）
<syntaxhighlight lang="bash" highlight="">
#!/bin/sh
# example: sh delete_es_by_day.sh logstash-kettle-log logsdate 30

index_name=$1
daycolumn=$2
savedays=$3
format_day=$4

if [ ! -n "$savedays" ]; then
echo "the args is not right,please input again...."
exit 1
fi

if [ ! -n "$format_day" ]; then
format_day='%Y%m%d'
fi

sevendayago=`date -d "-${savedays} day " +${format_day}`

curl -XDELETE "10.130.3.102:9200/${index_name}/_query?pretty" -d "
{
"query": {
"filtered": {
"filter": {
"bool": {
"must": {
"range": {
"${daycolumn}": {
"from": null,
"to": ${sevendayago},
"include_lower": true,
"include_upper": true
}
}
}
}
}
}
}
}"

echo "ok"
</syntaxhighlight>
参数说明：
# 索引名；
# 日期字段名；
# 保留最近几天数据，单位天；
# 日期格式，可不输（默认形式20160101）

== ElasticSearch中根据查询结果删除数据（delete by query） ==
原有的方法在2.0版本中已经删除了，提供了delete by query插件来实现这个功能。

# 安装插件：
#: <syntaxhighlight lang="bash" highlight="">
cd /path/to/ElasticSearch
sudo bin/plugin install delete-by-query
</syntaxhighlight>
#: 成功安装后：
#: [[File:Elasticsearch：安装delete-by-query插件.png|400px]]
#* 集群环境下必须在每个结点上安装，安装之后要重启结点才能使这个插件生效。
#*（安装和重启之后就可以像2.0以前的版本一样使用delete by query了。）
# 执行删除命令：
#: <syntaxhighlight lang="bash" highlight="">
curl -XDELETE 'https://10.0.21.xx:9200/applog/logs/_query?pretty' -d '
{
"query": {
"filtered": {
"filter": {
"range": {
"@timestamp": {
"lte": "2016-11-21"
}
}
}
}
}
}'
</syntaxhighlight>
# 合并：？？？？什么鬼？？？？
#: <syntaxhighlight lang="bash" highlight="">
curl -XPOST 'https://10.0.21.xx:9200/applog/_optimize?max_num_segments=1'
</syntaxhighlight>

ElasticSearch：运维相关 - 版本历史

2023年3月31日 (五) 14:02 Eijux

Eijux：​建立内容为“category:ElasticSearch == 关于 == 【转自：[https://www.orchome.com/Elasticsearch/index https://www.orchome.com/Elasticsearch/index]】 == 设置elasti…”的新页面

Eijux：建立内容为“category:ElasticSearch == 关于 == 【转自：[https://www.orchome.com/Elasticsearch/index https://www.orchome.com/Elasticsearch/index]】 == 设置elasti…”的新页面