使用elasticsearch定時(shí)刪除索引數據

1、有的時(shí)候我們在使用ES

由于資源有限或業(yè)務(wù)需求，我們只想保存最近一段時(shí)間的數據，所以有必要做定時(shí)刪除數據。

2、編寫(xiě)腳本

vim del_es_by_day.sh
#!/bin/bash
#定時(shí)刪除elasticsearch索引
#author menard 2019-3-25
date=`date -d "-7 days" "+%Y.%m.%d"`
/usr/bin/curl -v --user elastic:password -XDELETE "http://192.168.10.201:9200/*-$date"

增加可執行權限 chmod +x del_es_by_day.sh

3、創(chuàng )建用于測試的索引

put test-2019.03.18
put index-2019.03.18

4、執行腳本測試結果，可以看到刪除成功

5、做定時(shí)任務(wù)

crontab -e
00 01 * * * /workspace/script/del_es_by_day.sh

補充：Elasticsearch定時(shí)備份索引數據與恢復

定時(shí)備份腳本

Linux定時(shí)任務(wù)功能使用cron服務(wù)來(lái)進(jìn)行

編寫(xiě)定時(shí)任務(wù)的cron表達式

crontab -e #進(jìn)入cron定時(shí)任務(wù)編輯

定時(shí)任務(wù)

*/1 * * * * /opt/scheduler/es_bk.sh >> /opt/scheduler/bk_log.txt 2>&1

每隔1分鐘定時(shí)執行 /opt/scheduler/目錄下的es_bk.sh腳本，將數據內容寫(xiě)入到 /opt/scheduler目錄下的bk.log.txt文件中

查看一下es_bk.sh腳本內容

#! /bin/bash
echo '=================================start======================================'
#刪除備份的快照
curl -i -X DELETE localhost:9200/_snapshot/es_backup/snapshot01
#再次備份
curl -i -X PUT localhost:9200/_snapshot/es_backup/snapshot01
echo '==================================end======================================='

ES備份數據需要將要備份的索引數據快照一份，需要指定一個(gè)快照名，且不能使用相同的快照，所以在每次備份之前需要刪除舊的快照，再備份。

ES備份與恢復

創(chuàng )建一個(gè)備份倉庫（目錄）

mkdir -p /bk/es/data
#修改權限
chmod -R 777 bk

修改elasticsearch.yml文件，指定倉庫位置

發(fā)送初始化倉庫請求

curl -i -H ""'Content-Type:application/json;charset=UTF-8'"" -X PUT --data '{"type": "fs","settings": {"location": "/bk/es/data"}}' localhost:9200/_snapshot/es_backup

es_backup是備份命名空間，可以隨意指定

創(chuàng )建第一份快照

curl -i -X PUT localhost:9200/_snapshot/es_backup/snapshot01

將使用es_backup這個(gè)備份將es的所有索引數據備份到snapshot01這個(gè)快照下，當然也可以只備份指定索引

curl -i -H ""'Content-Type:application/json;charset=UTF-8'"" -X PUT --data '{"indices": "'bk_user_index_server'"}' localhost:9200/_snapshot/es_backup/snapshot01

重啟定時(shí)任務(wù)

systemctl restart cron

恢復索引

恢復指定

curl -i -H ""'Content-Type:application/json;charset=UTF-8'"" -X POST --data '{"indices": "'bk_user_index_server'"}' localhost:9200/_snapshot/es_backup/snapshot01/_restore

恢復所有

curl -i -X POST localhost:9200/_snapshot/es_backup/snapshot01/_restore

以上為個(gè)人經(jīng)驗，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。