ES索引备份还原
- 一、规划
- 二、备份
- 方案一：备份到集群共享目录
- 方案二：备份到HDFS
- ES还原
一、规划
es数据出于线上数据安全考虑，对于es已有的索引数据可以进行安全备份，通常可以将es备份到共享文件目录或者一些其它的数据存储的文件系统eg：HDFS、Amazon S3、Azure Cloud。备份会生成索引的快照存储到指定的仓库路径下，当需要进行数据还原的时候，就可以通过访问备份还原的接口快速实现数据还原。
二、备份
ES备份存储的仓库可以为:Shared filesystem(NAS等)、 Amazon S3, HDFS和Azure Cloudde等常用文件系统，本文档只提供备份到Shared filesystem和HDFS
方案一：备份到集群共享目录
步骤：
1）、搭建集群共享目录 (这里使用NFS也可以使用其它共享目录技术)
安装NFS服务端：
a、选择集群中某一个节点，可以选择ES的Master节点，检查是否安装NFS
rpm -qa | grep nfs
rpm -qa | grep rpcbind
b、如果没有安装，则安装NFS
yum install nfs-utils rpcbind
离线环境需要自己去下载相关包安装
c、设置开机启动
systemctl enable rpcbind.service
systemctl enable nfs-server.service
d、启动NFS
systemctl start rpcbind.service
systemctl start nfs-server.service
e、创建共享目录
mkdir /mont/backups/my_backup 具体目录名可以自己设置
chown -R 用户名 /mont/backups/my_backup
这里的用户名必须是启动ES的用户
f、设置可以访问的地址和权限
vi /etc/exports 添加下面内容：
/mont/backups/my_backup *(rw,sync,no_root_squash,no_subtree_check)
代表所有网段都可以访问，如果想配置为特定ip，可以添加为es集群中所有节点的ip
g、刷新配置并查看
exportfs -a 刷新配置并立刻生效
showmount -e ip 这里ip为当前创建共享目录主机ip
配置NFS客户端(所有除开上一步中的外的所有ES节点都需执行如下操作)
a、检查是否安装NFS
rpm -qa | grep nfs
rpm -qa | grep rpcbind
b、如果没有安装，则安装NFS
yum install nfs-utils rpcbind
离线环境需要自己去下载相关包安装
c、设置开机启动
systemctl enable rpcbind.service
systemctl enable nfs-server.service
d、启动NFS
systemctl start rpcbind.service
systemctl start nfs-server.service
e、创建共享目录
mkdir /mont/backups/my_backup 保持和NFS服务端目录一致
chmod -R 用户名 /mont/backups/my_backup
这里的用户名必须是启动ES的用户
f、挂载目录
showmount -e ip ip为NFS服务端ip
mount -t nfs ip:/mont/backups/my_backup /mont/backups/my_backup ip同上
h、设置开机挂载
vi /etc/fstab
ip:/mont/backups/my_backup /mont/backups/my_backup nfs defaults 0 0
ip为NFS服务端ip
2）、修改es配置
修改elasticsearch.yml，配置path.repo的属性为上述共享目录，然后重启集群
3）、注册快照仓库
通过post操作可以对备份仓库信息作出变更
4）、创建快照
创建所有索引快照：
my_backup:仓库名
snapshot_1:快照名
创建部分索引快照：
my_backup:仓库名
snapsot_2:快照名
通过indices属性可以指定哪些索引需要生成快照信息
5）、快照删除
my_backup:仓库名
snapshot_2:快照名，查看存在的快照可用：
my_backup:仓库名，其余为固定参数
方案二：备份到HDFS
HDFS快照/还原插件是针对最新的Apache Hadoop 2.x（当前为2.7.1）构建的。如果您使用的发行版与Apache Hadoop协议不兼容，请考虑使用自己的发行版替换plugin文件夹内的Hadoop库（可能必须调整所需的安全权限）
步骤：
1）、安装repository-hdfs插件
2）、注册仓库
my_hdfs_repository:仓库名
uri：hdfs访问路径
path：hdfs上存储目录
如果hadoop设置了kerberos安全认证则：
把kerberos认证文件放到es config目录下repository-hdfs目录之中并命名为：krb5.keytab
然后创建hdfs快照仓库：
如果每个节点使用的是不同的服务主体则需要使用_HOST参数：
其余步骤参考方案一
ES还原
还原快照所有：
my_backup：索引仓库名
snapshot_1：快照名
还原快照特定索引：
POST /_snapshot/my_backup/snapshot_1/_restore{
"indices": "index_1",
}
index_1：需要还原的索引名
my_backup：仓库名
snapshot_1:快照名
