在 Elasticsearch 中使用 HDFS 存储快照的步骤如下：
1.安装 HDFS 插件
要使用 HDFS 存储 Elasticsearch 的索引快照，需要在 Elasticsearch 集群的所有节点上安装 HDFS 插件。
• 在线安装：适用于网络环境良好的场景，执行以下命令：
```bash
sudo bin/elasticsearch-plugin install repository-hdfs
```
• 离线安装：适用于网络受限的环境，先下载插件包，然后安装：
```bash
sudo bin/elasticsearch-plugin install file:///path/to/repository-hdfs.zip
```
插件版本必须与 Elasticsearch 版本一致。
安装完成后，重启所有 Elasticsearch 节点以使插件生效。
2.创建 HDFS 存储库
在 HDFS 中创建一个目录，并为 Elasticsearch 用户分配权限：
```bash
sudo -u hdfs hdfs dfs -mkdir /user/elasticsearch
sudo -u hdfs hdfs dfs -chown elasticsearch:elasticsearch /user/elasticsearch
```
然后在 Elasticsearch 中注册 HDFS 存储库：
```bash
PUT /_snapshot/my_hdfs_repository
{
"type": "hdfs",
"settings": {
"uri": "hdfs://namenode:8020/",
"path": "elasticsearch/repositories/my_hdfs_repository",
"conf.dfs.client.read.shortcircuit": "true"
}
}
```
• `uri`是 HDFS 集群的地址。
• `path`是 HDFS 中存储快照的目录路径。
• `conf.dfs.client.read.shortcircuit`可根据需要设置为`true`或`false`。
3.创建快照
注册存储库后，可以创建快照：
```bash
PUT /_snapshot/my_hdfs_repository/snapshot_1?wait_for_completion=true
{
"indices": "index1,index2", # 指定要备份的索引，可选
"ignore_unavailable": true, # 忽略不存在的索引
"include_global_state": false # 不备份集群全局状态
}
```
• `wait_for_completion=true`参数会阻塞操作直到快照完成。
4.查询快照
可以使用以下命令查询快照状态：
```bash
GET /_snapshot/my_hdfs_repository/snapshot_1
```
5.恢复快照
快照可以恢复到同一个集群或另一个集群：
```bash
POST /_snapshot/my_hdfs_repository/snapshot_1/_restore?wait_for_completion=true
{
"indices": "index1,index2", # 指定要恢复的索引
"include_global_state": true
}
```
注意事项
• 快照和恢复操作存在版本兼容性问题，备份的 Elasticsearch 版本应与恢复时的版本一致。
• 在跨集群恢复时，目标集群需要创建与原始集群相同名称的存储库。
通过以上步骤，可以将 Elasticsearch 的快照存储到 HDFS 中，实现数据的备份和恢复。
是的，Elasticsearch 在恢复快照时，会覆盖目标索引中的现有数据。恢复快照的目的是将目标索引恢复到快照所记录的状态，因此它会替换掉目标索引中的现有数据。以下是关于恢复操作的一些关键点和注意事项：
1.恢复操作的覆盖行为
• 当你恢复一个快照时，Elasticsearch 会将快照中的索引数据完全覆盖目标索引中的数据。
• 如果目标索引已经存在，恢复操作会删除目标索引中的所有数据，并用快照中的数据替换。
• 如果目标索引不存在，Elasticsearch 会创建新的索引，并写入快照中的数据。
2.如何避免覆盖
如果你希望在恢复快照时保留目标索引中的现有数据，可以通过以下方式避免覆盖：
（1）重命名索引
在恢复快照时，可以通过`rename_pattern`和`rename_replacement`参数对索引进行重命名。例如：
```json
POST /_snapshot/my_hdfs_repository/snapshot_1/_restore
{
"indices": "my_index",
"rename_pattern": "my_index",
"rename_replacement": "my_index_restored"
}
```
这会将快照中的`my_index`索引恢复为`my_index_restored`，从而避免覆盖现有的`my_index`。
（2）仅恢复部分数据
如果你只需要恢复部分数据，可以在恢复时指定具体的索引，而不是整个快照。例如：
```json
POST /_snapshot/my_hdfs_repository/snapshot_1/_restore
{
"indices": "index1,index2" // 只恢复指定的索引
}
```
这样可以避免恢复不需要的索引，从而减少对现有数据的影响。
（3）备份现有数据
在恢复快照之前，建议先备份目标索引中的现有数据。可以创建一个新的快照，或者使用其他备份工具（如 Logstash）导出数据。
3.恢复时的注意事项
• 版本兼容性：恢复的 Elasticsearch 版本应与创建快照时的版本一致，或者至少是向后兼容的版本。
• 集群状态：在恢复之前，确保集群状态是绿色的，以避免恢复过程中出现错误。
• 索引状态：如果目标索引已经存在，恢复操作会删除并重建索引。如果需要保留现有数据，建议先重命名现有索引。
• 性能影响：恢复操作可能会对集群性能产生影响，建议在低峰时段进行。
4.示例：避免覆盖的恢复操作
以下是一个示例，展示如何在恢复快照时避免覆盖现有索引：
```json
POST /_snapshot/my_hdfs_repository/snapshot_1/_restore
{
"indices": "my_index",
"rename_pattern": "my_index",
"rename_replacement": "my_index_restored",
"include_global_state": false
}
```
这个操作会将快照中的`my_index`索引恢复为`my_index_restored`，而不会覆盖现有的`my_index`。
总结
Elasticsearch 的恢复操作默认会覆盖目标索引中的现有数据。为了避免覆盖，可以通过重命名索引、仅恢复部分数据或备份现有数据来实现。在执行恢复操作之前，务必仔细规划，以确保数据安全。
