BACKUP数据备份原理和语法

通过Doris数据导出的各种方式我们可以将Doris中的数据进行备份，除了export方式之外，Doris 还支持Backup方式对数据进行备份，该方式将当前数据以文件的形式，通过 broker 备份到远端存储系统中。之后可以通过恢复命令，从远端存储系统中将数据恢复到任意 Doris 集群。通过这个功能，Doris 可以支持将数据定期的进行快照备份。也可以通过这个功能，在不同集群间进行数据迁移。

Doris数据备份功能需要 Doris 版本 0.8.2+，使用该功能，需要部署对应远端存储的 broker。如 BOS、HDFS 等。

一、BACKUP数据备份原理

备份操作是将指定表或分区的数据，直接以Doris 存储的文件的形式，上传到远端仓库中进行存储。当用户提交 Backup 请求后，系统内部会做如下操作：

1、快照及快照上传

快照阶段会对指定的表或分区数据文件进行快照。之后，备份都是对快照进行操作。在快照之后，对表进行的更改、导入等操作都不再影响备份的结果。快照只是对当前数据文件产生一个硬链，耗时很少。快照完成后，会开始对这些快照文件进行逐一上传。快照上传由各个 Backend 并发完成。

2、元数据准备及上传

数据文件快照上传完成后，Frontend 会首先将对应元数据写成本地文件，然后通过 broker 将本地元数据文件上传到远端仓库。完成最终备份作业。

当前我们支持最小分区（Partition）粒度的全量备份（增量备份有可能在未来版本支持）。如果需要对数据进行定期备份，首先需要在建表时，合理的规划表的分区及分桶，比如按时间进行分区。然后在之后的运行过程中，按照分区粒度进行定期的数据备份。

也可以通过BACKUP这种数据备份方式对数据进行迁移，用户可以先将数据备份到远端仓库，再通过远端仓库将数据恢复到另一个集群，完成数据迁移。因为数据备份是通过快照的形式完成的，所以，在备份作业的快照阶段之后的新的导入数据，是不会备份的。因此，在快照完成后，到恢复作业完成这期间，在原集群上导入的数据，都需要在新集群上同样导入一遍。

建议在迁移完成后，对新旧两个集群并行导入一段时间。完成数据和业务正确性校验后，再将业务迁移到新的集群。

二、BACKUP数据备份语法

BACKUP 语句用户备份指定数据库下的数据，该命令为异步操作，使用BACKUP方式在对某张表或某表分区进行备份时，首先需要创建远端的repository 仓库，仅root或superuser用户可以创建对应仓库，提交命令后，可以通过"SHOW BACKUP"命令查看进度，该备份模式仅支持OLAP类型的表。

BACKUP语法如下：

BACKUP SNAPSHOT [db_name].{snapshot_name}
TO `repository_name`
[ON|EXCLUDE] (
`table_name` [PARTITION (`p1`, ...)],
...
)
PROPERTIES ("key"="value", ...);

以上语法命令的注意点如下：

同一数据库下只能有一个正在执行的 BACKUP 或 RESTORE 任务。
ON 子句中标识需要备份的表和分区。如果不指定分区，则默认备份该表的所有分区
EXCLUDE 子句中标识不需要备份的表和分区。备份除了指定的表或分区之外这个数据库中所有表的所有分区数据。
PROPERTIES 目前支持以下属性：
- "type" = "full"：表示这是一次全量更新（默认）
- "timeout" = "3600"：任务超时时间，默认为一天。单位秒。