1.使用 Couchbase 数仓和 Temporal（一个分布式任务调度和编排框架）实现每 5 分钟的增量任务

news2024/12/27 5:03:45

在使用 Couchbase 数仓和 Temporal（一个分布式任务调度和编排框架）实现每 5 分钟的增量任务时，可以按照以下步骤实现，同时需要注意关键点。

实现方案

1. 数据层设计（Couchbase 增量存储与标记）

在 Couchbase 中，明确数据的增量处理逻辑：

数据标记字段：
- 在数据中增加时间戳字段 last_updated_time，标识数据的最新更新时间。
- 增量逻辑依据 last_updated_time 提取最近 5 分钟的数据。
分区和索引设计：
- 使用 Couchbase 的二级索引或视图索引对 last_updated_time 字段进行索引优化增量查询。
- 示例：
```
CREATE INDEX idx_last_updated_time ON bucket_name(last_updated_time);
```

2. 定时任务调度（Temporal Workflow）

通过 Temporal 实现每 5 分钟的调度任务：

定义 Workflow：
- 使用 Temporal 的 Workflow 定义调度逻辑，每 5 分钟触发一次。
实现增量逻辑：
- 读取 Couchbase 中 last_updated_time 在 (T-5min, T] 范围内的数据。

代码实现示例：

from datetime import datetime, timedelta
from temporalio import workflow, activity

@workflow.defn
class IncrementalDataWorkflow:
    @workflow.run
    async def run(self):
        while True:
            current_time = datetime.utcnow()
            start_time = current_time - timedelta(minutes=5)
            
            # 调用活动函数处理增量任务
            await workflow.execute_activity(
                process_incremental_data,
                start_time.isoformat(),
                current_time.isoformat(),
                schedule_to_close_timeout=timedelta(minutes=10)
            )
            
            # 等待 5 分钟再运行
            await workflow.sleep(timedelta(minutes=5))

@activity.defn
async def process_incremental_data(start_time: str, end_time: str):
    # 从 Couchbase 中提取增量数据
    query = f"""
        SELECT * FROM `bucket_name`
        WHERE last_updated_time > '{start_time}' AND last_updated_time <= '{end_time}'
    """
    result = couchbase_client.query(query)
    for record in result:
        # 数据清洗、转换、存储
        process_data(record)

3. 数据处理与存储

增量数据的处理与存储逻辑：

清洗与转换：
- 处理脏数据，进行字段映射与标准化。
- 将增量数据映射到 ODS、DWD 或 DWS 层。
数据写入：
- 根据分层逻辑写入 Couchbase 不同 bucket。
  - ODS 层：追加写入，保留所有变更。
  - DWD 层：基于主键更新写入最新数据。
  - DWS 层：窗口聚合后存储汇总数据。

4. 监控与日志

Temporal 监控：
- 使用 Temporal 自带的 Web UI 监控任务执行状态。
- 为 Workflow 和 Activity 定义异常处理逻辑，支持自动重试。
增量任务对账：
- 对比 last_updated_time 的最大值与调度时间，验证增量范围覆盖是否完整。
日志与报警：
- 为 Temporal Activity 和数据处理流程引入日志和报警机制，快速定位错误。

注意事项

时间同步与时区问题：
- Temporal 和 Couchbase 需要使用 UTC 时间，避免跨时区数据偏移。
增量边界问题：
- Couchbase 查询时，确保时间范围 (T-5min, T] 的无遗漏或重复。
- 为了减少时钟漂移影响，查询范围可以增加 1-2 秒的缓冲区。
Couchbase 查询性能：
- 确保 last_updated_time 有高效索引，避免全表扫描。
- 对高并发任务，考虑使用分片或分区查询。

Temporal 异常处理：

设置 Activity 的重试策略，避免网络抖动或短期异常导致任务失败。

示例：

@activity.defn(retry_policy=activity.RetryPolicy(max_attempts=5))
async def process_incremental_data(...):
    ...

批量处理：
- 增量数据量大时，进行分页或分批次处理，减少单次查询压力。
- 示例：在 Couchbase 查询中加入分页逻辑。
```
SELECT * FROM `bucket_name`
WHERE last_updated_time > '{start_time}' AND last_updated_time <= '{end_time}'
LIMIT 1000 OFFSET 0;
```
Couchbase 写入性能：
- 对 DWS 层汇总表，考虑先批量写入临时表，再合并到最终表，避免频繁写操作。