从 Snowflake 到 Databend Cloud：全球游戏平台借助 Databend 实现实时数据处理

news2025/3/20 11:45:34

导读：某全球游戏平台为全球数百万玩家提供实时的技能型游戏体验与无缝的实时互动。对该游戏平台而言，保持数据的实时更新和实时分析，对提升玩家互动和留存率至关重要。他们在使用 Snowflake 进行实时数据摄取和分析时遇到了重大挑战，且成本居高不下。为了更高效地实现实时数据分析，该平台从 Snowflake 迁移到 Databend Cloud，成本降低了 50%，实现了具有秒级任务支持的实时数据 ELT 过程，提供实时数据洞察。

某游戏公司是一家全球游戏平台，擅长为全球数百万玩家提供实时的技能型游戏体验。同时，该游戏公司还在广告、支付和玩家互动领域走在前沿，开发出先进的解决方案，确保其多款热门游戏能够实现无缝的实时互动。

这家全球游戏公司使用 Amazon Aurora 来存储实时的用户活动、广告事件和财务数据。这些数据再以 JSON 文件的形式导出到 S3 Bucket，并被导入 Snowflake 作为原始数据表。利用 Snowflake 的流和任务功能，将包括玩家操作、游戏内购买和匹配详情在内的数据，转化为多个精细化的数据表。对该游戏平台而言，在 Snowflake 中保持数据的准确和实时更新，对提升玩家互动和留存率至关重要，可以确保游戏体验的流畅和及时响应。

Snowflake 在处理实时数据时面临的挑战：云计算成本急剧上升

该游戏平台在使用 Snowflake 进行实时数据摄取和分析时遇到了重大挑战。平台需要实时处理从 Aurora 二进制日志生成到 S3 上的 JSON 文件中的用户数据。然而，Snowflake 在实现亚秒级的数据摄取和转换方面表现不佳，但这对于更新原始数据表和维护实时用户活动流至关重要。

此外，Snowflake 的定价模型在处理此类任务时显得不够实用，它对任务等云服务收取了过高的费用。由于没有直接支持亚秒级任务的 SQL 功能，该游戏平台被迫使用分钟级的任务和 SQL 脚本，导致成本大幅上升。这种无法实时处理数据的限制，造成了数据分析的空白，影响了他们对客户参与度和广告效果的有效评估。

更为重要的是，即使已经是大容量的企业客户，他们也未能得到 Snowflake 足够的官方支持。有一次在向 Snowflake 提交工单后，技术人员等待了四个小时后才收到回复，虽然很快解决了问题，但业务却影响了四个小时以上。

为了降低成本、更高效地利用资源和得到更好的专业服务支持，该平台决定从 Snowflake 迁移到 Databend Cloud。

这家全球游戏平台公司最初在 GitHub 上发现了 Databend Cloud，对 Databend 提出的 Snowflake 开源替代方案产生了浓厚的兴趣。他们对 Databend Cloud 支持熟悉的 SQL 语法和强大的流处理与任务功能印象深刻。其中，特别吸引他们的是 Databend 在数据摄取、转换和分析方面承诺的 10 倍性能提升以及亚秒级任务支持。Databend Cloud 清晰且更具成本效益的定价模型完美契合了公司的需求和目标。

数据的实时导入

Databend Cloud 在 AWS 上提供 Serverless 数据云服务，支持强大的 SQL 功能，并提供了完整的 TPC-H 基准测试。产品特性还包括事务处理和 Python/JS 编写的用户定义函数（UDF），以及支持多种 DML（数据操作语言）操作，如插入、更新和合并等。

该游戏平台仅用了三周时间就将数千个涉及数据摄取、变更数据捕获（CDC）、转换和仪表板的 SQL 查询迁移到 Databend Cloud。由于 Databend Cloud 与 Snowflake 的 SQL 语法兼容，这一迁移过程非常顺利。

为数据需求提供可靠且可预测的定价方案

Databend Cloud 基于计算与存储分离架构，并提供分钟级的自动挂起和恢复功能，大幅降低了成本。与 Snowflake 不同的是，后者的任务调度服务可能占总成本的 50%，且这部分成本不透明无法预估，而 Databend Cloud 提供了更简单且可预测的定价模式。

使用 Databend Cloud 后，公司的成本降低了 50%，这得益于 Databend Cloud 清晰且一致的定价模式。这种透明性使游戏平台能够高效地管理和预测每月的数据管理费用。他们成功地将大量历史数据迁移到 Databend Cloud，实现了每月处理多达 1000 亿行数据，并且所有成本都是完全透明的。这一转变使他们能够为客户提供全面且实时的业务洞察，而无需担心意外的财务负担。

该游戏平台技术负责人表示：“我们对 Databend 提供的快速且可靠的服务深表感谢，产品在数据流处理方面的出色表现显然处于行业领先地位。经过顺利的为期三周的整合，我们的平台将 Databend 引入我们的生产系统。感谢所有参与此项目的人的辛勤付出。我们期待看到 Databend 的不断成长，并取得更大的成就！”

轻松优化实时数据处理流程

Databend Cloud 提供强大的流处理和任务执行能力，为客户带来卓越的性能和易用性。该游戏平台通过 Databend Cloud 高效地将大量数据摄取到一个原始表中，并利用多个流无缝分发和转换这些数据，使用外部 UDF 满足各种业务需求。

借助 Databend Cloud，该平台实现了每秒摄取 10,000 行数据的稳定速率，并能安排亚秒级的任务执行，提供实时洞察。这使他们每月能够处理和分析 1000 亿行数据，大大提升了数据操作效率，推动了更好的业务成果。如今，该平台享受着可靠且高效的实时数据处理，使他们能够专注于提供卓越的游戏体验，并 更精细化 地做出数据驱动的决策。

用户收益

得益于 Databend Cloud 与 Snowflake 高度相似的 SQL 语法，以及任务、流处理和多表数据操作的全面支持，该游戏平台从 Snowflake 迁移到 Databend Cloud 的过程非常简单，团队几乎无需额外学习即可上手。
Databend Cloud 实现了真正意义上的实时 ETL，提供秒级甚至亚秒级的数据处理能力，让游戏平台实现了实时数据分析，推动了游戏业务的快速发展。
使用 Databend Cloud 后，游戏平台运营成本显著下降，性价比大幅提升，达到有效的降本增效目标。
Databend Cloud 提供贴心、快速的专属技术支持服务，让客户安心专注于自身业务的创新和发展。