Tekion 选择 ClickHouse Cloud 提升应用性能和指标监控

本文字数：4187；估计阅读时间：11 分钟

作者：ClickHouse team

本文在公众号【ClickHouseInc】首发

Tekion 由前 Tesla CIO Jay Vijayan 于 2016 年创立，利用大数据、人工智能和物联网等技术，为其汽车客户解决各种问题。

Tekion 于 2020 年推出了其经销商管理软件 Automotive Retail Cloud (ARC)。作为一个端到端的云平台，ARC 旨在无缝连接整个汽车经销商的业务，为经销商和制造商带来了新的简化、效率和连接体验。Tekion 的平台与架构副总裁 Ved Surtani 解释道：“过去，经销商常常需要使用超过 100 个不同的解决方案来运营业务。Tekion 将其减少到了仅仅 4 个。”

ClickHouse Cloud 已成为一个革命性的工具，Tekion 团队在多个关键用例中享受到了优化、性能提升和成本效益等诸多优势。

Tekion 内部的可观测性堆栈

Tekion 的业务依赖于一个内部构建的可观测性堆栈，包括应用性能监控（APM）和自定义指标分析。这个堆栈对 Tekion 快速执行其在汽车行业的众多 SaaS 产品至关重要——如果这些工具无法正常工作，工程师和数据科学家将无法有效地开发和发布新应用程序。过去，这个堆栈运行在一个知名的搜索提供商上，但随着数据量的增加，变得不再高效，成本也越来越高，维护难度也在增加。

Tekion 的 Dataplatform APM 是一个内部平台，用于应用性能监控（APM），分析软件应用的性能，以确保其高效运行并达到性能目标：“通过自定义仪表板来度量我们自己的性能质量，我们利用 ClickHouse 的功能来改进我们的决策过程，其效率和可扩展性已经变得不可或缺。”另一个内部平台 Dataplatform Custom Metrics 允许用户、应用程序、作业和工具从不同来源发送指标并创建自定义指标。Tekion 能够捕获、跟踪、监控和报告性能或行为的独特方面，识别异常或问题，以便采取适当的行动。

规模和成本的挑战促使寻找替代方案

随着 Tekion 的发展和工程运营的扩展，其内部可观测性堆栈在数据摄取速度和效率、查询性能和成本方面开始面临挑战：“随着我们的数据不断增长，现有技术在可扩展性、速度和成本效益方面的限制变得越来越明显。” Surtani 说。Tekion 考虑只存储聚合数据，认为这能满足大多数用户的需求。然而，无法深入了解单个事务以进行调试仍然是一个持续的挑战：“以前，摄取原始记录并获取详细事务信息的想法令人望而生畏。虽然理论上可以通过投入大量财力资源来建立一个大型集群以实现令人印象深刻的成果，但这种方法既不实际也不经济可持续。” Surtani 解释道。

在之前的架构中，来自应用程序的数据流通过 Kafka 摄取并通过自定义服务处理到数据存储中。这种方法便于执行自定义 Spark 作业以发现复杂的模式和警报。尽管这种方法在分析方面有效，但由于搜索性能缓慢和仪表板功能受限，消费过程受到了影响。

Tekion 评估了包括 Delta Lake 和 HBase 在内的各种选项，以寻找更快的数据检索机制：“我们在寻找一种既能快速摄取又能让我们更快检索单个事务的解决方案。” Surtani 说。他们最终选择了 ClickHouse：“我们看到了革新数据管理流程的潜力。” 他补充道。

概念验证：开源还是 ClickHouse Cloud？

在概念验证（POC）评估中，Tekion 先采用开源 ClickHouse，然后过渡到 ClickHouse Cloud。最初选择开源是 Tekion 的常规做法，旨在评估性能和成本效益后再决定是否采用基于云的解决方案：“这种方法提供了关于迁移益处的宝贵见解，并有助于做出知情的决策。” Surtani 说。POC 显示了令人兴奋的结果——ClickHouse 在处理大数据量方面表现出色：“我们在基本 POC 中意识到了它的优越性和潜力，因此期望值很高。” Surtani 说，这促使 Tekion 探索 ClickHouse Cloud。

能够在不影响性能或增加额外开销的情况下扩展集群的能力非常有吸引力。虽然 Tekion 完全有能力独立管理基础设施，但团队决定将精力集中在客户产品开发上，将维护工作交给 ClickHouse（通过 ClickHouse Cloud）。此外，Surtani 解释道：“ClickHouse Cloud 提供了开源解决方案之外的高级功能，例如无需手动索引的动态集群扩展，提升了操作效率和可扩展性。”最终，专家支持、先进功能和成本效益的结合使 ClickHouse Cloud 成为推动组织前进的最佳选择。

“ClickHouse Cloud 提供了以具有成本效益的方式超越性能目标的能力。”

Ved Surtani，Tekion 工程、平台与架构副总裁

ClickHouse Cloud 在 Tekion 的应用

Tekion 已成功将 ClickHouse Cloud 集成到其提到的两个平台中。截至 2023 年夏，该系统处理了超过 200TB 的数据，并且随着客户数量的增加，这个数字还在迅速增长。在 APM 解决方案中，ClickHouse Cloud 用于处理由容器生成的应用程序指标。ClickHouse Cloud 简化了数据摄取过程，使得计算指标和警报，包括 Tekion 需求的定制指标成为可能。Tekion 能够更快速地检索单个事务，进行全面的调试和实时数据分析。

此外，他们还开始将 ClickHouse Cloud 集成到高度专业化且通常没有预定义阈值的定制工作流程中。这些工作流程处理关键操作，目标是快速检测和响应异常。通过将这些工作流程迁移到 ClickHouse Cloud，开发人员可以直接摄取自定义指标，从而迅速识别异常和意外情况，并加快响应速度。“尽管涉及到复杂性，但我们适应得很快，过渡过程也很顺利。我们停用了 ATM 系统，只存储一天的数据。” Surtani 解释道。

“ClickHouse 被证明是一个改变游戏规则的工具，推动我们在管理数据基础设施方面变得更加高效和有效。”

Ved Surtani，Tekion 工程、平台与架构副总裁

使用 ClickHouse 的主要好处

存储需求优化

ClickHouse 通过其市场领先的数据压缩能力，大大减少了 Tekion 的存储需求。两个月的数据量从 27TB 减少到仅 2.5TB，实现了 10 倍的存储优化。

数据摄取性能

现在，即使在每分钟 120 万条记录的高峰吞吐量下，Tekion 使用 ClickHouse 也能无滞后地摄取数据。之前，即使尽最大努力，仍有大量事件未能成功处理或记录，但现在这种情况已经消除。此外，所需的 Spark 资源减少了 25%，大大节省了成本。这意味着作业执行时间更快，资源利用效率提高，可以在相同基础设施上处理更大的数据集。

查询性能

ClickHouse 的性能显著加快了查询执行和数据检索速度，即使是大型数据集，也能为用户提供真正的实时互动体验。查询延迟减少了 10 倍以上，而回溯时间增加了一倍——查询最多 14 天的数据时，现在只需 500 毫秒，而在之前的设置中，需要 8 秒，并且在 7 天窗口后超时。用户现在可以查询更长时间范围的数据，并实时分析原始数据，而无需依赖预聚合格式。这意味着更深入的见解，使 Tekion 能够适应不断变化的客户需求和市场趋势。

结论

优化可观测性数据堆栈是一个持续的过程，而持续改进的文化是 Tekion 的核心理念。团队已经开始将 APM 和指标迁移到 ClickHouse Cloud，并计划在未来将日志记录、审计报告和内部规划仪表板也整合进来。Ved 总结道：“我们非常喜欢 ClickHouse，团队对其支持评价很高。我们将继续合作。这是一项非常有前景的技术，已经产生了巨大的影响，我们希望在未来能够更广泛地使用它。”

征稿启示

面向社区长期正文，文章内容包括但不限于关于 ClickHouse 的技术研究、项目实践和创新做法等。建议行文风格干货输出&图文并茂。质量合格的文章将会发布在本公众号，优秀者也有机会推荐到 ClickHouse 官网。请将文章稿件的 WORD 版本发邮件至：Tracy.Wang@clickhouse.com