拥抱“Zero ETL”未来,亚马逊云科技助力乐城堡加速数据分析

news2024/11/16 4:56:10

f55942107b4c4b92a3cd6de1e2fd5ead.png获得全球三千五百多万用户的认可的移动游戏企业乐城堡希望通过数据分析为游戏业务提供更好的决策支撑。乐城堡在亚马逊云科技上利用Amazon Redshift等服务构建属于自己的云上游戏数据分析平台,实现复杂查询,保证游戏运营人员能快速、近实时地获取所需的数据与统计信息,实现产品的持续优化和更新,提升玩家体验。乐城堡所采用的亚马逊云科技服务包括Amazon Redshift、Amazon MSK、Amazon S3、Amazon CloudFront、Amazon SageMaker等。 

 

业务需求与挑战

北京乐城堡科技有限公司(以下简称“乐城堡”)致力于为全球用户提供精品移动游戏的公司。北京乐城堡科技公司旗下产品已获得全球三千五百多万用户的认可,旗下产品爱丽丝与词幻境(Alice in Wordland)获得苹果商店全球三千多次推荐。

在游戏业务运营中,乐城堡秉承“好的产品一定是用户体验优先,创新应来源于对用户的洞察,细节决定成败,精品需要精心打磨才能造就。”的产品理念,不断创新,为玩家提供优秀的智能手机游戏产品。要打造好的游戏作品,需要更好地了解玩家的喜好,因此游戏数据分析对于乐城堡来说至关重要。在过去的业务发展中,不同的游戏项目团队采用团队自己进行数据分析的方式,随着业务的不断发展,企业需要一种更好的方式来获得全局能见度。

 

为什么选择亚马逊云科技

通过对不同解决方案提供商的评估,乐城堡最终选择了亚马逊云科技,基于Amazon Redshift等服务构建属于自己的云上游戏数据分析平台。在乐城堡看来,亚马逊云科技的数据仓库与分析解决方案具有以下优势:

面向行业需求专门构建并且经过大量用户验证

亚马逊云科技面向游戏行业提供了针对游戏的分析和大数据应用解决方案,能够帮助企业更好地理解玩家、发展产品和提升玩家的参与度与保留率,并让企业做出更好的设计决策。这些解决方案不仅被众多的知名游戏工作室所应用和验证,同时也提供了面向全球市场的数据安全性与合规控制,帮助游戏企业更好地保护玩家数据。“我们的游戏业务运行在亚马逊云科技上,包括通过Amazon CloudFront处理访问日志,选择在亚马逊云科技上实现游戏业务的数据分析,不仅能够获得更低的延迟,消除大规模的数据传输和迁移工作,也能够让我们以弹性的方式存储和处理各类数据,降低数据分析中的构建和运营开销。”李明说。

提供易于集成的托管云服务和实时化的分析能力

游戏行业中数据分析对于乐城堡这样的游戏公司的重要性不言而喻,因此企业需要兼顾数据的准确性和实时性,尤其针对用户行为的分析。

乐城堡采用Amazon Redshift产品作为企业的核心数据仓库服务,通过将用户行为的埋点数据写入到Amazon Managed Streaming for Apache Kafka(MSK),结合Amazon Redshift内置的Streaming Ingestion技术能够将数据以准实时方式的写入到Amazon Redshift,并在此基础之上开展后续所需的数据分析。Amazon Managed Streaming for Apache Kafka(MSK)利用完全托管、高度可用的Apache Kafka服务安全的流式传输数据,是完全托管,无需担心基础设施的部署、配置和维护。

它消除了运营开销,包括预置、配置和维护高度可用的Apache Kafka和Kafka Connect集群的开销。Amazon MSK使得利用完全托管的Apache Kafka实时摄取和处理流数据变得很简单。“这种构建方式简化了数据分析团队的业务复杂度,并且在实时性和效率方面上有大幅的提升,帮助我们更快地了解用户的行为,更及时的调整我们业务策略,真正的实现让数据驱动业务。”李明谈到。

广泛的数据与分析服务可满足当前与未来的业务需求

亚马逊云科技提供了从数据存储、数据湖、大数据分析、流式分析、商业智能与机器学习在内的一系列广泛的云上托管服务,能够满足不同发展阶段的企业对于数据分析与利用的需求。“我们建立企业统一分析平台的初衷之一是消除各项目组自建数据库和自行分析给IT环境和业务造成的复杂度,亚马逊云科技的托管服务让我们可以轻松地按照业务的需求进行灵活的组合和构建,在短时间内打造属于自己的数据仓库和分析能力,因此我们可以更多地去关注于分析的策略和规则,而不是技术的运维管理。”李明谈到。

获得的成效

通过采用亚马逊云科技面向游戏行业的大数据分析解决方案,乐城堡不仅成功地应对了业务运营中的各类数据分析挑战,也让企业获得了多方面的成效:

首先是将之前分散在各个项目组的数据汇总,在企业内构建服务多游戏产品的统一数据分析平台,为企业提供数据驱动的业务运营引擎。亚马逊云科技的众多服务提供了“开箱即用”的方案以及与开源技术相一致的使用体验,乐城堡的数据分析团队可以充分利用这些优势在2个月的时间内完成各项目组的数据整合、迁移与数据仓库的构建,并根据不同业务的需求设计定制化的分析指标,让游戏项目组成员从复杂的数据分析设计和操作中释放出来,转变为分析结果的使用者,从而让有限的人力资源专注于游戏产品的创新。

其次让企业更有信心地应对玩家数量持续增长所带来的分析难题。“我们游戏业务所产生的数据量一直在增长,并且业务需要对一定时间的历史数据进行观测,结合DAU、日志量、时间范围等因素,仅玩家分析一个场景就需要面对数万条记录,以前无论是自建还是采用第三方的SaaS化方案效率都是极低的。”

李明说,“Amazon MSK作为全托管、高可用的Apache Kafka服务,帮助我们快速构建流式传输的管道,将之前端到端的数据传输延迟从分钟级提升到秒级,使得实时摄取和处理流数据变得简单高效。Amazon Redshift作为企业级数据仓库,能够容纳规模至PB级别的数据,实现复杂查询,保证游戏运营人员能快速获取所需的数据与统计信息,无论是规模还是并发性能,对于业务的持续增长我们都能保持信心。”

此外,亚马逊云科技各服务之间的良好集成度和互操作性也让乐城堡可以更好地降低数据分析的成本。与自建Hadoop集群与构建HDFS存储相比,采用Amazon Redshift与Amazon S3直连的方式可以简化企业在数据加工和存储过程中的架构复杂度并实现更好的成本效益,数据工程师可以使用熟悉的ANSI SQL直接在Amazon S3中查询开放文件格式,并可将各类数据轻松导出至Amazon S3数据湖进行进一步的加工利用。根据乐城堡的测算,在同样数据体量下,采用Amazon S3为数据仓库提供存储支持更具经济优势,能够帮助企业将成本控制到自建方式的十分之一。

展望未来,乐城堡将继续在游戏业务运营和数据分析场景中与亚马逊云科技保持密切的合作,以更好地挖掘数据所隐藏的价值。目前公司已在业务中应用Amazon Redshift ML,让大数据团队的开发人员能够在数据仓库中使用熟悉的SQL命令以更加轻松的方式来创建、训练和应用机器学习模型,乐城堡也将在人工智能与机器学习的应用中整合Amazon SageMaker提供的托管机器学习能力完成模型训练,帮助企业实现更加精细化的业务运营。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/738067.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Python-opcua 编程(3)历史数据读写

历史数据就是将opcua 信息模型中的某一些变量保存起来,以便Client 端程序能够读取历史数据,作各种数据处理。 Opcua 标准指出历史数据的读写,主要包括: 属性 Historizing 当设置为True 时,该变量支持历史数据读写 …

kafka主题支持路由功能

背景: 我们知道rabbitmq是支持消息路由的功能的,但是当我们统一消息中间件到kafka后,有一些旧的应用依然想要使用消息路由的功能时,我们可以怎么让kafka也支持消息路由的功能呢? 技术实现: 为了不影响ka…

web实现小米商城首页选择内容

一、需求&#xff1a;实现如下图所示的web内容 二、实现结果 三、代码展示 <!DOCTYPE html> <html> <head><title>小米商场</title><style>body {display: flex;flex-direction: column;align-items: center;justify-content: center;he…

阿里云轻量应用服务器使用教程(以建站为例)

阿里云轻量应用服务器怎么使用&#xff1f;阿里云轻量应用服务器使用教程&#xff1a;轻量应用服务器购买、重置密码、远程连接、宝塔面板的Web环境搭建、WordPress网站程序安装到网站上线&#xff0c;阿里云服务器网分享轻量应用服务器从购买、配置建站环境、轻量服务器应用服…

【SLAM】Ceres优化库超详细解析

Ceres是由Google开发的开源C通用非线性优化库&#xff0c;与g2o并列为目前视觉SLAM中应用最广泛的优化算法库。 对于任何一个优化问题&#xff0c;我们首先需要对问题进行建模&#xff0c;之后采用合适的优化方法&#xff0c;进行求解。在求解的过程中&#xff0c;往往需要进行…

用 Nginx 禁止国外 IP 访问我的网站...

先来说说为啥要写这篇文章&#xff0c;之前看了下 Nginx 的访问日志&#xff0c;发现每天有好多国外的 IP 地址来访问我的网站&#xff0c;并且访问的内容基本上都是恶意的。因此我决定禁止国外 IP 来访问我的网站。 想要实现这个功能有很多方法&#xff0c;下面我就来介绍基于…

(动态规划) 132. 分割回文串 II ——【Leetcode每日一题】

❓ 132. 分割回文串 II 难度&#xff1a;困难 给你一个字符串 s&#xff0c;请你将 s 分割成一些子串&#xff0c;使每个子串都是回文。 返回符合要求的 最少分割次数 。 示例 1&#xff1a; 输入&#xff1a;s “aab” 输出&#xff1a;1 解释&#xff1a;只需一次分割就…

Vision Transformer (ViT)介绍

paper&#xff1a;An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 摘要 把transformer直接应用于图像块序列&#xff0c;也可以在图像分类任务上表现很好。通过在大数据集上预训练&#xff0c;然后迁移到中等规模和小规模数据集上&#xff0c;…

Android之签字板

文章目录 前言一、效果图二、实现步骤1.GestureSignatureView类2.xml布局3.Activity类(kotlin)4.Activity类(Java)5.动态申请权限(kotlin)6.动态申请权限(Java) 总结 前言 随着公司发展需求&#xff0c;很多金融APP都会涉及到需要用户签字的环节&#xff0c;所以在此贴出代码以…

软考高级架构师笔记-9系统架构

目录 1. 前文回顾 & 考情分析2. 软件架构概述3. 软件架构风格3.1 层次架构风格3.2 面向服务架构风格4. 软件架构复用5. 特定领域软件体系结构DSSA6. ABSD7. 质量属性8. 架构评估9 结语1. 前文回顾 & 考情分析 前文回顾: 软考高级架构师笔记-1计算机硬件软考高级架构师…

TCP 协议(三)十种核心机制

1.确认应答&#xff08;可靠机制&#xff09; 2.超时重传&#xff08;可靠机制&#xff09; 3.连接管理&#xff08;可靠机制&#xff09; 4.滑动窗口&#xff08;效率机制&#xff09; 5.流量控制&#xff08;效率机制&#xff09; 6.拥塞控制&#xff08;效率机制&#xff09…

优维低代码实践:权限设置

优维低代码技术专栏&#xff0c;是一个全新的、技术为主的专栏&#xff0c;由优维技术委员会成员执笔&#xff0c;基于优维7年低代码技术研发及运维成果&#xff0c;主要介绍低代码相关的技术原理及架构逻辑&#xff0c;目的是给广大运维人提供一个技术交流与学习的平台。 优维…

js两种对象混合写,返回的是哪一个

<script>function jiafa() {this.name "xuhaitao";this.age 36;var obj {};obj.xx "hunkxu";obj.yy "88";return obj;}var aa new jiafa();console.log(aa);</script> 打印&#xff1a; FR&#xff1a;徐海涛(hunk xu)

3D引擎龙头Unity:元宇宙和AI活跃玩家

Unity是用于创建和操作交互式实时3D内容的世界领先平台。凭借灵活的编辑器、友好的开发环境、丰富的工具套件&#xff0c;Unity吸引了大量开发者&#xff0c;全球排名前1000的移动游戏70%以上使用了Unity的创作和运营解决方案&#xff0c;如今&#xff0c;Unity引擎在工业场景、…

leaflet地图移动防抖问题

现在有这么一个需求&#xff0c;当移动地图时&#xff0c;需要获取当前地图范围属于那个城市。如果频繁移动地图&#xff0c;会不停的调用接口获取当前地图视图所属城市&#xff0c;所以加个防抖&#xff0c;减少请求。代码示例&#xff1a;<!DOCTYPE html> <html>…

【Leetcode】36. 有效的数独

一、题目 1、题目描述 请你判断一个 9 x 9 的数独是否有效。只需要 根据以下规则 ,验证已经填入的数字是否有效即可。 数字 1-9 在每一行只能出现一次。 数字 1-9 在每一列只能出现一次。 数字 1-9 在每一个以粗实线分隔的 3x3 宫内只能出现一次。(请参考示例图) 注意:…

微信小程序生态15- 批量提交微信小程序审核的一种方式

文章导航 微信小程序生态1-初识小程序 微信小程序生态2-创建一个微信小程序 微信小程序生态3-微信小程序登录流程设计 微信小程序生态4-扫普通二维码进入小程序、打开短链接进入小程序 微信小程序生态5-微信公众号扫码登录PC端网页 微信小程序生态6-微信公众号授权登录(适用于…

字节跳动(抖音),软件测试四面,面试题总结!走过路过不要错过

面试一 1、 简单做一下自我介绍 2、 简要介绍一下项目/你负责的模块/选一个模块说一下你设计的用例 3 、get请求和post请求的区别 4、 如何判断前后端bug/3xx是什么意思 5、 说一下XXX项目中你做的接口测试/做了多少次 6、 http和https的区别 7、 考了几个ADB命令/查看连…

JAVA_WEB 购物商城(WEB端)

仓库地址&#xff1a;https://gitee.com/ThMyGitee/EeasyEeasyCityFrontEnd.git CSDN的友友们&#xff0c;项目如果适合您的话&#xff0c;麻烦给个小小的Star&#xff0c;谢谢啦&#xff01; JAVA_WEB 购物商城(WEB端) 效果图: 技术选型: 后端技术栈 Jsp Servlet &#x…

【力扣算法01】之最接近的三数之和

文章目录 前言问题描述示例 1示例 2提示 解题思路代码分析完整代码运行效果如图执行示例代码1执行示例代码2 完结 前言 近期已经将python 的大部分内容讲完了, 接下来的一段时间会着重于算法和面试题相关的内容, 确保学有所用, 同时也为准备进入大厂的童靴们做个铺垫, 记得关注…