编者按:
数字化浪潮蓬勃兴起,企业面临的安全挑战亦日益严峻。
腾讯安全近期将复盘2022年典型的攻击事件,帮助企业深入了解攻击手法和应对措施,完善自身安全防御体系。
本篇聚焦某游戏公司新游戏上线后与黑产多轮攻防的48小时里,腾讯安全和客户如何并肩作战,击退黑产的故事。
“已经扩容几十台机器,怎么还是崩掉?!”
运维人员看着屏幕上的曲线图,陷入沉思。另一边,公司网站打不开、游戏访问缓慢、玩家投诉不断,巨大的压力席卷而来。
几天前,这家独立游戏公司的新产品一夜之间爆红,吸引了上千万玩家。当团队还沉浸在成功的喜悦中时,危机突然降临。运维人员敏锐地判断到,这不是简单的用户大规模增长,大量异常流量表明:
“我们被黑灰产攻击了!”
游戏背后的黑产战事
有人的地方就有江湖,有利益的地方就有黑产。
游戏行业蓬勃发展,带动了5G和AI等先进技术,也助推数字经济和文化产业。然而,由于游戏产业本身拥有巨大的产值和流水,在这庞大的系统下也滋生了一条黑色产业链,他们不择手段地汲取养分,对游戏生态造成了巨大的破坏。
游戏黑灰产们无利而不往,他们一般通过两种方式来牟利。一种是通过DDoS攻击或者病毒入侵的方式,破坏游戏服务器并造成宕机,从而对游戏厂商勒索高额赎金;另一种即是通过逆向破解、漏洞利用等手段生产外挂,通过售卖外挂猎取不义之财。
不幸的是,这款风靡全网的游戏先后遭遇了上述两种黑灰产攻击。
时间回到七月份,这款游戏突然一夜爆红,用户规模在一周内增长达500倍。搜索指数暴涨、热搜榜单霸屏,前所未有的关注度吸引了上千万玩家跃跃欲试,而潜伏在暗处的游戏黑灰产,也开始盯上了这块“肥肉”。
几天之后,游戏服务器开始出现多次异常。运维人员在后台发现计算资源、网络资源都处于极度繁忙的状态,造成多个页面无法正常服务,于是只能下线部分服务,并进行紧急扩容。
此时,第一轮黑灰产攻击已经暗流涌动。
看着后台大量虚虚实实的访问量如洪水一般涌入,运维人员判断到,“我们正在遭受更恶劣的DDoS攻击!”
他们迅速联系腾讯云,升级了DDoS高防包,同时使用高防IP进行兜底,抵御更大流量的攻击。据事后得知,腾讯安全DDoS防护在10天内帮助游戏扛住了50多次DDoS攻击,最高峰值接近200G。
服务器压力终于有所缓和,运维人员松了一口气,但是一种不好的预感仍然埋藏在他们的心里。
更棘手的难题,还在夜晚等待他们。
云上攻防48小时
兵者,无坚不摧,唯快不破。
晚上8点,第二轮攻击席卷而来。突然之间公司网站打不开、游戏访问缓慢、玩家投诉不断,尽管运维人员已经扩容了几十台机器,但是每台机器的平均CPU水位仍处于50%以上。于是出现了文章开头的一幕。
而令整个游戏团队更不安的,是由此引发的第三轮攻击——外挂的应用,由于游戏的某个API被黑灰产恶意利用,一个外挂在开源网站GitHub上大肆传播,让游戏体验雪上加霜。一时间,玩家的谩骂淹没了游戏的官方微博,不少玩家更是纷纷表示要弃坑。
“如果不把垃圾流量的问题解决掉,继续扩容也只是治标不治本。”他们意识到了事情的严峻。
一个棘手的问题摆在他们面前——如何准确地拦截假流量而不误伤真实玩家,才能同时稳住业务系统和用户口碑?
面对来势汹汹的黑灰产攻击,他们再次找来了腾讯安全团队。
腾讯安全架构师Rancho突然接到了这个初创游戏团队的合作诉求时,凭借多年来和黑灰产对抗的经验,Rancho很快判断出症结所在,而解决症结的“利器”正是可以精准拦截恶意BOT和API攻击的腾讯安全WAF。
“准备接入30万QPS和30G业务带宽,能支持吗?”Rancho迅速联系腾讯安全WAF团队。
要知道,30万QPS是重大晚会直播才有的水平,时间又是晚上11点。一项几乎不可能的任务,Rancho不确定是否能完成。
“直接上!我们采用云原生架构,可弹性伸缩。”腾讯安全WAF负责人Jiyun坚决判断。
(腾讯安全团队Jiyun和Hugues)
原来,这家游戏公司本身是腾讯云的用户,而腾讯安全WAF是采用云原生架构,可在云端即开即用。当晚12点,相关的防护策略已经陆续配置上。
由于游戏还涉及很多实时对抗、分布式攻击源、动态攻击策略等复杂的攻击手段,在防护策略上线后,腾讯安全WAF的技术专家对防护规则持续调整优化,第二天下午四点,看到肉眼可见的效果,游戏团队决定全量接入腾讯安全WAF。
与此同时,随着BOT防护机制生效,大量的流量被清洗掉,而且没有接到玩家的投诉。
有意思的是,之前在开源网站GitHub上的热门外挂产品,也在腾讯安全WAF打击策略上线之后,很快发布了版本失效的公告。
“腾讯安全WAF做了流量清洗之后,他们的机器减少了30台,CPU消耗也降低到8%,算下来帮他们节省了一半以上的计算资源。”腾讯安全WAF工程师Hugues介绍道。
游戏黑产的无限战争
黑产的偷袭不会停止,江湖的暗战也不会结束。
从第一次接到需求,到研判、试用、灰度,再到全量上线,双方团队前后不过48小时,能够如质如量完成客户的诉求,既得益于团队多年积累的技术实力和服务央视频、小红书这类大客户的经验积累,也得益于“云原生架构”带来的天然优点。
一方面,这家独立游戏公司由于是新兴的创业公司,没有历史包袱,因此产品架构在建设之初就接入采用了云原生技术。他们在游戏上线初期,就基于容器部署服务,借助腾讯云的云原生特性来完成业务的快速上线。
而另一方面,腾讯安全WAF在升级之后,同样支持云原生接入方式,并采用国内首创的“旁挂式”云原生架构,可以在对业务无改动的情况下,快速应对突增流量,确保业务的安全能力快速部署。
这是腾讯安全WAF团队服务过的流程最快的一个客户,也是腾讯安全团队无数次和黑灰产攻防的缩影。
腾讯安全正在不断磨炼,打造出一个个扎实好用的安全产品,面向产业互联网持续输出自己的安全能力。