作者简介:
腾讯算法研究员。硕士毕业于中国科学院大学。在阿里和腾讯工作多年,拥有丰富的搜索和推荐算法经验。CSDN博客专家,原创文章100篇。发表专利15个,其中已授权6个。
1 概述
随着互联网的大力发展,用户规模和内容规模均呈现迅猛发展。用户侧日活过亿早已不是什么新鲜事,内容侧由于UGC生产方式的普及,拥有几十亿内容库的平台也屡见不鲜。如何让海量用户在海量内容中找到自己喜欢的,以及如何让海量内容被海量用户精准消费,一直以来都是每个公司十分核心的问题。
在这个背景下,搜索系统和推荐系统应运而生。搜索主要解决用户如何快速寻找自己感兴趣内容的问题,偏主动型消费。推荐则主要解决内容如何精准推送给合适用户的问题,偏被动型消费。二者对用户、平台和内容都有十分重要的意义。
2 推荐系统与用户体验
用户第一基本是当今每个互联网公司的共识,作为流量分发的中心,推荐系统也不例外。几乎所有想长远发展的公司,其推荐系统都会将用户体验放在第一位,其次才是兼顾商业价值。推荐系统可以从如下几个方面提升用户体验:
- 加快信息获取效率:当前推荐系统通常基于个性化分发,不同用户看到的内容不同,即“千人千面”。它可以从海量内容中发现用户感兴趣的,节省用户寻找有用信息的时间,从而有效解决“信息过载”问题。图1所示为两个不同性别用户在京东APP首页的展示内容。左图为男性用户,展示内容主要为数码商品、家具电器和自行车。右图为女性用户,则以女装、母婴和厨房用品等为主。
- 提升内容供给质量:推荐系统基于优胜劣汰的原则,高质量内容通常更容易获取流量,而低质量内容则很可能会被淘汰。这有利于刺激生产者提升内容生产质量,从而提升用户体验。例如用户可以很轻松的买到物美价廉的商品,很容易的浏览到有深度有见地的文章等。
- 培养用户潜在兴趣:推荐系统还能不断试探、挖掘和培养用户的潜在兴趣,带来一定的惊喜性。这有助于用户兴趣的多样化,避免信息茧房和审美疲劳,从而提升用户体验。例如用户购买了一部手机,则之后陆续给他推荐手机壳、贴膜和耳机等配件。一年后再给他推荐其他手机,因为可能到了换机的时候,从而最大化挖掘其潜在需求。很多时候,推荐系统可能比用户更了解自己。
图1 不同性别用户的京东APP首页
3 推荐系统与内容生产
内容供给是每个平台型公司安身立命的根本,例如电商公司的核心在于,商品能否做到“多快好省”,其中每个字都是关键。推荐系统作为流量入口和分发中心,对内容生产的作用不言而喻。它可以从如下几个方面助力内容生产:
- 提升内容生产公平性:基于优胜劣汰原则,高质量内容获取的流量要远大于低质量内容。转化率的提升,可以带来曝光机会的进一步增加。创作者用心付出,自然就能得到平台的回报。另外受众广的内容比受众窄的更容易得到流量,但其竞争往往也更为激烈,最终可以达到动态平衡。总之,推荐系统创造了一个相对公平的环境,让各种不同的内容可以充分自由竞争。
- 增加内容曝光机会:基于个性化分发,推荐系统可以提升用户浏览量和粘性,从而提升平台整体流量。这也为每个创作者带来了福音,特别是曝光机会聊聊的尾部创作者。另外,个性化分发和热门打压策略,有助于流量的均衡化,避免过于集中在头部物品上。从而增加其他内容的曝光机会。
- 扶持有潜力的中小生产者:推荐系统同样存在马太效应,中小生产者数量很大,但曝光机会不多。他们虽然良莠不齐,但处于成长阶段,未来潜力很大。另外他们对内容多样性和平台生态意义重大。因此推荐系统往往会对其进行扶持。通过冷启保量和生态扶持等策略,给予中小生产者一定流量,有利于加速其成长。
最后需要注意的是,增大用户规模和提升用户粘性,才能做大平台整体流量,从而从根本上提升生产者曝光机会,以及做到流量普惠。要做到这些,还是需要不断提升用户体验。从这个角度同样可以看出用户体验的重要意义。
4 推荐系统与平台发展
推荐系统对平台发展同样至关重要。它很大程度上决定了内容分发效率,并与公司各项核心指标息息相关。它可以从如下几个方面助力平台发展:
- 扩大用户规模:优化推荐系统,有利于提升用户体验,可以增加用户留存,从而提升平台日活、月活和注册用户数等关键指标。不重视这一点的公司,辛辛苦苦做营销活动获取的新用户,也很容易流失掉。
- 提升平台流量:好的推荐系统可以不断发掘和满足用户实时需求,让用户沉浸其中。这有利于提升用户消费深度和粘性,从而增加人均曝光、人均点击和人均时长等核心效率指标。目前抖音和快手等短视频平台,人均时长已经高达100分钟以上,推荐系统在其中起到了十分重要的作用。
- 增加公司收入:公司发展的最终目的还是盈利,因此平台收入是终极目标。通过优化推荐系统,可以提高电商平台订单量和内容平台使用时长。从而有利于商业化目标(如广告)的达成。2021年天猫“双十一”成交额为5403亿元,其中大部分是搜索和推荐系统流量。即使1%的提升也能带来540亿元的增量,十分惊人。另外,抖音2022年广告收入超过2000亿元,推荐系统同样功不可没。
正因为推荐系统的重要地位,Netflix于2006年推出一项竞赛,获奖者可以获得100万美元的巨额奖金,以帮助优化其推荐系统。目前,各家公司在推荐系统上的研发投入,都毫不吝啬,也印证了其重要地位。图1-2所示为2009年-2021年天猫“双十一”成交额,其规模十分惊人。
图2 2009年-2021年天猫“双十一”成交额
5 总结
搜索、推荐和广告是绝大多数互联网公司的核心业务,其地位不言而喻。从事这个方向的工程师是十分幸运的。同时,搜索、推荐和广告三大方向一脉相承,其复用性很高,基本掌握一个方向,其他另外两个方向也能得心应手。本文是《精通推荐算法》系列文章的第一篇,后续会连载更多内容。包括召回、粗排、精排和重排的知识体系、当前重难点、如何优化,以及业界的经典模型等。干货多多,强烈建议关注和收藏。