导语:我认为很少有人意识到,推荐系统是世界上构想过的最大的计算系统之一。——Jensen Huang
前言
扎克伯格在 2024 年 7 月说,我们在组建 Reality Labs 之前就成立了 FAIR——人工智能研究中心,主要产品线有 Facebook 和 Instagram 的信息流和推荐系统,生成式 AI 最终会使我们的所有产品以一种有趣的方式变得不同。
对内容的重要性进行排序一直很重要,因为大家在信息流中看到的内容不仅仅来自“关注”,还有数百万条“推荐”信息。以前,不同类型的内容会使用不同的推荐模型,例如一个模型用于排序和推荐短视频,另一个模型用于排序和推荐更长形式的视频。随着现在的推荐模型越来越通用,可以拉取内容的流量池越来越广,推荐的效率变得更高、效果也变得更好。
扎克伯格梦想有一天,Facebook 或 Instagram 的全部内容就像一个单一的 AI 模型,统一了所有不同的内容类型和系统,只是在不同的时间框架上有不同的呈现目标,其中一些只展示你今天想看的有趣内容,但有些能帮你建立人际网络,推送你可能认识的人或你可能想关注的账户。
一、智能推荐系统基础概念
在信息过载(information overload)的时代,社交媒体作为信息的主要传播渠道,丰富了内容获取途径,却也无形中加剧了用户的“选择困难症”。智能推荐系统应运而生,依托大数据分析和机器学习算法,深度挖掘用户行为偏好、兴趣特征,提升信息获取效率和质量,不仅优化了用户使用体验,还促进了信息生态的健康发展,实现内容生产者和消费者的双赢。
1.定义解析
智能推荐系统,作为信息过滤和个性化服务的重要手段,其核心在于通过整合用户的历史行为数据、兴趣偏好以及上下文环境等多维度信息,用复杂的算法模型自动分析并预测用户的潜在需求或兴趣点,进而向用户推荐其可能感兴趣的内容、商品、服务或社交关系等。这一过程不仅极大地提升了信息获取的效率和准确性,还促进了用户和平台之间的深度互动、个性化体验。
2.发展历程
智能推荐系统的发展经历了从简单到复杂、从单一到多元、以及从静态到动态的演进过程。
(1)萌芽期
20 世纪 90 年代初,随着互联网的兴起,信息过载问题逐渐显现。基于协同过滤(Collaborative Filtering)的推荐算法应运而生,通过分析用户间的相似性来预测用户可能感兴趣的内容。这标志着智能推荐系统的初步形成。
(2)成长期
20 世纪 90 年代末至 21 世纪初,电子商务蓬勃发展,推荐系统开始广泛应用于商品推荐领域。除了协同过滤外,基于内容的推荐(Content-Based Filtering)逐渐成熟,通过分析物品的内容特征与用户兴趣之间的匹配度来生成推荐。同时,混合推荐(Hybrid Recommendation)策略开始被探索,希望能结合多种推荐技术的优势,提升推荐效果。
(3)成熟期
21 世纪 10 年代至今,大数据、云计算、人工智能等技术飞速发展,智能推荐系统进入了全新的阶段。深度学习(Deep Learning)技术的引入,使推荐系统能够处理更加复杂的数据模式,捕捉用户和物品之间的高阶非线性关系。上下文感知推荐(Context-Aware Recommendation)、社交推荐(Social Recommendation)等新兴推荐模式不断涌现,进一步丰富了推荐系统的应用场景和推荐策略。同时,推荐系统的评估指标也日益完善,包括准确率、召回率、多样性、新颖性等多个维度,为推荐系统的优化提供了更加全面的指导。
二、优秀案例拆解:百度智能推荐引擎产品
移动时代下,竞争公域流量、运营私域流量、挖掘用户价值是业务成功的关键目标。越来越多的行业都在自建并独立运营 APP,但普遍缺乏流量运营的经验。
百度推出智能推荐引擎产品,依托百度开源深度学习平台,通过推荐、内容和搜索三位一体模式提高个性化水平,为开发者提供端到端的 RESTful API 和 SDK,帮助业务系统提升私域流量用户活跃、留存和转化效果。
1.产品介绍
版本 | 介绍 | 版本优势 |
POC 版 | POC 版(Proof of Concept,概念验证)的目标主要是验证搜索推荐系统的核心功能和技术可行性。 | ·功能简单上手快。 |
标准版 | 标准版具有更多的功能和更好的性能,可以满足大多数用户的搜索和推荐需求。 对于更高阶的配置需求和性能要求小。 | ·开箱即用,无需运维,可一键完成智能搜索和推荐全链路服务部署。 |
专业版(即将上线) | 专业版是针对特定行业或领域的高级用户而开发的版本。 | ·支持大模型增强能力,如用户兴趣理解、大模型自动化测评、问答等能力。 |
百度智能推荐引擎产品的目标用户是有一定经验的开发者,其差异化定位如下:
(1)搜推一体化双引擎:搜索与推荐融合,一套技术同时支撑搜索和推荐这两个场景,实现技术的复用与提升;数据相互贯通,增强搜索的个性化效果。
(2)公私同栈效果一致:除了提供公有云SaaS订阅服务外,还支持私有化部署。两种模式采用同一套代码,公有云私有化效果一致。
(3)大模型赋能兴趣理解:专业版提供大模型推荐相关服务, 使用LLM技术个性化提取兴趣旅程,从而挖掘用户的长短期兴趣。
(4)强大的深度学习底座:百度自研飞桨大规模机器学习框架Paddle支持信创,推荐场景定制化优化模型与算子赋能,基于海量文本、图片、视频等大规模预训练,提供精准的多模态内容理解服务。
(5)聚焦C端场景运营:在金融、媒体、泛互联网等行业有丰富实战经验。支持信息流内容物料引入,促进私域移动内容多样化发展;提供专业运营咨询服务,助力精细化运营。
2.技术架构:搜索推荐双引擎一体化赋能内容分发和消费增长
(1)全链路个性化策略:召回机制、排序模型以及运营策略规则均支持个性化配置,显著提升运营的灵活性;
(2)丰富多样的特征挖掘:多维立体的用户画像,涵盖年龄、性别、地域、标签等;基于相似用户的兴趣以及交互记录进行个性化推荐;
(3)完整的效果优化工具链:通过 AB 实验可快速验证策略和模型的效果,以提升整体业务目标;在展现控制环节,规则具有可控性,分发也能够进行人工干预。
3.应用场景
百度智能推荐引擎产品可提供多种部署方式。将推荐系统部署到企业的服务器上,企业能将采集数据用于精细化运营、用户画像或广告营销等场景,也能添加特征、调整召回、训练模型并调参,真正做到交付给客户自主可控的推荐系统,最大化发挥数据价值。
(1)信息流推荐
在全渠道内容中,结合用户标签快速优化内容精准分发用户期待的内容,提高终端用户在站内的活跃度和粘性。
场景优势: 推荐策略适配度高,减少企业开发与试错成本; 精准获取用户心智,提升用户粘性与活跃度。
(2)商品推荐
基于用户属性、历史行为和兴趣偏好等多维度数据,为用户在APP首页、相似商品页等不同场景提供个性化推荐服务。
场景优势: 用户浏览时,推荐相关商品、兴趣商品,提升商品销售转化; 在相关页面,通过猜你喜欢与相关推荐增加产品曝光,挖掘购物需求。
三、智能推荐引擎的入门步骤
智能推荐引擎产品是一款集成飞桨深度学习核心框架、工具组件和服务平台于一体的技术先进、功能完备的开源深度学习平台。
登录百度智能云官网、进入百度智能云一念“智能推荐”产品页面,创建并开通所需的应用版本。
1.准备阶段
如果选择百家号内容资讯服务作为推荐内容,请关注本步骤,反之则可以跳过。
通过设定筛选条件圈选内容资讯,并可以将其定义为某类内容集,供推进应用绑定作为物料数据。用户可以根据实际需求按照内容和作者两个视角自主设定筛选规则。
2.创建应用
通过新建应用定义 API 调用者身份的方式绑定推荐场景,配置应用数据接入和输出服务参数实现服务快速启动。
3.接入数据
接入数据是使用推荐服务的前提,开发者需要在数据接入环节接入三种数据:物料数据、行为数据和用户数据。
每种数据都规定了需要传入的字段,开发者根据系统定义的字段名称和要求上传数据,否则将无法正常使用推荐服务。
4.调用服务
数据接入后,开发者启动推荐服务,通过配置流量控制参数确定所需资源,一键启动推荐服务,启动服务后开发者可根据系统使用指南调用接口,并根据接口文档说明对 API 进行调试。同时,开发者可以在此节点查看监控服务运行状态。
5.模拟体验
基于应用 API 生成的 PC 端演示 Demo,包括给定用户查看用户画像,生成物料数据,用户和点击数据,实时生成个性化推荐和相关推荐 ,支持给定内容查看内容理解中间标签结果,单次推荐结果的可解释性;手机扫码体验推荐效果,并可以在 PC 端演示的 Demo 看到统计数据的变化。
6.监控报表
开发人员或者运维人员通过监控报表了解推荐服务健康度。全方位的服务监控包含了接口调用、接口异常、服务健康度、用户交互等统计数据,保障核心指标数据监控无死角。
四、总结
在信息过载的时代,无论是信息消费者还是信息生产者都遇到了前所未有的挑战。作为信息消费者,很难从大量信息中找到自己感兴趣的内容;作为信息生产者,让自己生产的内容脱颖而出、受到广大用户的关注,也是一件非常困难的事情。推荐系统就是解决这一矛盾的重要工具。
黄仁勋在今年的图形学顶级会议 SIGGRAPH 2024 上说,“我认为很少有人意识到,推荐系统是世界上构想过的最大的计算系统之一”。