【程序化广告】相关技术(RTB竞价原理、Cookie映射流程、数据统计原理、程序化创意、防作弊方法)

上一篇介绍了【程序化广告】广告投放流程/漏斗/要素/策略/指标，本篇介绍一下程序化广告所使用到的相关技术，包括RTB竞价原理、Cookie映射流程、数据统计原理、程序化创意、防作弊方法等。

1. RTB竞价原理

1）竞价逻辑

用户开启电脑，打开浏览器，访问某媒体网站（如今日头条toutiao.com），媒体网站页面通常会有广告位。以今日头条右上角250*250的广告位为例子，假设此位置已加入RTB交易市场。用户从进入网站，到250*250广告位置向用户呈现广告，整个过程在毫秒级内发生。期间到底经过了哪些流程？

流程1：用户A在Web浏览器访问今日头条首页。

流程2：今日头条通知广告交易平台：首页右上角250*250广告位要向用户A展示广告。

流程3：广告交易平台根据这个竞价请求组织一次竞价。由竞价发起服务向各需求方发送竞价请求（Bid Request），询问是否需要竞价，并传输用户A的User ID（广告交易平台的用户cookie或者移动设备ID等）、用户IP和广告位信息（页面URL、广告位置等）。

流程4：需求方竞价监听服务接收到广告交易平台发来的竞价请求后，将竞价请求信息传输给竞价引擎。

流程5：竞价引擎根据广告交易平台UserID向用户数据中心查询用户相关信息。如果是PC端，竞价引擎需要查询cookie mapping数据库，得出用户在需求方系统的cooke ID（如果需求方对应的cookie不存在，则向广告交易平台请求cookie mapping）。

流程6：用户数据中心向竞价引擎返回用户A的信息，如性别、年龄、兴趣爱好等。返回的具体用户信息需要参照用户数据中心的信息维度而定。

流程7：竞价引擎将用户数据和投放需求进行匹配，决定是否参与出价以及CPM出价。

流程8：竞价监听服务向广告交易平台发送出价响应（Bid Response），并发送CPM价格和广告代码。如果不参与竞价，则不响应。

流程9：广告交易平台接收到所有需求方的出价响应后由竞价决策服务进行竞拍。价高者得，次高价结算，即出价最高的需求方赢得本次展示，并以第二高的投标价格（通常比第二高多1分钱）跟广告交易平台结算。同时，竞价决策服务需要为供应方（今日头条）返回赢得本次竞价的需求方的竞价信息（CPM价格和广告代码）。

流程10：Web浏览器向需求方请求广告物料的展示。

流程11：需求方物料管理服务返回对应的广告物料。需要说明的是，广告物料必须先经过CDN服务再呈现在广告位。另外，需求方平台还会收到广告交易平台发送的竞价消息（Win Notice），表示该次展示已经竞价成功。

流程12：用户A看到广告，当前竞价流程结束

广告投放管理平台

广告主在广告投放管理平台设置投放时间、预算、地区定向、用户属性等投放策略。竞价引擎需要将用户信息跟广告主设置的投放策略进行匹配，由此判断是否参与竞价。

算法模型

算法模型是实时竞价过程中最主要的决策部分，主要围绕广告主投放需求、媒体质量、人群属性、创意内容、用户场景、市场环境（实时竞价市场中的竞争激烈程度）这六大模块细分不同维度，并通过不断升维和降维进行自动调优，以达到价格和效果的最优值。比如算法模型会根据历史投放数据、用户数据等信息判断/预估哪些用户是高质量用户，是否值得竞价以及应该出价多少。

CDN加速服务

CDN全称Content Delivery Network，即内容分发网络，可以使广告内容的传输和加载更快更稳定。对于图片、Flash、特别是视频FLV等类型的广告物料，必须经过CDN加速，媒体环境才能更快地加载广告物料内容（加载时间控制在1s内），让用户能够快速看到广告内容。

竞价过滤

在广告交易平台发过来的竞价请求中，需求方平台会根据广告主设置的投放条件和KPI要求以及流量质量等进行过滤，过滤掉的流量将不应答出价。另外，有反作弊能力的需求方平台还会对作弊流量进行过滤，保障投放效果，减少投放浪费。

需求方平台内部竞争机制

需求方平台会在满足参与竞价条件的众多广告主中，根据内部平台每个广告主的出价高低、转化预估等综合标准来判断由谁胜出内部竞争，再用胜出者的出价返回给广告交易平台。

2）竞价结算规则

DSP会先从内部挑选出最高的价格与外部DSP竞争，AdX/SSP综合各家DSP提交的价格进行拍卖，把广告展示给出价最高的DSP。如下图，DSP A里面的最高价是广告主A.1的￥3，次高价是广告主A.2的￥2.5，但是对于AdX/SSP来说，收到的价格分别是DSP A的￥3、DSP B的￥2、DSP C的￥1.9，因此此次广告展示由DSP A竞得，展示广告主A.1的广告，并以￥2.01（比次高价多1分）的价格与AdX/SSP结算，而不是以DSP A的次高价￥2.5结算。

3）竞价相关指标

PS: QPS（Query Per Second）即每秒查询率，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。DSP可以在AdX/SSP管理后台设置能接受的QPS值。

2. Cookie映射流程

程序化广告生态是以人为本的生态，要实现精准定向人群，首先要解决识别人群中每个个体的问题。在PC上，通常用cookie作为“人”的唯一标识，为每个“人”打标识的技术业内叫“种cookie”。

在程序化广告的“参与者”图中可以看到，人群流向轨迹是网站->AdX或SSP->DSP->广告主官网。在这些环节中，每个参与者都需要对PC上的用户打cookie进行标识，而不同参与者命名cookie的方式都不同，即使同一个用户，DSP可能命名为123，AdX可能命名为ABC。

我们应该怎样将各参与者的cookie串联起来，识别出它是同一个用户呢？这时就需要用到cookie映射技术（cookie mapping或cookie matching）。通过映射，将DSP家的用户123和AdX家的用户ABC对应起来。

PS:

移动设备ID映射

移动端用设备号ID（如IMEI号、Android-ID或IDFA）识别用户，这些ID都是固定的，并且能够在不同APP中共享。一般情况下，移动设备ID不需要mapping映射，但由于部分AdX发给DSP的ID会采用加密方式（如md5加密），因此，DSP方需要将竞价请求中的加密ID与原始ID进行映射，才能更好地进行移动端的人群标签定向。

假设用户A正在使用浏览器访问网站。在此用户A浏览器中，AdX的cookieID为AdX-UID，并且DSP未在此种过cookie。

流程1：AdX发送竞价请求给DSP，携带AdX-UID。

流程2：DSP根据AdX-UID查找映射表，如果不存在此映射关系，则需要向AdX发起cookie mapping请求，并在竞价成功后返回广告投放代码Ad Tag，此Ad Tag将携带1*1的透明像素图片<img src="AdX域名的cookie mapping URL" />。注意，这里的cookie mapping是由DSP发起的，不过，部分AdX也支持主动发起cookie mapping。

流程3：AdX发送DSP的Ad Tag到浏览器。

流程4：浏览器触发该Ad Tag中的1*1透明像素图片，触发AdX的cookie mapping服务。

流程5：AdX的cookie mapping服务查找DSP设置的cookie mapping URL（DSP对接AdX时，设置对应的cookie mapping URL），并进行302跳转，重定向到DSP并携带AdX-UID。AdX传送给DSP的AdX-UID通常是原始的AdX的cookie ID，部分AdX会对此ID加密。

流程6：DSP发送1*1的透明像素图片（携带cookie ID，假设为DSP-UID）到浏览器，种上DSP cookie，并保存此DSP-UID和AdX-UID的映射关系。需要说明的是，谁发起cookie映射以及谁负责保存映射关系并不是硬性规定的，可以经由双方协商确认。

PS:

强制cookie映射

如果DSP在某些AdX的投放量很小，按照上述流程可知，cookie mapping的机会也比较少，导致DSP在这些AdX上可识别的人群也不多。如果需要投放人群标签的话，可能会导致投不出量或者很少量。

DSP可以通过强制cookie映射扩大可识别的人群数量。强制cookie映射是指DSP在某家AdX赢得展示后，除了可以与该AdX进行cookie映射外，还可以在广告曝光时发起其它AdX的cookie映射请求，比如曝光时发送AdX A的映射URL后，由AdX A进行302重定向返回DSP，DSP继续302重定向到AdX B的映射URL......可以持续进行多个AdX的映射，但是并不代表可以无限映射，因为浏览器会限制跳转次数，而且不同浏览器限制的次数不同。

DSP与DMP映射

如果DSP需要对接第三方DMP或者其它第三方服务的数据，同样需要cookie映射。跟强制cookie mapping原理一样，DSP在广告曝光时发起DMP或者其它第三方服务的cookie映射请求。

衡量指标

衡量需求方平台购买精准人群的实力，除了是否对接了大量流量资源之外，通常还会考量需求方平台与广告交易平台或其它数据供应方之间的cookie mapping比例，以及需求方平台与数据供应方的“人群匹配率”。

cookie mapping比例越高，代表需求方平台能识别的人群越大。能识别的人群库足够大，才能帮需求方采购更多的精准人群。

另外，还需要考量第三方数据在需求方平台的“人群匹配率”。匹配率越高，人群标签能够在流量池中被命中的机会就越大，需求方平台才有可能大面积地覆盖所需人群。

3. 数据统计原理

不管是广告投放中还是投放后，我们都需要对广告效果进行验证观察，才能更好的评估、制定和调整投放策略。同时还需要根据每个用户的行为数据进行广告、网站或APP优化，从而提升用户转化和留存。收集广告投放数据和用户行为数据，需要通过部署统计代码或技术对接来实现。

1）网站统计逻辑

流程1：浏览器向网站Web Server发起请求URL。

流程2：网站Web Server解析请求URL并生成Html文档响应返回给浏览器。

流程3：浏览器解析Html文件，加载外部脚本、样式表和图片等，触发JS统计代码。

流程4：解析并执行JS脚本，请求数据收集脚本。通过浏览器内置JS收集域名、URL、页面标题、分辨率、客户端语言、referrer、cookie（如果在此用户浏览器种过cookie，则能获取到对应cookie信息；如无，则通过流程6.1种cookie）等信息，以及自定义事件（如注册等）数据。

流程5：传输收集的信息给后端脚本。

流程6：流程6.1后端脚本生成透明1*1像素图片，在浏览器中种入cookie标识访客。流程6.2后端脚本解析并发送流程5得到的信息，并从网站Web Server获取IP、访问时间等信息，写入日志Log队列。

流程7：日志信息发送至实时统计服务。实时统计后数据入库至实时数据库。

流程8：离线统计服务从实时数据库调用数据进行离线分析，并入库至离线数据库。

流程9：查询数据库，并进行可视化数据报表呈现。

PS:

浏览器指纹

用户使用浏览器浏览网站时，该用户浏览器相关的数据和操作称为指纹，如userAgent（包含浏览器版本号等信息）、http_accept（http协议头中的一个字段）、plugins（浏览器安装的插件信息）、timezone（时区信息）、fonts（系统安装字体）等。这些指纹信息都与用户的个人习惯、使用环境有关，综合用户其它信息（如IP地址等）时，可以有效辨别用户特征，因此称为浏览器指纹。进行反作弊工作时，经常需要用到这些指纹信息。

2）APP统计逻辑

流程1：APP应用客户端向App应用服务端发起请求。

流程2：APP应用服务端响应请求并返回应用信息。

流程3：APP应用客户端调用统计SDK并初始化，同时通过API接口（OC/Java）写入版本、渠道等信息，并进行数据埋点。

流程4：收集应用运行信息，包括访问者唯一标识、访问时间、应用版本号、运营商、联网方式、操作系统等。移动端访问者唯一标识通常是IMEI号、Android-ID或IDFA等。

流程5：在APP启动/关闭时或收集的信息数量达到某一上限时，传送信息给后端。

流程6：后端脚本解析并发送流程5得到的数据包，写入日志Log队列。

流程7：日志信息发送至实时统计服务。实时统计后数据入库至实时数据库。

流程8：离线统计服务从实时数据库调用数据进行离线分析，并入库至离线数据库。

流程9：查询数据库，并进行可视化数据报表呈现。

3）S2S对接

iOS类广告主由于涉及应用上架审核相关原因，一般都不愿意加广告商的统计SDK，但是广告商在广告投放时需要转化数据（如安装激活）来评估效果并调整策略。目前常用方式是广告商（这里以DSP为例）通过与广告主S2S（ServerToServer，服务器对服务器）对接来接收转化数据。

流程1：用户A在手机上打开媒体APP，看到广告后产生兴趣，并点击广告。

流程2：媒体APP请求DSP的跳转URL，携带用户A的设备信息（如设备号IDFA）。

流程3：DSP进行302跳转至广告主的中转URL，携带IDFA和曝光/点击ID等信息。

流程4：广告主服务器保存IDFA和曝光/点击ID信息，并302跳转至APPStore。

流程5：用户产生下载并安装广告主APP。第1次打开广告主APP时，APP触发广告主服务器会带上设备信息（如果用户不下载，则这次点击没有对应的转化数据）。

流程6：广告主服务器匹配流程4中保存的信息，并查找最近一次点击，将激活匹配到该点击（这里我们假设最后一次点击是该DSP产生的），传送激活信息给DSP。

流程7：DSP收到激活信息，根据曝光/点击ID将此次激活和对应的设备ID计入对应的推广活动。

PS:

有些广告主使用的是第三方移动监测服务，这种情况下，流程中的广告主服务器部分也可以由该监测服务提供商代替，如TalkingData、热云等。

另外，如果有些媒体APP无法提供IDFA，可以用设备的“IP+userAgent”信息代替，前提是广告主愿意接受这种方式，只是精准度不如IDFA，因为用户IP会变化。

4. 程序化创意

程序化创意，就是实现从创意制作到投放优化整个过程的程序化。针对不同受众的不同消费需求，或者同一受众在不同时期不同场景的不同消费需求，程序化自动生成个性精准创意，最大化刺激消费需求，提升创意制作效率和广告投放效果。

1）DCO原理

动态创意优化（Dynamic Creative Optimization，简称DCO）：根据用户的标签属性匹配相应的创意，并根据他们的行为实时调整策略，自动选择最优方案。

流程1：PCP通过商品对接服务对接客户的商品信息，包括商品的名称、价格、页面、库存等。需要注意的是，商品库存和价格信息对实时性有要求（试着想像一下，用户点击某广告进入想购买，结果收到库存不足或者价格变化的提醒），其它数据对实时性要求没那么高。商品库对接方式：JS代码、Feed接口、FTP方式、Excel/CSV导入等。

流程2：商品信息入库。

流程3：创意管理平台调用商品库的商品信息和用户数据中心的用户信息设置动态创意规则，设置好需要推荐的商品、展示方式、创意样式等（如库存量低于某个值时，该商品不推荐；一次推荐5个商品，按销量降序排列等）。PCP将设置好的动态创意规则生成创意代码Ad Tag，发送到DSP。

流程4：DSP竞价成功后，发送Ad Tag到浏览器。

流程5：浏览器向PCP创意渲染服务发起创意请求，携带当前用户的唯一标识User ID。

流程6：创意渲染服务向推荐引擎请求该User ID对应展示的创意内容，并携带Ad Tag对应的商品规则。

流程7：推荐引擎向用户数据中心查询该User ID的用户信息，如兴趣爱好、行为数据等。

流程8：用户数据中心返回用户信息。

流程9：推荐引擎根据用户信息以及商品规则，得出要推荐展示的商品，并从商品库查询调用商品信息，返回到创意渲染服务。

流程10：创意渲染服务根据推荐引擎返回的商品信息和Ad Tag对应的创意样式等，生成个性化创意，并展示到浏览器中。

2）创意制作流程

为了实现程序化自动批量生成创意，我们需要在创意管理平台制作和管理创意。首先定好创意基本框架（称为创意模板），框架里面的内容可以分成5部分，也可以称为5个元素：

Key Vision（主视觉）：显示创意的主要内容，通常是指商品图片。

Logo（品牌标识）：用于显示广告主的Logo。

Information（文案说明）：主视觉的补充说明信息，通常是商品名称、价格、折扣信息等。

Call to Action（行为召唤）：与用户进行互动，一般是转化通道，如下载、注册、购买按钮等。

Background（背景图）：背景图，一般用来美化衬托创意。

以上列举的是通用模板，当然，这5个元素不是必须同时存在，也不限于这5个元素，但制作思路基本一致。

动态创意制作流程：

流程1：上传各元素内容，形成物料库。包括Logo、商品信息（包括图片、名称、价格、折扣等信息）、按钮等。商品信息一般对接广告主商品库批量导入。

流程2：制作模板，定义好尺寸比例、各元素的位置及内容来源（比如主视觉引用商品库的商品图片，文案说明引用商品库对应商品的名称和价格）等。

流程3：设置创意规则，比如对女性用户展示模板A、商品内容为该用户加入到购物车的信息、每个动态创意自动轮播展示5个商品、商品展现顺序按热销度降序排列等。

流程4：将模板和规则应用到广告投放，程序化自动生成创意展现给用户。

5.用户数据中心

流程1：将第一方、第二方、第三方数据输入到用户数据中心，包括：通过收数接口传输广告主通过加代码埋点时统计到的网站或APP的数据、通过收数接口传输广告投放时的业务数据（如曝光、点击数等）、通过对接接口传输外部数据（包括广告主CRM数据、电商交易数据、第三方DMP数据等）。

流程2：传输数据信息并写入日志Log，包括2.1的收数接口和2.2的对接接口传输数据到日志整理存储。需要注意的是，由于数据输入的来源较多，用户标识不一致，特别是PC环境下的cookie，因此需要用户ID映射表将所有来源的数据用唯一ID打通。

流程3：日志管理存储将汇总后的数据信息（包括结构化数据、半结构化数据和非结构化数据）发给数据处理服务。

流程4：数据处理服务对日志信息进行标准化处理，发送到分析引擎。

流程5：分析引擎对数据进行清洗，过滤作弊数据和其它异常数据，将有效数据发送到算法中心。

流程6：算法中心结合标签规则模型对数据进行机器学习和数据挖掘，将数据标签化处理后返回给标签管理平台。

流程7：标签管理平台通过输出接口同步数据到各数据应用平台，如DSP、PCP、AdX/SSP或其它平台。

6. 反作弊

1）作弊环节

从整个广告投放流程来看，作弊节点不外乎存在于曝光、点击和转化（包括但不限于注册、激活、互动、购买等）三个环节：

曝光环节：针对曝光环节的作弊最简单粗暴，也最高效，常见于用CPM结算的媒体。

点击环节：常见于用CPC结算的媒体。随着广告主越来越看重CTR，一些非CPC结算的媒体，也会为了提升CTR在点击上做手脚。

转化环节：广告主为了降低风险，直接跟媒体谈判CPA甚至CPS的结算方式。但是上有政策下有对策，来自流量端的作弊手段的进化速度已经超过了广告主的应变速度。

2）作弊方式

大多数情况下，需求方都把焦点放在了非人类流量上，然而作弊远远不止那些机器人流量。下面简单列举几种常见的作弊方式：

假用户：一般是利用机器人，不断地变换IP、cookie甚至设备ID等来伪装成不同的“用户”去刷广告页面或点击广告。

真用户假流量：这类作弊是机器人作弊的进阶版。它利用了真实的用户设备，使得作弊流量的用户属性特征更接近真实流量。常见手段有：广告容器设置为1x1像素、利用插件植入不可见的广告位置、肉鸡刷广告、雇佣“枪手”刷广告等。

真用户真流量：这类作弊相较于前两种作弊方式而言逼格更高。表现一就是“挂羊头卖狗肉”，用劣质流量滥竽充数卖高价。表现二是通过http或者DNS进行流量劫持，不完全算是作弊流量，叫它“非法流量”可能更准确。

3）反作弊方法

反作弊工作需要事前预防、事后追溯、人工排查、智能算法等方式多管齐下。下面从“用户标识、用户行为、广告来源”三个角度讲解反作弊的基础理论和方法，基于这些理论和方法，我们才能更好地去完善反作弊算法和人工排查。

用户标识

一般是根据IP、cookie（或设备ID）作为分辨用户的依据，统计某些用户是否存在高频次或高频率曝光或点击。有些媒体会通过机器人来变换IP，干扰视线，这种情况下就必须综合考虑浏览器指纹等信息来识别作弊流量。比如：当IP或者cookie都不一样，但是这群IP或者cookie的浏览器型号、分辨率、用户窗口大小、操作系统版本号、设备品牌都相同时，就需要引起特别注意。

用户行为

(1) 广告浏览/点击

对用户的广告浏览频次/频率和点击的频次/频率进行分析。常见的作弊行为模式包括：

1. 同一用户、同一时间在多个广告位产生了浏览或点击行为，或短时间内在同一广告位产生多次曝光或点击；

2. 同一用户的广告浏览或点击时间间隔过于规律；

3. 曝光数和点击数在某个时间点暴涨；

4. 用户未浏览广告就直接产生了点击行为，通常表现为出现大量无曝光的点击；

5. 用户浏览广告的面积和时长数据异常，可用广告可见度（Viewability）衡量和分析；

6. 用户点击广告的位置过于规律或过于集中，一般用广告位热图来观察分析；

7. 用户行为的各环节（浏览广告->点击广告->到站->转化）遵循严谨的时间先后顺序，如果点击广告的时间早于浏览广告的时间，或浏览和点击行为之间的时间间隔异常，一般可以判断为作弊。

(2) 到站情况

综合考量用户留存、停留时间，访问深度等指标，用于分析转化用户的质量。同时，还得关注用户的站内交互情况（点击、滚动、输入等操作）。和广告点击作弊一样，为了制造用户活跃的假象，作弊的媒体供应方可能会利用机器产生大量页面点击，同样地，我们可以利用点击的区域、次数、频率、页面窗口大小等指标去伪存真。