(source: 图片来自麻省理工官网）
IAB平台，使命和功能
IAB成立于1996年，总部位于纽约市。
作为美国的人工智能科技巨头社会媒体和营销专业平台公司，互动广告局（IAB- the Interactive Advertising Bureau）自1996年成立以来，先后为700多家媒体和营销会员企业赋能 - 为这些领先的媒体公司、品牌、代理商和负责销售、交付和优化数字广告营销活动公司和机构提供数字化营销平台服务和技术援助。IAB公司的使命是帮助平台上的企业快速高效转向数字化营销并建试图在行业之间推动数字化营销的标准并普及推广。
IAB使媒体和营销行业能够在数字经济中蓬勃发展。针对互联网数字世界营销广告眼花缭乱，鱼目混珠的现状，互动广告局带头进行了批判性研究，同时也对品牌、代理商和更广泛的商业界进行了数字营销重要性的教育。 IAB组建了人工智能标准工作组（the AI standards working group），2019年12月他们发布了第一份报告《人工智能与市场营销中的应用》。随即2020年，IAB联合IBM的WATSON广告和尼尔森公司（Nielsen）决定致力于研发与市场营销相关的人工智能技术、最佳行业实践、（推广）人工智能的案例和（规范）营销类人工智能技术条款术语来帮助营销负责人迅速转向数字化营销市场，拥抱人工智能和机器学习技术。 IAB与IAB技术实验室合作，制定技术标准和解决方案。IAB致力于专业发展，提升整个行业员工的知识、技能、专业知识和多样性。贸易协会通过其在华盛顿特区的公共政策办公室的工作，为其成员进行宣传，并向立法者和政策制定者宣传互动广告业的价值。
IAB全球网络汇集了包括三个区域组织在内的45个IAB组织，以分享挑战，开发全球解决方案，并推动全球数字广告业。IAB分布在北美、南美、非洲、亚洲、亚太和欧洲。每个协会都是独立拥有和运营的，根据符合当地市场需求的章程运作。
第五篇：对应场景下的人工智能和机器学习技术 – 数据迁移（Data Migration）
一、原文作者和本文受众
Max Cheprasov，原dentsu首席自动化官, 当前在Tinuti公司担任首席转型管)
Max Cheprasov | Procurement Magazine
Transformation Chief - About - Max Cheprasov
Brian Klochkoff，自动化解决方案总监，dentsu主要人物利益相关者：技术专家
ttutu jtu jitu jiatu jiantu jiatu jitu jhttps://www.ssonetwork.com/events-intelligent-automation-world-series/speakers/brian-klochkoffttu
本文推荐受众：
首选读者：技术人员
次级读者：市场营销公司高层和市场营销人员
二、数据迁移主要涉及到哪些人工智能和机器学习技术？
加速数字化转型是包括广告和媒体机构在内的任何企业目前最关心的问题，因此，将数据从传统的内部部署系统迁移到更新的基于云的平台往往是一个棘手而艰苦的过程。当你在截止日期前工作时，这尤其困难。如果你没有一个应用程序编程接口（API）来批量导出这些信息，你可能需要花费数万甚至数十万个小时才能完成这项工作。
这类工作通常会阻碍机构采用更新、更灵活的云托管SaaS解决方案，因此它们往往停留在由笨重的不可集成大型机支持的过时的内部部署应用程序上。通常，这些旧平台背后的数据是在用户界面层进行转换的，很少有人能够访问甚至理解。这意味着很容易将有意义的数据输入这些系统，但从后端提取数据则是另一回事。不幸的是，这可能意味着手动将粘贴数据复制到表格格式中。将这项工作描述为机器人是一种轻描淡写的说法。
幸运的是，自动化技术的进步使这种手动工作过时，并可通过机器人过程自动化（RPA）进行寻址。这在高压和激进的时间线数据迁移项目中尤其重要，在这些项目中，执行团队正急于为员工提供他们所需的现代营销工具，以完成有意义的客户工作。
三、数据迁移的工作原理
RPA的早期采用者已经使用数字机器人来执行入门级员工可能会被困在执行的大量乏味的操作，例如将数据从旧系统复制和粘贴到电子表格，以将数据迁移到新平台。为了理解这项技术，重要的是要从现实世界的用例角度来看待它。
在最近的一项案例研究中，一家全球广告控股公司利用60个RPA机器人来完成70名全职员工一整年的工作。该自动化解决方案将每笔交易的处理时间减少了90%，从每个转录记录的3分钟手动工作减少到仅18秒的机器人工作。RPA数字劳动力的成本不仅只是人力的一小部分，而且工作的准确性达到100%，根本不需要返工。
熟悉RPA的人以前已经听过一百次它的成本节约效益，但这里真正的故事是这个项目的规模和速度。在30天内建造60个无人值守的机器人，并完成涉及数百万条记录的大规模数据迁移计划，应该是不可能的。但事实并非如此，多亏了RPA。
四、原文作者洞见和博主观察
让业务参与到这样的用例中是很重要的，因为RPA技术是如此有形和可访问，以至于它从业务用户那里为未来的用例汲取灵感。这项技术不应局限于技术功能，也不应在没有适当用例根本原因分析的情况下应用。当你拿着锤子时，一切都很容易看起来像钉子，但当用例经过深思熟虑的评估，解决方案设计优雅时，RPA可能是一种非常有效的技术。
博主通过学习后发现在市场营销方面，对一些基础的数据迁移工作做了笔记，整理如下：
1. 本文作者可能是出于公司技术的诉求出发，只是简单谈及数据迁移工作自动化技术，并未完全结合外部环境来谈，尤其是数据技术发展过程中遇到的的障碍，并没有去探讨。当前人工智能和机器学习技术在数据迁移这个领域使用仍受到很大的限制，并未能普及使用：
1）AI/ML开发挑战
人工智能培训的数据往往很难获得，尤其是当组织使用第三方人工智能和机器学习解决方案时。只有15-20%的客户同意使用他们的数据进行分析，其余的数据和所包含的见解都被锁定了。由于隐私原因，敏感数据通常是内部数据科学团队和外部人工智能或分析供应商的禁区。
2）即使数据可用，数据质量也是一个问题。历史偏差和模型漂移使AI/ML开发复杂化，并对性能产生负面影响。当训练数据质量不足时，机器学习的准确性会受到影响。这是由于训练数据不平衡造成的。如果不容易获得新鲜、平衡的训练数据，就不可能重新校准模型。模型需要能够发现隐藏在敏感数据中的罕见或全新事件，例如银行业务中的交易记录或医疗保健中的患者护理旅程。无论一个模型有多好，如果训练数据不智能的话。
3）将新的领域知识注入模型也是有问题的。由于法规的规定，客户数据通常无法链接到其他数据源，甚至是公开可用的数据源。如果没有能力将新知识添加到模型中，他们的智力将受到限制。
4）机器学习和人工智能训练数据的现状
由于缺乏高质量的训练数据，大多数AI/ML项目从未投入生产。大多数组织都有数据，但情报是保密的。出于安全和合规的原因，数据所有者不愿意提供必要的培训数据。即使数据所有者参与进来，数据准备中使用的遗留匿名化也会破坏数据的实用性。过时的匿名化工具剥夺了情报，最终导致错误的商业决策。
5）更糟糕的是，自动偏见正在数据驱动的世界中蔓延。根据Gartner的数据，估计目前85%的算法由于偏见而出现错误。目前，许多公司只是删除带有性别和种族信息的数据。然而，这并不能消除偏见，只会使有偏见的人工智能决策更难被抓住。
6） 用于AI/ML开发的合成训练数据
在AI/ML开发中，合成训练数据优于真实数据。它不仅完全符合隐私，而且由于人工智能驱动的合成过程的性质，可以增强原始数据。例如，可以在合成训练数据中对罕见的模式和事件进行上采样。当在合成数据上训练灵活的容量模型时，ML性能可以提高15%。综合还可以创建更多的记录来修复嵌入的偏见。例如，你可以培养出比原作中更多的高收入女性。结果是公平的合成数据，这是负责任的人工智能开发的必备条件。将新的领域知识注入模型也成为可能。合成数据也将是构建可解释人工智能的基础，为模型做出的决策提供见解。
2. 为什么要使用数据迁移工具？
进行数据迁移的一种方法是手动进行。然而，众所周知，这很耗时，而且容易出错。数据迁移并非易事，这就是为什么使用数据迁移工具非常重要的原因。数据迁移工具如何简化流程呢？
效率和速度：一个合适的数据迁移工具可以自动化和简化迁移过程，并减少移动数据所需的时间和精力。
数据准确性：数据迁移工具包括数据验证和转换功能，确保数据迁移的准确性。强健的数据质量功能降低了迁移过程中出现错误、数据损坏或数据丢失的风险。
竞争优势：利用高效的数据迁移工具，企业可以快速适应不断变化的市场需求。这些工具实现了向新系统、平台或云环境的无缝过渡，使企业能够超越竞争对手，快速应对市场变化，并增强客户服务。
3. 如何为您的组织选择合适的数据迁移工具？
组织在选择正确的数据迁移工具时必须考虑几个因素。其中一些包括：
可扩展性
确保所选的工具能够扩展以有效地处理大数据量。它应该能够随着组织的需求而发展。
可靠性
考虑数据迁移工具的可靠性，以维护数据完整性并最大限度地减少迁移项目期间的停机时间。它应该提供强大的错误处理和恢复功能，以确保迁移过程的顺利进行。
兼容性和适应性
选择与现有系统无缝集成并适应不同数据格式和来源的工具。在处理不同的数据源和技术堆栈时，这种灵活性至关重要。
用户友好界面
寻找一种设计直观、可用性明确的工具，它可以显著提高迁移过程的效率，降低错误风险，并确保数据传输更顺畅。优先选择易于导航且需要团队最少培训的工具。
法规遵从性
确认所选工具符合相关行业标准和数据保护法规，如GDPR、HIPAA等。
自定义和可扩展性
确保该工具能够实现自定义和可扩展性，以适应独特的数据迁移场景。
4. 2024年前7大数据迁移工具 - 市场上最热门的7种数据迁移工具及其功能：
1） ASTERA(阿斯特拉)
Astera是一个企业级的端到端数据管理解决方案，可优化数据集成，使企业能够将数据从各种来源移动到目标系统，如数据库、数据仓库和基于云的应用程序。它是一个多功能的解决方案，可以在本地、云中或两者都部署，提供流畅的数据迁移体验。它的可视化数据映射界面简化了定义转换的过程，确保数据准确地从源系统传输到目标系统。此外，Astera的平台支持复杂的数据转换，因此您可以在迁移过程中轻松地清理、验证和标准化数据。这些数据质量和转换功能确保迁移的数据具有正确的格式，并符合目标系统的业务规则。
主要功能：
内置连接器：Astera提供与各种流行数据库、数据仓库和云提供商的本地连接，包括Snowflake、Amazon RedShift、Netezza、SQL Server、Amazon S3、Microsoft Blob Storage等。
用户友好界面：Astera的拖放、可视化和直观界面，以及点击导航，简化了数据管理任务，无需编码。
分层数据处理：Astera提供了丰富的分层数据映射功能，非常适合迁移XML、EDI和web服务等分层结构。
轻松配置：该平台为云存储连接器提供标准化配置，允许业务用户轻松连接到云应用程序。
数据质量：Astera通过分析、清理和数据质量规则确保数据质量，保证只传输高质量和可靠的数据。
自动化：Astera通过自动化的数据管道和作业调度简化了数据迁移，减少了重复的手动任务，提高了效率。
2） AWS Data Migration Service（AWS 数据迁移服务）
AWS数据库迁移服务（DMS）是一种完全管理的服务，可以轻松地将数据库迁移到AWS。它支持广泛的源数据库和目标数据库，包括Oracle、SQL Server、PostgreSQL、MySQL、MongoDB和Amazon Redshift。您可以使用DMS以增量方式或以满载模式迁移数据。它还支持连续数据复制，以保持两个数据库之间的数据同步。
主要功能：
模式转换：DMS可以自动将数据库模式转换为与目标数据库兼容的格式。
数据转换：该解决方案可以在迁移数据时对数据进行转换。此功能可用于清理数据或使其符合特定格式。
监控和报告：DMS提供了详细的监控和报告功能，因此用户可以跟踪迁移的进度
3） Fivetran
一个基于云的ELT平台，可自动将数据从SaaS应用程序移动到数据仓库。它为Salesforce、Amazon Redshift、Google Analytics、MongoDB等流行服务预装了连接器。这些连接器简化了从源系统提取数据的过程，并有助于将数据迁移到目标数据仓库。
主要功能：
自动化数据管道：Fivetran使用户能够自动创建和管理数据管道，将数据移动到数据仓库中。
增量数据同步：解决方案以增量方式同步数据，这意味着只有新的或更改的数据才会传输到数据仓库。
模式漂移处理：当数据源的结构随时间变化时，Fivetran会自动检测并处理模式漂移。
安全性和合规性：该工具提供安全性和符合性功能，包括数据加密、基于角色的访问控制和审核日志。
4）Integrate.io
Integrate.io是一种基于云的数据集成工具，为企业提供了一套工具，用于将各种来源的数据连接、转换和加载到单个数据仓库中。该平台支持ETL、ELT和反向ETL过程，以及数据复制和更改数据捕获（CDC），促进数据迁移并允许访问实时见解。
主要功能：
可视化工作流生成器：Integrate.io使用可视化工作流生成器可以轻松创建和管理数据管道。用户可以拖放连接器来创建一个工作流，无需编写代码即可将数据从一个源移动到另一个源。
预构建连接器：该平台允许用户连接到各种数据源，包括SaaS应用程序、数据库、云存储平台和API。
数据转换：Integrate.io用户可以对数据执行数据转换，如过滤、连接、聚合和转换数据类型。
日程安排和自动化：Integrate.io允许用户定期安排数据管道的运行，以自动化数据迁移和集成过程。
5） Mattilion
Matillion为数据移动和转换提供了云原生解决方案。它与流行的云数据平台无缝集成，支持反向ETL、双向数据流和系统同步。它允许用户移动和传输数据，而不考虑数据的位置。
主要功能：
预构建连接器：Matillion提供对各种连接器的访问，并支持通过JDBC驱动程序连接到其他数据库。
批处理加载：拖放界面允许用户通过设置批处理运行频率来获取数据，从而自动化数据管道并管理架构更改。
更改数据捕获（CDC）：Matillion使用基于日志的数据捕获来跟踪发生的更改，从而实现数据库更改的实时复制。
自动化：该平台允许用户根据自定义参数自动化和安排作业，消除了手动干预。
6）Stitch
Stitch是一个云优先的开源解决方案，旨在将数据从源移动到仓库。它以其ETL功能而闻名，使用户能够提取、转换数据并将其加载到目标应用程序中。该平台提供了数据复制、编排和错误处理功能，提供了对流程的可见性。
主要功能：
数据连接器：Stitch提供与广泛来源的连接，包括SaaS应用程序、数据库、云存储平台和API。
数据复制：Stitch可以实时或按计划将数据从源系统复制到数据仓库，确保数据仓库始终是最新的。
数据质量：该平台提供数据质量管理功能，如验证和清理。这有助于确保您的数据准确完整。
安全性和合规性：Stitch提供安全性和符合性功能来保护数据。这包括数据加密、屏蔽、基于角色的访问控制和审计跟踪。
7）Hevo数据
Hevo Data是一个零维护、无代码、基于云的数据管道平台。它是为现代ETL、ELT和反向ETL需求而构建的，允许用户实时将数据从多个源迁移到数据仓库，如Redshift、BigQuery和Snowflake。它使数据团队能够整合来自各种来源的数据，执行分析转换，并为业务工具提供运营智能。
主要功能：
数据连接器：Hevo为各种应用程序和数据库提供一系列即插即用集成，包括CDC支持和使用Rest API与任何应用程序的自定义连接。
无代码数据管道：用户可以建立数据库和数据仓库进行分析，而无需依赖使用Hevo无代码数据管线的IT团队。
数据安全和合规性：Hevo Data优先考虑数据隐私和安全，遵守HIPAA、GDPR、CCPA和SOC2等标准，以确保用户数据保密并满足监管要求。
五、推荐一家知名数据迁移的人工智能公司 - MOSTLY AI
本来是想推荐IBM的数据迁移服务的的。但是因为前面聊天机器人部分已经推荐过这个公司，所以这次就推荐一家规模比较小的奥地利公司。 推荐这家公司的理由如下：
这也是目前为止，此公司为了提高数据迁移的能力，加大了对人工智能和机器学习技术的投资并组建完善他们的技术团队。他们很早就意识到了使用人工智能生成结构化商业数据和创建我们现在所说的合成数据的潜力。在当时，这仅仅是一个想法。目前尚不清楚这一过程将如何运作，因为此前该领域没有任何研究或竞争对手。
灵感来自非结构化数据领域，在那里产生了第一批人工创建的合成图像。三位联合创始人经历了公司在传统数据匿名化方面面临的挑战。随着GDPR于2018年在欧洲推出，这些挑战只会增加。MOSTLY AI同时发布了其合成数据平台的第一个版本，并向世界证明了合成数据具有巨大的潜力。
MOSTLYAI公司基于差异真实数据与迁移合成数据迁移差异，致力为客户提供合成数据迁移技术开发。他们认识到：
数据隐私和合规性在测试中使用真实数据会带来隐私风险，需要采取广泛措施对敏感信息进行匿名或假名处理。合规性的维护可能很有挑战性。合成数据是人工的，不包含真实世界的信息，适合在没有隐私问题的情况下进行测试。它确保遵守数据保护法规。
数据安全在测试中处理真实数据可能会使敏感信息面临安全风险，需要采取安全措施。合成数据是在受控环境中生成的，没有真实世界的漏洞，具有高度安全性。
测试场景使用真实数据进行测试可能会受到特定场景或边缘案例可用性的限制，可能会在验证方面留下空白。合成数据允许创建各种极端的测试场景，可对迁移过程进行全面验证。
大规模数据集的可扩展性测试可能是资源密集型的，管理起来很有挑战性。合成数据可以在任何规模上生成，因此适合测试大规模迁移。
灵活性真实数据可能需要复杂的转换才能与目标系统保持一致，这增加了出错的风险。合成数据以匹配目标系统格式，从而促进格式协调。
最后要说一下这个公司的文化也非常轻松，包容和活泼向上，从他们的员工手册就可以看出。有兴趣的你可以浏览他们的官网下载下来看。
为了便于读者后续深入学习数字化营销体系相关的这九种人工智能和机器学习技术，经过与多位同行讨论及前辈老师们的讨教，后续每一篇文章将尽可能按照以下原则，要求和框架进行编写。
六、所有资料来源及推荐阅读：
1. 作者介绍
Max Cheprasov | Procurement MagazineCheprasov explains why people-centric leadership is essential to modern enterprises’ future...
https://procurementmag.com/interviews/max-cheprasov-chief-automation-officer-team-buildingDentsu Aegis: elevating human potential through automation | AI MagazineMax Cheprasov, Chief Automation Officer, explains why developing an AI and automation strategy is essential to modern enterprises’ future...https://aimagazine.com/company-reports/dentsu-aegis-elevating-human-potential-through-automation-02. ASTERA官网推荐的2024 年7中最佳数据迁移工具 （Astera本来也是我想重点介绍的，因为太强大了，干脆下次对他们深入调研一下吧。期待你也一起来参加）
The 7 Best Data Migration Tools In 2024 | AsteraDiscover how data migration tools simplify the task of moving data between systems, enabling businesses to maintain data integrity.https://www.astera.com/type/blog/data-migration-tools/
3. Mostly AI 官网
Synthetic data for advanced analytics, AI and machine learning - MOSTLY AIUnlock all of your customer data and use better-than-real synthetic training data for AI and machine learning!https://mostly.ai/use-case/synthetic-data-for-analytics-ai-training
