2.2.3大数据

       大数据（Big Data）指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集 合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多 样化的信息资产。

1.技术基础

       大数据是具有体量大、结构多样、时效性强等特征的数据，处理大数据需要采用新型计算架构 和智能算法等新技术。大数据从数据源到最终价值实现一般需要经过数据准备、数据存储与管理、 数据分析和计算、数据治理和知识展现等过程，涉及的数据模型、处理模型、计算理论以及与其相 关的分布计算、分布存储平台技术、数据清洗和挖掘技术、流式计算和增量处理技术、数据质量控 制等方面的研究。

       一般来说，大数据的主要特征包括：数据海量、数据类型多样、数据价值密度低、数据处理速 度快等。

●数据海量。大数据的数据体量巨大，从TB级别跃升到PB级别（1PB= 1024TB）、EB级别 （1EB= 1024PB），甚至达到ZB级别（IZB= 1024EB） 。（ 高21上、中23下）

●数据类型多样。大数据的数据类型繁多，一般分为结构化数据和非结构化数据。相对于以往 便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图  片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。

●数据价值密度低。数据价值密度的高低与数据总量的大小成反比。以视频为例，一部 1 小时  的视频，在连续不间断的监控中，有用数据可能仅有一两秒。如何通过强大的机器算法更迅速地完 成数据的价值“提纯 ”，成为目前大数据背景下亟待解决的难题。

●数据处理速度快。为了从海量的数据中快速挖掘数据价值，一般要求要对不同类型的数据进 行快速处理，这是大数据区别于传统数据挖掘的最显著特征。

2.关键技术

       大数据技术作为信息化时代的一项新兴技术，技术体系处在快速发展阶段，涉及数据的处理、 管理、应用等多个方面。从总体上说，大数据技术架构主要包含大数据获取技术、分布式数据处理 技术和大数据管理技术， 以及大数据应用和服务技术。（ 中23下）

1 ）大数据获取技术

       大数据获取的研究主要集中在数据采集、整合和清洗三个方面。数据采集技术实现数据源的获 取，然后通过整合和清理技术来提升数据质量。

       数据采集技术主要是通过分布式爬取、分布式高速高可靠性数据采集、高速全网数据映像技 术，从网站上获取数据信息。除了网络中包含的内容之外，对于网络流量的采集可以使用DPI或  DFI等带宽管理技术进行处理。

       数据整合技术是在数据采集和实体识别的基础上，实现数据到信息的高质量整合。数据整合技 术需要建立多源多模态信息集成模型、异构数据智能转换模型、异构数据集成的智能模式抽取和模 式匹配算法、 自动容错映射和转换模型及算法、整合信息的正确性验证方法、整合信息的可用性评估方法等。

       数据清洗技术一般根据正确性条件和数据约束规则，清除不合理和错误的数据，对重要的信息 进行修复，保证数据的完整性。数据清洗技术需要建立数据正确性语义模型、关联模型和数据约束 规则、数据错误模型和错误识别学习框架、针对不同错误类型的自动检测和修复算法、错误检测与 修复结果的评估模型和评估方法等。

2 ）分布式数据处理技术

       分布式计算是随着分布式系统的发展而兴起的，其核心是将任务分解成许多小的部分，分配给 多台计算机进行处理，通过并行工作的机制，达到节约整体计算时间，提高计算效率的目的。 目前，主流的分布式计算系统有Hadoop 、Spark和Storm 。Hadoop常用于离线的、复杂的大数据处 理，Spark常用于离线的、快速的大数据处理，而Storm常用于在线的、实时的大数据处理。

       大数据分析技术主要指改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖 掘、图挖掘等新型数据挖掘技术；创新基于对象的数据连接、相似性连接等大数据融合技术；突破 用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

       大数据挖掘就是从大量、不完全、有噪声、模糊、随机的实际应用数据中，提取隐含在其中 的、人们事先不知道的、但又是潜在有用的信息和知识的过程（ 中20下）。 目前，大数据的挖掘技 术也是一个新型的研究课题，国内外研究者从网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技 术展开，重点突破基于对象的数据连接、相似性连接、可视化分析、预测性分析、语义引擎等大数 据融合技术，以及用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

3 ）大数据管理技术

       大数据管理技术主要集中在大数据存储、大数据协同和安全隐私等方面。

       大数据存储技术主要有三个方面。①采用MPP架构的新型数据库集群，通过列存储、粗粒度索 引等多项大数据处理技术和高效的分布式计算模式，实现大数据存储。②围绕Hadoop衍生出相关  的大数据技术，应对传统关系型数据库较难处理的数据和场景，通过扩展和封装Hadoop来实现对  大数据存储、分析的支撑。③基于集成的服务器、存储设备、操作系统、数据库管理系统，实现具 有良好的稳定性、扩展性的大数据一体机。

       多数据中心的协同管理技术是大数据研究的另一个重要方向。通过分布式工作流引擎实现工作 流调度和负载均衡，整合多个数据中心的存储和计算资源，从而为构建大数据服务平台提供支撑。

       大数据安全隐私技术的研究，主要是在数据应用和服务过程中，尽可能少损失数据信息的同时 最大化地隐藏用户隐私，从而实现数据安全和隐私保护的需求。

4 ）大数据应用和服务技术

       大数据分析应用主要是面向业务的分析应用。在分布式海量数据分析和挖掘的基础上，大数据 分析应用技术以业务需求为驱动，面向不同类型的业务需求开展专题数据分析，为用户提供高可用、高易用的数据分析服务。

       可视化通过交互式视觉表现的方式来帮助人们探索和理解复杂的数据。大数据的可视化技术主 要集中在文本可视化技术、网络（图）可视化技术、时空数据可视化技术、多维数据可视化和交互 可视化等。

3.应用和发展

       大数据像水、矿石、石油一样，正在成为新的资源和社会生产要素，从数据资源中挖掘潜在的 价值，成为当前大数据时代研究的热点。如何快速对数量巨大、来源分散、格式多样的数据进行采 集、存储和关联分析，从中发现新知识、创造新价值、提升创新能力，是大数据应用价值的重要体 现。

（1）在互联网行业，网络的广泛应用和社交网络已深入到社会工作、生活的方方面面，海量数 据的产生、应用和服务一体化，每个人都是数据的生产者、使用者和受益者。从大量的数据中挖掘 用户行为，反向传输到业务领域，可以支持更准确的社会营销和广告，可直接增加业务的收入，促 进业务的发展。同时，随着数据的大量产生、分析和应用，数据本身已成为可以交易的资产，大数 据交易和数据资产化成为当前具有价值的领域和方向。

（2）在政府的公共数据领域，结合大数据的采集、治理和集成，将各个部门搜集的企业信息进 行剖析和共享，能够发现管理上的纰漏，提高执法水平，增进财税增收和加大市场监管程度，大大 改变政府管理模式、节省政府投资、增强市场管理，提高社会治理水平、城市管理能力和人民群众 的服务能力。

（3）在金融领域，大数据征信是重要的应用领域。通过大数据的分析和画像，能够实现个人信 用和金融服务的结合，从而服务于金融领域的信任管理、风控管理、借贷服务等，为金融业务提供 有效支撑。

（4）在工业领域，结合海量的数据分析，能够为工业生产过程提供准确的指导，如在航运大数 据领域，能够使用大数据对将来航路的国际贸易货量进行预测分析，预知各个口岸的热度；能够利 用天气数据对航路的影响进行分析，提供相关业务的预警、航线的调整和资源的优化调配方案，避 免不必要的亏损。

（5）在社会民生领域，大数据的分析应用能够更好地为民生服务。 以疾病预测为例，基于大数 据的积累和智能分析，能够透视人们搜索流感、肝炎、肺结核等信息的时间和地点分布，结合气温变化、环境指数、人口流动等因素建立预测模型，能够为公共卫生治理人员提供多种传染病的趋势 预测，帮助其提早进行预防部署。

2.2.4区块链

       “ 区块链 ”概念于2008年在《比特币；一种点对点电子现金系统》 中被首次提出，并在比特币 系统的数据加密货币体系中成功应用（ 中22上）， 已成为政府、组织和学者等重点关注和研究的热 点。区块链技术具有去中心化存储、隐私保护、防篡改等特点，提供了开放、分散和容错的事务机 制，给金融及其监管机构、科技创新、社会发展等领域带来了深刻的变革。

1.技术基础

       区块链概念可以理解为以非对称加密算法为基础，以改进的默克尔树（Merkle Tree）为数据结 构，使用共识机制、点对点网络、智能合约等技术结合而成的一种分布式存储数据库技术。

       区块链分为公有链（Public Block chain）、联盟链（Consortium Block chain）、私有链 （Private Block chain）和混合链（Hybrid Block chain）四大类。

（1）公有链。公有链是网络中任何人都可以随时访问的区块链系统，通常被认为是完全去中心 化、匿名性高和数据不可篡改的区块链。

（2）联盟链。联盟链为若干企业或机构共同管理的区块链，参与者要事先进行注册认证，因此 相对于公有链来说，联盟链的参与节点较少。数据由认证后的参与者共同记录和维护，这类节点拥 有读取数据的权限。

（3）私有链。私有链是一种由某个组织或某个用户控制的区块链，控制参与节点个数的规则很 严格，因此交易速度极快，隐私等级更高，不容易遭受攻击，相比于公有链系统有更高的安全性， 但去中心化程度被极大削弱。

（4）混合链。混合链是公有链和私有链的混合体，结合了公有链和私有链的特性。混合链允许 用户决定区块链的参与成员，以及交易是否可以被公开，因此混合区块链是可定制的，所以它的混 合架构通过利用私有区块链的限制访问来确保隐私，同时保持了公共区块链的完整性、透明度和安全性。

一般来说，区块链具有以下特征：

● 多中心化。链上数据的验证、核算、存储、维护和传输等过程均依赖分布式系统结构，运用  纯数学方法代替中心化组织机构在多个分布式节点之间构建信任关系，从而建立去中心化的、可信 的分布式系统（ 高19上）。

● 多方维护。激励机制可确保分布式系统中的所有节点均可参与数据区块的验证过程，并通过 共识机制选择特定节点，将新产生的区块加入到区块链中。

● 时序数据。区块链运用带有时间戳信息的链式结构来存储数据信息，为数据信息添加时间维 度的属性，从而可实现数据信息的可追溯性。

●智能合约。区块链技术能够为用户提供灵活可变的脚本代码， 以支持其创建新型的智能合 约。

●不可篡改。在区块链系统中，因为相邻区块间后序区块可对前序区块进行验证，若篡改某一 区块的数据信息，则需递归修改该区块及其所有后序区块的数据信息，且须在有限的时间内完成， 然而每一次哈希的重新计算代价是巨大的，因此可保障链上数据的不可篡改性。

●开放共识。在区块链网络中，每台物理设备均可作为该网络中的一个节点，任意节点可自由 加入且拥有一份完整的数据库拷贝。

●安全可信。数据安全可通过基于非对称加密技术对链上数据进行加密来实现，分布式系统中  各节点通过区块链共识算法所形成的算力来抵御外部攻击，保证链上数据不被篡改和伪造，从而具 有较高的保密性、可信性和安全性。

2.关键技术

       从区块链的技术体系视角看，区块链基于底层的数据基础处理、管理和存储技术， 以区块数据 的管理、链式结构的数据、数字签名、哈希函数、默克尔树、非对称加密等，通过基于P2P网络的 对称式网络，组织节点参与数据的传播和验证，每个节点均会承担网络路由、验证区块数据、传播 区块数据、记录交易数据、发现新节点等功能，包含传播机制和验证机制。为保障区块链应用层的 安全，通过激励层的发行机制和分配机制，在整个分布式网络的节点以最高效率的方式达成共识。

1 ）分布式账本（ 高20下、18上）

       分布式账本是区块链技术的核心之一。分布式账本的核心思想是：交易记账由分布在不同地方 的多个节点共同完成，而且每一个节点保存一个唯一、真实账本的副本，它们都可以参与监督交易 的合法性，同时也可以共同为其作证；账本里的任何改动都会在所有的副本中被反映出来，反应时 间会在几分钟甚至是几秒内，而且由于记账节点足够多，理论上除非所有的节点被破坏，整个分布 式账本系统是非常稳健的，从而保证了账目数据的安全性。

       分布式账本技术能够保障资产的安全性和准确性，具有广泛的应用场景，特别在公共服务领域，能够重新定义政府与公民在数据分享、透明度和信任意义上的关系， 目前已经广泛应用到金融 交易、政府征税、土地所有权登记、护照管理、社会福利等领域。

2）加密算法

       区块数据的加密是区块链研究和关注的重点，其主要作用是保证区块数据在网络传输、存储和 修改过程中的安全。区块链系统中的加密算法一般分为散列（哈希）算法和非对称加密算法。

       散列算法也叫数据摘要或者哈希算法，其原理是将一段信息转换成一个固定长度并具备以下特 点的字符串：如果某两段信息是相同的，那么字符也是相同的；即使两段信息十分相似，但只要是 不同的，那么字符串将会十分杂乱、随机并且两个字符串之间完全没有关联。典型的散列算法有MD5 、SHA和SM3 ， 目前区块链主要使用SHA256算法。

       非对称加密算法是由对应的一对唯一性密钥（即公开密钥和私有密钥）组成的加密方法。任何 获悉用户公钥的人都可用用户的公钥对信息进行加密，与用户实现安全信息交互。由于公钥与私钥 之间存在的依存关系，只有用户本身才能解密该信息，任何未受授权用户甚至信息的发送者都无法 将此信息解密 。常用的非对称加密算法包括RSA 、EIGamal 、D-H 、ECC（椭圆曲线加密算法） 等。

3）共识机制

       在区块链的典型应用——数字货币中，面临着一系列相关的安全和管理问题，例如：如何防止 诈骗？区块数据传输到各个分布式节点的先后次序如何控制？如何应对传输过程中数据的丢失问题？节点如何处理错误或伪造的信息？如何保障节点之间信息更新和同步的一致性？这些问题就是 所谓的区块链共识问题。

       区块链共识问题需要通过区块链的共识机制来解决。在互联网世界中，共识主要是计算机和软 件程序协作一致的基本保障，是分布式系统节点或程序运行的基本依据。共识算法能保证分布式的 计算机或软件程序协作一致，对外系统的输入输出做出正确的响应。

       区块链的共识机制的思想是：在没有中心点总体协调情况下，当某个记账节点提议区块数据增 加或减少，并把该提议广播给所有的参与节点，所有节点要根据一定的规则和机制，对这一提议是 否能够达成一致进行计算和处理。

       目前，常用的共识机制主要有PoW 、PoS 、DPoS 、Paxos 、PBFT等。根据区块链不同应用场景 中各种共识机制的特性，共识机制的分析可基于以下几个维度：

●合规监管。合规监管指是否支持超级权限节点对全网节点和数据进行监管。

●性能效率。性能效率指交易达成共识被确认的效率。

●资源消耗。资源消耗指共识过程中耗费的CPU 、网络输入输出、存储等资源。

●容错性。容错性指防攻击、防欺诈的能力。 3.应用和发展

       从区块链技术研究层面看： ①在共识机制方面，如何解决公有链、私有链、联盟链的权限控 制、共识效率、约束、容错率等方面的问题，寻求针对典型场景的、具有普适性的、更优的共识算 法及决策将是研究的重点。②在安全算法方面， 目前采用的算法大多数是传统的安全类算法，存在潜在的“后门 ”风险，算法的强度也需要不断升级；另外，管理安全、隐私保护、监管缺乏以及新 技术（如量子计算）所带来的安全问题需要认真对待。③在区块链治理领域，如何结合现有信息技 术治理体系的研究，从区块链的战略、组织、架构以及区块链应用体系的各个方面，研究区块链实 施过程中的环境与文化、技术与工具、流程与活动等问题，进而实现区块链的价值，开展相关区块 链的审计，是区块链治理领域需要核心关注的问题。④在技术日益成熟的情况下，研究区块链的标 准化，也是需要重点考虑的内容。