文章目录
- 2.1.2计算机网络
- 1.网络标准协议
- 2.软件定义网络
- 3.第五代移动通信技术
- 2.1.3存储和数据库
- 1.存储技术
- 2.数据结构模型
- 3.常用数据库类型
- 4.数据仓库
- 2.1.4信息安全
- 2.1.5信息技术的发展
- 2.2.1物联网
- 2.2.2云计算
- 2.2.3大数据
- 2.2.4区块链
- 2.2.5人工智能
- 2.2.6虚拟现实
信息技术是在 信息科学的基本原理和方法下, 获取信息、 处理信息、 传输信息和 使用信息的应用技术总称。
信息技术是实现信息化的手段,是信息系统建设的基础。
2.1信息技术及其发展
信息技术是以 微电子学为基础的计算机技术和电信技术的结合而形成的,对声音的、图像的、文字的、数字的和各种传感信号的信息进行获取、加工、处理、存储、传播和使用的技术。按表现形态的不同,信息技术可分为 硬技术(物化技术)与 软技术(非物化技术)。前者指各种信息设备及其功能,如传感器、服务器、智能手机、通信卫星、笔记本电脑。后者指有关信息获取与处理的各种知识、方法与技能,如语言文字技术、数据统计分析技术、规划决策技术、计算机软件技术等。
2.1.1计算机软硬件
计算机硬件(Computer Hardware)是指计算机系统中由电子、机械和光电元件等组成的各种物理装置的总称。这些物理装置按系统结构的要求构成一个有机整体,为计算机软件运行提供物质基础。 计算机软件(Computer Software)是指计算机系统中的 程序及其文档,程序是计算任务的处理对象和处理规则的描述;文档是为了便于了解程序所彻的阐明性资料。程序必须安装入机器内部才能工作,文档一般是给人看的,不一定安装入机器。
硬件和软件互相依存。硬件是软件赖以工作的物质基础,软件的正常工作是硬件发挥作用的重要途径。随着计算机技术的发展,在许多情况下,计算机的某些功能既可以由硬件实现,也可以由软件来实现。因此硬件与软件在一定意义上来说没有绝对严格的界线。
2.1.2计算机网络
在计算机领域中,网络就是用物理链路将各个孤立的工作站或主机相连在一起,组成数据链路,从而达到资源共享和通信的目的。凡将地理位置不同,并具有独立功能的多个计算机系统通过通信设备和线路连接起来,且以功能完善的网络软件(网络协议、信息交换方式及网络操作系统等)实现网络资源共享的系统,均可称为计算机网络。从网络的作用范围可将网络类别划分为个人局域网(Personal Area Network, PAN)、局域网(Local Area Network, LAN)、城域网(Metropolitan Area Network, MAN)、广域网(Wide Area Network, WAN)、公用网(Public Network)、专用网(Private Network)。
1.网络标准协议
网络协议是为计算机网络中进行数据交换而建立的规则、标准或约定的集合。网络协议由三个要素组成,分别是语义、语法和时序。语义是解释控制信息每个部分的含义,它规定了需要发出何种控制信息,完成的动作以及做出什么样的响应;语法是用户数据与控制信息的结构与格式,以及数据出现的顺序;时序是对事件发生顺序的详细说明。语义表示要做什么,语法表示要怎么做,时序表示做的顺序。
1)OSI
国际标准化组织(ISO)和国际电报电话咨询委员会(CCITT)联合制定的开放系统互连参考模型(Open System Interconnect, OSI),其目的是为异种计算机互连提供一个共同的基础和标准框架,并为保持相关标准的一致性和兼容性提供共同的参考。OSI采用了分层的结构化技术,从下到上共分物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。广域网协议是在OSI参考模型的最下面三层操作,定义了在不同的广域网介质上的通信。广域网协议主要包括:PPP点对点协议、ISDN综合业务数字网、xDSL (DSL数字用户线路的统称:HDSL、 SDSL、MVL、 ADSL)、DDN数字专线、x.25、FR帧中继、ATM异步传输模式。
2)IEEE 802 协议族
IEEE 802规范定义了网卡如何访问传输介质(如光缆、双绞线、无线等),以及如何在传输介质上传输数据的方法,还定义了传输信息的网络设备之间连接的建立、维护和拆除的途径。遵循IEEE 802标准的产品包括网卡、桥接器、路由器以及其他一些用来建立局域网络的组件。IEEE 802规范包括:802.1 (802协议概论)、802.2 (逻辑链路控制层LLC协议)、 802.3 (以太网的 CSMA/CD 载波监听多路访问/冲突检测协议)、802.4 (令牌总线 Token Bus 协议)、802.5 (令牌环 Token Ring 协议)、802.6 (城域网MAN协议)、802.7 (FDDI宽带技术协议)、802.8(光纤技术协议)、802.9 (局域网上的语音/数据集成规范)、802.10 (局域网安全互操作标准)、802.11 (无线局域网WLAN标准协议)。
3)TCP/IP
Internet 是一个包括成千上万相互协作的组织和网络的集合体。TCP/IP 是 Internet 的核心。TCP/IP 在一定程度上参考了 OSI,它将 OSI 的七层简化为四层:①应用层、表示层、会话层三个层次提供的服务相差不是很大,所以在TCP/IP中,它们被合并为应用层一个层次。②由于传输层和网络层在网络协议中的地位十分重要,所以在TCP/IP中它们被作为独立的网个层次。③因为数据链路层和物理层的内容相差不多,所以在TCP/IP 中它们被归并在网络接口层一个层次里。
在应用层中,定义了很多面向应用的协议,应用程序通过本层协议利用网络完成数据交互的任务。这些协议主要有FTP (File Transfer Protocol,文件传输协议)、TFTP (Trivial File Transfer Protocol,简单文件传输协议)、HTTP (Hypertext Transfer Protocol,超文本传输协议)、SMTP (Simple Mail Transfer Protocol,简单邮件传输协议)、DHCP (Dynamic Host Configuration Protocol,动态主机配置协议)、Telnet (远程登录协议)、DNS (Domain Name System,域名系统)、SNMP (Simple Network Management Protocol,简单网络管理协议)等。
传输层主要有两个传输协议,分别是 TCP(传输控制协议,Transmission Control Protocol)和 UDP (User Datagram Protocol,用户数据报协议),这些协议负责提供流量控制、错误校验和排序服务。
网络层中的协议主要有IP、ICMP (Internet Control Message Protocol,网际控制报文协议)、IGMP (Internet Group Management Protocol,网际组管理协议)、ARP (Address ResolutionProtocol,地址解析协议)和 RARP (Reverse Address Resolution Protocol,反向地址解析协议)等,这些协议处理信息的路由和主机地址解析。
由于网络接口层兼并了物理层和数据链路层,所以网络接口层既是传输数据的物理媒介,也可以为网络层提供一条准确无误的线路。
2.软件定义网络
软件定义网络(Software Defined Network, SDN)是一种新型网络创新架构,是网络虚拟化的一种实现方式,它可通过软件编程的形式定义和控制网络,其通过将网络设备的控制面与数据面分离开来,从而实现了网络流量的灵活控制,使网络变得更加智能,为核心网络及应用的创新提供了良好的平台。
利用分层的思想,SDN 将数据与控制相分离。在控制层,包括具有逻辑中心化和可编程的控制器,可掌握全局网络信息,方便运营商和科研人员管理配置网络和部署新协议等。在数据层,包括哑交换机(与传统的二层交换机不同,专指用于转发数据的设备),仅提供简单的数据转发功能,可以快速处理匹配的数据包,适应流量日益增长的需求。两层之间采用开放的统一接口(如OpenFlow等)进行交互。控制器通过标准接口向交换机下发统一标准规则,交换机仅需按照这些规则执行相应的动作即可。SDN打破了传统网络设备的封闭性。此外,南北向和东西向的开放接口及可编程性,也使得网络管理变得更加简单、动态和灵活。
SDN的整体架构由下到上(由南到北)分为数据平面、控制平面和应用平面,具体如图 2-1 所示。其中,数据平面由交换机等网络通用硬件组成,各个网络设备之间通过不同规则形成的SDN数据通路连接;控制平面包含了逻辑上为中心的SDN控制器,它掌握着全局网络信息,负责各种转发规则的控制;应用平面包含着各种基于SDN的网络应用,用户无须关心底层细节就可以编程、部署新应用。
控制平面与数据平面之间通过SDN控制数据平面接口(Control-Data-Plane Interface, CDPI)进行通信,它具有统一的通信标准,主要负责将控制器中的转发规则下发至转发设备,最主要应用的是OpenFlow协议。控制平面与应用平面之间通过SDN北向接口(NorthBound Interface,NBI)进行通信,而NBI并非统一标准,它允许用户根据自身需求定制开发各种网络管理应用。
SDN中的接口具有开放性,以控制器为逻辑中心,南向接口负责与数据平面进行通信,北向接口负责与应用平面进行通信,东西向接口负责多控制器之间的通信。最主流的南向接口CDPI采用的是OpenFlow协议。OpenFlow最基本的特点是基于流(Flow)的概念来匹配转发规则,每一个交换机都维护一个流表(Flow Table),依据流表中的转发规则进行转发,而流表的建立、维护和下发都是由控制器完成的。针对北向接口,应用程序通过北向接口编程来调用所需的各种网络资源,实现对网络的快速配置和部署。东西向接口使控制器具有可扩展性,为负载均衡和性能提升提供了技术保障。
3.第五代移动通信技术
第五代移动通信技术(5th Generation Mobile Communication Technology, 5G)是具有高速率、低时延和大连接特点的新一代移动通信技术。国际电信联盟(JTU) 定义了 5G 的八大指标:
5G 国际技术标准重点满足灵活多样的物联网需要。在正交频分多址(Orthogonal Frequency Division Multiple Access, OFDMA)和多入多出(Multiple Input Multiple Output, MIMO)基础技术上,5G为支持三大应用场景,采用了灵活的全新系统设计。在频段方面,与4G支持中低频不同, 考虑到中低频资源有限,5G同时支持中低频和高频频段,其中中低频满足覆盖和容量需求,高频满足在热点区域提升容量的需求,5G针对中低频和高频设计了统一的技术方案,并支持百MHz的基础带宽。为了支持高速率传输和更优覆盖,5G采用LDPC (一种具有稀疏校验矩阵的分组纠错码)、Polar (一种基于信道极化理论的线性分组码)新型信道编码方案、性能更强的大规模天线技术等。为了支持低时延、高可靠,5G采用短帧、快速反馈、多层/多站数据重传等技术。
国际电信联盟(ITU)定义了5G的三大类应用场景,即增强移动宽带(eMBB)、超高可靠低时延通信(uRLLC)和海量机器类通信(mMTC)。增强移动宽带主要面向移动互联网流量爆炸式增长,为移动互联网用户提供更加极致的应用体验;超高可靠低时延通信主要面向工业控制、远程医疗、自动驾驶等对时延和可靠性具有极高要求的垂直行业应用需求;海量机器类通信主要面向智慧城市、智能家居、环境监测等以传感和数据采集为目标的应用需求。
2.1.3存储和数据库
1.存储技术
存储分类根据服务器类型分为:封闭系统的存储和开放系统的存储。封闭系统主要指大型机等服务器。开放系统指基于包括麒麟、欧拉、UNIX、Linux等操作系统的服务器。开放系统的存储分为:内置存储和外挂存储。外挂存储根据连接的方式分为直连式存储(Direct-Attached Storage, DAS)和网络化存储(Fabric-Attached Storage, FAS)。网络化存储根据传输协议又分为网络接入存储(Network-Attached Storage, NAS)和存储区域网络(Storage Area Network, SAN)。DAS、NAS、SAN等存储模式之间的技术与应用对比如表2-2所示。
存储虚拟化(Storage Virtualization)是“云存储”的核心技术之一,它把来自一个或多个网络的存储资源整合起来,向用户提供一个抽象的逻辑视图,用户可以通过这个视图中的统一逻辑接口来访问被整合的存储资源。用户在访问数据时并不知道真实的物理位置。它带给人们直接的好处是提高了存储利用率,降低了存储成本,简化了大型、复杂、异构的存储环境的管理工作。
存储虚拟化使存储设备能够转换为逻辑数据存储。虚拟机作为一组文件存储在数据存储的目录中。数据存储是类似于文件系统的逻辑容器。它隐藏了每个存储设备的特性,形成一个统一的模型,为虚拟机提供磁盘。存储虚拟化技术帮助系统管理虚拟基础架构存储资源,提高资源利用率和灵活性,提高应用正常运行时间。
绿色存储(Green Storage)技术是指从节能环保的角度出发,用来设计生产能效更佳的存储产品,降低数据存储设备的功耗,提高存储设备每瓦性能的技术。绿色存储是一个系统设计方案,贯穿于整个存储设计过程,包含存储系统的外部环境、存储架构、存储产品、存储技术、文件系统和软件配置等多方面因素。绿色存储技术的核心是设计运行温度更低的处理器和更有效率的系统,生产更低能耗的存储系统或组件,降低产品所产生的电子碳化合物,其最终目的是提高所有网络存储设备的能源效率,用最少的存储容量来满足业务需求,从而消耗最低的能源。以绿色理念为指导的存储系统最终是存储容量、性能、能耗三者的平衡。
绿色存储技术涉及所有存储分享技术,包括磁盘和磁带系统、服务器连接、存储设备、网络架构及其他存储网络架构、文件服务和存储应用软件、重复数据删除、自动精简配置和基于磁带的备份技术等可以提高存储利用率、降低建设成本和运行成本的存储技术,其目的是提高所有网络存储技术的能源效率。
2.数据结构模型
数据结构模型是数据库系统的核心。数据结构模型描述了在数据库中结构化和操纵数据的方法,模型的结构部分规定了数据如何被描述(例如树、表等)。模型的操纵部分规定了数据的添加、删除、显示、维护、打印、查找、选择、排序和更新等操作。
常见的数据结构模型有三种:层次模型、网状模型和关系模型,层次模型和网状模型又统称为格式化数据模型。
1)层次模型
层次模型是数据库系统最早使用的一种模型,它用“树”结构表示实体集之间的关联,其中实体集(用矩形框表示)为结点,而树中各结点之间的连线表示它们之间的关联。在层次模型中,每个结点表示一个记录类型,记录类型之间的联系用结点之间的连线(有向边)表示,这种联系是父子之间的一对多的联系。这就使得层次数据库系统只能处理一对多的实体联系。每个记录类型可包含若干个字段,这里记录类型描述的是实体,字段描述实体的属性。每个记录类型及其字段都必须命名。各个记录类型、同一记录类型中各个字段不能同名。每个记录类型可以定义一个排序字段,也称码字段,如果定义该排序字段的值是唯一的,则它能唯一地标识一个记录值。一个层次模型在理论上可以包含任意有限个记录类型和字段,但任何实际的系统都会因为存储容量或实现复杂度而限制层次模型中包含的记录类型个数和字段个数。在层次模型中,同一双亲的子女结点称为兄弟结点,没有子女结点的结点称为叶结点。层次模型的一个基本的特点是任何一个给定的记录值只能按其层次路径查看,没有一个子女记录值能够脱离双亲记录值而独立存在。
2)网状模型
网状数据库系统采用网状模型作为数据的组织方式。网状模型用网状结构表示实体类型及其实体之间的联系。网状模型是一种可以灵活地描述事物及其之间关系的数据库模型。现实世界中事物之间的联系更多的是非层次关系的,一个事物和另外的几个都有联系,用层次模型表示这种关系很不直观,网状模型克服了这一弊病,可以清晰地表示这种非层次关系。用有向图结构表示实体类型及实体间联系的数据结构模型称为网状模型。网状模型取消了层次模型的不能表示非树状结构的限制,两个或两个以上的结点都可以有多个双亲结点,则此有向树变成了有向图,该有向图描述了网状模型。网状模型中以记录为数据的存储单位。记录包含若干数据项。网状数据库的数据项可以是多值的和复合的数据。每个记录有一个唯一标识它的内部标识符,称为码(DatabaseKey,DBK),它在一个记录存入数据库时由数据库管理系统(Database Management System, DBMS)自动赋予。DBK可以看作记录的逻辑地址,可作记录的替身或用于寻找记录。网状数据库是导航式(Navigation)数据库,用户在操作数据库时不但说明要做什么,还要说明怎么做。例如在查找语句中不但要说明查找的对象,而且要规定存取路径。
3)关系模型
关系模型是在关系结构的数据库中用二维表格的形式表示实体以及实体之间的联系的模型。关系模型是以集合论中的关系概念为基础发展起来的。关系模型中无论是实体还是实体间的联系均由单一的结构类型关系来表示。关系模型的基本假定是所有数据都表示为数学上的关系,就是说n个集合的笛卡儿积的一个子集,有关这种数据的推理通过二值的谓词逻辑来进行,这意味着对每个命题都只有两种可能的值:要么是真,要么是假。数据通过关系演算和关系代数的一种方式来操作。关系模型是采用二维表格结构表达实体类型及实体间联系的数据模型。关系模型允许设计者通过数据库规范化的提炼,去建立一个信息的一致性的模型。访问计划和其他实现与操作细节由DBMS引擎来处理,而不应该反映在逻辑模型中。这与SQL DBMS普遍的实践是对立的,在它们那里性能调整经常需要改变逻辑模型。基本的关系建造块是域或者叫数据类型。元组是属性的有序多重集(Multiset),属性是域和值的有序对。关系变量(Relvar)是域和名字的有序对(序偶)的集合,它充当关系的表头(Header)。关系是元组的集合。尽管这些关系概念是在数学上的定义的,它们可以宽松地映射到传统数据库概念上。表是关系公认的可视表示;元组类似于行的概念。关系模型的基本原理是信息原理,即所有信息都表示为关系中的数据值。所以,关系变量在设计时是相互无关联的;反而,设计者在多个关系变量中使用相同的域,如果一个属性依赖于另一个属性,则通过参照完整性来强制这种依赖性。
3.常用数据库类型
数据库根据存储方式可以分为关系型数据库(SQL)和非关系型数据库(Not Only SQL,NoSQL)。
1)关系型数据库
网状数据库(以网状数据模型为基础建立的数据库)和层次数据库(采用层次模型作为数据组织方式的数据库)已经很好地解决了数据的集中和共享问题,但是在数据独立性和抽象级别上仍有很大欠缺。用户在对这两种数据库进行存取时,仍然需要明确数据的存储结构,指出存取路径。而后来出现的关系数据库较好地解决了这些问题。关系数据库系统采用关系模型作为数据的组织方式。关系数据库是在一个给定的应用领域中,所有实体及实体之间联系的集合。关系型数据库支持事务的ACID原则,即原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability),这四种原则保证在事务过程当中数据的正确性。
2)非关系型数据库
非关系型数据库是分布式的、非关系型的、不保证遵循ACID原则的数据存储系统。NoSQL 数据存储不需要固定的表结构,通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。常见的非关系数据库分为:
键值数据库:类似传统语言中使用的哈希表。可以通过key来添加、查询或者删除数据库,因为使用key主键访问,会获得很高的性能及扩展性。Key/Value模型对于信息系统来说,其优势在于简单、易部署、高并发。
列存储(Column-oriented)数据库:将数据存储在列族中,一个列族存储经常被一起查询,比如人们经常会查询某个人的姓名和年龄,而不是薪资。这种情况下姓名和年龄会被放到一个列族中,薪资会被放到另一个列族中。这种数据库通常用来应对分布式存储海量数据。
面向文档(Document-Oriented)数据库:文档型数据库可以看作是键值数据库的升级版,允许之间嵌套键值,而且文档型数据库比键值数据库的查询效率更高。面向文档数据库会将数据以文档形式存储。
图形数据库:允许人们将数据以图的方式存储。实体会作为顶点,而实体之间的关系则会作为边。比如有三个实体:Steve Jobs、Apple和Next,则会有两个Founded by的边将Apple和Next连接到Steve Jobs。
3)不同存储方式数据库的优缺点
4.数据仓库
传统的数据库系统中缺乏决策分析所需的大量历史数据信息,因为传统的数据库一般只保留当前或近期的数据信息。为了满足中高层管理人员预测、决策分析的需要,在传统数据库的基础上产生了能够满足预测、决策分析需要的数据环境–数据仓库。数据仓库相关的基础概念包括:
清洗/转换/加载(Extract/Transformation/Load,ETL):用户从数据源抽取出所需的数据,经过数据清洗、转换,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。
元数据:关于数据的数据,指在数据仓库建设过程中所产生的有关数据源定义、目标定义、转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息。典型的元数据包括:数据仓库表的结构、数据仓库表的属性、数据仓库的源数据(记录系统)、从记录系统到数据仓库的映射、数据模型的规格说明、抽取日志和访问数据的公用例行程序等。
粒度:数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高,粒度级就越小;相反,细化程度越低,粒度级就越大。
分割:结构相同的数据被分成多个数据物理单元。任何给定的数据单元属于且仅属于一个分割。
数据集市:小型的,面向部门或工作组级的数据仓库。
操作数据存储(Operation Data Store, ODS) :能支持组织日常的全局应用的数据集合,是不同于DB的一种新的数据环境,是DW扩展后得到的一个混合形式。它具有四个基本特点:面向主题的、集成的、可变的、当前或接近当前的。
数据模型:逻辑数据结构,包括由数据库管理系统为有效进行数据库处理提供的操作和约束;用于表示数据的系统。
人工关系:在决策支持系统环境中用于表示参照完整性的一种设计技术。
数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合,用于支持管理决策。常见的数据仓库的体系结构如图2-2所示。
(1)数据源。它是数据仓库系统的基础,是整个系统的数据源泉。通常包括组织内部信息和外部信息。内部信息包括存放于关系型数据库管理系统中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等。
(2)数据的存储与管理。它是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库,同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心,则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据,进行抽取、清理并有效集成,按照主题进行组织。数据仓库按照数据的覆盖范围可以分为组织级数据仓库和部门级数据仓库(通常称为数据集市)。
(3)联机分析处理(On-Line Analytic Processing, OLAP)服务器。OLAP对分析需要的数据进行有效集成,按多维模型予以组织,以便进行多角度、多层次的分析,并发现趋势。其具体实现可以分为:基于关系数据库的OLAP (Relational OLAP, ROLAP)、基于多维数据组织的OLAP (Multidimensional OLAP, MOLAP)和基于混合数据组织的OLAP (Hybrid OLAP,lHOLAP), ROLAP基本数据和聚合数据均存放在RDBMS之中; MOLAP基本数据和聚合数据均存放于多维数据库中; HOLAP基本数据存放于关系数据库管理系统(Relational DatabaseManagement System, RDBMS)之中,聚合数据存放于多维数据库中。
(4)前端工具。前端工具主要包括各种查询工具、报表工具、分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器,报表工具、数据挖掘工具主要针对数据仓库。
2.1.4信息安全
常见的信息安全问题主要表现为:计算机病毒泛滥、恶意软件的入侵、黑客攻击、利用计算机犯罪、网络有害信息泛滥、个人隐私泄露等。随着物联网、云计算、人工智能、大数据等新一代信息技术的广泛应用,信息安全也面临着新的问题和挑战。
1.信息安全基础
信息安全强调信息(数据)本身的安全属性,主要包括以下内容。
保密性(Confidentiality):信息不被未授权者知晓的属性。
完整性(Integrity):信息是正确的、真实的、未被篡改的、完整无缺的属性。
可用性(Availability):信息可以随时正常使用的属性。信息必须依赖其存储、传输、处理及应用的载体(媒介)而存在,因此针对信息系统,安全可以划分为四个层次:设备安全、数据安全、内容安全、行为安全。
信息系统一般由计算机系统、网络系统、操作系统、数据库系统和应用系统组成。与此对应,信息系统安全主要包括计算机设备安全、网络安全、操作系统安全、数据库系统安全和应用系统安全等。网络安全技术主要包括:防火墙、入侵检测与防护、VPN、安全扫描、网络蜜罐技术、用户和实体行为分析技术等。
2.加密解密
为了保证信息的安全性,就需要采用信息加密技术对信息进行伪装,使得信息非法窃取者无法理解信息的真实含义;需要采用加密算法提取信息的特征码(校验码)或特征矢量,并与有关信息封装在一起,信息的合法拥有者可以利用特征码对信息的完整性进行校验;需要采用加密算法对信息使用者的身份进行认证、识别和确认,以对信息的使用进行控制。发信者将明文数据加密成密文,然后将密文数据送入网络传输或存入计算机文件,而且只给合法收信者分配密钥。合法收信者接收到密文后,实行与加密变换相逆的变换,去掉密文的伪装并恢复出明文,这一过程称为解密(Decryption)。解密在解密密钥的控制下进行。用于解密的一组数学变换称为解密算法。加密技术包括两个元素:算法和密钥。密钥加密技术的密码体制分为对称密钥体制和非对称密钥体制两种。相应地,对数据加密的技术分为两类,即对称加密(私人密钥加密)和非对称加密(公开密钥加密)。对称加密以数据加密标准(Data Encryption Standard, DES)算法为典型代表,非对称加密通常以 RSA(Rivest Shamir Adleman)算法为代表。对称加密的加密密钥和解密密钥相同,而非对称加密的加密密钥和解密密钥不同,加密密钥可以公开而解密密钥需要保密。
3.安全行为分析技术
传统安全产品、技术、方案基本上都是基于已知特征进行规则匹配来进行分析和检测。基于特征、规则和人工分析,以“特征”为核心的检测分析存在安全可见性盲区,有滞后效应、无力检测未知攻击、容易被绕过,以及难以适应攻防对抗的网络现实和快速变化的组织环境、外部威胁等问题。另一方面,虽然大多数的攻击可能来自组织以外,但最严重的损害往往是由内部人员造成的,只有管理好内部威胁,才能保证信息和网络安全。
用户和实体行为分析(User and Entity Behavior Analytics, UEBA)提供了用户画像及基于各种分析方法的异常检测,结合基本分析方法(利用签名的规则、模式匹配、简单统计、阈值等)和高级分析方法(监督和无监督的机器学习等),用打包分析来评估用户和其他实体(主机、应用程序、网络、数据库等),发现与用户或实体标准画像或行为异常的活动所相关的潜在事件。UEBA以用户和实体为对象,利用大数据,结合规则以及机器学习模型,并通过定义此类基线,对用户和实体行为进行分析和异常检测,尽可能快速地感知内部用户和实体的可疑或非法行为。UEBA是一个完整的系统,涉及算法、工程等检测部分,以及用户与实体风险评分排序、调查等用户交换和反馈。从架构上来看, UEBA系统通常包括数据获取层、算法分析层和场景应用层。
4.网络安全态势感知
网络安全态势感知(Network Security Situation Awareness)是在大规模网络环境中,对能够引起网络态势发生变化的安全要素进行获取、理解、显示,并据此预测未来的网络安全发展趋势。安全态势感知不仅是一种安全技术,也是一种新兴的安全概念。它是一种基于环境的、动态的、整体的洞悉安全风险的能力。安全态势感知的前提是安全大数据,其在安全大数据的基础上进行数据整合、特征提取等,然后应用一系列态势评估算法生成网络的整体态势状况,应用态势预测算法预测态势的发展状况,并使用数据可视化技术,将态势状况和预测情况展示给安全人员,方便安全人员直观便捷地了解网络当前状态及预期的风险。网络安全态势感知的关键技术主要包括:海量多元异构数据的汇聚融合技术、面向多类型的网络安全威胁评估技术、网络安全态势评估与决策支撑技术、网络安全态势可视化等。
2.1.5信息技术的发展
在计算机软硬件方面,计算机硬件技术将向超高速、超小型、平行处理、智能化的方向发展,计算机硬件设备的体积越来越小、速度越来越高、容量越来越大、功耗越来越低、可靠性越来越高。计算机软件越来越丰富,功能越来越强大,“软件定义一切”概念成为当前发展的主流。在网络技术方面,计算机网络与通信技术之间的联系日益密切,甚至是已经融为一体。作为国家最重要的基础设施之一, 5G成为当前的主流,面向物联网、低时延场景的窄带物联网(Narrow Band Internet of Things, NB-IoT)和增强型机器类型通信(enhanced Machine-TypeCommunication, eMTC)、工业物联网(Industrial Internet of Things, IIoT)和低延时高可靠通信(Ultra Reliable Low Latency Communication, URLLC)等技术,将进一步得到充分发展。在存储和数据库方面,随着数据量的不断爆炸式增长,数据存储结构也越来越灵活多样,日益变革的新兴业务需求驱使数据库及应用系统的存在形式愈发丰富,这些变化均对各类数据库的架构和存储模式提出了挑战,推动数据库技术不断向着模型拓展、架构解耦的方向演进。在信息安全方面,传统计算机安全理念将过渡到以可信计算理念为核心的计算机安全,由网络普及应用引发的技术与应用模式的变革,正在进一步推动信息安全网络化关键技术的创新;同时信息安全标准的研究与制定,信息安全产品和服务的集成和融合,正引领着当前信息安全技术朝着标准化和集成化的方向发展。
2.2新—代信息技术及应用
信息技术在智能化、系统化、微型化、云端化的基础上不断融合创新,促进了物联网、云计算、大数据、区块链、人工智能、虚拟现实等新一代信息技术的诞生。新一代信息技术与信息资源充分开发利用形成的新模式、新业态等,是信息化发展的主要趋势,也是信息系统集成领域未来的重要业务范畴。
2.2.1物联网
物联网(The Internet of Things)是指通过信息传感设备,按约定的协议将任何物品与互联网相连接,进行信息交换和通信,以实现智能化识别、定位、跟踪、监控和管理的网络。物联网主要解决物品与物品(Thing to Thing, T2T)、人与物品(Human to Thing, H2T)、人与人(Human to Human, H2H)之间的互连。另外,许多学者在讨论物联网时经常会引入M2M的概念:可以解释为人与人(Man to Man)、人与机器(Man to Machine)或机器与机器(Machine toMachine)。
1.技术基础
物联网架构可分为三层:感知层、网络层和应用层。感知层由各种传感器构成,包括温度传感器,二维码标签、RFID标签和读写器,摄像头, GPS等感知终端。感知层是物联网识别物体、采集信息的来源。网络层由各种网络,包括互联网、广电网、网络管理系统和云计算平台等组成,是整个物联网的中枢,负责传递和处理感知层获取的信息。应用层是物联网和用户的接口,它与行业需求结合以实现物联网的智能应用。
物联网的产业链包括传感器和芯片、设备、网络运营及服务、软件与应用开发和系统集成。物联网技术在智能电网、智慧物流、智能家居、智能交通、智慧农业、环境保护、医疗健康、城市管理(智慧城市)、金融服务与保险业、公共安全等方面有非常关键和重要的应用。
2.关键技术
物联网关键技术主要涉及传感器技术、传感网和应用系统框架等。
1)传感器技术
传感器是一种检测装置,它能“感受”到被测量的信息,并能将检测到的信息按一定规律变换成为电信号或其他所需形式的信息输出,以满足信息的传输、处理、存储、显示、记录和控制等要求。它是实现自动检测和自动控制的首要环节,也是物联网获取物理世界信息的基本手段。
射频识别技术(Radio Frequency Identification, RFID)是物联网中使用的一种传感器技术,在物联网发展中备受关注。RIFD可通过无线电信号识别特定目标并读写相关数据,而无须识别系统与特定目标之间建立机械或光学接触。RFID是一种简单的无线系统,由一个询问器(或阅读器)和很多应答器(或标签)组成。标签由耦合元件及芯片组成,每个标签具有扩展词条唯一的电子编码,附着在物体上标识目标对象,它通过天线将射频信息传递给阅读器,阅读器就是读取信息的设备。RFID技术让物品能够“开口说话”。这就赋予了物联网一个特性——可跟踪性,即可以随时掌握物品的准确位置及其周边环境。
2)传感网
微机电系统(Micro-Electro-Mechanical Systems, MEMS)是由微传感器、微执行器、信号处理和控制电路、通信接口和电源等部件组成的一体化的微型器件系统。其目标是把信息的获取、处理和执行集成在一起,组成具有多功能的微型系统,集成于大尺寸系统中,从而大幅地提高系统的自动化、智能化和可靠性水平。MEMS赋予了普通物体新的“生命”,它们有了属于自己的数据传输通路、存储功能、操作系统和专门的应用程序,从而形成一个庞大的传感网,使物联网能够通过物品来实现对人的监控与保护。未来,衣服可以通过传感网“告诉”洗衣机放多少水和洗衣粉最经济;文件夹会“检查”人们忘带了什么重要文件;食品蔬菜的标签会向顾客的手机介绍“自己”是否真正“绿色安全”。
3)应用系统框架
物联网应用系统框架是一种以机器终端智能交互为核心的、网络化的应用与服务。它将使对象实现智能化的控制,涉及5个重要的技术部分:机器、传感器硬件、通信网络、中间件和应用。该框架基于云计算平台和智能网络,可以依据传感器网络获取的数据进行决策,改变对象的行为控制和反馈。
2.2.2云计算
云计算是一种基于互联网的计算方式,通过这种方式将网络上配置为共享的软件资源、计算资源、存储资源和信息资源,按需求提供给网上的终端设备和终端用户。云计算也可以理解为向用户屏蔽底层差异的分布式处理架构。在云计算环境中,用户与实际服务提供的计算资源相分离,云端集合了计算设备和资源。
云计算实现了“快速、按需、弹性”的服务,用户可以随时通过宽带网络接入“云”并获得服务,按照实际需求获取或释放资源,根据需求对资源进行动态扩展。按照云计算服务提供的资源层次,可以分为基础设施即服务(Infrastructure as a Service, IaaS)、平台即服务(Platform as a Service, PaaS)和软件即服务(Software as a Service, SaaS)三种服务类型。
IaaS向用户提供计算机能力、存储空间等基础设施方面的服务。这种服务模式需要较大的基础设施投入和长期运营管理经验,其单纯出租资源的盈利能力有限。
PaaS向用户提供虚拟的操作系统、数据库管理系统、Web应用等平台化的服务。PaaS服务的重点不在于直接的经济效益,而更注重构建和形成紧密的产业生态。
SaaS向用户提供应用软件(如CRM、办公软件等)、组件、工作流等虚拟化软件的服务,SaaS一般采用Web技术和SOA架构,通过Internet向用户提供多租户、可定制的应用能力,减少了软件升级、定制和运行维护的复杂程度,并使软件提供商从软件产品的生产者转变为应用服务的运营者。
2.关键技术
云计算的关键技术主要涉及虚拟化技术、云存储技术、多租户和访问控制管理、云安全技术等。
虚拟化技术:虚拟化是一个广义术语,在计算机领域通常是指计算元件在虚拟的基础上而不是直实的基础上运行。虚拟化技术可以扩大硬件的容量,简化软件的重新配置过程。CPU的虚拟化技术可以单CPU模拟多CPU并行,允许一个平台同时运行多个操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显话提高计算机的工作效率。
容器(Container)技术是一种全新意义上的虚拟化技术,属于操作系统虚拟化的范畴,也就是由操作系统提供虚拟化的支持。目前最受欢迎的容器环境是Docker。容器技术将单个操作系统的资源划分到孤立的组中,以便更好地在孤立的组之间平衡有冲突的资源使用需求。使用容器技术可将应用隔离在一个独立的运行环境中,可以减少运行程序带来的额外消耗,并可以在几乎任何地方以相同的方式运行。
云存储技术:云存储技术是基于传统媒体系统发展而来的一种全新信息存储管理方式,该方式整合应用了计算机系统的软硬件优势,可较为快速、高效地对海批数据进行在线处理,通过多种云技术平台的应用,实现了数据的深度挖掘和安全管理。分布式文件系统作为云存储技术中的重要组成部分,在维待兼容性的基础上,对系统复制和容错功能进行提升。
多租户和访问控制管理:云计算访问控制的研究主要集中在云计算访问控制模型、基于ABE密码体制的云计算访问控制、云中多租户及虚拟化访问控制研究。
云计算访问控制模型就是按照特定的访问策略来描述安全系统,建立安全模型的一种方法。根据访问控制模型功能的不同,研究的内容和方法也不同,常见的有基于任务的访问控制模型、基于属性模型的云计算访问控制、基于UCON模型的云计算访问控制、基于BLP模型的云计算访问控制等。
云安全技术:云安全研究主要包含两个方面的内容,一是云计算技术本身的安全保护工作,涉及相应的数据完整性及可用性、隐私保护性以及服务可用性等方面的内容;二是借助于云服务的方式来保障客户端用户的安全防护需求,通过云计算技术来实现互联网安全,涉及基于云计算的病毒防治、木马检测技术等。在云安全技术的研究方面,主要包含:
云计算安全性:主要是对于云自身以及所涉及的应用服务内容进行分析,重点探讨其相应的安全性间题,这里主要涉及如何有效实现安全隔离,保降互联网用户数据的安全性,如何有效防护恶意网络攻击,提升云计算平台的系统安全性,以及用户接入认证以及相应的信息传输审计、安全等方面的工作。
保障云基础设施的安全性:主要就是如何利用相应的互联网安全基础设备的相应资源,有效实现云服务的优化,从而保赔满足预期的安全防护的要求。
云安全技术服务:如何保障实现互联网终端用户的安全服务要求,能有效实现客户端的计算机病毒防治等相关服务工作。从云安全架构的发展情况来看,如果云计算服务筒的安全等级不高,会造成服务用户需要具备更强的安全能力、承担更多管理职责。
为了提升云安全体系的能力,保陷其具有较强的可靠性,云安全技术要从开放性、安全保障体系结构的角度考虑。
云安全系统具有一定的开放性,要保障开放环境下可信认证;在云安全系统方面,要积极采用先进的网络技术和病毒防护技术;在云安全体系构建过程中,要保证其稳定性,以满足海量数据动态变化的需求。
3.应用和发展
“创新、垂直、混合、生态”这四大趋势伴随云计算快速发展。云计算对IT硬件资源与软件组件进行了标准化、抽象化和规模化。
2.2.3大数据
大数据(Big Data)指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
1.技术基础
大数据主要特征包括:
数据海量:从TB级别跃升到PB级别(1PB=1024TB)、EB级别(1EB=1024PB),甚至达到ZB级别(1ZB=1024EB)。
数据类型多样:大数据的数据类型繁多,一般分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。
数据价值密度低:数据价值密度的高低与数据总量的大小成反比。以视频为例,一部1小时的视频,在连续不间断的监控中,有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”,成为目前大数据背景下亟待解决的难题。
数据处理速度快:为了从海量的数据中快速挖掘数据价值,一般要求要对不同类型的数据进行快速的处理,这是大数据区分于传统数据挖掘的最显著特征。
2.关键技术
1)大数据获取技术
目前,大数据获取的研究主要集中在数据采集、整合和清洗三个方面。数据采集技术实现数据源的获取,然后通过整合和清理技术保证数据质量。数据采集技术主要是通过分布式爬取、分布式高速高可靠性数据采集、高速全网数据映像技术,从网站上获取数据信息。除了网络中包含的内容之外,对于网络流费的采集可以使用DPI或DFI等带宽管理技术进行处理。
数据整合技术是在数据采集和实体识别的基础上,实现数据到信息的高质证整合。数据整合技术包括多源多模态信息集成模型、异构数据智能转换模型、异构数据集成的智能模式抽取和模式匹配算法、自动容错映射和转换校型及算法、整合信息的正确性验证方法、整合信息的可用性评估方法等。
数据清洗技术一般根据正确性条件和数据约束规则,清除不合理和错误的数据,对重要的信息进行修复,保证数据的完整性。包括数据正确性语义模型、关联模型和数据约束规则、数据错误模型和错误识别学习框架、针对不同错误类型的自动检测和修复算法、错误检测与修复结果的评估模型和评估方法等。
2)分布式数据处理技术
分布式计算是随着分布式系统的发展而兴起的,其核心是将任务分解成许多小的部分,分配给多台计算机进行处理,通过并行工作的机制,达到节约整体计算时间,提高计算效率的目的。目前,主流的分布式计算系统有Hadoop、Spark和Storm。Hadoop常用于离线的复杂的大数据处理,Spark常用于离线的快速的大数据处理,而Storm常用于在线的实时的大数据处理。
大数据分析与挖掘技术主要指改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;创新基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
3)大数据管理技术
大数据管理技术主要集中在大数据存储、大数据协同和安全隐私等方面。大数据存储技术主要有三个方面。采用MPP架构的新型数据库集群;围绕Hadoop衍生出相关的大数据技术;基于集成的服务器、存储设备、操作系统、数据库管理系统,实现具有良好的稳定性、扩展性的大数据一体机。
多数据中心的协同管理技术是大数据研究的另一个重要方向。通过分布式工作流引擎实现工作流调度、负载均衡,整合多个数据中心的存储和计算资源,从而为构建大数据服务平台提供支撑。
大数据隐私性技术的研究,主要集中于新型数据发布技术,尝试在尽可能少损失数据信息的同时最大化地隐藏用户隐私。
4)大数据应用和服务技术
大数据应用和服务技术主要包含分析应用技术和可视化技术。大数据分析应用主要是面向业务的分析应用。在分布式海位数据分析和挖掘的基础上,大数据分析应用技术以业务摇求为驱动,面向不同类型的业务需求开展专题数据分析,为用户提供高可用、高易用的数据分析服务。
可视化通过交互式视觉表现的方式来帮助人们探索和理解复杂的数据。大数据的可视化技术主要集中在文本可视化技术、网络(图)可视化技术、时空数据可视化技术、多维数据可视化和交互可视化等。在技术方面,主要关注原位交互分析(In-Situ Interactive Analysis)、数据表示、不确定性散化和面向领域的可视化工具库。
2.2.4区块链
1.技术基础
区块链概念可以理解为以非对称加密算法为基础,以改进的默克尔树(Merkle Tree)为数据结构,使用共识机制、点对点网络、智能合约等技术结合而成的一种分布式存储数据库技术。区块链分为公有链(Public Blockchain)、联盟链(Consortium Blockchain)、私有链(Private Blockchain)和混合链(Hybrid Blockchain)四大类。
一般来说,区块链的典型特征包括:
多中心化:链上数据的验证、核算、存储、维护和传输等过程均依赖分布式系统结构,运用纯数学方法代替中心化组织机构在多个分布式节点之间构建信任关系,从而建立可信的分布式系统。
多方维护:激励机制可确保分布式系统中的所有节点均可参与数据区块的验证过程,并通过共识机制选择特定节点将新产生的区块加入到区块链中。
时序数据:区块链运用带有时间戳信息的链式结构来存储数据信息,为数据信息添加时间维度的属性,从而可实现数据信息的可追溯性。
智能合约:区块链技术能够为用户提供灵活可变的脚本代码,以支持其创建新型的智能合约。
不可篡改:在区块链系统中,因为相邻区块间后序区块可对前序区块进行验证,若篡改某一区块的数据信息,则需递归修改该区块及其所有后序区块的数据信息,然而每一次哈希的重新计算代价是巨大的,且须在有限时间内完成,因此可保障链上数据的不可篡改性。
开放共识:在区块链网络中,每台物理设备均可作为该网络中的一个节点,任意节点可自由加入且拥有一份完整的数据库拷贝。
安全可信:数据安全可通过基于非对称加密技术对链上数据进行加密来实现,分布式系统中各节点通过区块链共识算法所形成的算力来抵御外部攻击、保证链上数据不被篡改和伪造,从而具有较高的保密性、可信性和安全性。
2.关键技术
1)分布式账本
分布式账本是区块链技术的核心之一。分布式账本的核心思想是:交易记账由分布在不同地方的多个节点共同完成,而且每一个节点保存一个唯一、真实账本的副本,它们可以参与监督交易合法性,同时也可以共同为其作证;账本里的任何改动都会在所有的副本中被反映出来。
分布式账本中存储的资产是指法律认可的合法资产,如金融、实体、电子的资产等任何形式的有价资产。为了确保资产的安全性和准确性,分布式账本一方面通过公私钥以及签名控制账本的访问权;另一方面根据共识的规则,账本中的信息更新可以由一个、一部分人或者是所有参与者共同完成。
分布式账本技术能够保障资产的安全性和准确性,具有广泛的应用场景,特别在公共服务领域,能够重新定义政府与公民在数据分享、透明度和信任意义上的关系,目前已经广泛应用到金融交易、政府征税、土地所有权登记、护照管理、社会福利等领域。
2)加密算法
区块链系统中的加密算法一般分为散列(哈希)算法和非对称加密算法。
散列算法也叫数据摘要或者哈希算法,其原理是将一段信息转换成一个固定长度并具备以下特点的字符串:如果某两段信息是相同的,那么字符也是相同的;即使两段信息十分相似,但只要是不同的,那么字符串将会十分杂乱、随机并且两个字符串之间完全没有关联。本质上,散列算法的目的不是为了“加密”而是为了抽取“数据特征”,也可以把给定数据的散列值理解为该数据的“指纹信息”。典型的散列算法有MD5、SHA-I/SHA-2和SM3,目前区块链主要使用SHA-2中的SHA256算法。
非对称加密算法由对应的一对唯一性密钥(即公开密钥和私有密钥)组成的加密方法。任何获悉用户公钥的人都可用用户的公钥对信息进行加密与用户实现安全信息交互。由于公钥与私钥之间存在的依存关系,只有用户本身才能解密该信息,任何未受授权用户甚至信息的发送者都无法将此信息解密。常用的非对称加密算法包括RSA、Elgamal、D-H、ECC(椭圆曲线加密算法)等。
3)共识机制
区块链共识问题需要通过区块链的共识机制来解决。共识算法能保证分布式的计算机或软件程序协作一致,对系统的输入输出做出正确的响应。
区块链的共识机制的思想是:在没有中心点总体协调的情况下,当某个记账节点提议区块数据增加或减少,并把该提议广播给所有的参与节点,所有节点要根据一定的规则和机制,对这一提议是否能够达成一致进行计算和处理。
目前,常用的共识机制主要有PoW、PoS、DPoS、Paxos、PBFT等。根据区块链不同应用场景中各种共识机制的特性,共识机制分析可基于:
合规监管:是否支持超级权限节点对全网节点、数据进行监管。
性能效率:交易达成共识被确认的效率。
资源消耗:共识过程中耗费的CPU、网络输入输出、存储等资源。
容错性:防攻击、防欺诈的能力。
2.2.5人工智能
人工智能从产生到现在,其发展历程经历了6个主要阶段:起步发展期(]956年至20世纪60年代初)、反思发展期(20世纪60年代至20世纪70年代初)、应用发展期(20世纪70年代初至20世纪80年代中)、低迷发展期(20世纪80年代中至20世纪90年代中)、稳步发展期(20世纪90年代中至2010年)、蓬勃发展期(2011年至今)。
从当前的人工智能技术进行分析可知,其在技术研究方面主要聚焦在热点技术、共性技术和新兴技术三个方面。
人工智能的关键技术主要涉及机器学习、自然语言处理、专家系统等技术。
1)机器学习
机器学习是一种自动将模型与数据匹配,并通过训练模型对数据进行“学习”的技术。机器学习的研究主要聚焦在机器学习算法及应用、强化学习算法、近似及优化算法和规划问题等方面,其中常见的学习算法主要包含回归、聚类、分类、近似、估计和优化等基础算法的改进研究,迁移学习、多核学习和多视图学习等强化学习方法是当前的研究热点。
神经网络是机器学习的一种形式,该技术出现在20世纪60年代,并用于分类型应用程序。它根据输入、输出、变量权重或将输入与输出关联的“特征”来分析问题。它类似于神经元处理信号的方式。深度学习是通过多等级的特征和变量来预测结果的神经网络模型,得益与当前计算机架构更快的处理速度,这类模型有能力应对成千上万个特征。与早期的统计分析形式不同,深度学习模型中的每个特征通常对于人类观察者而言意义不大,使得该模型的使用难度很大且难以解释。深度学习模型使用一种称为反向传播的技术,通过模型进行预测或对输出进行分类。强化学习是机器学习的另外一种方式,指机器学习系统制订了目标而且迈向目标的每一步都会得到某种形式的奖励。
机器学习模型是以统计为基础的,而且应该将其与常规分析进行对比以明确其价值增量。它们往往比基于人类假设和回归分析的传统“手工”分析模型更准确,但也更复杂和难以解释。相比于传统的统计分析,自动化机器学习模型更容易创建,而且能够揭示更多的数据细节。
2)自然语言处理
自然语言处理(Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。自然语言处理主要应用于机器翻译、舆悄监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文OCR等方面。自然语言处理(即实现人机间自然语言通信,或实现自然语言理解和自然语言生成)是十分困难的,困难的根本原因是自然语言文本和对话的各个层次上广泛存在着各种各样的歧义性或多义性。自然语言处理解决的核心问题是信息抽取、自动文摘/分词、识别转化等,用于解决内容的有效界定、消歧和模糊性、有瑕疵的或不规范的输入、语言行为理解和交互。当前,深度学习技术是自然语言处理的重要技术支撑,在自然语言处理中需应用深度学习模型,如卷积神经网络、循环神经网络等,通过对生成的词向量进行学习,以完成自然语言分类、理解的过程。
3)专家系统
专家系统是一个智能计算机程序系统,通常由人机交互界面、知识库、推理机、解释器、综合数据库、知识获取等6个部分构成,其内部含有大位的某个领域专家水平的知识与经验,它能够应用人工智能技术和计算机技术,根据系统中的知识与经验,进行推理和判断,模拟人类专家的决策过程,以便解决那些需要人类专家处理的复杂问题。简而言之,专家系统是一种模拟人类专家解决领域问题的计算机程序系统。
在人工智能的发展过程中,专家系统的发展已经历了三个阶段,正向第四代过渡和发展。第一代专家系统以高度专业化、求解专门问题的能力强为特点。但在体系结构的完整性、可移植性、系统的透明性和灵活性等方面存在缺陷,求解问题的能力弱。第二代专家系统属于单学科专业型、应用型系统,其体系结构较完整,移植性方面也有所改善,而且在系统的人机接口、解释机制、知识获取技术、不确定推理技术、增强专家系统的知识表示和推理方法的启发性、通用性等方面都有所改进。第三代专家系统属多学科综合型系统,采用多种人工智能语言,综合采用各种知识表示方法和多种推理机制及控制策略,并运用各种知识工程语言、骨架系统及专家系统开发工具和环境来研制大型综合专家系统。当前人工智能的专家系统研究已经进入到第四个阶段,主要研究大型多专家协作系统、多种知识表示、综合知识库、自组织解题机制、多学科协同解题与并行推理、专家系统工具与环境、人工神经网络知识获取及学习机制等。
2.2.6虚拟现实
虚拟现实(Virtual Reality, VR)是一种可以创立和体验虚拟世界的计算机系统。通过虚拟现实系统所建立的信息空间,是一个包容多种信息的多维化的信息空间(Cyberspace),人类的感性认识和理性认识能力都能在这个多维化的信息空间中得到充分的发挥。在硬件方面,需要高性能的计算机软硬件和各类先进的传感器;在软件方面,主要是需要提供一个能产生虚拟环境的工具集。
虚拟现实技术的主要特征包括沉浸性、交互性、多感知性、构想性(想象性)和自主性。随着虚拟现实技术的快速发展,按照其“沉浸性”程度的高低和交互程度的不同,虚拟现实技术已经从桌面虚拟现实系统、沉浸式虚拟现实系统、分布式虚拟现实系统等,向增强式虚拟现实系统(Augmented Reality, AR)和元宇宙的方向发展。
虚拟现实的关键技术主要涉及人机交互技术、传感器技术、动态环境建校技术和系统集成技术等。
人机交互技术:与传统的只有键盘和鼠标的交互模式不同,是一种新型的利用VR眼镜、控制手柄等传感器设备,能让用户真实感受到周围事物存在的一种三维交互技术,将三维交互技术与语音识别、语音输入技术及其他用于监测用户行为动作的设备相结合,是目前主流的人机交互手段。
传感器技术:VR技术的进步受制于传感器技术的发展,现有的VR设备存在的缺点与传感器的灵敏程度有很大的关系。
动态环境建模技术:虚拟环境的设计是VR技术的重要内容,该技术是利用三维数据建立虚拟环境模型。目前常用的虚拟环境建模工具为计算机辅助设计(Computer Aided Design, CAD),操作者可以通过CAD技术获取所需数据,并通过得到的数据建立满足实际需要的虚拟环境模型。除了通过CAD技术获取三维数据,多数情况下还可以利用视觉建模技术,两者相结合可以更有效地获取数据。
系统集成技术:包括信息同步、数据转换、模型标定、识别和合成等技术,由于VR系统中储存着许多的语音输入信息、感知信息以及数据模型,因此VR系统中的集成技术显得越发重要。
2.3本章练习
1.选择题
关于信息技术的描述,不正确的是。
A.信息技术是研究如何获取信息、处理信息、传输信息和使用信息的技术
B信息技术是信息系统的前提和基础,信息系统是信息技术的应用和体现
C.信息、信息化以及信息系统都是信息技术发展不可或缺的部分
D.信息技术是在信息科学的基本原理和方法下的关于一切信息的产生、信息的传输、
信息的转化应用技术的总称
参考答案:D
-关键技术主要涉及传感器技术、传感网和应用系统架构等。
A物联网B.云计算C.大数据D.人工智能
参考答案:A
关键技术主要涉及机器学习、自然语言处理、专家系统等技术。
A物联网B.云计算C.大数据D人工智能
参考答案:D
关于云计算的描述,不正确的是。
A云计算可以通过宽带网络连接,用户需要通过宽带网络接入“云”中并获得有关的服务,“云”内节点之间也通过内部的高速网络相连
B云计算可以快速、按需、弹性服务,用户可以按照实际需求迅速获取或释放资源,并可以根据衙求对资源进行动态扩展
C按照云计算服务提供的资源层次,可以分为基础设施即服务和平台即服务两种服务类型
D.云计算是一种基于并高度依赖Internet,用户与实际服务提供的计算资源相分离,集合了大独计算设备和资源,并向用户屏蔽底层差异的分布式处理架构
参考答案:C
区块链有以下几种特性:
多中心化、多方维护、时序数据、智能合约、开放共识、安全可信和。
A.可回溯性 B不可篡改C周期性D稳定性
参考答案:B
(6)虚拟现实技术的主要特征包括: 沉浸性、交互性、多感知性、构想性和( )
A.自主性B.抗否认性C.可审计性D.可靠性
参考答案:A
解答题
(1)请概述云计算的主要服务模式有哪些。
云计算的主要服务模式有三种:IaaS(Infrastructure as a Service)、PaaS(Platform as a Service)和SaaS(Software as a Service)。
IaaS是提供基础设施服务的模式,包括虚拟机、网络、存储等;PaaS是提供平台服务的模式,提供开发、测试、部署等服务;SaaS是提供软件服务的模式,提供应用软件服务。
(2) 请简述大数据的技术架构是什么。
大数据技术架构是一种用于处理大量数据的分布式计算系统,它能够支持海量数据的处理和存储。它可以搭建一个分布式的计算环境,可以将数据分布在多台服务器上,并且能够支持并行计算。大数据技术架构包括数据采集、数据存储、数据分析、数据可视化等组成部分,它们之间可以通过网络连接起来,以实现大数据的处理。此外,它还可以支持海量数据的实时处理,使用户能够快速获取想要的数据。
(3)请简述区块链的共识机制。
区块链的共识机制是指区块链网络中所采用的一种协议,用于确保网络中的所有节点都能够达成一致。它是一种分布式的共识机制,通过投票确定网络中的交易是否有效,以及网络中的数据是否准确。常见的共识机制有工作量证明(Proof of Work)、权益证明(Proof of Stake)和账本共识(Byzantine Fault Tolerance)等。
工作量证明:最常用的共识机制,它是一种竞争性的算法,要求网络中的节点解决一个复杂的数学问题,以获得报酬;
权益证明:是一种把节点的权益与网络的安全性联系起来的机制,节点拥有越多的权益,则其在网络中的投票权也越大;
账本共识:一种改进的共识机制,它能够确保网络中的数据准确性,并且能够抵御恶意攻击。
因此,区块链的共识机制是确保网络的安全性和可靠性的关键因素。