多媒体应用设计师

1.多媒体技术基础

1.1.媒体与技术

1.1.媒体
维基百科：传播信息载体
国际电信联盟（ITU-T）：感知、表示、存储和传输的手段和方法。
两层含义：存储信息的实体，媒质。传递信息载体，媒介。

1.2.国际电话电报咨询委员会（CCITT）对媒体的分类
感觉媒体（Perception Medium）：直接感觉。视觉、听觉、嗅觉、味觉、触觉。
表示媒体（Representation Medium）：人为研究，数据编码，媒质。
显示媒体（Presentation Medium）：电信号。输入显示媒体：键盘、鼠标、扫描仪、话筒、手写笔、摄像机。输出显示媒体：显示器、打印机、绘图仪、扬声器、喇叭。
存储媒体（Storage Medium）：媒质。纸张、硬盘、软盘、磁带、光盘、U盘、ROM、固态硬盘。硬盘接口类型：IDE（曾经使用最广泛）、SCSI、FC、SATA（目前普通PC硬盘主流）
传输媒体（Perception Medium）：无线：微波、红外、激光、蓝牙。有线：双绞线（Twisted Pair）、同轴电缆（Coaxial Cable）、光缆（Optical Fiber Cable）。

1.3.媒体特征
可存储性、可传播性、可感知性

1.4.多媒体
能够同时采集、处理、编辑、存储、和展示两个或以上不同类型的信息媒体的技术。
超媒体：超链接。

1.5.多媒体技术主要特点
集成性、交互性、实时性、控制性、非线性
集成性、交互性、实时性、数字化、非线性

1.6.多媒体技术的应用
1.6.1.多媒体技术应用最早发展最迅速的领域一–教育培训领域:CAI计算机辅助教学，Web3D远程教学，MOOC慕课，SPOC小规模限制性在线课程。
1.6.2.多媒体通信:一次呼叫中可以同时提供多种多媒体信息(可视电话，点播，电视，远程教学，远程医疗)
1.6.3.电子出版物:光盘等。
1.6.4.医疗:多媒体医疗影像系统，远程医疗
1.6.5.办公自动化:计算机局域网，广域网，图像处理专用系统，语音传真，秘书系统，电视会议系统

1.2.关键技术

数字技术：特点：1.一般采用二进制。2.抗干扰能力强、精度高。3.数字信号便于长期存储。4.保密性强。5.通用性强。
多媒体信息获取与输出技术
多媒体信息处理与生成技术
流媒体技术
1.3.多媒体技术发展
虚拟现实技术：4个重要特征一一多感知性，沉浸感，交互性，想象力(3I特性)
增强现实技术：特点:虚实结合，实时交互，三维注册
移动多媒体技术：4等级-可视电话数据速率(64-384kb/s)，VCD数据速率384kb/s-2Mb/s)，DVD数据速率4-15Mb/s)，HDTV数据速率38.4Mb/s)
多媒体信息显示技术：1.立体显示技术一一通过立体眼镜，头盔等设备使人们看到立体的多媒体数据，2.OLED显示技术一一有机发光显示器，更轻更薄可视角度更大，可以显著降低耗电量;3.柔性显示技术一为未来飞机的驾驶舱设计，使用非玻璃材质，不会影响弹射跳伞时的安全性，具有功耗低，可变形可弯曲，由柔软材料制成的特点，4.触摸屏显示技术一新型人机交互输入方式，坚固耐用，反应速度快，节省空间，易于交流。
人机交互技术：通过计算机输入输出设备实现人与计算机对话。交互方式包括:触摸式交互，语音识别，体感识别等。
云计算
物联网：在互联网基础上扩展的网络，用户端延伸到任何物品和物品之间。三个特点全面感知(利用射频识别计算、传感器、二维码采集动态对象)、可靠传送、智能控制
大数据：大数据的发展趋势
数据的资源化，
与云计算的深度结合;
数据管理成为核心竞争力;
数据质量是商业智能成功的关键;
数据生态系统复合化程度加强。
LBS：基于地理位置的服务是在地理信息系统平台GIS的支持下，通过无线电通信网络或外部定位方式获取移动终端用户的位置信息，并通过移动终端向用户提供相应服务的增值业务。

2.多媒体信息处理及编辑技术

2.1.多媒体信息的种类与特点

视觉类：文字、图像、图形、视频、动画、其他（视频、符号表示的数值、图形表示的某种数据曲线、数据库的关系数据）
听觉类：波形声音、语音、音乐

2.2.多媒体文字信息的处理与编辑

文字信息的表示与存储：
英文字符用ASCII编码(利用7位二进制数表示，共128个元素)汉字使用GB2312编码方式(收录6763个汉字)文字使用Unicode编码(又称国际码，统一码，单一码，是计算机科学领域中的业内标准)，只规定了符号的二进制代码，Unicode编码的实现方式为UTF(Unicode转换格式)，最常用的实现编码为UTF-8，除此外还有UTF-16,UTF-32
纯文本:只保存文本，不保存格式。常见纯文本格式扩展 txt,asp,bat,c,prg,cmd等。编辑软件一一记事本Notpad,TXT Editor,Notpad++,Quickpad
富文本:包括大量符号标记，用于标记粗体，下划线，斜体，或特殊字符及特殊打印格式。常见富文本格式扩展–RTF,DOCDOCX,PDF等。编辑软件-Word,WPS等。

文字类型：
根据具有编辑排版格式：纯文本和富文本

2.3.多媒体音频的处理与编辑

声音三要素:音调，响度(音量/音强)，音色
音调:声音的高低，由频率决定。单位—Hz
响度:人主观感觉声音的大小，由振幅和人与声源的距离决定。单位一分贝/dB
音色:由发声物体的材料，结构决定

音效种类：波形音乐WAV、MIDI音频（仅有音乐场合）、数字音频

压缩原理划分：波形编码（脉冲编码调制PCM、自适应增量调制ADM、自适应差分脉冲编码调制ADPCM）、参数编码（线性预测编码LPC。语音的基本参数：基音周期、共振峰、语音谱、声强）、混合编码（码本激励线性预测CELP、多脉冲线性预测MP-LPC、矢量和激励线性预测VSELP）

波形声音处理软件：WaveEdit 、Creative WaveStudio、Adobe Audition
MIDI处理软件：MIDI Orchestrator

人耳听觉：20Hz~20kHz
人发出的声音：80~3400Hz
人说话的声音：300~3000Hz

PCM按量化方式划分：均匀量化、非均匀量化、自适应量化

MIDI信息：键名、力度、时值长短等
MIDI标准：GS标准（日本罗兰公司1984年）、GM标准（国际MIDI生产协会MMA指定通用MIDI标准）、XG标准（YAMAHA公司1994年）
MIDI合成方法：频率调制FM、波形合成
MIDI系统桑基本要素：音序器或音序软件、主键盘、音源

数字音频文件格式：WAV、CD、MP3、MP3 Pro、MIDI、WMA、RA

音频处理软件：Cakewalk、Cool EditPro/Adobe Audition、Sound Forge、Wave CN、、FL Studio、Cubase、Nuendo、Vegas Audio、Wavelab

音频编辑方式：数字录音、数字音乐创作、声音剪辑、声音合成、增加特效、文件操作

2.4.多媒体图形图像的处理与编辑

颜色空间：
RGB：彩色显示器、计算机图形学。是最常用的颜色表示方法颜色范围0-255。是一种发光的色彩模式。又称加色模型
CMYK：主要用于印刷，是一种依靠反光的色彩模式，又称减色模型。青一(互补)一红品一(互补)一绿;黄一(互补)一蓝
YIQ、YUV、YCrCb：用于电视的颜色空间。模拟PAL和SECAM彩色电视用YUV；NTSC用YIQ、数字电视用YCrCb。
HSI、HSV：从人的视觉系统发出的
CIE色度模型：国际照明委员会CIE，1931年

图像格式：PSD、TIFF、JPEG、BMP、GIF、PNG、EPS、PDF
图像处理技术：指纹识别系统、文字识别技术
图形格式：TIF、TGA、PSD、UFO、RIF、CDR、EPS

图形图像处理软件：Photoshop、CorelDRAW、Illustrator

图像处理技术：图像增强、图像恢复、图像识别、图像编码、点阵图转换为矢量图等。
图形图像特技处理：图形图像的模糊、锐化、浮雕、旋转、透射、变形、水彩化、油画化

2.5.多媒体视频的处理与编辑

一般需要保持的频率：24~30帧/秒
现代电影：24帧/秒
电视节目美国NTSC：近30帧/秒
PAL中国：25帧/秒

分辨率：
手机视频:240320
SDTV 480i/p NTSC:360480
SDTV 576i/p PAL:720576
HDTV 720p:1080720
HDTV1080i/p:1920*1080
注:i指的是interlaced(交织的)，理解为“隔行扫描”，而1080p的P意为逐行扫描(Progressive scanning)。数字1080表示垂直方向有1080条扫描线
日本、韩国及东南亚地区与美国等欧美国家使用NTSC制式(一图像总行数为525行)，使用YIQ模型，视频信号帧速率为 29.97顿/秒，隔行扫描方式约为60 场/秒。
法国，东欧地区则使用SECAM制式。PAL是德国制定的彩色电视标准( 一图像总行数为625行)，中国大部分地区使用PAL制式。SECAM和PAL均使用YUV模型，视频信号速率为25 顿/秒，隔行扫描方式为50场/秒
通常胶片电影的快门速率为24顿/秒
H261标准中为了解决电视制式不同的问题而定义了CIF视频格式为了使同一标准既能用于PAL(625)和NTSC(525)两种电视制式系统，源编码基于中间格式CIF(Common Inermediate Format)格式，这是一种折中的定义，其分辨率来源于PAL制式定义为352x288像素，而顿速率则来源于NTSC制式，定义为30/秒
模拟视频信号通常可以采用三种方式传输:分量视频信号、复合视频信号和分离视频信号(S-Video)。彩色重现质量从高到低分别为:分量视频信号 >分离视频信号>复合视频信号
视频编辑分为:线性编辑和非线性编辑

宽高比
4：3全屏格式，1.33：1
Cinemascope 2.35
Warnerscope 1.85
Technicscope 1.75
Panascope 1.67

本地影像视频文件格式：AVI、DV-AVI、MPEG、DIVX、MOV
网络流媒体影像视频文件格式：ASF、WMV、RM、RMVB、3GP、Flash

视频编辑软件：AE、Microsoft Video For Windows、Adobe Premiere

2.6.多媒体信息的组织

超媒体3个特性：多媒体信息、网络结构模式、交互特性。
超文本和超媒体系统的结构三个层次：数据库层、超文本抽象机层、用户接口层
超文本和超媒体组成要素：节点、链、网络

3.多媒体信息传输技术

3.1.数据通信技术

多媒体服务质量(Qos)指网络服务的良好程度，
衡量QoS的常见指标为:吞吐量，差错率，端到端延迟，延迟抖动,带宽，丢包率，服务可用性等。
服务质量类型:确定型、统计型、尽力型

视频通信QoS的5个级别：

QoS级别	帧率/FPS	分辨率/%	主观评价	损害程度
5	25~30	65~100	很好	细微
4	15~24	50~64	较好	可察觉
3	6~14	35~49	一般	可忍受
2	3~5	20~34	较差	很难忍受
1	1~2	1~9	差	不可忍受

协议：
RTP/RTCP：实时传输协议/实时传输控制协议。传输层。
RTSP：应用层。
RSVP：资源预留协议。网络层。
SIP：会话启动协议。
SDP
SVP

计算机网络接入技术：
H.320：窄带综合业务数据网（N-ISDN）。视频会议占主导，扩大到多点呼叫标准T.120，模拟电路视频会议低速率会议标准H.324。电路交换。2Mb/秒
H.321：宽带综合业务数据网（B-ISDN）。快速分组交换。百M每秒或者千M每秒
H.322：局域网（LAN）
H.323：现有IP网络
H.324：公共交换电话网（PSTN）

应用：
对称全双工：分布式多媒体信息系统、视频会议系统、计算机支持的协同工作系统
非对称全双工：交互式电视系统ITV、点播电视系统VOD、远程教育系统、远程医疗诊断系统、远程图书馆。

多媒体通信要解决的两个问题：多媒体数据压缩、高速数据通信

3.2.计算机网络基础

FTTH

3.3.Internet技术基础

4.移动多媒体技术基础

4.1.移动多媒体技术基础

移动互联网三个层面：终端、软件、应用
移动互联网特征：便携性、隐私性、应用轻便。便携性、移动性、无线性、应用丰富性及免费性

4.2.无限移动通信技术

中短举例无线通信技术：红外技术，蓝牙技术，无线局域网标准和WIFI

在这里插入图片描述

移动通信技术的发展
1.第一代移动通信技术(1):指最初的模拟，仅限语音的蜂窝电话标准，制定于20世纪80年代，主要用于提供模拟语音业务。只有国家标准，没有国际标准。缺点:频谱利用率低，业务种类有限，保密性差，设备成本高，体积笨重
2第二代移动通信技术解决了一代的根本技术缺陷技术有:GSM技术(全球移动通信系统，用户可以从更高的数字语音质量和低费用的短信之间做选择)，GPRS技术(通用分组无线服务技术，被描述为2.5G)，EDGE技术(从GSM到3G的过渡技术，又称2.75代技术)，CDMA技术(码分多址技术，满足了市场对移动通信容量和品质的高要求)，WAP技术(无线通信协议，让使用者可以用手机之类的无线装置浏览网页，网页必须以无线标记语音wml编写)
3.第三代移动通信技术:将无线通信与国际互联网等多媒体通信结合的新一代移动通信技术3G与2G的区别是3传输声音和数据的速度提升，支持全球范围无线漫游，处理多种媒体形式。技术基础:CDMA码分多址技
主要采用FDMA频分多址技术
主要采用TDMA时分多址技术
3G主要采用CDMA码分多址技术
4.第四代移动通信技术:集3G与WLAN与一体，可快速传输数据，高质量的音频/视频图像等
5.第五代移动通信技术:实现千兆移动网络，人工智能，远程医疗，物联网应用

4.3.移动多媒体终端设备及系统平台

移动多媒体终端设备:智能手机，平板计算机，可穿戴式智能设备移动操作系统:三大主流安卓ios，WindowsPhone

4.4.移动多媒体技术应用

移动社交多维度发展
电子商务崛起:医药企业向电商转型，传统电商结合医药企业形成一站式医药平台，020电商模式兴起形成互联网+的产业新形态

5.多媒体信息显示、发布及搜索技术

5.1.多媒体信息显示技术

显示技术：
CRT显示器：阴极射线管
LCD显示器：液晶显示器
等离子显示器：PDP

立体显示技术分类：视差立体显示技术和真立体显示技术
立体显示效果分类：传统2D显示、双目视差立体显示（沉浸式系统、半沉浸式系统、自由立体显示技术、多视点自由立体显示技术）、真三维立体显示（全息、体三维、集成成像）
立体显示根据辅助器件分类：助视立体显示技术和裸眼立体显示技术

立体显示技术的应用领域
医学
军事
建筑
工业
影视娱乐

OLED显示技术：按驱动方式划分两种：主动式驱动PM-OLED（有源驱动）和被动式驱动AM-OLED（无源驱动）
触摸屏技术：根据作用原理和传输信息介质划分：电阻式触摸屏、电容式触摸屏、红外线式触摸屏、表面声波触摸屏
柔性显示技术：OLED柔性显示、TFT-LCD显示技术、无机EL显示（ELD）、电子粉流体显示技术（LPD）、、干涉调制显示技术、电致变色显示技术、等离子管阵列显示技术、光子晶体显示技术。

5.2.多媒体信息发布技术

多媒体信息发布系统组成:服务器，网络，播放器，显示器
多媒体信息发布系统适用场合:政府及企业楼宇(发布企业内部信息和对外宣传形象)，银行专网，医疗行业，电梯，展览中心(直播比赛或发布大型活动的实况)
多媒体信息发布系统主流技术:CDN(内容分发网络)技术和P2P(对等网络)技术》
CDN内容分发网络:基于C/S结构的分布式媒体服务技术平台。缺点:成本高，可扩展性差
P2P(对等网络)技术:为了克服传统C/S模式(所有用户从服务器获取内容)在p2p网络中，各设备没有主从之分，网络上任意节点的计算机即可作为网络服务器提供资源，也可作为客户端获取资源
CDN内容分发机制:基于pull方式，基于push方式，混合分发方式
CDN服务的类型:网页加速(8s原则)，流媒体服务，文件传输加速
CDN内容分发网络的典型应用:IPTV(交互式网络电视)一-利用电信宽带网络为传输通道，以电视机为主要终端设备，集互联网，多媒体，通信等多种技术于一体，向家庭用户提供包括电视内容在内的多种交互式服务,

多媒体内容分发的主要技术
内容路由技术
内容分发技术
内容存储技术
内容管理技术

多媒体信息发布系统的未来发展趋势：网络化、定向化、智能化、专业化

5.3.多媒体信息搜索技术

多媒体信息检索按检索内容分类：
基于内容的图像检索
基于内容的音频检索
基于内容的视频检索
基于内容的多媒体文件检索技术

搜索引擎的工作原理：

搜索引擎按工作方式分类：全文搜索引擎、目录索引类搜索引擎、元搜索引擎

未来搜索引擎发展趋势
个性化:对用户个性化特征进行识别，得到用户的个性化模式，利用已有网络信息进行匹配，提供给用户满足其个性化需求的信息内容。需用到的相关技术:信息抽取技术，用户行为分析，自动聚类，网络爬虫，中文分词技术等
智能化:自动分析用户输入的自然语言，形成检索策略进行检索。用户无需考虑检索规则，语法规则，提高搜索引擎易检率。
社会化:体现在知识共享，搜索的人性化，用户影响网络排名，提供全面和精确的搜索跨语言检索:以一种语言提问，检索其他语言描述的信息资源情境搜索:能感知人与人所处的环境，针对“此时此地”来建立模型，理解用户查询的目的

增强现实电子书的核心技术:虚实融合技术(根据跟踪注册得到位置和姿态信息)、虚实配准技术( 核心模块)、自然交互技术

6.多媒体数字版权管理技术

6.1.元数据与数字对象标识码

元数据：描述数据的数据。

按本身的描述方法和结构内容分类：
描述性元数据：标题、作者、日期等
结构性元数据：内容章节、图示、视频段落、文件格式等。
管理性元数据：数据格式、压缩率、认证与安全、维护等

数据描述的层次分类：
技术层次元数据
语义层次元数据

按可生产性划分：
可自动生成的元数据
手工生成的元数据

按依赖性划分：
依赖领域知识的元数据
依赖媒体类型的元数据

多媒体数字版权的保护的内容
电子书籍
音频
视频
图片
流媒体
游戏

元数据标准
DUBLIN CODE（DC）
TEI
MPEG-7

数字版权的体系结构
唯一表示层：DRM三个核心实体：主体、内容、权限
信息编码层：包括信息（编码）格式和元数据格式
安全编码层：包括加密技术、数字签名、数字水印
权限控制层
安全协议层：包括安全封装、安全存储、安全支付、安全通信协议
安全方案层：包括数字证书、身份认证、使用控制、审计

数字作品应用角度分类：

数字对象唯一标识符DOI主要包括二维码、条形码、字符码、网络域名

6.2.数据加密技术

对称和非对称

数据加密三个层次：链路加密、节点加密、端到端加密。

6.3.公钥基础设施安全技术

PKI

公钥基础设施组成如下：
认证中心CA
X.509证书
密钥备份和恢复
证书撤销
PKI应用接口系统

公钥基础设施的应用
VPN
安全电子邮件
Web安全
电子商务的应用

6.4.数字签名技术

在这里插入图片描述

6.5.数字水印技术

数字水印特点：隐蔽性、健壮性、安全性、水印容量
数字水印特点：安全性、隐蔽性、鲁棒性、敏感性

水印特性划分：健壮数字水印和脆弱数字水印
水印的附载的媒体划分：图像水印、音频水印、文本水印、用于三维网格模型的网格水印
检测过程划分：明文水印和盲水印
内容划分：有意义水印和无意义水印
用途划分：票据防伪水印、版权标识水印、篡改提示水印、隐藏标识水印
水印的隐藏位置划分：时（空）域数字水印、频域数字水印、时/频域数字水印、时间/尺度域数字水印

数字水印算法：
空间域算法：LSB算法、Parchwork算法
变换域算法
压缩域算法
NEC算法
生理模型算法

6.6.身份认证技术

是否使用硬件划分：软件认证和硬件认证
认证需要验证条件来看：单因子认证和双因子认证
认证信息来看：静态认证和动态认证
认证手段来看：基于用户所知道的秘密、基于用户所拥有的令牌、基于用户本身的生物特征

基于用户/口令的认证技术
基于智能卡的认证技术：非加密存储卡、加密存储卡、CPU卡
基于Key的认证技术
基于生物特征识别的技术：指纹识别技术、语音声纹识别技术、视网膜图样识别技术、虹膜图样识别技术、脸型识别技术

7.多媒体数据压缩编码技术基础

7.1.多媒体数据压缩技术理论基础及压缩编码方法分类

必要性:大数据量的图像信息会给存储器的存储容量，通信线路的带宽，以及计算机的处理速度增加极大压力。如果没有多媒体编码压缩技术的发展，大容量图像，视频信息的存储和传输就难以实现。
可能性:视频由一顿帧图像组成，图像的各像素之间存在一定的相关性，即几余度。通过某种编码方法提取或减少元余度可实现压缩数据的目的。

常见数据冗余如下：
空间冗余
时间冗余
结构冗余
知识冗余
视觉冗余
图像区域的相同性冗余
纹理的统计冗余
、
听觉冗余
信息熵冗余（编码冗余）

图像编码是否有误差：
无损编码：霍夫曼编码、算术编码、行程编码、字典编码、统计编码
有损编码：预测编码、变换编码、分形编码、基于模型编码、其他编码

图像根据编码原理划分：
统计编码（熵编码）：霍夫曼编码Huffman、算术编码、香农-费诺编码、游程长度编码RLC、LZW编码、字典编码（隐式字典和显示字典）
预测编码：线性预测编码DPCM、自适应线性预测编码ADPCM
变换编码：傅里叶变换FFT、离散余弦DCT（次最优的正交交换）、卡胡南-劳夫K-L、沃尔什-哈达玛WHT、小波WT
混合编码：矢量量化编码、子带编码SBC

根据图像的光谱特征划分：单色图像编码、彩色图像编码、多光谱图像编码

根据图像灰度划分：多灰度编码和二值图像编码

预测编码根据预测值是否是线性的：线性预测和非线性预测
根据预测样本是同一帧：帧内预测编码和帧间预测编码
是否有误差：无损预测编码和有损预测编码（DM增量调制、DPCM差分脉冲编码、ADPCM自适应差分脉冲编码）

7.2.统计编码

7.3.预测编码

7.4.变换编码

7.5.其他编码

7.6.视频编码

7.7.数据压缩标准

国际标准化协会ISO
国际电子学委员会IEO
国际电信协会ITU
国际电报电话咨询委员会CCITT
国际电工委员会IEC
美国国家标准协会ANSI

国际计量局BIPM
联合国教科文组织UNESCO
国际海关组织WCO
世界卫生组织WHO
欧洲标准化委员会CEN

静态图像压缩标准：JPEG、JPEG2000
音频编码标准：MPEG-1（三部分）、MPEG-2、MPEG-4和MPEG-7
视频编码标准：H261、H263、MPEG标准（包含1，2，4）

视频格式	图像亮度分辨率	图像色差分辨率	H.261是否支持	H.263是否支持
SQCIF	128*96	64*48	√	√
QCIF	176*144	88*72	√	√
CIF	352*288	176*144	√	√
4CIF	704*576	352*288	×	√
16CIF	1408*1152	704*576	×	√

8.多媒体应用的新技术

8.1.信息可视化技术

信息可视化:将广泛存在的非具体数据以能满足人机交互的方式表达出使信息接收员可以方便的分析数据，找出数据规律，完成对信息的处理。信息可视化的两大基础:认知心理学和图像设计。
可视化方式分为:一维，二维，三维，多维，时序，层次，网状的信息可视化方式
信息可视化映射技术PFNET，最早被使用，它通过对事物的理解，分析，形成自己特有的网络表现方式，进而实现不同事件之间分层归纳。

8.2.人机交互技术

立体视觉显示技术：眼镜式3D、头戴式HMD、裸眼3D、全息投影
自然手势交互技术：从硬件上分为单目/双目(leap motion)/多目视觉系统从手势复杂程度上分为静态动态手势识别。随虚拟现实技术兴趣，数据手套再次受到关注5DT(不提供力反馈),CyberGlove(提供力反馈),Dexmo(提供力反馈)。
肢体动作交互技术：不借助交互工具，直接通过肢体动作映射到计算机虚拟环境，是自然人机交互方式。Kinect是基于光学检测原理的非穿戴式交互设备