目录

第1章 前言

第2章 集团企业大数据现状分析

2.1、 基本现状

2.2、 总体现状

2.2.1、 行领导

2.2.2、 业务人员

2.3、 数据架构方面

2.3.1、 业务表现

2.3.2、 问题

2.4、 数据应用难题

2.4.1、 缺少统一的应用分析标准

2.4.1.1、 业务表现

2.4.1.2、 问题

2.4.2、 缺少统一的基础数据标准

2.4.2.1、 业务表现

2.4.2.2、 问题

2.4.3、 缺少反馈机制

2.4.3.1、 业务表现

2.4.3.2、 问题

2.5、 数据应用现状总结

第3章 集团企业大数据治理阶段目标

3.1、 数据平台逻辑架构

3.2、 数据平台部署架构

3.3、 建设目标

3.3.1、 建设大数据基础设施，完善全行数据体系架构

3.3.2、 开发大数据资源，支撑全行经营管理创新

3.3.3、 培养大数据人才队伍，建立大数据分析能力

3.4、 数据治理目标

3.4.1、 发现数据质量问题，推动大数据治理工作的开展，建立数据质量检核系统

3.4.2、 分析、梳理业务系统，推动数据标准的建立，统一全行口径

3.4.3、 建立数据仓库模型框架，优化集团数据架构，建设稳定、可扩展的数据仓库

3.5、 目标建设方法

3.5.1、 建设内容

3.5.2、 工作 阶段

3.5.2.1、 源系统分析阶段

3.5.2.1.1、 工作内容

3.5.2.1.2、 工作依据

3.5.2.1.3、 工作重点

3.5.2.2、 数据质量问题检查阶段

3.5.2.2.1、 工作内容

3.5.2.2.2、 工作依据

3.5.2.2.3、 工作重点

3.5.2.3、 数据质量问题分析阶段

3.5.2.3.1、 工作内容

3.5.2.3.2、 工作依据

3.5.2.3.3、 工作重点

3.6、 预期建设效益

3.6.1、 实现数据共享

3.6.2、 加强业务合作

3.6.3、 促进业务创新

3.6.4、 提升建设效率

3.6.5、 改善数据质量

第4章 集团企业大数据建设总体规划

4.1、 功能需求

4.1.1、 个人和企业画像

4.1.2、 实现精准营销

4.1.3、 为金融业提供风险管控

4.1.4、 运营优化

4.2、 集团企业大数据应用架构远景

4.2.1、 集团企业需要从“坐商”转型为“行商”

4.2.2、 客户下沉

4.2.3、 与“互联网金融”进行差异化竞争

4.3、 集团企业大数据平台应用架构

4.4、 集团企业大数据平台架构

4.5、 集团企业大数据支撑平台

4.5.1、 大数据虚拟化平台

4.5.1.1、 设计原则

4.5.1.2、 虚拟化平台设计

4.5.1.3、 硬件基础设施层

4.5.1.4、 虚拟化存储

4.5.1.5、 虚拟化计算

4.5.1.6、 平台管理

4.5.1.7、 数据存储系统设计

4.5.1.8、 高性能SAN存储系统

4.5.1.9、 存储方案优势

4.5.2、 大数据分析管理平台

4.6、 大数据分析处理平台

4.6.1、 分布式内存分析引擎

4.6.2、 数据挖掘引擎

4.6.3、 分布式实时在线数据处理引擎

4.6.4、 流处理引擎

4.6.5、 大数据分析支撑系统

4.6.6、 大数据分析节点群

4.6.7、 软硬件配置

4.6.8、 虚拟化平台关键特性

4.6.9、 虚拟化平台配置

4.7、 安全保障系统

4.7.1、 设计原则

4.7.2、 总体设计

4.7.3、 物理安全设计

4.7.4、 网络安全设计

4.7.4.1、 外网边界安全

4.7.4.2、 网络基础设施安全

4.7.5、 主机安全设计

4.7.6、 应用安全设计

4.7.7、 数据库安全设计

4.7.8、 安全制度与人员管理

4.7.9、 安全管理体系建设

4.7.10、 安全运维

4.7.11、 安全人员管理

4.7.12、 技术安全管理

4.7.13、 安全保障系统配置

4.8、 计算机网络系统

4.8.1、 设计原则

4.8.2、 系统设计

4.8.3、 计算机网络系统配置

4.9、 基础支撑软件

4.9.1、 地理信息软件

4.9.2、 操作系统软件

4.9.3、 数据库管理软件

4.9.4、 机房建设方案

4.9.5、 基础支撑系统软硬件配置

第5章 系统架构设计

5.1、 总体设计目标

5.2、 总体设计原则

5.3、 案例分析建议

5.3.1、 中国联通大数据平台

5.3.2、 项目概述

5.3.2.1、 项目实施情况

5.3.2.2、 项目成果

5.3.2.3、 项目意义

5.3.3、 恒丰集团企业大数据平台

1.1.1.1 项目概述

1.1.1.2 项目实施情况

1.1.1.3 项目成果

1.1.1.4 项目意义

5.3.4、 华通CDN运营商海量日志采集分析系统

5.3.5、 项目概述

5.3.5.1、 项目实施情况

5.3.5.2、 项目成果

5.3.5.3、 项目意义

5.3.6、 案例总结

5.4、 系统总体架构设计

5.4.1、 总体技术框架

5.4.2、 系统总体逻辑结构

5.4.3、 平台组件关系

5.4.4、 系统接口设计

5.4.5、 系统网络结构

第6章 系统功能设计

6.1、 概述

6.2、 平台管理功能

6.2.1、 多应用管理

6.2.2、 多租户管理

6.2.3、 统一运维监控

6.2.3.1、 Hadoop集群自动化部署

6.2.3.2、 Hadoop集群性能监控

6.2.3.3、 Hadoop集群资源管理

6.2.3.4、 图形界面方式多租户管理

6.2.3.5、 系统巡检信息收集

6.2.3.6、 系统性能跟踪

6.2.3.7、 与集团运维监控平台对接

6.2.4、 作业调度管理

6.3、 数据管理

6.3.1、 数据管理框架

6.3.1.1、 结构化数据管理框架

6.3.1.2、 半/非结构化数据管理框架

6.3.2、 数据采集

6.3.3、 数据交换

6.3.4、 数据存储与管理

6.3.4.1、 数据存储管理功能

6.3.4.2、 数据多温度管理

6.3.4.3、 生命周期管理

6.3.4.4、 多索引模式

6.3.4.5、 多数据副本管理

6.3.4.6、 数据平衡管理

6.3.4.7、 在线节点管理

6.3.4.8、 分区管理

6.3.4.9、 数据导入与导出

6.3.4.10、 多级数据存储

6.3.4.11、 多种数据类型支持

6.3.4.12、 多种文件格式支持

6.3.4.13、 数据自定义标签管理

6.3.4.14、 数据读写锁处理

6.3.4.15、 元数据备份

6.3.4.16、 表压缩

6.3.5、 数据加工清洗

6.3.6、 数据计算

6.3.6.1、 多计算框架支持

6.3.6.2、 并行计算与并行处理能力

6.3.6.3、 PL/SQL存储过程

6.3.6.4、 分布式事务支持

6.3.6.5、 ACID测试案例

6.3.7、 数据查询

6.3.7.1、 OLAP函数支持

6.3.7.2、 分布式 Cube

6.3.7.3、 SQL兼容性

6.3.7.4、 SQL功能

6.4、 数据管控

6.4.1、 主数据管理

6.4.2、 元数据管理技术

6.4.3、 数据质量

6.5、 数据ETL

6.6、 数据分析与挖掘

6.6.1、 数据分析流程

6.6.2、 R语言开发环境与接口

6.6.3、 并行化R算法支持

6.6.4、 可视化R软件包

6.6.5、 编程语言支持

6.6.6、 自然语言处理和文本挖掘

6.6.7、 实时分析

6.6.8、 分析管理

6.6.8.1、 需求管理

6.6.8.2、 过程管理

6.6.8.3、 成果管理

6.6.9、 分析支持

6.6.10、 指标维护

6.6.11、 分析流程固化

6.6.12、 分析结果发布

6.6.13、 环境支持

6.7、 数据展现

6.7.1、 交互式报表

6.7.2、 仪表盘

6.7.3、 即席查询

6.7.4、 内存分析

6.7.5、 移动分析

6.7.6、 电子地图支持

第7章 技术要求实现

7.1、 产品架构

7.1.1、 基础构建平台

7.1.2、 大数据平台组件功能介绍

7.1.2.1、 Transwarp Hadoop分布式文件系统

7.1.2.2、 Transwarp Inceptor内存分析交互引擎

7.1.2.3、 稳定的Spark计算框架

7.1.2.4、 支持Memory+SSD的混合存储架构

7.1.2.5、 完整SQL功能支持

7.1.2.6、 Transwarp Discover机器学习引擎

7.1.2.7、 并行化统计算法库

7.1.2.8、 机器学习并行算法库

7.1.2.9、 Transwarp Hyperbase列式存储数据库

7.1.2.10、 智能索引

7.1.2.11、 全局索引

7.1.2.12、 全文索引

7.1.2.13、 索引类型

7.1.2.14、 图数据库

7.1.2.15、 全文数据处理

7.1.2.16、 Transwarp Stream数据实时处理分析

7.1.2.17、 分布式消息队列

7.1.2.18、 流式计算引擎

7.1.2.19、 流式SQL执行

7.1.2.20、 流式机器学习

7.1.3、 系统分布式架构

7.2、 运行环境支持

7.2.1、 系统操作支持以及环境配置

7.2.2、 与第三方软件平台的兼容说明

7.3、 客户端支持

7.3.1、 客户端支持

7.3.2、 移动端支持

7.4、 数据支持

7.5、 集成实现

7.6、 运维实现

7.6.1、 运维目标

7.6.2、 运维服务内容

7.6.3、 运维服务流程

7.6.4、 运维服务制度规范

7.6.5、 应急服务响应措施

7.6.6、 平台监控兼容

7.6.7、 资源管理

7.6.8、 系统升级

7.6.9、 系统监控平台功能

7.6.9.1、 性能监控

7.6.9.2、 一键式收集

7.6.9.3、 系统资源监控图形化

7.6.9.4、 服务进程监控

7.6.9.5、 消息队列监控

7.6.9.6、 故障报警

7.6.9.7、 告警以及统巡检以及信息收集

7.7、 平台性能

7.7.1、 集群切换

7.7.1.1、 主集群异常及上层业务切换

7.7.1.2、 从集群异常及上层业务切换

7.7.2、 节点切换

7.7.3、 性能调优

7.7.3.1、 图形化性能监控

7.7.3.2、 图形化调优工具

7.7.3.3、 调优策略

7.7.4、 并行化高性能计算

7.7.5、 计算性能线性扩展

7.8、 平台扩展性

7.9、 可靠性和可用性

7.9.1、 单点故障消除

7.9.2、 容灾备份优化

7.9.2.1、 扩容、备份、恢复机制

7.9.2.2、 集群数据容灾优化

7.9.2.3、 数据完整性保障和方案

7.9.2.4、 主集群异常及上层业务切换

7.9.2.5、 从集群异常及上层业务切换

7.9.3、 系统容错性

7.10、 开放性和兼容性

7.10.1、 高度支持开源

7.10.1.1、 PMC-HaoyuanLi

7.10.1.2、 Committor-AndrewXia

7.10.1.3、 Committor-ShaneHuang

7.10.1.4、 Committor-ZhihongYu

7.10.1.5、 Committor-JasonDai

7.10.1.6、 Committor-WeiXue

7.10.2、 操作系统支持以及软件环境配置

7.10.3、 兼容性与集成能力

7.11、 安全性

7.11.1、 身份鉴别

7.11.2、 访问控制

7.11.3、 安全通讯

7.12、 核心产品优势

7.12.1、 高速运算、统计分析和精确查询

7.12.1.1、 Spark引擎结合分布式内存列存提供高性能计算

7.12.1.2、 多种索引支持与智能索引

7.12.2、 有效的资源利用

7.12.3、 高并发、低延迟性能优化

7.12.4、 计算资源有效管控

7.12.5、 API设计和开发工具支持

7.12.6、 友好的运维监控界面

7.12.7、 扩容、备份、恢复机制

7.12.8、 集群自动负载均衡

7.12.9、 计算能力扩展

7.13、 自主研发技术优势

7.13.1、 高稳定、高效的计算引擎Inceptor

7.13.2、 完整的SQL编译引擎

7.13.3、 高性能的SQL分析引擎

7.13.4、 SQL统计分析能力

7.13.5、 完整的CURD功能

7.13.6、 Hyperbase高效的检索能力

7.13.7、 基于Hyperbase和SQL引擎的高并发分布式事务

7.13.8、 Hyperbase非结构化数据的支持

7.13.9、 机器学习与数据挖掘

7.13.10、 Transwarp Stream

7.13.11、 内存/SSD/磁盘混合存储

7.13.12、 MR/Spark/流处理统一平台

7.13.13、 多租户支持能力

7.13.14、 多租户安全功能

7.13.15、 标准JDBC与ODBC接口

第8章 系统性能指标和测试结果说明

8.1、 性能测试报告

8.1.1、 测试目标

8.1.2、 测试内容

8.1.3、 测试环境

8.1.4、 测试过程和结果

8.2、 TPC-DS测试报告

8.2.1、 测试目标

8.2.2、 测试内容

8.2.3、 测试环境

8.2.4、 测试过程和结果

8.3、 量收迁移验证性测试报告

8.3.1、 测试目标

8.3.2、 测试内容

8.3.3、 测试环境

8.3.4、 串行执行情况

8.3.5、 并行执行情况

8.3.6、 生产表数据规模

8.3.7、 测试结果

8.4、 某集团企业性能测试报告

8.4.1、 测试目标

8.4.2、 测试内容

8.4.3、 测试环境

8.4.4、 测试过程和结果

第9章 系统配置方案

9.1、 硬件系统配置建议

9.1.1、 基础Hadoop平台集群配置规划

9.1.2、 数据仓库集群配置规划

9.1.3、 集群规模综述

9.1.4、 开发集群配置建议

9.1.5、 测试集群配置建议

9.2、 软件配置建议

9.3、 软硬件配置总表

9.4、 网络拓扑

第10章 系统测试

10.1、 系统测试方法

10.2、 系统测试阶段

10.3、 系统测试相关提交物

第11章 项目实施

11.1、 项目实施总体目标

11.2、 项目管理

11.3、 业务确认

11.4、 数据调研

11.5、 系统设计阶段

11.6、 集成部署阶段

11.7、 ETL过程设计

11.8、 ETL开发与测试

11.9、 系统开发阶段

11.10、 系统测试阶段

11.11、 系统上线及验收

11.12、 提交物

11.13、 系统的交接与知识转移

文章引用的资料均通过互联网等公开渠道合法获取，仅作为行业交流和学习使用，并无任何商业目的。其版权归原资料作者或出版社所有，本文作者不对所涉及的版权问题承担任何法律责任。若版权方、出版社认为本文章侵权，请立即通知作者删除。