协同数据交换平台详细设计方案（word）

本资料来源公开网络，仅供个人学习，请勿商用，如有侵权请联系删除

1 架构设计

1.1 总体架构

协同数据交换平台利用企业服务总线、数据抽取ETL、消息中间件、大文件传输等相关技术，包括文件适配器、数据库适配器、Web服务中间件等在内的数据集成基础支撑平台，打通单位业务系统内部集成、横向集成、纵向集成的通道。从设计、生产、质量、财务以及人员等几个方面进行院内部数据应用集成场景的梳理，实现相关系统之间的数据集成与共享。

1.2 技术架构

根据各单位的地域分布和数据交换需求，协同数据交换平台采用三层集成应用架构模式，设立3级数据交换平台：

（1）武汉院级数据交换平台；

（2）孝感院级数据交换平台；

（3）厂所级数据交换平台。

总体技术架构如下图所示：

1.3 部署架构

协同数据交换平台采取院级部署和厂所部署相结合的方式，在院级按地域划分，分别建立武汉院级数据交换平台和孝感院级数据交换平台，厂所级单位分别部署数据交换平台。各厂所级单位内部应用通过厂所级数据交换平台完成数据交换，院级应用之间通过武汉院级数据交换平台完成数据交换，院级与厂所应用间通过孝感院级数据交换平台及武汉院级数据交换平台完成数据交换；

1.4 功能架构

1.4.1 数据交换平台功能架构

一、 企业服务总线（ESB）

Primeton ESB 产品主要包含：

Ø Primeton ESB Studio：主要提供各种服务(中介服务、穿透服务、编排服务等)的开发、调试以及属性设置、元数据导出等，为便捷快速地开发各种服务提供可能；

Ø Primeton ESB Server：提供了多协议的支持以及为服务运行提供了高性能、高可靠的运行环境，支持IBM MQ中间件，方便的扩展机制，为Primeton ESB 融入企业IT环境提供了有效支撑及管控手段，同时不依赖于J2EE容器的特性大大提升了性能；

Ø Primeton ESB Console：提供了独立和集群环境中的ESB Server进行管理，同时对于服务全生命周期进行管理；

Ø Primeton ESB Service State Monitor：提供了对 ESB Server运行时数据的存储、分析能力，增强了客户感知度；

Ø Primeton ESB Software Asset Management：提供了服务注册、服务查找、SLA管理等功能；

二、 DI

Primeton DI由以下六部分产品组件组成：DI Server（数据集成引擎）、DI Agent（数据集成节点代理）、DI Component Library（数据集成组件库）、DI Studio（数据集成建模工具）、DI Governor（数据集成模型治理）、DI Metadata Warehouse（元数据仓库）。

Ø DI Studio（数据集成建模工具）是基于SWT技术开发的可视化流程设计器，提供可视化数据模型定义与调试、可视化的模型性能监控、元数据管理以及数据处理模型部署等功能。

Ø DI Component Library（数据集成组件库）包括了一组与数据集成相关的服务组件，通过这些丰富的组件，开发人员可以在集成开发环境下基于可视化的组件图元快速开发出高效的数据处理模型。

Ø DI Server（数据集成引擎）基于JAVA构建，是Primeton DI的核心，负责解析数据集成模型定义、处理Governor请求、处理引擎自身的模型调度等。数据集成引擎可以满足大规模数据的并发处理，完成企业级的数据交换场景。

Ø DI Agent（数据集成代理）基于JAVA构建，DIAgent主要适用于网络环境复杂、交换节点比较多的场景，其部署于前置区跟DIServer结合，打造企业多级数据交换平台

Ø DI Server基于元数据驱动，DI Metadata Warehouse（元数据仓库）用于保存通过数据集成建模工具构建的数据处理模型，支持Oracle、DB2、Sybase、MySQL、MS SQL Server、Hadoop Hive、SAP等多种关系数据库，同时可以基于文件形式进行模型存储。DI Server通过解析元数据仓库中对模型的定义数据实例化数据处理模型。

Ø DI Governor（数据集成模型治理）是DI提供的系统管理监控与任务调度工具，系统管理员可以通过它对数据处理模型以及数据处理引擎进行配置和管理。DI Governor与DI其他部件相结合是企业快速构建数据中心、实现数据交换的理想平台，在实施过程中可以对开发过程实现规范化、调度管理统一化、监控可视化等。同时也可以与第三方处理引擎实现互补，增强其统一调度、全局监控等功能。

三、 大文件传输功能特点

Ø 多种协议：支持P2P、HTTP/HTTPS,不允许使用FTP和文件共享;

Ø 自动传输：支持自动监控目录或文件，实时传输；支持特定情况下的业务处理，如定时传输、其他条件触发传输、手动传输等；

Ø 断点续传：支持断点续传，减少冗余数据的传输；

Ø 重传：支持数据重传；

Ø 数据完整：必须有校验的机制，确保数据传输的信息完整性；

Ø 双向传输：传输系统要支持数据的主动下载和主动上传两种传输方式；

Ø 文件无限制：传输系统需要支持各种格式的文件；并且除了操作系统的因素外，系统本身应该对文件的大小不限制；在一个传输任务里，应该可以包括多个文件的传输；支持不小于4G的文件；

Ø 传输模式：支持一对一、一对多、多对一的传输模式；

Ø 完整性校验：在传输完成后能够从文件大小、文件块个数、传输文件的源端、目的端、生命周期等信息校验文件的正确性；

Ø 支持数据加密传输：对传输的数据进行加密；

Ø 支持传输进度监控。

1.1.1 统一管控平台功能架构

一、 统一监控

通过统一监控管理对交换服务和共享服务进行数据质量监测、数据流量统计、历史交换记录、数据查询导出监控，并提供服务管理、路由管理、业务监控、认证授权管理、系统管理等功能，为交换平台实现数据安全、完整、可用、可核查并可靠稳定的运行提供支撑。监控系统随着数据交换平台部署，每层数据交换平台都有独立的监控界面，对本层的数据交换进行监控；院级数据交换平台能够监控跨厂所、院总部与厂所之间的数据交换。其功能特性包括：

Ø 服务管理：服务管理为服务提供了可分类查看当前注册的服务。通过筛选功能，提交服务器，提供服务的类型，相关协议或服务名等分类的条件来进行查找。可以清晰明确的找到某个服务，参与了哪些服务类型，相关协议的种类，服务的名称等情况，令服务的管理一目了然。

Ø 平台监控：平台监控是对系统的运行情况进行查看、干预及控制。平台监控能够有效地对平台中的运行情况，对文件传输、运行实例、服务、流程、数据源等多种对象进行监管。

Ø 路由管理：路由管理根据路由配置和路由算法选择最合适的服务提供者，并查询到实际的服务地址，将请求消息按照实际的地址发送出去。

Ø 集成业务监控：集成业务监控提供业务化的资源管理和监控功能，通过对资源的监控分析和审计管理向管理人员提供全面的业务运行监控数据帮助管理人员快速定位业务系统运行时产生的异常。

Ø 权限管理：权限认证主要是根据用户身份对其进行权限判断，以决定该用户是否具有访问相应资源的权限。通过统一的Coframe权限框架为信息化系统提供方便、简单的、可靠的授权服务，从而对用户进行整体的、有效的访问控制，保护系统资源不被非法或越权访问，防止信息泄漏。

二、 统一调度

调度管理对协同数据交换系统及部署在协同数据交换系统上的相关作业进行集中的调度管理，每层数据交换平台应有独立的调度管理界面，并对本层的相关作业进行统一调度管理；院级数据交换平台可以调度及查看跨厂所、院总部与厂所之间的调度日志。

Ø 日历管理：通过对日历信息的灵活配置和管理，可以最大限度的满足调度任务时间节点基数，从而使调度任务的粒度更精细，支持对数据交换调度的日历管理，可配置日历信息，供计划执行使用，包括工作日、非工作日、自定义等；在任务调度过程中，需要首先配置调度相关的日历参数。

Ø 调度管理：调度引擎是乙方作业调度平台的核心组件，它接收作业触发，监控接口的作业输入，然后检查作业的依赖关系，通过资源管理器的资源分配将作业分发到调度代理执行作业。系统提供日历方案+频度方案+作业+消息配置等按需的任务调度，有利于提高开发效率，降低开发和运维成本。支持灵活的、多角度的作业调度管理，包括事件、文件到达和计划调度以及手工触发。

Ø 消息管理：提供消息管理配置界面，支持对数据交换调度的消息管理，可配置消息发布的邮件内容等进行相关设置，包括接收人、发送详细日志、发送范围等。

Ø 计划管理：计划实际上就是作业调度的具体执行过程，调度平台调度引擎模块是系统的核心模块，和管理平台一样是一个标准的Web应用，可以部署在常用的应用服务器和数据库。作业执行计划负责整个系统作业的调度运行，可以通过接口方式接收管理平台的手动触发事件，也可以接收监听服务发起的触发命令，最终通过内部强大的调度机制实现作业调度运行。

Ø 事件管理：支持对数据交换调度的事件管理，可对触发事件进行相关配置，通过接口文件（文件到达）的方式来触发作业流的运行；该功能实际上在调度中添加了一个作业的监听服务，监听服务是调度监控平台一种重要的作业触发方式，通过它可以实现接受外部触发事件，根据事件类型触发不同的批处理作业。监听服务负责只负责事件的侦听，以及触发调度对应该作业，具体作业运行调度由调度和代理完成。

1.1.2 基础主数据管理平台功能架构