【开题报告】海洋多源数据质量控制应用服务的WebServer设计与实现

news2024/11/25 15:50:23

开 题 报 告 内 容

论文选题的意义、主要研究内容和文献资料调研情况

一、选题意义

在当今世界研究自然环境的大背景下,计算机技术与各学科、各领域的综合应用逐渐增多。作为地球上最广阔的水体,同时也是地球上决定气候发展的主要的因素之一,海洋方面的研究具有很高的科学价值。海洋环境监测数据质量对于海洋环境“数字化”、海洋科学的研究和海洋经济的发展,都具有十分重要的意义。首先,海洋环境监测数据作为海洋环境“数字化”的重要基础,其可视化程度以及查找和分析的便捷程度,都影响着海洋环境“数字化”工作的进行;其次,海洋监测数据质量控制影响着海洋环境管理决策的科学性,海洋环境监测部门必须高度重视数据质量控制。

为了提高海洋多源数据的可视化程度,以及数据处理和分析的效率,借助计算机领域的WebServer技术,针对合作课题组设计开发的一套海洋多源数据质量控制程序,设计并提供在线的质量控制数据分析和可视化展示在线服务,使其具有随时随地在浏览器上进行海洋数据查看与质控操作的功能,具有轻量化、便捷易用的优点。

基于上述背景,本选题为海洋多源数据质量控制应用服务的WebServer设计与实现。

二、主要内容

本程序研究与设计的目的是,针对海洋多源数据,通过WebServer形式实现在线质量控制分析和展示,主要实现以下业务和功能:

按照前后端业务划分,前端主要负责输入的导入/导出、廓线展示、参数修改、交互操作等业务,后端服务器则源源不断地接收和处理来自前端的请求并返回相应的页面和数据,在本业务中主要包括批量数据的暂存与数据质控操作。

整个程序的主要结构如下图所示:

     

三、设计思路

本课题计划通过充分的需求分析、合理的技术路线设计、详尽实施方案设计及实现来完成课题研究内容。

  1. 需求分析

根据对海洋多源数据质量控制分析应用服务未来用户的调研及需求沟通分析,在线应用服务需要实现以下需求:导入\导出需求、采样点展示需求、廓线参数展示需求、廓线图像展示需求、质控参数展示需求、交互需求、质控需求等。初步需求分析文档附后。

  1. 技术路线

Web开发分为前端和后端两部分,前端开发拟采用Vue.js技术框架,后端开发拟采用Spring或Springboot技术框架。在本地进行前后端开发工作后,后续可通过Docker构造容器并部署应用,容器化的封装增强系统的可移植性,便于迁移部署。此外,后续的工作中,还可以考虑通过echarts等插件工具进行可视化展示。

研究内容框图:

    图注:前后端技术及容器技术等共同构建应用服务程序;应用服务程序为各项需求提供技术支持;通过应用服务程序,针对各项需求进行各项相关操作。

    

技术栈部分:

图注:应用服务程序的技术方面主要涉及前端、后端和容器部署三方面。

设计思路为,通过前端和后端设计技术,先进行本地的应用程序的构建和实现,后续再通过容器化部署进行封装和移植,并辅以可视化展示、安全维护等,进行海洋多源数据质量控制应用服务的webserver设计与实现。

场景流程:

四、文献资料调研

根据参阅的文献,海洋多源数据质量控制程序可通过C/S(Client/Server或客户/服务器模式)或B/SBrowser/Server浏览器/服务器模式)模式来设计实现。程序分为前端和后端,前端为客户实现操作与展示的功能,后端为管理员实现数据存储和数据质控的功能。本程序选择B/S模式,便于架构建立在广域网上,便于各地的研究人员进行数据的查看和管理,此外B/S模式的系统运行速度较快、便于维护、建立在浏览器上、 有更加丰富和生动的表现方式与用户交流. 并且开发与使用难度减低,节约开发成本

初步需求分析:

导入\导出需求:数据导入和数据导出作为程序的输入端和输出端,支持导入/导出数据格式:txt,netCDF。导入文件大小要求:单文件大小不超5MB, 多文件需排队上传,支持断点续传,整体数据量不超500MB,批量暂存于后端服务器。导出要求:支持txt,netCDF格式导出,导出的数据包含原始的导入数据,修改后的数据,以及质控标记位。

采样点展示需求:导入数据后,依据采样位点的经纬度显示全球采样图,每个采样位点显示为蓝色,参考Client 服务中世界地图展示。提取的关键业务数据:国家、经纬度信息。

廓线参数展示需求:导入数据后,显示详细的数据统计信息,如观测日期,站点位置、航次、站好、国家、记录系统、仪器类型、数据个数、Access Number等内容。其中,单廓线信息包括:观测日期,站点位置、航次、站好、国家、记录系统、仪器类型、数据个数(指温度/深度数据点数)、Access Number等内容。多条廓线信息包括:观测范围、站点范围、采样点个数、Access Number、仪器类型等内容。

廓线图像展示需求:质控前或质控后均可切换显示廓线图像,廓线图像包括单廓线与多廓线,横坐标温度,纵坐标深度,其中,单廓线数据为一个采样点的温度/深度数据,表现形式为一个曲线,多廓线为多个采样点数据,表现形式为多条曲线。

质控参数展示需求:对采样点质控,需要根据质控参数完成具体的质控过程,质控包括13个check步骤(接入质控程序脚本完成各步处理),可分项选择独立进行质控,展示质控参数并提供用户选择。

交互需求:本任务中交互需求主要包括点击采样点,显示相应参数及廓线展示交互需求。前者需求较为简单明确,着重描述廓线展示交互需求。经由质控程序质控后,廓线需要标注出合格点与不合格点,以不同颜色区分,以散点形式呈现,点击每个采样点上的数据后,该采样点数据可以连接成线表示。对于多廓线交互,默认显示100个采样点数据,多采样点数据分页显示。

质控需求:任务的核心即是数据的质控过程,数据质控通过调用质控程序完成,前端需要根据用户选择的质控参数,通过HTTP请求发送到后端,调度质控程序完成具体的质控操作并将修改的文本文件返回前端。

参考文献:

[1] 许自舟, 宋德瑞, 赵辉, 等. 海洋环境检测数据质量计算机控制方法研究[J]. 海洋环境科学, 2009,28(03):320-323.

[2]向先全, 路文海, 杨翼, 等. 海洋环境监测数据集质量控制方法研究[J]. 海洋开发与管理, 2015,32(01):88-91.

[3]冯翔宇. 面向云计算的海洋环境监测系统访问控制方法研究[J]. 舰船科学技术, 2016(8x):136-138.

[4]黄海燕, 路文海, 付瑞全, 等. 基于质控数据库的海洋环境监测生物名质量控制方法研究[J].应用海洋学学报, 2014, 33(3):434-439.

整体思路

一、引言

随着海洋数据获取技术的不断发展,海洋数据量日益庞大,涉及的来源也日益增多。这些数据对于海洋科学研究、环境监测、渔业管理等领域具有重要意义。然而,由于不同来源的数据质量参差不齐,如何对这些数据进行有效质量控制成为一个重要问题。因此,本文旨在设计和实现一个基于Java的海洋多源数据质量控制应用服务的Web Server,以提高海洋数据的质量控制能力。

二、系统需求分析

本系统需要满足以下需求:

  1. 数据接收:能够从不同的数据源接收海洋数据。
  2. 数据预处理:对接收到的数据进行清洗、格式转换等预处理操作,以确保数据的一致性和完整性。
  3. 数据质量评估:利用一定的算法和模型对数据进行质量评估,识别和纠正错误数据。
  4. 数据可视化:将处理后的数据以图表等形式呈现给用户,以便用户直观地了解数据的质量状况。
  5. 用户管理:能够对不同用户进行权限管理,确保数据的安全性和保密性。
  6. 日志管理:能够对系统的操作过程进行记录和监控,以便追踪和排查问题。
  7. 可扩展性:系统应具备良好的扩展性,能够适应未来数据源的增加和数据处理需求的变化。

三、系统设计

本系统采用Java Web技术进行开发,利用Spring Boot框架实现。系统主要包括以下几个模块:

  1. 数据接收模块:采用Socket通信或HTTP请求等方式从不同的数据源接收数据。
  2. 数据预处理模块:对接收到的数据进行清洗、格式转换等操作,以确保数据的一致性和完整性。
  3. 数据质量评估模块:利用一定的算法和模型对数据进行质量评估,识别和纠正错误数据。
  4. 数据可视化模块:采用前端框架如React或Vue等,将处理后的数据以图表等形式呈现给用户。
  5. 用户管理模块:采用Spring Security框架实现用户认证和授权管理,确保数据的安全性和保密性。
  6. 日志管理模块:采用Log4j或Logback等日志框架记录系统的操作过程和监控信息。
  7. 可扩展性设计:采用微服务架构,将各个模块解耦,方便未来扩展和维护。同时,采用Docker容器化技术,使得系统能够轻松地在不同的环境中部署和运行。

四、系统实现

本系统的实现主要包括以下几个步骤:

  1. 环境搭建:安装Java开发工具包JDK和开发平台Eclipse或IntelliJ IDEA,安装Maven或Gradle构建工具,安装Tomcat或Jetty等Servlet容器。
  2. 数据库设计:根据需求分析,设计数据库表结构,包括用户表、日志表、数据源表、数据处理任务表等。使用MySQL或PostgreSQL等关系型数据库存储和管理数据。
  3. 模块开发:根据系统设计,分别开发各个模块的代码。采用Java语言和Spring Boot框架进行开发,利用Maven或Gradle构建项目。
  4. 接口设计:定义RESTful API接口,用于前端页面和后端服务之间的交互。使用Spring Data JPA或MyBatis等ORM框架实现数据的增删改查操作。
  5. 测试与调试:进行单元测试、集成测试和系统测试,确保系统的稳定性和可靠性。同时,利用调试工具如IntelliJ IDEA的调试器或Eclipse的调试器进行代码调试和问题排查。
  6. 部署与运行:将系统部署到服务器上,配置相应的环境变量和启动参数。运行系统并观察运行结果是否符合预期。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1265207.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Umi-OCR图片批量识别文字工具

OCR software, free and offline. 开源、免费的离线OCR软件。支持截屏/粘贴/批量导入图片,段落排版/排除水印,扫描/生成二维码。内置多国语言库。 项目地址:https://github.com/hiroi-sora/Umi-OCR

【开源】基于Vue+SpringBoot的学校热点新闻推送系统

项目编号: S 047 ,文末获取源码。 \color{red}{项目编号:S047,文末获取源码。} 项目编号:S047,文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 新闻类型模块2.2 新闻档案模块2.3 新…

Android 如何让路由器或者其他AP设备获取到主机名

问题原因: 连接到AP设备后,发现主机名在路由器或者其他AP设备都无法正常显示 抓取tcpdump log发现DHCP request option中没有携带host name(Option 12)字段 如下图所示 修改方法: 将config_dhcp_client_hostname配置true后,可以看到host name了 具体代码逻辑如下 pack…

微信小程序生成二维码并保存到本地方法

微信小程序生成二维码请保存到本地方法 官方weapp-qrcode插件 github链接 功能完成样子 wxml <view class"qrcode"><canvas style"width: 275px; height: 275px;" canvas-idmyQrcode></canvas> </view> <view class" …

[个人笔记] vCenter6.7使用自建SSL证书

SSL - 运维篇 第三章 vCenter6.7使用自建SSL证书 SSL - 运维篇系列文章回顾vCenter6.7使用自建SSL证书vCenter 6.7 上传文件到ShellvCenter 6.7 Shell 替换SSL证书全流程测试&验证 参考链接 系列文章回顾 第二章 FortiGate防火墙使用自建SSL证书 vCenter6.7使用自建SSL证书…

【MVP矩阵】裁剪空间、NDC空间、屏幕空间

裁剪空间概述 裁剪空间是一个顶点乘以MVP矩阵之后所在的空间&#xff0c;Vertex Shader的输出就是在裁剪空间上&#xff08;划重点&#xff09; NDC空间概述 接上面&#xff0c;由GPU自己做透视除法将顶点转到NDC空间 两者的转换 透视除法将Clip Space顶点的4个分量都除以…

HarmonyOS 传感器开发指南

HarmonyOS 系统传感器是应用访问底层硬件传感器的一种设备抽象概念。开发者根据传感器提供的Sensor接口&#xff0c;可以查询设备上的传感器&#xff0c;订阅传感器数据&#xff0c;并根据传感器数据定制相应的算法开发各类应用&#xff0c;比如指南针、运动健康、游戏等。 运作…

kafka如何保证消息不丢失 不重复消费 消息的顺序

如何保证消息的不丢失 消息为什么会丢失 想要保证消息不丢失就要首先知道消息为什么会丢失,在哪个环节会丢失,然后在丢失的环节做处理 1.生产者生产消息发送到broker,broker收到消息后会给生产者发送一个ack指令.生产者接收到broker发送成功的指令,这个时候我们就可以认为消息…

深度学习早停机制(Early Stopping)与早退机制(Early exiting)

早停机制&#xff0c;一种机器学习模型调优策略&#xff0c;提升调优效率 下图损失值明显经过了欠拟合到过拟合 使用早停机制后&#xff0c;模型不再过拟合 模型早停是面向模型训练过程的。而在模型内部&#xff0c;也会出现类似的现象&#xff0c;这一现象被叫做过度思考(Ove…

Android Studio 模拟器设置独立窗口

目录 模拟器在窗口内部运行 设置成独立窗口 模拟器在窗口内部运行 操作起来十分不便 设置成独立窗口 Android Studio -> Preferences(Settings) -> Tools-> Emulator ->取消勾选 Launch in a tool window -> 点击右下角的 OK 按钮 -> 重启 Android Studio

0 NLP: 数据获取与EDA

0数据准备与分析 二分类任务&#xff0c;正负样本共计6W&#xff1b; 数据集下载 https://github.com/SophonPlus/ChineseNlpCorpus/raw/master/datasets/online_shopping_10_cats/online_shopping_10_cats.zip 样本的分布 正负样本中评论字段的长度 &#xff0c;超过500的都…

【Python基础】爬取豆瓣电影Top250+爬取知乎专栏文章标题

&#x1f4e2;&#xff1a;如果你也对机器人、人工智能感兴趣&#xff0c;看来我们志同道合✨ &#x1f4e2;&#xff1a;不妨浏览一下我的博客主页【https://blog.csdn.net/weixin_51244852】 &#x1f4e2;&#xff1a;文章若有幸对你有帮助&#xff0c;可点赞 &#x1f44d;…

一键删除方舟编译器缓存文件js、js.map插件ArkCompilerSupport

新手学习鸿蒙开发&#xff0c;发现DevEco Studio编译过种会生成js、js.map&#xff0c;在论坛上看了其它开发者也提了问题但无没解决&#xff0c;写了一个插件大家试下&#xff1a; https://plugins.jetbrains.com/plugin/23192-arkcompilersupport 源码&#xff1a;https://g…

服务器中深度学习环境的配置

安装流程 11.17 日&#xff0c;周末去高校参加学术会议&#xff0c;起因&#xff0c; 由于使用了某高校内的公共有线网络&#xff0c; 远程连接服务器后&#xff0c;黑客利用 ssh 开放的 22 端口&#xff0c; 篡改了主机的配置&#xff0c; 使得只要一连上网络&#xff0c; 服…

Python变量及其使用

无论使用什么语言编程&#xff0c;总要处理数据&#xff0c;处理数据就需要使用变量来保存数据。 形象地看&#xff0c;变量就像一个个小容器&#xff0c;用于“盛装”程序中的数据。常量同样也用于“盛装”程序中的数据。常量与变量的区别是&#xff1a;常量一旦保存某个数据…

全局配置

1.全局配置文件及其配置项 1.1.小程序窗口 1.2 窗口节点 1.2.1 导航栏标题 标题&#xff1a; 标题颜色&#xff1a; 背景色&#xff1a;只支持16进制值 下拉刷新&#xff1a; 刷新背景色&#xff1a; 刷新样式&#xff1a; 触底距离&#xff1a;

Docker 安装kafka 并创建topic 进行消息通信

Apache Kafka是一个分布式流处理平台&#xff0c;用于构建高性能、可扩展的实时数据流应用程序。本文将介绍如何使用Docker容器化技术来安装和配置Apache Kafka。 一、使用镜像安装 1、kafka安装必须先安装Zookpper 2、下载镜像 docker pull wurstmeister/kafka 3、查看下载…

(三)Pytorch快速搭建卷积神经网络模型实现手写数字识别(代码+详细注解)

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言Q1&#xff1a;卷积网络和传统网络的区别Q2:卷积神经网络的架构Q3:卷积神经网络中的参数共享&#xff0c;也是比传统网络的优势所在4、 具体的实现代码网络搭建…

美创科技受邀亮相第二届全球数字贸易博览会

11月23日-27日&#xff0c;由浙江省人民政府、商务部共同主办的第二届全球数字贸易博览会&#xff08;以下简称“数贸会”&#xff09;圆满落幕。围绕“国家级、国际性、数贸味”的目标定位&#xff0c;以“数字贸易 商通全球”为主题&#xff0c;数贸会重点展示数字贸易全产业…

哈希函数:保护数据完整性的关键

&#x1f90d; 前端开发工程师&#xff08;主业&#xff09;、技术博主&#xff08;副业&#xff09;、已过CET6 &#x1f368; 阿珊和她的猫_CSDN个人主页 &#x1f560; 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 &#x1f35a; 蓝桥云课签约作者、已在蓝桥云…