本作品介绍参与极术社区的有奖征集|分享研电赛作品扩大影响力，更有重磅电子产品免费领取!

团队介绍

参赛单位：Guangxi University of Science and Technology
参赛队伍：Sunshine
参赛队员：Taylor，Anais，Stream

作品简介

传统的装载机只能通过人工控制，且装载的工况常常伴随有震动、高温、粉尘、挥发性气体、恶臭和辐射等恶劣环境，这些恶劣环境对人身安全、健康存在严重威胁，长期处于这种工作环境对公认的伤害极大。因此发展智能化、无人化的工程机械设备具有重要的意义。
为了顺应智能化机械产品的市场应用需求，研发设计适用于复杂环境下装载机物料智能识别系统，显得尤为重要。不同于国内目前处于遥控驾驶阶段的装载机，本项目首先建立基于深度学习算法的数据识别训练系统平台。本项目包括数据预处理（完成图像训练集和测试集数据库建立、构建样本多样化和标签标定等）和识别模型的生成；其次，开发基于NVIDIA GPU工控机的车载实时识别一体化平台，将数据识别训练系统平台获得的模型导入工控机后，通过装载设备的单目摄像头获取外部图像，结合毫米波雷达得到的数据进行数据融合,通过YOLOv3将目标分类出来，将最终的分类输出结果、实时识别物料或卡车，输入到工控机中由工控机做进一步的数据决策,得到相应的响应。最后当面临复杂环境（如扬尘、光照过强或弱等）时，通过研究多源信息整合机制，将毫米波雷达和视觉信息充分融合起来，依据不同设备获取的信息来综合评判、优势互补，以提升复杂场景下的物料识别能力。

研究内容

该产品将机器视觉人工智能与大型装载机结合，实现无人自动作业或者远程控制作业，能够自行装载物料运输，极大的节省了劳动力，能够真正做到无人操作，机器根据摄像头采集数据以及毫米波雷达定位，自行运载货物。并且可以将装载机用在平时作业中也可以应用于危险场地以及抢险救灾过程中，智能装载机的出现解放了生产力，提高了工作效率，可以大幅避免由于人为操作出现的问题，保护人员生命安全提高劳动生产力。其主要研究内容如下：
（1）建立基于深度学习算法的数据识别训练系统平台。包括数据预处理（完成图像训练集和测试集数据库建立、构建样本多样化和标签标定等）和识别模型的生成；
（2）开发基于 NVIDIA GPU 工控机的车载实时识别一体化平台，将数据识别训练系统平台获得的模型导入工控机后，通过车载摄像头，可实时识别物料或卡车， 并显示到工控机屏幕上。
（3）建立多源数据融合的决策系统提升复杂场景下的物料识别能力，当面临复杂环境（如扬尘、光照过强或弱等）时，通过结合毫米波雷达和视觉信息来提升装载机对物料类别的识别能力。

技术路线

为了提升装载机的智能化水平，结合实际的应用工况（如水泥搅拌、道路施工等），研究基于 NVIDIA GPU 工控机的车载实时识别平台，同时融合多源数据进行综合决策以提升装载机应对复杂场景下物料的识别能力。本项目主要研究内容包括数据训练平台的建立、 GPU 嵌入式识别平台和复杂场景下多源数据综合决策算法研究，具体的技术流程图 如下：

作品创新点

（1）技术开发前沿性。根据调研，国内最先进的装载机是柳工的856HMAX智能遥控装载机，这属于一款半智能产品只能通过人为远程遥控控制。在国家大力鼓励发展智能制造的大环境下，柳工又率先通过校企合作的方式研发这款智能无人装载机，首次将最新的自动驾驶技术和深度学习技术相融合并应用到工业装载机领域内。
（2）二类工况下目标物料识别率高。本作品在前期的数据集采集过程中投入大量精力，不仅采集了大量正常环境下的数据，还采集了很多二类工况下的数据，比如小雨，大雨，浓雾，光照太强等环境下。不仅如此，我们通过数据增强的技术手段人为制作了一些特殊环境下的数据。基于此数据集训练的模型具有较高的泛化能力，可以准确识别各种场景下的目标物料。
（3）视觉与传感器融合。通过这种方式实现了自动驾驶功能，装载机通过机器视觉和毫米波雷达接收到的外部信息进行综合评判，实现自动驾驶。
（4）可拓展性强。项目后期会融合其他传感器以使装载机实现其他功能。通红外传感器与GPS相结合的方式，可以使装载机全天候工作。通过使用激光雷达对目标物料堆构建三维模型，对挖掘安全性进行评估，减少物料堆坍塌的事故发生，最大可能保证安全性。

主要技术难点

（1）自主构建泛化能力较强的物料识别模型，并设计相应的识别训练系统平台，泛化能力较强的数据集制作需要大量时间，需要采集各种场景的数据，模型训练过程中容易出现过拟合；
（2）研究由 GPU 为核心的车载识别平台，通过构建多源信息整合机制的同时建立复杂场景（扬尘、光照强度变化等）下物料的识别模型，将多源外部数据融合起来提升物料辨识和抗干扰能力。项目测试较复杂。
（3）多传感器融合过程会比较困难，涉及到的理论知识比较多，需要通过一定的理论功底以及大量测试才能完成。

硬件图及测试结果

未来展望与感想

（1）网络结构可以继续优化，接下来可以通过改进网络使准确率、实时性、可适应性的指标提升。
（2）本项目由于参与时间较短，仅完成了部分内容，未来在完善的基础上还会增加其他功能，希望最终研制成中国首台全自动智能装载机。
（3）通过参加本次比赛，学习了其他比赛团队的优点，增长了见识，未来会在自己的项目中继续深耕，不断前进。

更多研电赛作品请查看2021年研电赛获奖作品合集