视频监控系统在家庭、园区、酒店、工地、景区、交通等领域有着重要作用,随着智能算法的发展尤其是深度学习在安防监控场景下的应用,智能分析算法已经非常准确,终端设备触发的报警和智能分析服务触发的报警更加的实时,业务场景更加的丰富,算法更加丰富,用户更希望在报警信息的入口可以查看报警发生时的一段当时放生的视频片段以便更加准确的判断报警的警情信息,传统的视频监控系统,在报警发生之后,一般除了报警的警情描述信息之外只会带一张报警时的图片信息,而监控的大部分场景,大部分时间的录像均是无效的数据,若要查看对应的时间的录像,若是存在计划录像则需要在计划录像的有效时间段去一点点查找,若是实现了报警关联的报警短视频方案,会涉及报警信息和报警短视频检索关联的方案。本发明的方案就是解决报警信息和报警短视频的准确检索关联问题。
1.技术问题:
1)视频流时间基准和报警信息的时间基准的一致性问题
2)报警短视频多条排序
3)报警短视频的元信息保存
4)报警信息和报警短视频异步且无时间外的更好的关联条件
5)多条报警信息和多条报警短视频的交叉关联
6)报警时间和短视频元信息的报警时间一致
7)同一时刻多条报警信息的复用短视频关联问题
抖动时间(例如5秒)同一路多条报警的短视频关联复用问题
2.方案说明:
1)创建短视频录像的元数据结构id、eventtype、eventTime、startTime、endTime、duration、fileType、size、stream、path、fileName、playPath
2)深度学习算法分析实时视频流,根据不同的算法配置产品不同的报警信息,如未佩戴安全帽报警信息,越界检测报警,开车打电话报警
3)业务服务调用媒体接口触发短视频录像,若是同一路视频流,在抖动时间内已经在短视频录像,则不再触发信息的短视频录像,并告诉业务端,若是并未录像,则并保存短视频的元数据信息,开始录制短视频并创建MP4
4)业务服务展现报警信息,报警描述信息,报警产生的时刻的图片信息,点击报警信息查看报警短视频回看报警发生前后的视频信息
5)调用查询报警短视频关联检索接口,流stream,报警发生的开始时间和报警发生的结束时间,由于报警发生发生的某一信息,故为了更加准确关联,报警的开始时间和报警的结束时间相等
6)以报警时间作为关联检索时间的第一优先级条件,以报警时间做时间抖动,抖动区间为前后3秒时间(时间根据算法场景,业务准确度可以调整)和报警短视频的元数据保存的报警时间为关联查询,若是满足报警短视频的报警时间在抖动区间内,则此短视频即为查询的报警信息关联的短视频
7)若是查询到短视频信息,则展现短视频
8)若是并未查询到短视频信息,则以报警时间作为基础时间,报警开始时间在报警时间的前30秒,报警结束时间为报警时间的后30秒再查询报警短视频录像,关联短视频录像的开始时间和短视频录像的结束时间
9)查询报警短视频的元数据,若满足存在时间交叉关联,则此短视频即满足条件,若存在多个短视频文件,则按照报警开始时间和报警结束时间和短视频的报警时间的关联度作为关联权重,权重越大,则排队到响应队列的最前面
10)业务端按照业务场景展现队列最前面的短视频,或则展现全部的短视频
11)若无法查询到短视频,则响应为空,若短视频正在录像中,则提示短视频正在录像,若业务需要同步展示短视频的回放,此种情况下,业务端会重复几次查询
1)登录视频监控平台(或类似产品如宇泛软定义智能盒子产品)
2)智能盒子产品如业务模块数字大屏,查看报警列表信息
3)选中报警列表,查看是否有报警短视频,若有则回看关联的报警时间前后的短视频信息
4)判断检索短视频录像的请求参数中的开始时间和结束时间是否相等,若是相等,则对于检索的开始时间和结束时间,按照配置的抖动时间进行处理,例如配置的抖动时间为3秒,则开始时间-3秒、结束时间+3秒,作为检索短视频元数据的新的开始时间和结束时间
5)若短视频中保存的报警时间在抖动处理后的新的开始时间和结束时间的范围内,即为匹配上的短视频数据
6)若检索短视频录像请求中的开始时间小于结束时间,则为查询一段时间内的短视频录像,以检索条件中的开始时间、结束时间和报警短视频保存的录像文件的开始时间和结束时间,是否存在时间交叉信息,满足如下任一条件,则认为时间存在交叉:
条件A:短视频开始时间 <= 检索报警开始时间 AND 短视频结束时间 >= 检索报警开始时间
条件B:短视频开始时间 <= 检索报警结束时间 AND 短视频结束时间 >= 检索报警结束时间
条件C:短视频开始时间 >= 检索报警开始时间 AND 短视频结束时间 <= 检索报警结束时间
条件D:短视频报警时间 = 检索报警结束时间 = 短视频结束时间
7)对于查询到短视频的列表,按照关联权重进行排序,关联度越高,则排到队列的最前,关联关系的权重校验,报警短视频的元数据的报警时间和查询的开始时间和结束时间,|开始时间+结束时间/2-报警时间|距离越小,则关联的权重越高,则关联度最高的拍在最前面
8)对于查询到的原数据信息,处理响应结果http-mp4,短视频的播放地址例如:
http:ip:port/record/tdwy/01/2023-07-20/10-53-24-1689821604871.mp4
9)在线查看短视频或者下载将短视频保存到用户本地,核对报警信息和短视频的记录的数据,给用户完整重现当时发生的现场场景