一种基于目标光电联动的视频标记系统及方法与流程

本发明涉及数字图像处理，特别是涉及一种基于目标光电联动的视频标记系统及方法，在目标光电联动时，通过深度学习、决策模型判断并标识目标在视频中位置，在多个web端播放目标标注后的视频结果的方法。

背景技术：

1、基于多种感知探测设备获取目标详细信息，如位置、速度、方向等，并通过光电联动技术快速、准确地锁定目标，有助于管理人员更好查看可疑信号对应的现场情况，在进行未知目标安全监控任务时能发挥关键作用。同时，通过光电联动对目标进行高效、准确的追踪和识别，可以提高管理者的感知能力，增强对动态场景的理解和控制，为许多应用领域提供了强大的工具。

2、实际场景中进行光电联动的目标通常只有前端探测感知设备的信息，如通过雷达获取的目标位置和移动轨迹、通过ais获取的船舶轨迹和身份信息、通过物联网探针设备获取终端机器mac地址。在调用光电设备安装目标移动信息进行跟随探测时，并无法准确获取目标在视频中的准确位置，或者确认视频中目标的身份。

3、当前业界通用做法是对关键卡口固定摄像头进行预先标定，建立实际世界坐标系与摄像头像素坐标系间的转换关系，将前端探测感知设备获取的目标信息映射到视频画面上。随着视频人工智能分析技术的发展，研究人员可进一步将视频中目标进行检测、识别，并和映射到视频画面中的关注目标实际运动轨迹进行匹配关联，最终确定关注目标在视频画面中的位置。

4、但这种方法对摄像头的种类有较为苛刻的限制，需要进行复杂的标定任务，在广域监控环境、老式球机摄像头、岸线重型转台摄像头难以得到应用。因此需要基于现有目标光电联动技术，通过充分利用采集数据并设计决策模型，对存在画面变动场景下的目标进行分析匹配，能在更多场景进行推广应用。

技术实现思路

1、本发明的目的是针对以上不足，提出一种基于目标光电联动的视频标记系统及方法，以解决现有光电联动的视频画面中目标无法准确标识的问题，辅助管理者更好的确认当前正在联动的目标在啊视频画面中位置，对关注目标进行准确的观测和处置，取得预期效果。

2、本发明的技术方案如下：

3、一种基于目标光电联动的视频标记系统，其特征在于：包括轨迹分析处理模块、设备联动控制模块、算法分析决策模块和目标标识展示模块；

4、所述轨迹分析处理模块实现多源感知信号接入和融合处理，并对目标进行轨迹分析处理，确定目标当前位置和活动规律；

5、所述设备联动控制模块首先根据关注目标的位置筛选附近可用的相机设备，并根据相机与目标的相对关系、目标活动规律生成控制参数，控制相机实时转动，实现对目标所在区域的连续跟踪查看；

6、所述算法分析决策模块实现视频帧的目标检测和跟踪，获取视频中目标的轨迹并与关注目标实际活动规律进行匹配关联，通过决策模型实现关注目标在视频画面中的位置确认；

7、所述目标标识展示模块通过数字图像处理在视频帧中对目标进行重点标识，并通过视频编码、流媒体转发、视频码流转换，实现多个web端播放查看。

8、上述基于目标光电联动的视频标记系统中，所述轨迹分析处理模块进一步包括多源信号接入模块、目标融合匹配模块、目标轨迹分析模块；

9、所述多源信号模块接入对雷达、ais、北斗等设备的信息进行接入，通过专有协议解析、轨迹压缩，实现各来源中目标信息的接入和存储；

10、所述目标融合匹配模块对时间窗口内接入的目标数据进行空间对齐、形态学匹配，确定不同来源的信号中是否存在同一目标，并使用轨迹融合预测算法，保存该目标的实际活动情况；

11、所述目标轨迹分析模块通过采集目标的历史轨迹，确认目标活动规律，为相机设备联动控制奠定基础。

12、上述基于目标光电联动的视频标记系统中，所述设备联动控制模块进一步包括包括相机设备筛选模块、控制参数计算模块、实时设备控制模块；

13、所述相机设备筛选模块根据关注的待联动目标所在位置为圆心，筛选设定参数范围内有效相机设备；

14、所述控制参数计算模块根据目标当前位置、相机位置、目标活动规律，判断目标的运动方向和趋势，生成光电联动所需的相机控制参数；

15、所述实时设备控制模块基于相机控制的sdk、协议，利用生成的控制参数控制相机转动，对关注目标所在区域进行跟踪监视。

16、上述基于目标光电联动的视频标记系统中，所述算法分析决策模块进一步包括目标检测模块、目标跟踪模块、多维信息关联匹配模块、目标丢失处理模块；

17、所述目标检测模块基于yolov7改进的yolo-ship算法，通过对anchor尺寸进行重新聚类筛选，并通过改进注意力机制模块，实现复杂海域场景下微小船舶目标的准确检测；

18、所述目标跟踪模块基于strongsort算法和训练的船舶表观特征提取模型，实现业务场景下船舶目标的稳定匹配跟踪；

19、所述多维信息关联匹配模块结合视频中目标运动轨迹、关注目标实际活动规律，判断关注目标在视频画面中的位置，并通过多目标异向运动的比例过滤相机运动对目标轨迹分析的影响；

20、所述目标丢失处理模块针对目标跟踪过程中出现未检测匹配情况，对过滤掉历史已检测目标后的新目标进行空间分析判断，选择最符合关注目标实际活动规律的新目标进行重新标识。

21、上述基于目标光电联动的视频标记系统中，所述目标标识展示模块进一步包括目标身份标识模块、视频编码推送模块、视频转码播放模块；

22、所述目标身份标识模块针对视频画面中已检查目标的状态进行分类标识，当关注目标未确定时对所有目标标识为“检测中”，当关注目标确定后对关注目标标识出对应船舶身份，并对其它目标标识为“未匹配”；

23、所述视频编码推送模块采用ffmpeg库将处理后的图像通过h264协议进行编码，并通过rtmp协议推送到流媒体服务器；

24、所述视频转码播放模块通过将接收到的rtmp视频流转变为webrtc协议，并在多个web端进行直接播放，辅助管理者查看关注目标在视频画面中的位置。

25、采用上述系统进行基于目标光电联动的视频标记方法，其特征在于，包括以下步骤：

26、s1通过多源信号接入，对雷达、ais、北斗信号进行专有协议解析和轨迹压缩，实现各目标的轨迹数据的接入和高效存储；

27、s2将s1获取的目标轨迹进行空间对齐、形态学匹配，将多种信号来源中相同的目标进行融合关联，减少待处理的目标数量和重复的模型判断消耗；

28、s3通过设定的模型算法对s2中提取的目标进行轨迹分析，确定待联动目标活动规律；

29、s4以待联动目标位置为中心，筛选设定阈值范围内可用相机设备，并按照相机控制性能、距离远近进行排序；

30、s5利用s4中获取的相机和待联动目标的历史轨迹关系进行判断，计算目标相对于相机的活动夹角，生成相机控制参数；

31、s6利用s5产生的控制参数控制相机转动到目标所在区域，获取该区域的实时图像；

32、s7利用优化后的yolo-ship、strongsort深度学习模型对视频图像进行目标检测和跟踪，获取视频画面中目标的运动轨迹，并与目标实际活动规律进行比较，如果目标已确认则直接执行s10；

33、s8当视频中只有1个目标且与目标实际活动规律基本符合时，直接确定目标身份；

34、s9当视频中有多个目标时，对各视频目标进行运动规律进行持续分析，选择即靠近视频画面中心且与目标实际活动规律相符合的视频目标为关注目标；

35、s10如果目标已确认，但在某帧中未检测到或丢失，则对当前检测出的目标进行id判断，过滤掉已检测过的目标，对剩下的新出现视频目标进行空间关联分析，选择最考虑视频画面中心且符合目标实际活动规律的视频目标再次确认为关注目标；

36、s11当目标未确认时对所有目标通过蓝色框标识为“检测中”；

37、s12当目标已确认后，对确认目标用红色框标识船名，并对其它目标用灰色框标识为“未匹配”；

38、s13通过ffmpeg对视频帧进行编码，并推送到搭建的流媒体服务器中，使用流媒体服务器将码流转为可多端部分的webrtc形式，供多个web页面进行展示。

39、本发明与现有技术相比，优点在于：

40、针对常规球机、重型转台实现了动态画面情况下光电联动目标的位置确认和标识，并能在多个web页面进行播放查看，提升光电联动功能的应用场景和监测能力，达到业务场景中的预期效果。