一种跨镜图像匹配方法及装置与流程

本技术属于数据处理，特别涉及一种跨镜图像匹配的方法及装置。

背景技术：

1、近年来，数字化、网络化的智能视频监控系统依靠其集成性、灵活性和可靠性在安防领域占据着重要地位。跨镜图像匹配在智能安防、视频监控等方面有巨大的应用前景，已经成为计算机视觉领域的研究焦点。

2、目前监控摄像机在商业应用中己经普遍存在，但并没有充分发挥其实时主动的监督作用，因为它们通常是将摄像机的输出结果记录下来，当异常情况发生后，保安人员才通过记录的结果观察发生的事实，但往往为时已晚。而我们需要监控系统应能够每天连续24小时的实时智能监视，并自动分析摄像机捕捉的图像数据，当异常发生时，系统能向保卫人员准确及时地发出警报，同时也减少雇佣大批监视人员所需要的人力、物力和财力的投入。

3、智能视觉监控就是要用计算机视觉的方法，在不需要人为干预的情况下，通过对摄像机拍录的图像序列进行自动分析，实现对动态场景中目标的定位、识别和跟踪，并在此基础上分析和判断目标的行为，从而做到既能完成日常管理又能在异常情况发生的时候及时做出反应。

4、智能监控系统的需求主要来自那些对安全要求敏感的场合，如银行、商店、停车场等。另外，智能监控系统在自动售货机、atm机、交通管理、公共场所行人的拥挤状态分析及商店中消费者流量统计等方面也有着相应的应用。

5、现有的智能监控系统相互独立、缺乏联动，发生紧急事件时，不能高效发挥预警联防的作用；存在以下几个问题：首先，摄像头的视野比较局限，难以获得全景图像，较小的视野不能很好的支持实时多目标追踪的需求。其次，即使是使用广角镜头获得了更大的视野，单一的角度也很难全方位地表达目标特征。最后，传统的图像匹配方法一半比较消耗人力，现场容易被破坏，相机的轻微移动都需要重新标定，造成维护起来比较困难；这些缺点会限制智能监控系统在室内应用场景的普及。

技术实现思路

1、为了解决上述技术问题，本技术提供一种跨镜图像匹配方法及装置，解决智能监控系统相互独立、缺乏联动、单个摄像头图像视野小、角度单一的问题。

2、本技术的第一个方面，一种跨镜图像匹配方法，应用于主机系统，主要包括：步骤s1、获取各从机系统发送来的与各从机连接的摄像头所采集的图像；步骤s2、确定各所述图像中的多个在世界坐标系下进行坐标标定的标定点，并基于多个所述标定点确定各摄像头的图像坐标系与所述世界坐标系的单应性矩阵；步骤s3、基于各所述单应性矩阵计算各摄像头的图像坐标系下的各像素点对应的世界坐标系下的坐标。

3、优选的是，步骤s3之后进一步包括：步骤s4、获取智能视觉监控程序发送的异常目标及所述异常目标的世界坐标系下的坐标；步骤s5、向各从机发送目标跟踪信号，所述目标跟踪信号用于使各摄像头联动，以获得所述异常目标的多方位特征。

4、优选的是，步骤s2进一步包括：步骤s21、获取移动机器人发送的第一数据对列表，所述第一数据对列表中具有多个数据对，每个数据对包括移动机器人在某一时刻的世界坐标系下的坐标及记录该时刻的时间戳；步骤s22、对每一个摄像头所采集的图像，确定多个由图像的采集时间及对应的移动机器人在图像坐标系下的坐标所构成的数据对，并形成第二数据对列表；步骤s23、基于所述第一数据对列表与各摄像头的所述第二数据对列表计算各摄像头的所述单应性矩阵。

5、优选的是，步骤s21之前，进一步包括：步骤s201、获取顶部带有依次闪烁不同颜色的移动机器人在第一时刻的第一指示灯颜色；步骤s202、获取各摄像头采集的图像中具有与所述第一指示灯颜色相同的指示灯颜色的图像，并确定该图像的采集时刻；步骤s203，基于所述第一时刻校正所述采集时刻，实现所述移动机器人与各摄像头的同步对时。

6、优选的是，步骤s2进一步包括：步骤s24、获取通过激光网格线投射的固定大小的网格的各节点在世界坐标系下的坐标，并基于所述激光网格线的中心点作为原点，确定各节点在各摄像头的图像坐标系下的坐标；步骤s25、计算所述世界坐标系与各所述图像坐标系所对应的第二单应性矩阵；步骤s26、将基于所述第一数据对列表与各摄像头的所述第二数据对列表计算各摄像头的所述单应性矩阵作为第一单应性矩阵，对每一个摄像头，通过以下模型确定最终的单应性矩阵：

7、c=aa+bb；

8、其中，a为第一单应性矩阵，b为与第一单应性矩阵同构的第二单应性矩阵，c为最终的单应性矩阵，a与b为权重调整参数，且a+b=1，本技术中，第一单应性矩阵a与第二单应性矩阵b具有相同的几何结构和特征，以使得两者能够进行合法运算。

9、本技术第二方面，一种跨镜图像匹配装置，应用于主机系统，主要包括：图像获取模块，用于获取各从机系统发送来的与各从机连接的摄像头所采集的图像；单应性矩阵计算模块，用于确定各所述图像中的多个在世界坐标系下进行坐标标定的标定点，并基于多个所述标定点确定各摄像头的图像坐标系与所述世界坐标系的单应性矩阵；坐标对应模块，用于基于各所述单应性矩阵计算各摄像头的图像坐标系下的各像素点对应的世界坐标系下的坐标。

10、优选的是，所述跨镜图像匹配装置还包括：异常目标确定模块，用于获取智能视觉监控程序发送的异常目标及所述异常目标的世界坐标系下的坐标；异常目标联动跟踪模块，用于向各从机发送目标跟踪信号，所述目标跟踪信号用于使各摄像头联动，以获得所述异常目标的多方位特征。

11、优选的是，所述单应性矩阵计算模块包括：第一数据对列表获取单元，用于获取移动机器人发送的第一数据对列表，所述第一数据对列表中具有多个数据对，每个数据对包括移动机器人在某一时刻的世界坐标系下的坐标及记录该时刻的时间戳；第二数据对列表获取单元，用于对每一个摄像头所采集的图像，确定多个由图像的采集时间及对应的移动机器人在图像坐标系下的坐标所构成的数据对，并形成第二数据对列表；单应性矩阵计算单元，用于基于所述第一数据对列表与各摄像头的所述第二数据对列表计算各摄像头的所述单应性矩阵。

12、优选的是，所述单应性矩阵计算模块还包括：指示灯颜色获取单元，用于获取顶部带有依次闪烁不同颜色的移动机器人在第一时刻的第一指示灯颜色；图像采集时刻获取单元，用于获取各摄像头采集的图像中具有与所述第一指示灯颜色相同的指示灯颜色的图像，并确定该图像的采集时刻；同步对时单元，用于基于所述第一时刻校正所述采集时刻，实现所述移动机器人与各摄像头的同步对时。

13、优选的是，所述单应性矩阵计算模块还包括：激光网格坐标标定单元，用于获取通过激光网格线投射的固定大小的网格的各节点在世界坐标系下的坐标，并基于所述激光网格线的中心点作为原点，确定各节点在各摄像头的图像坐标系下的坐标；第二单应性矩阵计算单元，用于计算所述世界坐标系与各所述图像坐标系所对应的第二单应性矩阵；单应性矩阵修正单元，用于将基于所述第一数据对列表与各摄像头的所述第二数据对列表计算各摄像头的所述单应性矩阵作为第一单应性矩阵，对每一个摄像头，通过以下模型确定最终的单应性矩阵：

14、c=aa+bb；

15、其中，a为第一单应性矩阵，b为与第一单应性矩阵同构的第二单应性矩阵，c为最终的单应性矩阵，a与b为权重调整参数，且a+b=1。

16、本技术的第三方面，一种计算机设备，包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序用于实现如上任一项所述的跨镜图像匹配方法。

17、本技术的第四方面，一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的跨镜图像匹配方法。

18、本技术实现了世界坐标系与多个相机图像坐标系自动标定配准任务，解决了标定步骤复杂，维护困难的问题。