图像处理方法、装置及多目标定位跟踪系统与流程

本发明涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置及多目标定位跟踪系统。

背景技术：

近年来，关于物品的定位技术，得到很大发展，尤其是无线感知定位技术与计算机视觉定位技术。传统的定位技术如GPS、雷达，激光等，但其设备昂贵，而且应用范围有很大的局限性。在无线感知领域，能实现定位与物品轨迹追踪的技术有WIFI、CSI、RFID等技术，WIFI、CSI在简单场景下可以实现物品的追踪定位，但如果目标不单一，实现起来就相当困难，而且环境稍微复杂就会大大降低其定位的精度。

技术实现要素：

本发明的目的在于提供一种图像处理方法、装置及多目标定位跟踪系统，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：

第一方面，本发明实施例提供了一种图像处理方法，应用于图像处理装置，所述图像处理装置包括摄像头和数据处理模块，所述摄像头与所述数据处理模块连接。所述摄像头采集待测环境的上一帧图像和下一帧图像并将所述上一帧图像和所述下一帧图像发送给所述数据处理模块。所述数据处理模块提取所述上一帧图像中第一移动目标对应的第一特征点和所述下一帧图像中的第二移动目标对应的第二特征点，判断所述第一特征点和所述第二特征点是否满足预设条件，若满足，确定所述第一特征点对应的第一移动目标与所述第二特征点对应的第二移动目标为同一个移动目标。所述数据处理模块获取所述第一移动目标在所述上一帧图像中的第一位置信息及所述第二移动目标在所述下一帧图像中的第二位置信息。所述数据处理模块基于所述第一位置信息与所述第二位置信息，获得所述第一移动目标对应的移动轨迹。

第二方面，本发明实施例提供了一种图像处理装置，包括摄像头和数据处理模块，所述摄像头与所述数据处理模块连接。所述摄像头，用于采集待测环境的上一帧图像和下一帧图像并将所述上一帧图像和所述下一帧图像发送给所述数据处理模块。所述数据处理模块，用于提取所述上一帧图像中第一移动目标对应的第一特征点和所述下一帧图像中的第二移动目标对应的第二特征点，判断所述第一特征点和所述第二特征点是否满足预设条件，若满足，确定所述第一特征点对应的第一移动目标与所述第二特征点对应的第二移动目标为同一个移动目标。所述数据处理模块，用于获取所述第一移动目标在所述上一帧图像中的第一位置信息及所述第二移动目标在所述下一帧图像中的第二位置信息。所述数据处理模块，用于基于所述第一位置信息与所述第二位置信息，获得所述第一移动目标对应的移动轨迹。

第三方面，本发明实施例提供了一种多目标定位跟踪系统，包括上述的图像处理装置、RFID模块和电子设备。所述电子设备与所述图像处理装置、所述RFID模块连接。所述电子设备，用于获取图像处理装置获取到的M个移动目标各自对应的移动轨迹及所述RFID模块获取到的目标标签的相位值序列；基于所述相位值序列及预设的相位距离换算规则，获得所述目标标签与所述RFID之间的距离值序列；将所述M个移动目标各自对应的移动轨迹中的每个移动轨迹与所述距离值序列进行逐一匹配，获得每个所述移动轨迹对应的匹配值；基于每个所述移动轨迹对应的匹配值，获得所述匹配值中的最大值并输出所述最大值对应的移动轨迹对应的移动目标。

本发明实施例的有益效果是：摄像头采集待测环境的上一帧图像和下一帧图像并将所述上一帧图像和所述下一帧图像发送给数据处理模块。所述数据处理模块提取所述上一帧图像中第一移动目标对应的第一特征点和所述下一帧图像中的第二移动目标对应的第二特征点，判断所述第一特征点和所述第二特征点是否满足预设条件，若满足，确定所述第一特征点对应的第一移动目标与所述第二特征点对应的第二移动目标为同一个移动目标。所述数据处理模块获取所述第一移动目标在所述上一帧图像中的第一位置信息及所述第二移动目标在所述下一帧图像中的第二位置信息。所述数据处理模块基于所述第一位置信息与所述第二位置信息，获得所述第一移动目标对应的移动轨迹。实现了获取移动目标对应的移动轨迹，更精确，以进一步提高定位精度。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的多目标定位跟踪系统的结构框图；

图2为本发明实施例提供的应用场景示意图；

图3为本发明实施例提供的图像处理方法的流程图；

图4为本发明实施例提供的图像处理装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

RFID作为本世纪最有前景的技术之一，作为物联网的关键技术，已经应用于生活中的诸多场景，比如仓库的管理、机场行李的分类、商品溯源、图书馆图书排序等。计算机视觉具有多目标定位与追踪的优势，但是其在有遮挡或者目标在计算机视觉监控范围外等情况下，就很难发挥监控作用。RFID在有遮挡等复杂环境下也可以工作，虽然环境越复杂，其定位精度受到影响，但仍可以追踪物品的大致方位。两者技术融合就可以完成多目标互相遮挡、其他物品遮挡等环境下的物品定位追踪。

本发明下述各实施例如无特别说明均可应用于如图1所示的多目标定位跟踪系统中，如图1所示，系统包括电子设备100、图像处理装置200、RFID模块300。电子设备100均与图像处理装置200、RFID模块300连接。作为一种实施方式，电子设备100可以与图像处理装置200、RFID模块300电连接。作为另一种方式，电子设备100可以通过网络与图像处理装置200、RFID模块300连接。所述网络可以是有线或无线网络。本发明实施例中，电子设备100、图像处理装置200、RFID模块300能够通过通信网络直接连接。电子设备100、图像处理装置200、RFID模块300可以在Wi-Fi(无线保真)网络、2G/3G/4G网络或局域网中建立通信连接。

所述电子设备，用于获取图像处理装置获取到的M个移动目标各自对应的移动轨迹及所述RFID模块获取到的目标标签的相位值序列；基于所述相位值序列及预设的相位距离换算规则，获得所述目标标签与所述RFID之间的距离值序列；将所述M个移动目标各自对应的移动轨迹中的每个移动轨迹与所述距离值序列进行逐一匹配，获得每个所述移动轨迹对应的匹配值；基于每个所述移动轨迹对应的匹配值，获得所述匹配值中的最大值并输出所述最大值对应的移动轨迹对应的移动目标。

进一步地，所述预设的相位距离换算规则可以为所述电子设备，用于基于获得所述目标标签与所述RFID模块之间的距离值序列，其中，K为所述相位值序列的项数，θ(ti)为第i个相位值，D(ti)为所述目标标签与所述RFID模块之间的第i个距离值。

如图2所示，C1表示摄像头，C2表示RFID模块的天线，Bi，i＝1,2……,M表示M个移动目标。假如发现有物品遗失，物品设置有目标标签，而调取摄像头监控时发现，物品丢失时，有M个移动目标即多个人同时出现在视野范围之内，而且互相遮挡，里面只有一个移动目标携带有目标标签，但是单纯用摄像头不能分辨到底是哪个移动目标带走了物品，这时利用摄像头同时追踪视野范围内每个移动目标的移动轨迹，同时利用RFID技术追踪物品轨迹，当设置有目标标签的物品的轨迹与其中某个移动目标的行动轨迹一致时，可以确认带走物品的移动目标在哪，完成目标轨迹的跟踪与匹配，即使目标被遮挡，也可以单独利用RFID确定目标位置。在图2的场景中有多个移动目标，某一个移动目标上附着目标标签，目标标签为RFID标签。采用一个单目摄像头对视野范围连续监控，RFID阅读器的天线同时收集目标标签的信息即目标标签的相位值序列。

于本发明实施例中，电子设备100可以作为用户终端，或者作为服务器。电子设备可以为PC(personal computer)电脑、平板电脑、手机、笔记本电脑、智能电视、机顶盒、车载终端等终端设备。所述RFID模块可以包括RFID阅读器。RFID即Radio Frequency Identification。

请参阅图3，本发明实施例提供了一种图像处理方法，应用于图像处理装置，所述图像处理装置包括摄像头和数据处理模块，所述摄像头与所述数据处理模块连接。所述方法包括步骤S200、步骤S210、步骤S220和步骤S230。

步骤S200：所述摄像头采集待测环境的上一帧图像和下一帧图像并将所述上一帧图像和所述下一帧图像发送给所述数据处理模块。

步骤S210：所述数据处理模块提取所述上一帧图像中第一移动目标对应的第一特征点和所述下一帧图像中的第二移动目标对应的第二特征点，判断所述第一特征点和所述第二特征点是否满足预设条件，若满足，确定所述第一特征点对应的第一移动目标与所述第二特征点对应的第二移动目标为同一个移动目标。

进一步地，所述数据处理模块对所述上一帧图像和所述下一帧图像分别进行滤波处理后，获得滤波处理后的所述上一帧图像和所述下一帧图像；对滤波处理后的所述上一帧图像和所述下一帧图像进行检测连通区域处理，提取滤波处理后的所述上一帧图像中第一移动目标对应的第一特征点和滤波处理后的所述下一帧图像中第二移动目标对应的第二特征点。

进一步地，所述预设条件可以为不大于预设差值，判断所述第一特征点和所述第二特征点是否不大于预设差值，若是，确定所述第一特征点对应的第一移动目标与所述第二特征点对应的第二移动目标为同一个移动目标。预设差值可以是一个很小的正数，例如预设差值可以是0。

所述滤波处理可以包括均值滤波、中值滤波、低通滤波、中通滤波或高通滤波。

在滤波处理之前，所述方法还可以包括标定摄像头，以提高定位精度，确定摄像头内外参数，消除由于摄像头畸变带来的影响。

特征点提取是为了提取移动目标中的明显特征，比如物体的边缘轮廓、人的脸部特征、物体的色彩特征等，能把物体从周围背景区分开来的一些点状、线状、或者面状特征。提取特征点后就可以根据摄像头的图像坐标与世界坐标系的关系，把图像坐标转换成世界坐标，从而实现目标的定位。本实施例中特征点提取是通过检测连通区域把运动目标从背景静态目标分割出来。运用质心定位的方法，确定此时特征点在空间中的位置。

步骤S220：所述数据处理模块获取所述第一移动目标在所述上一帧图像中的第一位置信息及所述第二移动目标在所述下一帧图像中的第二位置信息。

进一步地，所述数据处理模块获取所述第一移动目标在所述上一帧图像中的第一图像坐标及所述第二移动目标在所述下一帧图像中的第二图像坐标；所述数据处理模块将所述第一图像坐标转换为第一世界坐标及将所述第二图像坐标转换为第二世界坐标。

步骤S230：所述数据处理模块基于所述第一位置信息与所述第二位置信息，获得所述第一移动目标对应的移动轨迹。

进一步地，所述数据处理模块基于所述第一世界坐标与所述第二世界坐标，获得所述第一移动目标对应的移动轨迹。

若待测环境的上一帧图像和下一帧图像中均包括多个移动目标时，基于步骤S210-步骤S230，类似，获得每个移动目标对应的移动轨迹。若获取到了待测环境的在预设时间内的多帧图像时，基于步骤S200-步骤S230，获得每个移动目标在预设时间内对应的移动轨迹。

本发明实施例提供了一种图像处理方法，所述方法包括摄像头采集待测环境的上一帧图像和下一帧图像并将所述上一帧图像和所述下一帧图像发送给数据处理模块。所述数据处理模块提取所述上一帧图像中第一移动目标对应的第一特征点和所述下一帧图像中的第二移动目标对应的第二特征点，判断所述第一特征点和所述第二特征点是否满足预设条件，若满足，确定所述第一特征点对应的第一移动目标与所述第二特征点对应的第二移动目标为同一个移动目标。所述数据处理模块获取所述第一移动目标在所述上一帧图像中的第一位置信息及所述第二移动目标在所述下一帧图像中的第二位置信息。所述数据处理模块基于所述第一位置信息与所述第二位置信息，获得所述第一移动目标对应的移动轨迹。实现了获取移动目标对应的移动轨迹，更精确，以进一步提高定位精度。可以应用于监控物品等。

请参阅图4，所述图像处理装置200可以包括摄像头210和数据处理模块220。所述摄像头210与所述数据处理模块220连接。

所述摄像头210，用于采集待测环境的上一帧图像和下一帧图像并将所述上一帧图像和所述下一帧图像发送给所述数据处理模块。

所述数据处理模块220，用于提取所述上一帧图像中第一移动目标对应的第一特征点和所述下一帧图像中的第二移动目标对应的第二特征点，判断所述第一特征点和所述第二特征点是否满足预设条件，若满足，确定所述第一特征点对应的第一移动目标与所述第二特征点对应的第二移动目标为同一个移动目标；

所述数据处理模块220，用于获取所述第一移动目标在所述上一帧图像中的第一位置信息及所述第二移动目标在所述下一帧图像中的第二位置信息；

所述数据处理模块220，用于基于所述第一位置信息与所述第二位置信息，获得所述第一移动目标对应的移动轨迹。

进一步地，所述数据处理模块220，用于对所述上一帧图像和所述下一帧图像分别进行滤波处理后，获得滤波处理后的所述上一帧图像和所述下一帧图像；对滤波处理后的所述上一帧图像和所述下一帧图像进行检测连通区域处理，提取滤波处理后的所述上一帧图像中第一移动目标对应的第一特征点和滤波处理后的所述下一帧图像中第二移动目标对应的第二特征点。

进一步地，所述数据处理模块220，用于获取所述第一移动目标在所述上一帧图像中的第一图像坐标及所述第二移动目标在所述下一帧图像中的第二图像坐标；所述数据处理模块将所述第一图像坐标转换为第一世界坐标及将所述第二图像坐标转换为第二世界坐标。

在本实施例中，数据处理模块220可以包括处理器、存储控制器和存储器。处理器通过存储控制器与所述存储器电连接。

存储器可以存储各种软件程序以及模块，如本申请实施例提供的图像处理方法对应的程序指令/模块。处理器通过运行存储在存储器中的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现本申请实施例中的图像处理方法。

存储器可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器可以是一种集成电路芯片，具有信号处理能力。上述处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本发明实施例提供的图像处理装置200，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。