一种视频图像校正方法、装置、设备及可读存储介质与流程

本文涉及图像处理技术领域，尤其涉及一种视频图像校正方法、装置、设备及可读存储介质。

背景技术：

安全防范领域中已广泛采用视觉传感器监控场景，但大多数基于视觉传感器的场景监控系统仍停留在半人工式的模拟监控阶段。其中监控视频自动化处理能力薄弱是制约视频监控应用进一步深入发展的瓶颈，高效精准的视频检索手段缺失使得数据共享能力受限，视频监控系统很难与公安信息系统实现资源整合和互操作，视频监控系统的数据压缩与细节保留之间存在矛盾，视频监控的应用缺乏统一的标准和规范，迫切需要研制智能化的视觉监控系统，而运动目标的检测以及跟踪算法是智能视觉监控的基础性问题，同时也是关键性的难点问题。

运动目标检测算法是视频智能分析中最基础最重要的部分，主要是指通过定义相应数学模型及分割算法，将视频帧序列中持续运动目标自动从背景中检测出来的一种技术，而目标跟踪是在基于目标检测的基础上对同一个目标轨迹进行处理。现有技术中对视频图像的处理主要模式就是目标检测加目标跟踪，首先在某一视频帧f检测出目标t，再通过跟踪算法跟踪目标t，直到目标跟踪结束(走出视频监控画面)，最终输出目标t的图片。近年来目标检测以及跟踪算法的发展日益成熟，准确率等指标也较之前有很大提升，但在视频监控场景下依然存在目标检测错误以及目标跟踪位置不准确等问题，一方面算法本身不可能达到100％的准确率，另一方面各种算法在不同的场景下表现不同，导致解析出来的目标图片并不是综合效果最好的。

技术实现要素：

本文在于提供一种视频图像校正方法、装置、设备及可读存储介质,在跟踪过程中结合目标检测及时校正目标位置，提高了对监控视频中运动目标跟踪的准确性，改善了由于跟踪算法的不完善导致的跟踪目标位置与目标实际位置偏差增大问题。

本文解决上述技术问题所采用的技术方案如下：

根据本文的一个方面，提供的一种视频图像校正方法，包括：

从视频图像中获取运动目标作为检测目标；

对所述检测目标进行跟踪，获取所述检测目标在跟踪图像帧中的位置；

通过抽帧的方式获取所述检测目标在检测图像帧中的位置；

通过所述检测图像帧中的目标位置对所述跟踪图像帧中的目标位置进行校正。

可选地，所述通过所述检测图像帧中的目标位置对所述跟踪图像帧中的目标位置进行校正包括：

通过图像识别判断所述检测图像帧中的检测目标与所述跟踪图像帧中的跟踪目标是否为同一目标；

若是，则用所述检测图像帧替换所述跟踪图像帧，并以所述检测图像帧中的检测目标作为跟踪目标继续跟踪，否则，结束跟踪过程。

可选地，所述通过图像识别判断所述检测图像帧中的检测目标与所述跟踪图像帧中的跟踪目标是否为同一目标具体为：

计算所述检测图像帧与所述跟踪图像帧的覆盖率；

判断所述覆盖率是否大于等于预设的覆盖率阈值，若是，则所述检测目标与所述跟踪目标为同一目标；否则，所述检测目标与所述跟踪目标为不同目标。

可选地，所述覆盖率的计算公式为：

o＝area(a′∩ak)/area(a′∪ak)

其中，o为覆盖率，a′为检测图像帧，ak为检测图像帧，area(a′∩ak)为检测图像帧与跟踪图像帧的交集面积，area(a′∪ak)为检测图像帧与跟踪图像帧的并集面积。

可选地，所述通过图像识别判断所述检测图像帧中的检测目标与所述跟踪图像帧中的跟踪目标是否为同一目标具体为：

计算所述检测图像帧与所述跟踪图像帧的相似度值；

判断所述相似度值是否大于等于预设的相似度阈值，若是，则所述检测目标与所述跟踪目标为同一目标；否则，所述检测目标与所述跟踪目标为不同目标。

可选地，所述相似度值的计算公式为：

d＝∑b′bk/sqrt(∑b′+∑bk)

其中，d为检测图像帧与跟踪图像帧的余弦距离，b′为检测图像帧，bk为检测图像帧。

可选地，所述运动目标包括：目标人脸、目标人形和目标车辆。

根据本文的另一个方面，提供的一种视频图像校正装置，包括：

目标检测模块，用于从视频图像中获取运动目标作为检测目标；还用于通过抽帧的方式获取所述检测目标在检测图像帧中的位置；

目标跟踪模块，用于对所述检测目标进行跟踪，获取所述检测目标在跟踪图像帧中的位置；

识别校正模块，用于通过所述检测图像帧中的目标位置对所述跟踪图像帧中的目标位置进行校正。

根据本文的再一个方面，提供的一种电子设备，包括存储器、处理器和至少一个被存储在所述存储器中并被配置为由所述处理器执行的应用程序，所述应用程序被配置为用于执行以上所述的视频图像校正方法。

根据本文的再一个方面，提供的一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所述的视频图像校正方法。

本发明实施例的一种视频图像校正方法、装置、设备及可读存储介质，该方法包括：从视频图像中获取运动目标作为检测目标；对所述检测目标进行跟踪，获取所述检测目标在跟踪图像帧中的位置；通过抽帧的方式获取所述检测目标在检测图像帧中的位置；通过所述检测图像帧中的目标位置对所述跟踪图像帧中的目标位置进行校正；在跟踪过程中结合目标检测及时校正目标位置，提高了对监控视频中运动目标跟踪的准确性，改善了由于跟踪算法的不完善导致的跟踪目标位置与目标实际位置偏差增大问题。

附图说明

图1为本发明实施例一提供的一种视频图像校正方法流程图；

图2为图1中步骤s40的方法流程图；

图3为本发明实施例一提供的视频图像帧示意图；

图4为图2中步骤s41的一种方法流程图；

图5为图2中步骤s41的另一种方法流程图；

图6为本发明实施例四提供的一种视频图像校正装置的示范性结构框图。

本文目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本文所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本文进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本文，并不用于限定本文。

实施例一

如图1所示，在本实施例中，一种视频图像校正方法，包括：

s10、从视频图像中获取运动目标作为检测目标；

s20、对所述检测目标进行跟踪，获取所述检测目标在跟踪图像帧中的位置；

s30、通过抽帧的方式获取所述检测目标在检测图像帧中的位置；

s40、通过所述检测图像帧中的目标位置对所述跟踪图像帧中的目标位置进行校正；

s50、跟踪结束后，输出跟踪图像。

在本实施例中，在跟踪过程中结合目标检测及时校正目标位置，提高了对监控视频中运动目标跟踪的准确性，改善了由于跟踪算法的不完善导致的跟踪目标位置与目标实际位置偏差增大问题。

在本实施例中，视频图像可以是监控摄像头获取的实时图像，将摄像头视频流上传到视频分析平台，进行解码，将解码后的视频帧传送到目标检测模块进行检测，从中获取运动目标作为检测目标；所述运动目标包括：目标人脸、目标人形和目标车辆。

如图2所示，在本实施例中，所述步骤s40包括：

s41、通过图像识别判断所述检测图像帧中的检测目标与所述跟踪图像帧中的跟踪目标是否为同一目标；

若是，则s42、用所述检测图像帧替换所述跟踪图像帧，并以所述检测图像帧中的检测目标作为跟踪目标继续跟踪，否则，s43、结束跟踪过程。

具体地，所述步骤s40可以描述为：对视频帧图像fm进行目标检测，检测到目标a，记录目标框a，其中，所述目标框即为跟踪图像帧，其在视频中以目标框的形式表现，如图3所示；在视频帧fm+1中跟踪目标a，得到跟踪目标框a1；在视频帧fm+2中跟踪目标a1，得到跟踪目标框a2；视频帧fn中跟踪目标a2，得到跟踪目标框an；同时在fn检测到目标a’；通过目标识别模块，判断an、a’是为同一目标；若an、a’是同一目标，用检测框a’替换跟踪框an，校正跟踪框位置信息；否则跟踪结束。

如图4所示，在本实施例中，所述步骤s41具体为：

s411、计算所述检测图像帧与所述跟踪图像帧的覆盖率；

s412、判断所述覆盖率是否大于等于预设的覆盖率阈值，若是，则s413、所述检测目标与所述跟踪目标为同一目标；否则，s414、所述检测目标与所述跟踪目标为不同目标。

在本实施例中，所述覆盖率的计算公式为：

o＝area(a′∩ak)/area(a′∪ak)

其中，o为覆盖率，a′为检测图像帧，ak为检测图像帧，area(a′∩ak)为检测图像帧与跟踪图像帧的交集面积，area(a′∪ak)为检测图像帧与跟踪图像帧的并集面积。

在本实施例中，以检测目标为目标人脸为例，在视频监控中抓拍运动目标人脸的流程具体为：将摄像头视频流上传到视频分析平台，进行解码；将解码后的视频帧传送到目标检测模块流程，检测到人脸目标，记目标框为a，如图3所示为视频流解码后的其中一帧图像帧(分辨率为1920*1080)，图像帧中所标注的矩形框为检测到的人脸目标框位置；将检测到的目标框a传送到目标跟踪模块流程，跟踪到人脸目标a1，并对后续视频帧进行跟踪；检测模块每隔k帧进行一次检测，得到目标人脸框a’，对于同一视频帧，跟踪到目标人脸框ak；计算目标框a’与ak的覆盖率，所谓覆盖率即为两个目标框交集面积与并集面积的比值，其计算公式如上所述；覆盖率值大于覆盖率阈值th1(阈值范围：[0.5，0.6])时，确认为同一目标人脸，即将a’框的像素坐标位置替换ak框的像素坐标位置进行校正，后续视频帧对a’框的像素坐标位置继续跟踪；覆盖率值小于阈值th1，目标a跟踪结束，将目标a的图像发送到界面进行查看。

如图5所示，作为另一种实施例，所述步骤s41具体为：

s415、计算所述检测图像帧与所述跟踪图像帧的相似度值；

s416、判断所述相似度值是否大于等于预设的相似度阈值，若是，则s417、所述检测目标与所述跟踪目标为同一目标；否则，s418、所述检测目标与所述跟踪目标为不同目标。

在本实施例中，所述相似度值的计算公式为：

d＝∑b′bk/sqrt(∑b′+∑bk)

其中，d为检测图像帧与跟踪图像帧的余弦距离，b′为检测图像帧，bk为检测图像帧。

在本实施例中，图4和图5所示的覆盖率和相似度值两种计算方法都可以用来识别所述检测目标与所述跟踪目标是否为同一目标，且是在实时跟踪过程中进行识别的，采用抽帧方式，每隔k帧同时检测目标框和跟踪框，从而通过目标框对跟踪框进行校正，可以改善由于跟踪算法的不完善导致的跟踪目标位置与目标实际位置偏差增大问题。

实施例二

在本实施例中，以检测目标为目标人形为例，在视频监控中抓拍运动目标人形的流程具体为：将摄像头视频流上传到视频分析平台，进行解码；将解码后的视频帧传送到目标检测模块流程，检测到人形目标，记目标框为b；将检测到的目标框b传送到目标跟踪模块流程，跟踪到人形目标b1，并对后续视频帧进行跟踪；检测模块每隔k帧进行一次检测，得到目标人形框b’，对于同一视频帧，跟踪到目标人脸框bk；提取b’与bk的特征值，计算其相似度值，相似度值包括不限于用余弦距离表达，余弦距离值越大则两个目标越相似，反之，越不相似；其计算公式如上所述；相似度值大于阈值th2(阈值范围依据具体情况给出)，确认为同一目标人形，即用b’替换bk进行校正，后续视频帧对b’继续跟踪；相似度值小于阈值th2，目标b跟踪结束，将目标b的图像发送到界面进行查看。

作为另一种实施例，目标人形也可以用覆盖率法来识别所述检测目标与所述跟踪目标是否为同一目标，两种方法是在实时跟踪过程中进行识别的，采用抽帧方式，每隔k帧同时检测目标框和跟踪框，从而通过目标框对跟踪框进行校正，可以改善由于跟踪算法的不完善导致的跟踪目标位置与目标实际位置偏差增大问题。

实施例三

在本实施例中，以检测目标为经过卡口的车辆为例，在视频监控中抓拍运动目标车辆的流程具体为：将摄像头视频流上传到视频分析平台，进行解码；将解码后的视频帧传送到目标检测模块流程，检测到车辆目标，记目标框为c；将检测到的目标框c传送到目标跟踪模块流程，跟踪到人形目标c1，并对后续视频帧进行跟踪；检测模块每隔k帧进行一次检测，得到目标车辆框c’，对于同一视频帧，跟踪到目标车辆框ck；计算目标框c’与ck的覆盖率，覆盖率值大于阈值th3，确认为同一目标车辆,，即用c’替换ck进行校正，后续视频帧对c’继续跟踪；覆盖率值小于阈值th3，目标c跟踪结束，将目标c的图像发送到界面进行查看。

作为另一种实施例，目标人形也可以用相似度值来识别所述检测目标与所述跟踪目标是否为同一目标，两种方法的具体计算方法参考实施例一及实施例二中的计算公式，两种方法都是在实时跟踪过程中进行识别的，采用抽帧方式，每隔k帧同时检测目标框和跟踪框，从而通过目标框对跟踪框进行校正，可以改善由于跟踪算法的不完善导致的跟踪目标位置与目标实际位置偏差增大问题。

实施例四

如图6所示，在本实施例中，一种视频图像校正装置，包括：

目标检测模块10，用于从视频图像中获取运动目标作为检测目标；还用于通过抽帧的方式获取所述检测目标在检测图像帧中的位置；

目标跟踪模块20，用于对所述检测目标进行跟踪，获取所述检测目标在跟踪图像帧中的位置；

识别校正模块30，用于通过所述检测图像帧中的目标位置对所述跟踪图像帧中的目标位置进行校正。

在本实施例中，在跟踪过程中结合目标检测及时校正目标位置，提高了对监控视频中运动目标跟踪的准确性，改善了由于跟踪算法的不完善导致的跟踪目标位置与目标实际位置偏差增大问题。

在本实施例中，视频图像可以是监控摄像头获取的实时图像，将摄像头视频流上传到视频分析平台，进行解码，将解码后的视频帧传送到目标检测模块进行检测，从中获取运动目标作为检测目标；所述运动目标包括：目标人脸、目标人形和目标车辆。

实施例五

在本实施例中，一种电子设备，包括存储器、处理器和至少一个被存储在所述存储器中并被配置为由所述处理器执行的应用程序，所述应用程序被配置为用于执行实施例一至实施例三所述的视频图像校正方法。

实施例六

本发明实施例提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述视频图像校正方法实施例中任一所述的方法实施例。

需要说明的是，上述装置、设备实和可读存储介质实施例与方法实施例属于同一构思，其具体实现过程详见方法实施例，且方法实施例中的技术特征在装置实施例中均对应适用，这里不再赘述。

本发明实施例的一种视频图像校正方法、装置、设备及可读存储介质，该系统包括：从视频图像中获取运动目标作为检测目标；对所述检测目标进行跟踪，获取所述检测目标在跟踪图像帧中的位置；通过抽帧的方式获取所述检测目标在检测图像帧中的位置；通过所述检测图像帧中的目标位置对所述跟踪图像帧中的目标位置进行校正；在跟踪过程中结合目标检测及时校正目标位置，提高了对监控视频中运动目标跟踪的准确性，改善了由于跟踪算法的不完善导致的跟踪目标位置与目标实际位置偏差增大问题。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。