基于深海视频的运动目标检测方法和装置与流程

本发明涉及图像处理领域，具体而言，涉及一种基于深海视频的运动目标检测方法和装置。

背景技术：

随着海洋研究的不断深入和相机成像技术的飞速发展，需要对深海运动目标进行提取与检测。国际上对运动目标提取与检测的常用方法主要可以分为以下三类：

基于像素的方法：根据像素分布规律构建概率模型，从而估计运动区域，但在建模中，需提供大量像素样品，人工成本较大；

基于区域的方法：根据区域纹理特征一致性，减小了照明对运动目标和背景的影响，但面对微小变化和特征不明显的运动目标区域检测效果不佳；

基于图像帧的方法：根据光线变化规律构建全局模型对运动目标进行检测，但光线变化复杂多变，难以构建统一模型。

以上算法多假设第一帧图像为纯背景图像，即不包含运动目标的图像。以上研究方法的主要问题可以概括为：1)运算速度慢，难以满足实际应用需求。2)容易产生鬼影现象。3)目标提取不完全，并且易产生前景目标淹没至背景的问题。

技术实现要素：

本发明实施例提供了一种基于深海视频的运动目标检测方法和装置，以至少解决现有的深海视频中运动目标检测精度差的技术问题。

根据本发明实施例的一个方面，提供了一种基于深海视频的运动目标检测方法，包括：

步骤s101：依据深海视频构建背景模型，并对背景模型进行初始化获得初始化背景模型；

步骤s102：以初始化背景模型为基础，对从深海视频中提取得到的多帧图像进行分类，分为前景运动图像或背景图像；

步骤s104：提取背景图像及当前图像在前景运动图像的区域边界，并判定背景图像区域边界及当前图像区域边界与前景运动图像区域边界的相似度，若背景图像区域边界与前景运动图像区域边界的相似度高于当前图像区域边界与前景运动图像区域边界的相似度，则用当前图像在前景运动图像中前景像素位置点的颜色值代替背景图像对应位置的颜色值，对背景图像进行更新，反之，则不更新；以更新后的背景图像作为纯背景图像进行运动目标检测。

进一步地，该方法在步骤s102、s104之间还包括：

步骤s103：以分类得到的前景运动图像为基准点，计算背景图像的区域均值与方差，并以此对背景图像的区域进行增长约束，获得完整的运动目标，以及将运动目标所在像素点标记为前景像素。

进一步地，步骤s101包括：

根据当前像素点x，构建n个背景样本空间，vi表示为第i个背景样本值，背景模型mx定义如下：

mx＝{v1,v2,...,vn}；其中1≦i≦n；

在当前像素点x的相邻区域n(x)中随机选取n个样本值作为初始化背景模型:

其中y等同于n个样本值。

进一步地，步骤s102包括：

在多帧图像中令第m帧图像所在的位置记为以r为搜索半径所围成的区域记为计算与的交集将所含像素的个数记为q，当q≤l时该第m帧图像分类为前景运动图像，反之分类为背景图像：

其中m为大于等于1的整数。

进一步地，以当前像素点x为中心，通过扩展匹配方式来选取相邻区域n(x)。

进一步地，采用canny算法提取背景图像及当前图像在前景运动图像的区域边界。

进一步地，以更新后的背景图像作为纯背景图像，后续从纯背景图像区域经过的其他目标均为运动目标。

根据本发明实施例的另一个方面，提供了一种基于深海视频的运动目标检测装置，包括：

背景模型构建模块，背景模型构建模块用于依据深海视频构建背景模型，并对背景模型进行初始化获得初始化背景模型；

分类模块，分类模块用于以初始化背景模型为基础，对从深海视频中提取得到的多帧图像进行分类，分为前景运动图像或背景图像；

更新模块，更新模块用于提取背景图像及当前图像在前景运动图像的区域边界，并判定背景图像区域边界及当前图像区域边界与前景运动图像区域边界的相似度，若背景图像区域边界与前景运动图像区域边界的相似度高于当前图像区域边界与前景运动图像区域边界的相似度，则用当前图像在前景运动图像中前景像素位置点的颜色值代替背景图像对应位置的颜色值，对背景图像进行更新，反之，则不更新；以更新后的背景图像作为纯背景图像进行运动目标检测。

进一步地，装置还包括：

修补模块，修补模块用于以分类得到的前景运动图像为基准点，计算背景图像的区域均值与方差，并以此对背景图像的区域进行增长约束，获得完整的运动目标，以及将运动目标所在像素点标记为前景像素。

本发明实施例中的基于深海视频的运动目标检测方法和装置，以初始化背景模型为基础，对多帧图像分类为前景运动图像或背景图像，并提取背景图像及当前图像在前景运动图像的区域边界进行相似度对比，若背景图像区域边界与前景运动图像区域边界的相似度高于当前图像区域边界与前景运动图像区域边界的相似度，则用当前图像在前景运动图像中前景像素位置点的颜色值代替背景图像对应位置的颜色值，对背景图像进行更新，以格式塔原理为指导，建立随机体提取模型，建立图像和目标本质特征的融合机制。在复杂场景的前提下，精度与速度均大幅度提高，满足实际应用需求。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明基于深海视频的运动目标检测方法的流程图；

图2为本发明基于深海视频的运动目标检测方法的具体流程图；

图3为本发明基于深海视频的运动目标检测方法中像素分类图；

图4为本发明基于深海视频的运动目标检测方法中扩展匹配模型图；

图5为本发明基于深海视频的运动目标检测方法的效果图；

图6为本发明基于深海视频的运动目标检测装置的模块图；

图7为本发明基于深海视频的运动目标检测装置的具体模块图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

格式塔心理学派认为：人们通过视觉观看物体是眼和脑相互作用的结果。其过程是将视觉观察到的各个部分按照某种规则组合起来，使之成为一个容易理解的统一体。如果办不到这一点，整体形象将继续呈现为无序状态或混乱，从而无法被正确认知。

根据格式塔视觉原理，面对场景，首先将视觉汇集至感兴趣的运动区域，而忽略周边的信息，对图像进行简化，然后通过大脑对运动区域进行去除伪影和对运动目标进行修补，形成纯背景图像，即后续再有其他目标从此区域经过，不管停留多长时间，都为运动目标，不影响背景图像。

根据本发明一实施例，参见图1，提供了一种基于深海视频的运动目标检测方法，包括：

步骤s101，初始化背景模型：初始化背景模型依据深海视频构建背景模型，并对背景模型进行初始化获得初始化背景模型；

步骤s102，图像分类：以初始化背景模型为基础，对从深海视频中提取得到的多帧图像进行分类，分为前景运动图像或背景图像；

步骤s104，背景更新：提取背景图像及当前图像在前景运动图像的区域边界，并判定背景图像区域边界及当前图像区域边界与前景运动图像区域边界的相似度，若背景图像区域边界与前景运动图像区域边界的相似度高于当前图像区域边界与前景运动图像区域边界的相似度，即将背景图像区域边界与前景运动图像区域边界进行相似度比对，得到一个相似度值q1，将当前图像区域边界与前景运动图像区域边界进行相似度比对，得到一个相似度值q2，若q1>q2，则用当前图像在前景运动图像中前景像素位置点的颜色值代替背景图像对应位置的颜色值，对背景图像进行更新，反之，则不更新；以更新后的背景图像作为纯背景图像进行运动目标检测。

本发明实施例中的基于深海视频的运动目标检测方法，以初始化背景模型为基础，对多帧图像分类为前景运动图像或背景图像，并提取背景图像及当前图像在前景运动图像的区域边界进行相似度对比，若背景图像区域边界与前景运动图像区域边界的相似度高于当前图像区域边界与前景运动图像区域边界的相似度，则用当前图像在前景运动图像中前景像素位置点的颜色值代替背景图像对应位置的颜色值，对背景图像进行更新，以格式塔原理为指导，建立随机体提取模型，建立图像和目标本质特征的融合机制。在复杂场景的前提下，精度与速度均大幅度提高，满足实际应用需求。

作为优选的技术方案中，参见图2，该方法在步骤s102、s104之间还包括：

步骤s103，完整提取目标：以分类得到的所述前景运动图像为基准点，计算所述背景图像的区域均值与方差，并以此对所述背景图像的区域进行增长约束，获得完整的运动目标，以及将所述运动目标所在像素点标记为前景像素，以便获得完整的运动目标。

以上方案能满足大部分运动目标的提取要求，但仍然不能完全避免在目标运动过慢或者目标过大时，提取不完全的情况。为此，本方案以上一步判别的前景区域为基准点，计算区域均值与方差，用以约束区域增长，从而完成对运动目标修补，得到完整的运动目标，并将其运动目标所在像素点标记为前景像素。

作为优选的技术方案中，本发明通过计算机模拟视觉认知过程，首先建立检测模型对运动区域粗提取，然后根据红外目标高亮的特点，融合局部特征对尾影区域予以去除，最后利用局部信息，对运动目标修补实现提取出完整的运动区域，并以此为约束对背景进行动态更新，形成纯背景。主要过程分为以下几个步骤：

步骤s101包括：

根据当前像素点x，构建n个背景样本空间，vi表示为第i个背景样本值，背景模型mx定义如下：

mx＝{v1,v2,...,vn}；其中1≦i≦n；

在当前像素点x的相邻区域n(x)中随机选取n个样本值作为初始化背景模型:

其中y等同于n个样本值。

步骤s102包括：

在多帧图像中令第m帧图像所在的位置记为以r为搜索半径所围成的区域记为计算与的交集将所含像素的个数记为q，当q≤l时该第m帧图像分类为前景运动图像，反之分类为背景图像，参见图3：

其中m为大于等于1的整数。

作为优选的技术方案中，以当前像素点x为中心，通过扩展匹配方式来选取相邻区域n(x)。在n＝20的前提下，x的相邻区域选择过小，会出现重复选择同一像素点的概率增加，如果存在判断错误的像素点重复选择，则直接影响正确分类的概率，影响分割结果。x的相邻区域选择过大，会出现选取点无法表现当前x点的状态，导致分割错误。基于以上分析，本方案以x为中心，建立扩展匹配模型，如图4所示。以满足背景动态更新，伪影在一定程度上得到抑制。

作为优选的技术方案中，采用canny算法提取背景图像及当前图像在前景运动图像的区域边界。上步提取出完整运动目标，即前景像素，而无法确定该目标是否存在于首帧背景中，所以采用canny算子提取当前图像、背景图像在该区域边界，分别对比前景图像的边界与当前图像、背景图像的相似度，确定前景目标存在位置。若与背景图像相似度高，则用当前图像在前景像素位置点的颜色值代替背景图像对应位置，对背景予以更新，反之不予更新，其更新后的效果图参见图5。

作为优选的技术方案中，以更新后的背景图像作为纯背景图像，后续从纯背景图像区域经过的其他目标均为运动目标，保证目标检测的准确度。

实施例2

根据本发明实施例的另一个方面，参见图6，提供了一种基于深海视频的运动目标检测装置，包括：

背景模型构建模块201，背景模型构建模块201用于依据深海视频构建背景模型，并对背景模型进行初始化获得初始化背景模型；

分类模块202，分类模块202用于以初始化背景模型为基础，对从深海视频中提取得到的多帧图像进行分类，分为前景运动图像或背景图像；

更新模块204，更新模块204用于提取背景图像及当前图像在前景运动图像的区域边界，并判定背景图像区域边界及当前图像区域边界与前景运动图像区域边界的相似度，若背景图像区域边界与前景运动图像区域边界的相似度高于当前图像区域边界与前景运动图像区域边界的相似度，则用当前图像在前景运动图像中前景像素位置点的颜色值代替背景图像对应位置的颜色值，对背景图像进行更新，反之，则不更新；以更新后的背景图像作为纯背景图像进行运动目标检测。

作为优选的技术方案中，参见图7，该装置还包括：

修补模块203，修补模块203用于以分类得到的前景运动图像区域为基准点，计算前景运动图像区域的均值与方差数据，并以此数据进行前景运动图像区域的增长约束，获得完整的运动目标，并将运动目标所在像素点标记为前景像素。

本发明实施例中的基于深海视频的运动目标检测装置，以初始化背景模型为基础，对多帧图像分类为前景运动图像或背景图像，并提取背景图像及当前图像在前景运动图像的区域边界进行相似度对比，若背景图像区域边界与前景运动图像区域边界的相似度高于当前图像区域边界与前景运动图像区域边界的相似度，则用当前图像在前景运动图像中前景像素位置点的颜色值代替背景图像对应位置的颜色值，对背景图像进行更新，以格式塔原理为指导，建立随机体提取模型，建立图像和目标本质特征的融合机制。在复杂场景的前提下，精度与速度均大幅度提高，满足实际应用需求。

本发明采用的技术方案概括为：

1.建立随机提取模型，引入像素点的前景与背景判别体系；

2.建立扩展匹配模板，降低错误判别率；

3.建立图像和目标本质特征的融合机制，完整提取运动目标与纯背景。本发明所要解决的技术问题为：

1.解决因方法复杂度高、运动目标难以快速提取的问题；

2.解决因像素错误判别率高、鬼影难以去除的问题；

3.解决信息融合度有限、目标难以准确提取的问题。

本发明的有益效果在于：

1.建立符合人类感知过程的海底运动目标检测框架；

2.建立扩展匹配模型，随机选取周边像素点，降低分类错误的概率；

3.建立图像信息与物体信息融合机理，完整提取运动目标与纯背景，具体为：

依据分割精度和处理时间。采用面积交迭度(areaoverlapmeasure，aom)作为分割效果的评价指标。其定义为：

其中，aom为面积交迭度，a为人工标记的运动区域，b为算法分割出的运动区域，s(.)表示对应区域的像素点数，aom取值越大表明分割效果越好，检测结果如表1所示。

表1算法aom和处理时间统计表

根据上表可知，基于像素构建像素级模型，对目标一直运动的情况，分割精度高，但该算法需对所有像素点进行计算，平均处理时间长。基于区域动态考虑区域内部变化情况，对于首帧存在目标，而后目标一直运动和目标运动后，保持长时间静止情况的检测结果略优于像素级别算法。基于图像帧考虑整体信息，处理时间快，但精度不高。

本发明以格式塔原理为指导，建立随机体提取模型，建立扩展匹配模板，建立图像和目标本质特征的融合机制，完整提取运动目标。在复杂场景的前提下，精度与速度均大幅度提高，满足实际应用需求。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。