一种图像中确定目标遮掩的方法及装置的制造方法
【专利摘要】本发明公开了一种图像中确定目标遮掩的方法及装置，涉及图像处理技术领域，解决了现有技术中在目标在突然消失的情况下，因误判为严重遮挡导致的停止追踪，影响追踪效果的技术问题。其中，方法包括：在连续的视频帧中跟踪同一目标；若所述目标在跟踪过程中突然消失，则将所述目标突然消失的目标丢失视频帧进行图像清晰处理；在所述清晰处理后的所述目标丢失视频帧上搜索所述目标；若没有搜索到所述目标，则确定所述目标被遮挡。
【专利说明】
一种图像中确定目标遮掩的方法及装置
技术领域
[0001]本发明涉及图像处理技术领域，特别涉及一种图像中确定目标遮掩的方法及装置。
【背景技术】
[0002]运动目标跟踪是计算机视觉研究的核心内容，特别是跟踪过程中出现的遮挡问题成为限制跟踪算法鲁棒性的关键因素。针对刚性运动目标跟踪中的遮挡问题，对目标自适应分块，使各子块具有较为明显的特征，增加遮挡判定和子块匹配的程度;然后通过各子块来准确判定被遮挡区域，在遮挡情况下利用剩余的未被遮挡的子块进行灰度相关匹配和表决，来进行目标的遮挡跟踪，但对于体积较小和变形比较剧烈的非刚性目标的跟踪具有局限性。非刚性目标通过均值漂移算法和粒子滤波算法相结合的跟踪算法，在非遮挡或者不严重遮挡情况下，采用改进的均值漂移算法;在严重遮挡情况下，认为目标失联或失踪，停止追足示O
[0003]但是，某些严重遮挡的情况下，如突然间目标进入隧道的情况，出隧道后，目标很可能在后面又会再次出现，若因此而停止追踪，则影响了整个目标追踪的准确性，将未失联或失踪的目标误判为失踪/失联，无法进行继续跟踪。
【发明内容】
[0004]本发明提供图像中确定目标遮掩的方法及装置，用解决现有技术中在目标在突然消失的情况下，因误判为严重遮挡导致的停止追踪，影响追踪效果的技术问题。
[0005]—种图像中确定目标遮掩的方法，包括:
[0006]在连续的视频帧中跟踪同一目标；
[0007]若所述目标在跟踪过程中突然消失，则将所述目标突然消失的目标丢失视频帧进行图像清晰处理；
[0008]在所述清晰处理后的所述目标丢失视频帧上搜索所述目标；
[0009]若没有搜索到所述目标，则确定所述目标被遮挡。
[0010]本实施例中提供的方法，在连续视频帧跟踪过程中，采用在目标突然消失的目标丢失视频帧上进行清晰处理，若处理后仍旧在该视频帧上搜索不到目标，则确定目标被遮挡的技术手段，解决了现有技术中，在该此种情况下，直接停止继续追踪的技术问题，进而可实现在确定目标为遮挡，可继续搜索追踪，提高跟踪准确度的技术效果。
[0011]可选的，该方法还包括:
[0012]对所述连续的视频帧所在视频的镜头进行突变检测；
[0013]若突变检测后表明所述镜头未发生变化，则确定所述目标在目标丢失视频中突然消失。
[0014]本实施例提供的方法中，在确定目标突然失踪前，会进行突变检测。因为如果发现目标突然丢失且镜头发生突变，则说明目标丢失由于镜头变化引起，并非真正的目标突然消失；因为在镜头未变化且目标丢失的情况，连续视频帧目标在视频中突变的情况概率极小，所以选择在确定镜头未发出突变的情况下，再判定目标被遮挡能够进一步地提高判定目标是被遮挡的准确度。
[0015]可选的，该方法还包括:
[0016]在跟踪同一目标的过程中，根据不同视频帧上的所述目标的特征信息更新该目标的特征描述模板，所述特征描述模板具有该目标的特征信息，该特征信息用于在视频帧中识别该目标。
[0017]可选的，该方法还包括:
[0018]在确定目标突然消失时，停止更新所述特征描述模板；
[0019]将最近一次更新后的所述特征描述模板结合所述视频帧的背景变化得到用于搜索的特征描述模板；
[0020]根据所述用于搜索的特征描述模板在接下来的连续视频帧中继续搜索所述目标。
[0021]本实施提供的方法，由于用来识别视频帧中的特征描述模板在目标未失踪前一直是处于更新的状态，因此当发生目标失踪时，便可以得到最新的特征描述模板用来继续搜索消失后的目标，便于提高搜索的准确度。
[0022]可选的，所述根据所述用于搜索的特征描述模板在接下来的连续视频帧中继续搜索所述目标，包括:
[0023]在所述接下来的连续视频中，以所述目标丢失视频帧中目标突然消失的区域为搜索区域，根据所述用于搜索的特征描述模板，在接下来的连续视频帧中所述搜索区域里继续搜索所述目标。
[0024]本实施例提供的方法中，采用在目标消失区域为搜索区域进行搜索的技术手段，可以减少搜索范围，同时提高搜索效率。
[0025]基于同样的发明构思，本发明实施例继续提供一种图像中确定目标遮掩的装置，包括:
[0026]跟踪模块，用于在连续的视频帧中跟踪同一目标；
[0027]处理模块，用于若所述目标在跟踪过程中突然消失，则将所述目标突然消失的目标丢失视频帧进行图像清晰处理；
[0028]搜索模块，用于在所述清晰处理后的所述目标丢失视频帧上搜索所述目标；
[0029]确定模块，用于若没有搜索到所述目标，则确定所述目标被遮挡。
[0030]本实施例中提供的装置，具有在连续视频帧跟踪过程中，采用在目标突然消失的目标丢失视频帧上进行清晰处理，若处理后仍旧在该视频帧上搜索不到目标，则确定目标被遮挡的功能，解决了现有技术中，在该此种情况下，直接停止继续追踪的技术问题，进而可实现在确定目标为遮挡，可继续搜索追踪，提高跟踪准确度的技术效果。
[0031]可选的，该装置还包括:检测模块，用于对所述连续的视频帧所在视频的镜头进行突变检测；
[0032]相应的，所述确定模块，还用于若突变检测后表明所述镜头未发生变化，则确定所述目标在目标丢失视频中突然消失。
[0033]可选的，该装置还包括:
[0034]更新模块，用于在跟踪同一目标的过程中，根据不同视频帧上的所述目标的特征信息更新该目标的特征描述模板，所述特征描述模板具有该目标的特征信息，该特征信息用于在视频帧中识别该目标。
[0035]可选的，该装置还包括:结合模块，用于在确定目标突然消失时，停止更新所述特征描述模板，并将最近一次更新后的所述特征描述模板结合所述视频帧的背景变化得到用于搜索的特征描述模板；
[0036]相应的，所述搜索模块，还用于根据所述用于搜索的特征描述模板在接下来的连续视频帧中继续搜索所述目标。
[0037]可选的，所述搜索模块，具体用于在所述接下来的连续视频中，以所述目标丢失视频帧中目标突然消失的区域为搜索区域，根据所述用于搜索的特征描述模板，在接下来的连续视频帧中所述搜索区域里继续搜索所述目标。
[0038]本实施例提供的装置中，具有在目标消失区域为搜索区域进行搜索的功能，可以减少搜索范围，同时提高搜索效率。
[0039]本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0040]下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
【附图说明】
[0041]附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中:
[0042]图1为本发明实施例中一种图像中确定目标遮掩的方法的流程图；
[0043]图2为本发明实施例中另一种图像中确定目标遮掩的方法的流程图；
[0044]图3为本发明实施例中一种图像中确定目标遮掩的装置的框图。
【具体实施方式】
[0045]以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0046]如图1所示，本实施例提供一种图像中确定目标遮掩的方法，该方法适合部署在有跟踪需求的装置或设备上，该方法包括如下步骤:
[0047]101，在连续的视频帧中跟踪同一目标；
[0048]视频都是由视频帧组成的，例如每秒25个视频帧，每个视频帧都是一个图像。在组成视频的连续的图像上不断的跟踪同一目标。
[0049]102，若所述目标在跟踪过程中突然消失，则将所述目标突然消失的目标丢失视频帧进行图像清晰处理；
[0050]本实施中所说的突然消失，是指在上一张视频帧的图像上目标还存在，而在当前的视频帧上目标就完全消失，看不到目标上的任何部分，并且这种消失也并非是由于目标走出视频帧所在视频的镜头所引起的。
[0051 ]其中，上述清晰处理可以是使目标丢失视频帧更容易观察或跟踪到目标的任何处理。如除噪，锐化，增亮，放大，缩小，甚至平移等。
[0052]可选的，可以在目标突然消失的区域进行清晰度处理。
[0053]103，在所述清晰处理后的所述目标丢失视频帧上搜索所述目标；
[0054]若该目标还在视频帧上，仅是变小或变得模糊等，通过上述清晰处理后，通常会显现出来，再在该视频帧上搜索目标若不是目标真正的突然消失，通常都可以搜索到。
[0055]104，若没有搜索到所述目标，则确定所述目标被遮挡。
[0056]本实施例中提供的方法，在连续视频帧跟踪过程中，采用在目标突然消失的目标丢失视频帧上进行清晰处理，若处理后仍旧在该视频帧上搜索不到目标，则确定目标被遮挡的技术手段，解决了现有技术中，在该此种情况下，直接停止继续追踪的技术问题，进而可实现在确定目标为遮挡，可继续搜索追踪，提高跟踪准确度的技术效果。
[0057]可选的，本实施例的方法中还包括:
[0058]对所述连续的视频帧所在视频的镜头进行突变检测;若突变检测后表明所述镜头未发生变化，则确定所述目标在目标丢失视频中突然消失。
[0059]对视频的镜头进行突变检测是为了排除由于镜头变化引起的目标突然消失。因此在确定目标突然失踪前，会进行突变检测。因为如果发现目标突然丢失且镜头发生突变，则说明目标丢失由于镜头变化引起，并非真正的目标突然消失；因为在镜头未变化且目标丢失的情况，连续视频帧目标在视频中突变的情况概率极小，所以选择在确定镜头未发出突变的情况下，再来判定目标被遮挡。
[0060]可选的，该方法还可以包括:
[0061]在步骤101的跟踪同一目标的过程中，同时也执行根据不同视频帧上的所述目标的特征信息更新该目标的特征描述模板，所述特征描述模板具有该目标的特征信息，该特征信息用于在视频帧中识别该目标。
[0062]特征描述模板就是用来识别目标的，该模板可以表征为一个与目标大小适当的矩形区域，更新该模板，即是更新对该目标的矩形区域的特征信息，该特征信息如颜色、亮度、灰度等。由于在连续的视频帧中，可能不同的帧上的亮度不同，因此需要在跟踪的过程中，根据目标在视频帧上的特征不断自动更新该特征描述模板的特征信息。
[0063]可选的，该方法还包括:
[0064]在确定目标突然消失时，停止更新所述特征描述模板;将最近一次更新后的所述特征描述模板结合所述视频帧的背景变化得到用于搜索的特征描述模板;根据所述用于搜索的特征描述模板在接下来的连续视频帧中继续搜索所述目标。
[0065]本实施例提供的方法，采用特征描述模板在跟踪过程中进行不断更新，但在发生丢失时，停止更新，并以丢失前的特征描述模板结合视频背景亮度变化来作为用于搜索失踪目标的特征描述模板，并根据该模板来对目标进行搜索。
[0066]其中，所述根据所述用于搜索的特征描述模板在接下来的连续视频帧中继续搜索所述目标，包括:
[0067]在所述接下来的连续视频中，以所述目标丢失视频帧中目标突然消失的区域为搜索区域，根据所述用于搜索的特征描述模板，在接下来的连续视频帧中所述搜索区域里继续搜索所述目标。
[0068]本实施例提供的方法中，在目标丢失区域，即搜索区域通过粒子滤波方法进行不断搜索进行特征描述模板的匹配的技术手段，可实现在遮挡条件发生变化时，能够再次精确的找到目标进行跟踪的技术效果。
[0069]如图2所示，本实施例具体提供一种图像中确定目标遮掩的方法，包括:
[0070]200，在连续的视频帧中跟踪同一目标；
[0071 ]例如在视频的连续的视频帧中跟踪一个小女孩。
[0072]201，在跟踪同一目标的过程中，根据不同视频帧上的所述目标的特征信息更新该目标的特征描述模板，所述特征描述模板具有该目标的特征信息，该特征信息用于在视频帧中识别该目标。
[0073]202，若所述目标在跟踪过程中突然消失，如小女孩走入隧道，则对所述连续的视频帧所在视频的镜头进行突变检测，如镜头突然换了角度，或突然颜色变得阴暗;若突变检测后表明所述镜头未发生变化，则执行203;否则尝试调整镜头，去除镜头突变原因。
[0074]203，将目标丢失视频帧上目标突然消失的区域进行图像放大、平移等清晰处理；
[0075]204，在所述清晰处理后的所述目标丢失视频帧上搜索所述目标;若没有搜索到所述目标，则执行205;若搜索到目标，则继续201。
[0076]205，确定所述目标在目标丢失视频中突然消失。即将小女孩突然消失的那枚视频帧作为目标丢失视频帧。
[0077]206，停止更新所述特征描述模板；
[0078]207，将最近一次更新后的所述特征描述模板结合所述视频帧的背景变化得到用于搜索的特征描述模板；
[0079]208，在所述接下来的连续视频中，以所述目标丢失视频帧中目标突然消失的区域为搜索区域，根据所述用于搜索的特征描述模板，在接下来的连续视频帧中所述搜索区域里继续搜索所述目标小女孩。
[0080]209，当遮挡条件发生变化，例如小女孩从隧道中走出，根据该用于搜索的特征描述模板可再次搜索到该小女孩，并继续跟踪。
[0081]本实施例提供上述方法中，步骤200和201是可以同时执行的；并且对镜头进行突变检测的步骤202可以在203前执行，也可以在步骤204确定没有搜索到目标后再执行。
[0082]为了便于上述图1和图2所示的实施例的方法能够实现，本实施例继续提供的一种图像中确定目标遮掩的装置，如图3所示，包括:
[0083]跟踪模块31，用于在连续的视频帧中跟踪同一目标；
[0084]处理模块32，用于若所述目标在跟踪过程中突然消失，则将所述目标突然消失的目标丢失视频帧进行图像清晰处理；
[0085]搜索模块33，用于在所述清晰处理后的所述目标丢失视频帧上搜索所述目标；
[0086]确定模块34，用于若没有搜索到所述目标，则确定所述目标被遮挡。
[0087]本实施例中提供的装置，具有在连续视频帧跟踪过程中，采用在目标突然消失的目标丢失视频帧上进行清晰处理，若处理后仍旧在该视频帧上搜索不到目标，则确定目标被遮挡的功能，解决了现有技术中，在该此种情况下，直接停止继续追踪的技术问题，进而可实现在确定目标为遮挡，可继续搜索追踪，提高跟踪准确度的技术效果。
[0088]可选的，该装置还包括:检测模块，用于对所述连续的视频帧所在视频的镜头进行突变检测；相应的，所述确定模块34，还用于若突变检测后表明所述镜头未发生变化，则确定所述目标在目标丢失视频中突然消失。
[0089]可选的，该装置还包括:
[0090]更新模块，用于在跟踪同一目标的过程中，根据不同视频帧上的所述目标的特征信息更新该目标的特征描述模板，所述特征描述模板具有该目标的特征信息，该特征信息用于在视频帧中识别该目标。
[0091 ]可选的，该装置还包括:结合模块，用于在确定目标突然消失时，停止更新所述特征描述模板，并将最近一次更新后的所述特征描述模板结合所述视频帧的背景变化得到用于搜索的特征描述模板；
[0092]相应的，所述搜索模块33，还用于根据所述用于搜索的特征描述模板在接下来的连续视频帧中继续搜索所述目标。
[0093]可选的，所述搜索模块33，具体用于在所述接下来的连续视频中，以所述目标丢失视频帧中目标突然消失的区域为搜索区域，根据所述用于搜索的特征描述模板，在接下来的连续视频帧中所述搜索区域里继续搜索所述目标。
[0094]本实施例提供的装置中，具有在目标消失区域为搜索区域进行搜索的功能，可以减少搜索范围，同时提高搜索效率。
[0095]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0096]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0097]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0098]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0099]显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
【主权项】
1.一种图像中确定目标遮掩的方法，其特征在于，包括: 在连续的视频帧中跟踪同一目标； 若所述目标在跟踪过程中突然消失，则将所述目标突然消失的目标丢失视频帧进行图像清晰处理； 在所述清晰处理后的所述目标丢失视频帧上搜索所述目标； 若没有搜索到所述目标，则确定所述目标被遮挡。2.根据权利要求1所述的方法，其特征在于，该方法还包括: 对所述连续的视频帧所在视频的镜头进行突变检测； 若突变检测后表明所述镜头未发生变化，则确定所述目标在目标丢失视频中突然消失。3.根据权利要求1或2所述的方法，其特征在于，该方法还包括: 在跟踪同一目标的过程中，根据不同视频帧上的所述目标的特征信息更新该目标的特征描述模板，所述特征描述模板具有该目标的特征信息，该特征信息用于在视频帧中识别该目标。4.根据权利要求3所述的方法，其特征在于，该方法还包括: 在确定目标突然消失时，停止更新所述特征描述模板； 将最近一次更新后的所述特征描述模板结合所述视频帧的背景变化得到用于搜索的特征描述模板； 根据所述用于搜索的特征描述模板在接下来的连续视频帧中继续搜索所述目标。5.根据权利要求4所述的方法，其特征在于，所述根据所述用于搜索的特征描述模板在接下来的连续视频帧中继续搜索所述目标，包括: 在所述接下来的连续视频中，以所述目标丢失视频帧中目标突然消失的区域为搜索区域，根据所述用于搜索的特征描述模板，在接下来的连续视频帧中所述搜索区域里继续搜索所述目标。6.一种图像中确定目标遮掩的装置，其特征在于，包括: 跟踪模块，用于在连续的视频帧中跟踪同一目标； 处理模块，用于若所述目标在跟踪过程中突然消失，则将所述目标突然消失的目标丢失视频帧进行图像清晰处理； 搜索模块，用于在所述清晰处理后的所述目标丢失视频帧上搜索所述目标； 确定模块，用于若没有搜索到所述目标，则确定所述目标被遮挡。7.根据权利要求6所述的装置，其特征在于， 该装置还包括:检测模块，用于对所述连续的视频帧所在视频的镜头进行突变检测；所述确定模块，还用于若突变检测后表明所述镜头未发生变化，则确定所述目标在目标丢失视频中突然消失。8.根据权利要求6或7所述的装置，其特征在于，该装置还包括: 更新模块，用于在跟踪同一目标的过程中，根据不同视频帧上的所述目标的特征信息更新该目标的特征描述模板，所述特征描述模板具有该目标的特征信息，该特征信息用于在视频帧中识别该目标。9.根据权利要求8所述的装置，其特征在于， 该装置还包括:结合模块，用于在确定目标突然消失时，停止更新所述特征描述模板，并将最近一次更新后的所述特征描述模板结合所述视频帧的背景变化得到用于搜索的特征描述模板； 所述搜索模块，还用于根据所述用于搜索的特征描述模板在接下来的连续视频帧中继续搜索所述目标。10.根据权利要求9所述的装置，其特征在于， 所述搜索模块，具体用于在所述接下来的连续视频中，以所述目标丢失视频帧中目标突然消失的区域为搜索区域，根据所述用于搜索的特征描述模板，在接下来的连续视频帧中所述搜索区域里继续搜索所述目标。
【文档编号】G06K9/00GK106096508SQ201610370920
【公开日】2016年11月9日
【申请日】2016年5月30日
【发明人】万晓东
【申请人】无锡天脉聚源传媒科技有限公司