对象跟踪装置和方法与流程

本发明一般地涉及计算机视觉领域，更具体地，涉及一种目标跟踪装置和方法。

背景技术：

目标跟踪技术用于自动对焦、自动白平衡和自动曝光，以用相机装置拍摄期望的图像和视频。然而，参考图1a，在传统的目标跟踪方法中跟踪输出矩形102(即，跟踪输出区域或跟踪输出框)适合于跟踪目标a的尺寸和形状，尤其当跟踪目标a和障碍物b发生部分重叠，即，跟踪目标a和障碍物b均出现在跟踪输出矩形中时，这种传统的目标跟踪方法容易错误地跟踪相似或相同的目标障碍物b。例如，如果目标跟踪技术用于自动对焦功能，则因为拍摄的图像的对焦区域会是错误的障碍物，所以错误的跟踪结果会导致拍摄模糊不清的图像。

其他方法具有传统目标跟踪方法的输出数据格式。大部分传统的目标跟踪方法的输出信息是矩形，该矩形适合于跟踪目标尺寸和形状。但是对于相机的自动对焦功能，这种矩形是低自动对焦精度的原因。因为矩形信息包含背景区域，自对对焦模块有时会聚焦在跟踪输出矩形内部的背景区域上。例如，参考图2a，将左侧的输入图像进行转换并输出右侧的图像，由于输出图像的跟踪输出矩形中包括多个背景区域(例如，图2a中的5个背景区域)，所以在相机自动对焦时，有时会聚焦在跟踪输出矩形内部的背景区域上。

技术实现要素：

为了解决现有技术中所存在的错误地跟踪相似或相同的目标障碍物、拍摄模糊不清的图像或者自动对焦在跟踪输出矩形内部的背景区域上的技术问题，本发明提出了以下对象跟踪装置和方法。

根据本发明的一方面，提供了一种对象跟踪装置，包括处理器和存储器，处理器包括：图像预处理模块，用于对输入图像的背景区域进行归一化处理，以获得具有固定尺寸的背景区域的归一化的图像；超像素匹配模块，用于使用超像素算法将归一化的图像转换为超像素图像并将超像素图像和参照超像素区域进行匹配，以在超像素图像中找到具有与参照超像素区域相似度高的超像素颜色的匹配区域；以及背景屏蔽模块，用于对具有匹配区域的超像素图像进行屏蔽处理以获得匹配区域之外的背景区域被屏蔽的超像素屏蔽图像。

优选地，图像预处理模块还包括对象概率估计子模块，对象概率估计子模块用于使用前景区域和背景区域的颜色直方图来计算每个像素的对象概率，并且执行均值平移以将前景区域平移至适当位置。

优选地，超像素匹配模块还用于通过应用超像素图像将对象概率转换为超像素级对象概率，超像素级对象概率为具有相同的超像素标记的对象概率的平均值。

优选地，背景屏蔽模块进一步用于：将位于匹配区域外部的超像素标记为超像素屏蔽图像的背景并将背景设置为黑色；当匹配区域的内部的超像素颜色与参照超像素区域的超像素颜色相似时，将位于匹配区域内部的超像素标记为前景并将前景设置为白色；以及当匹配区域的内部的超像素颜色与参照超像素区域的超像素颜色不相似时，将位于匹配区域内部的超像素标记为中景并将中景设置为灰色。

优选地，背景屏蔽模块还用于将超像素屏蔽图应用于超像素级对象概率并且生成屏蔽概率图。

优选地，将超像素屏蔽图应用于超像素级对象概率并且生成屏蔽概率图进一步包括：当超像素屏蔽图像标记为前景时，屏蔽概率图的概率为1；当超像素屏蔽图像标记为中景时，屏蔽概率图的概率具有与对象概率相同的概率；以及当超像素屏蔽图像标记为背景时，屏蔽概率图的概率为0。

优选地，对象区域归一化子模块用于通过与输入图像的背景区域相同的长宽比，将输入图像的背景区域缩放至固定尺寸，以获得具有固定尺寸的背景区域的归一化的图像。

优选地，对象跟踪装置还包括对象区域估计模块，用于求解马尔科夫随机场mrf以生成超像素对象二值图；基于对象二值图计算最终的输出区域；计算输出区域的颜色直方图和先前帧的参照直方图之间的直方图相似度，以判定 跟踪成功；以及存储最终的输出区域中的超像素信息。

优选地，参照超像素区域是先前帧的跟踪对象区域，输入图像的背景区域是输入图像的第一帧中的初始框或在每幅后续图像中的先前帧的跟踪框。

根据本发明的另一方面，提供了一种对象跟踪方法，包括：对输入图像的背景区域进行归一化处理，以获得具有固定尺寸的背景区域的归一化的图像；以及基于使用超像素算法将归一化的图像转换为超像素图像并将超像素图像和参照超像素区域进行匹配，以在超像素图像中找到具有与参照超像素区域的相似度最高的超像素颜色的匹配区域；以及对具有匹配区域的超像素图像进行屏蔽处理以获得匹配区域之外的背景区域被屏蔽的超像素屏蔽图像。

优选地，对象跟踪方法还包括：在对图像的背景区域进行归一化处理之后，使用前景区域和背景区域的颜色直方图来计算每个像素的对象概率，并且执行均值平移以将前景区域平移至适当位置。

优选地，对象跟踪方法还包括：通过应用超像素图像将对象概率转换为超像素级对象概率，超像素级对象概率为具有相同的超像素标记的对象概率的平均值。

优选地，对具有匹配区域的超像素图像进行屏蔽处理进一步包括：将位于匹配区域外部的超像素标记为超像素屏蔽图像的背景并将背景设置为黑色；当匹配区域的内部的超像素颜色与参照超像素区域的超像素颜色相似时，将位于匹配区域内部的超像素标记为前景并将前景设置为白色；以及当匹配区域的内部的超像素颜色与参照超像素区域的超像素颜色不相似时，将位于匹配区域内部的超像素标记为中景并将中景设置为灰色。

优选地，对象跟踪方法还包括将超像素屏蔽图应用于超像素级对象概率并且生成屏蔽概率图。

优选地，将超像素屏蔽图应用于超像素级对象概率并且生成屏蔽概率图进一步包括：当超像素屏蔽图像标记为前景时，屏蔽概率图的概率为1；当超像素屏蔽图像标记为中景时，屏蔽概率图的概率具有与对象概率相同的概率；以及当超像素屏蔽图像标记为背景时，屏蔽概率图的概率为0。

优选地，对图像的背景区域进行归一化处理进一步包括：通过与输入图像的背景区域相同的长宽比，将输入图像的背景区域缩放至固定尺寸，以获得具有固定尺寸的背景区域的归一化的图像。

优选地，对象跟踪方法还包括对象区域估计模块，用于求解马尔科夫随机场mrf以生成超像素对象二值图；基于对象二值图计算最终的输出区域；计算输出区域的颜色直方图和先前帧的参照直方图之间的直方图相似度，以判定跟踪成功；以及存储最终的输出区域中的超像素信息。

优选地，参照超像素区域是先前帧的跟踪对象区域，输入图像的背景区域是输入图像的第一帧中的初始框或在每幅后续图像中的先前帧的跟踪框。

根据本发明的又一方面，提供了一种具有对象跟踪装置的拍摄装置，其特征在于，包括：对象跟踪装置，包括处理器和存储器，处理器包括：图像预处理模块，用于对输入图像的背景区域进行归一化处理，以获得具有固定尺寸的背景区域的归一化的图像；超像素匹配模块，用于使用超像素算法将归一化的图像转换为超像素图像并将超像素图像和参照超像素区域进行匹配，以在超像素图像中找到具有与参照超像素区域相似度最高的超像素颜色的匹配区域；和背景屏蔽模块，用于对具有匹配区域的超像素图像进行屏蔽处理以获得匹配区域之外的背景区域被屏蔽的超像素屏蔽图像；控制模块，用于控制拍照装置自动焦点、自动曝光、和自动白平衡，从对象跟踪装置接收跟踪对象，并生成控制信号；以及图像获取模块，用于从控制模块接收拍摄控制信号，并基于拍摄控制信号获取图像。

优选地，具有对象跟踪装置的拍摄装置还包括：透镜控制模块，用于接收来着控制模块的控制透镜控制信号，并基于透镜控制信号控制透镜的焦距。

本发明的实施例通过生成二值图和目标对象区域的边界矩形以防止自对对焦模块聚焦在输出矩形内部的背景区域上，并且可以稳定地跟踪与相似或相同颜色的障碍物部分重叠的跟踪对象。如果该跟踪方法用于相机的自动对焦功能，则即使跟踪对象与相似或相同颜色的障碍物部分重叠，相机也可以聚焦在正确的跟踪对象上。本发明所提出的方法可以跟踪用户通过相机的图形用户界面gui(graphicaluserinterface)所选择的任何跟踪对象，并且可以生成精确地指示跟踪对象区域的对象二值图。使用该对象二值图，相机可以保持以高精度聚焦在跟踪对象区域上。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a和图1b分别为利用现有技术和本发明所提出的装置或方法进行对象跟踪时的跟踪过程和结果；

图2a是利用现有技术将输入图像转换为具有输出区域(或输出框、输出矩形)的输出图像，以及图2b是利用本发明的装置或方法将输入图像转换为限定矩形的对象二值图；

图3是根据本发明的第一实施例的对象跟踪装置的框图；

图4是根据本发明的第二实施例的对象跟踪装置的框图；

图5是对象区域归一化子模块将输入图像进行归一化的示意图；

图6是对象概率估计子模块的对归一化的图像进行对象概率估计和均值平移的示意图；

图7是基于归一化图像生成超像素图像的示意图；

图8是将像素级对象概率转换为超像素级对象概率的示意图；

图9是超像素匹配单元进行超像素匹配的示意图；

图10是对具有匹配区域的超像素图像进行背景屏蔽的示意图；

图11将超像素级对象概率图转换为屏蔽概率图的示意图；

图12是对象区域估计模块的执行对象区域估计的示意图；

图13为图像数据结构的示意图；

图14为该相邻超像素的消息权重与超像素i和k之间绝对距离之和的曲线图；

图15为根据本发明的第一实施例的对象跟踪方法的流程图；

图16为根据本发明的第二实施例的对象跟踪方法的流程图；

图17为对图像序列进行跟踪的示意图；

图18是根据本发明的实施例的拍摄装置的示意图；

图19是示出根据本发明的实施例的颜色直方图的提取和贝叶斯概率 图的计算；以及

图20是示出根据本发明的实施例的对贝叶斯概率图进行的均值平移的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

参考图1b，在本发明实施例的目标跟踪装置和方法中跟踪输出矩形102(即，跟踪输出区域或跟踪输出框)适合于跟踪目标a的尺寸和形状，即使跟踪目标a和障碍物b发生部分重叠，即，整个障碍物b不会出现在跟踪输出矩形中时，本发明的实施例的目标跟踪方法和装置能够稳定地跟踪目标a，从而避免了错误地跟踪相似或相同的目标障碍物b。

参考图2b，本发明的实施例通过生成二值图和目标对象区域的边界矩形以防止自对对焦模块聚焦在输出矩形内部的背景区域上，并且可以稳定地跟踪与相似或相同颜色的障碍物部分重叠的跟踪对象。

以下将参照附图分别对对象(或跟踪对象或跟踪目标)跟踪装置和对象跟踪方法进行详细描述。

图3是根据本发明的第一实施例的对象跟踪装置的框图。参照图3，对象跟踪装置300包括处理器和存储器(在附图中未示出)。处理器包括：图像预处理模块302，用于对输入图像的背景区域进行归一化处理，以获得具有固定尺寸的背景区域的归一化的图像；以及超像素匹配模块304，用于使用超像素算法将所述归一化的图像转换为超像素图像并将超像素图像和参照超像素区域进行匹配，以在超像素图像中找到具有与参照超像素区域相似度最高的超像素颜色的匹配区域；以及背景屏蔽模块306，用于对具有匹配区域的超像素图像进行屏蔽处理以获得匹配区域之外的背景区域被屏蔽的超像素屏蔽图像。

利用本发明的第一实施例的对象跟踪装置能够在跟踪对象与障碍物重叠的情况下，稳定地跟踪对象，从而克服了跟踪错误等缺陷，与现有技术 相比较，能够更准确地跟踪对象。

图4是根据本发明的第二实施例的对象跟踪装置的框图。参照图3，对象跟踪装置400包括处理器和存储器(在附图中未示出)。处理器包括：图像预处理模块302、超像素匹配模块404、背景屏蔽模块406、对象区域估计模块412。其中，图像预处理模块302包括对象区域归一化子模块408和对象概率估计子模块410。下文中，将对这些模块进行详细描述。

对象区域归一化子模块408用于对输入图像的背景区域进行归一化处理，以获得具有固定尺寸的背景区域的归一化的图像。具体地，对象区域归一化模块108用于通过与输入图像的背景区域相同的长宽比，将输入图像的背景区域缩放至固定尺寸，以获得具有所述固定尺寸的背景区域的归一化的图像。具体地，归一化的图像的背景区域与输入图像的背景区域具有相同的长宽比。输入图像的背景区域是输入图像的第一帧中的初始框或在每幅后续图像中的先前帧的跟踪框。

图5是对象区域归一化子模块将输入图像进行归一化的示意图。下文中将参照附图5，对对象区域归一化子模块进行详细描述。

在对象区域归一化子模块402中，将输入图像的背景区域缩小至固定尺寸。将背景区域限定为第一矩形rfg(或者称为区域或框)和第二矩形rbg，其中，第一矩形rfg是先前帧的对象跟踪矩形。通过在宽度和高度方向上的添加边缘(margin)生成第二矩形rbg。根据以下公式由归一化图像的第一矩形rfg＇的宽度和高度计算边缘。

margin＝(wfg+hfg)/α公式1

xbg＝xfg-margin公式2

ybg＝yfg-margin公式3

wbg＝wfg+2*margin公式4

hbg＝hfg+2*margin公式5

在以上公式1中，xfg、yfg、xbg、ybg分别为第一矩形区域和第二矩形区域的x和y坐标值，α是确定边缘长度的可调节参数。根据矩形rbg确定归一化图像的矩形r′bg的尺寸。矩形r′bg的长宽比与矩形rbg的长宽比相同并且矩形r′bg的最长边(即，宽度)是用户预先定义的固定长度。通过插值方法将矩形rbg的图像数据归一化为矩形r′bg，例如，插值方法包括最 近邻插值法、双线性插值法和双三次插值法等。α的取值范围为3.0-5.0。在对象概率估计单元中，为了获得适当的对象概率根据经验确定该取值范围。如果α太大，则矩形r′bg中的对象概率太大(大部分颜色的概率为1.0)。另一方面，如果α太小，则矩形r′bg中的对象概率太小，无法用作跟踪部件。

该归一化的目的是通过将图像数据缩小至固定尺寸来进行快速运行，并且目标对象区域的归一化用于超像素匹配。因为根据对象尺寸在序列图像中不相同，所以进行归一化，以便于执行超像素匹配。

图像预处理模块402还包括对象概率估计子模块408。对象概率估计子模块408用于使用前景区域和背景区域的颜色直方图来计算每个像素的对象概率，并且执行均值平移以将前景区域平移至适当位置。

图6是对象概率估计子模块的对归一化的图像进行对象概率估计和均值平移的示意图。在对象概率估计子模块410中，通过以下公式来计算对象的概率：

其中，ci：是值为i的颜色，i的取值范围取决于后续图像的颜色空间的大小，例如，在灰度图像中，i的取值为[0,255]，在rgb图像中，i的取值范围为[0,255×255×255]；

obj：表示对象区域(又称为目标区域)；

p(ci)：表示颜色ci的分布概率；

p(ci,obj)：表示颜色ci在对象区域中的分布概率

p(obj|ci)：表示上述两个概率之比，并作为具有颜色ci的像素在整个置信度图中的像素值。

其中，该分布概率之比越大，表明该颜色属于对象的可能性越大。

下文中，将参照附图19描述颜色直方图的提取和贝叶斯概率图的计算。首先将归一化的图像中的某种颜色标记为ci，该颜色对应于颜色直方图中的一个库bin。例如，归一化的图像中的红色、黄色、蓝色或者粉色等。基于计算的该颜色在目标区域中的分布概率绘制目标直方图；基于计算的该颜色背景区域中的分布概率绘制背景直方图。然后通过上述公式6计算该颜色在目标区域中的面积与背景区域中的面积的比值，该比值为ci颜色的贝叶斯概率值。

然后，进行均值平移来获取更精确的对象概率图，以使对象矩形适合当前框的对象位置。在该方法的以下模块中，没有使用均值平移输出的矩形，而是使用基于颜色直方图的对象概率图。图20是示出根据本发明的实施例的对贝叶斯概率图进行的均值平移的示意图。如图20所示，首先获取前一帧(诸如第n-1帧)的贝叶斯概率图；对当前帧(例如，第n帧)的贝叶斯概率图应用前一帧的目标框；在贝叶斯概率图上计算目标框内概率的重心，并更新目标框的位置，使得目标框内的中心与重心重合。同时使用新的目标框重新计算贝叶斯概率图；接下来，重复迭代更新目标框的位置和重新计算贝叶斯概率图直到目标框位置收敛稳定下来才停止移动目标框，然后输出结果。

超像素匹配模块404，用于使用超像素算法将归一化的图像转换为超像素图像并将超像素图像和参照超像素区域进行匹配，以在超像素图像中找到具有与参照超像素区域相似度最高的超像素颜色的匹配区域。参照超像素区域是先前帧的跟踪对象区域。超像素匹配模块404还用于通过应用超像素图像将对象概率转换为超像素级对象概率，超像素级对象概率为具有相同的超像素标记的对象概率的平均值。其中，计算超像素屏蔽图像进一步包括：将位于匹配区域外部的超像素标记为超像素屏蔽图像的背景并将背景设置为黑色；当匹配区域的内部的超像素颜色与参照超像素区域的超像素颜色相似时，将位于匹配区域内部的超像素标记为前景并将前景设置为白色；以及当匹配区域的内部的超像素颜色与参照超像素区域的超像素颜色不相似时，将位于匹配区域内部的超像素标记为中景并将中景设置为灰色。

超像素匹配模块404在功能上可以划分为超像素生成模块和超像素匹配模块。图7是基于归一化图像生成超像素图像的示意图。在超像素生成模块中，通过使用诸如网格接缝(gridseams)超像素的超像素算法来生成超像素图像。这里，为了执行超像素匹配，可以使用超像素图像的宽度和高度可控的超像素算法。生成超像素的目的是为了降低具有与目标对象相同颜色的小背景区域的影响。如果使用对象区域估计的信息，则由于像素级数据，生成多个像素噪声区域。但是通过使用超像素，因此在超像素图像中忽略了小像素噪声区域，所以降低了具有与目标相同颜色的像素照射区域的影响。

根据能够忽略像素噪声的影响的最小超像素尺寸来确定超像素的最优尺寸。在网格接缝的情况下，5×5个像素的正方形网格足以降低像素噪声的影响。生成超像素的其他原因是降低以下模块的计算成本。例如，如果r′bg归一化图像具有300×200个像素，则超像素的图像s(i,j)的尺寸减小至60×40个超像素。数据量减小了25倍。

图8是将像素级对象概率转换为超像素级对象概率的示意图。通过将超像素图像s(i,j)应用于像素级对象概率图像来生成超像素级对象概率图像。因此，对象概率也被转换为超像素级概率sp(i,j)。超像素级概率是在相同的超像素标记下的目标概率的平均值。

图9是超像素匹配单元进行超像素匹配的示意图。在超像素匹配模块中，进行当前帧的超像素图像s(i,j)和先前帧的超像素sref(l,m)的匹配。为了找到匹配区域，计算绝对距离之和sad(sumofabsolutedistance)作为匹配分数。

其中，

其中，(xs,ys):最小绝对距离之和的位置；

xs,ys：分别是左上角的x和y坐标值；

先前帧的参照超像素sref(l,m)的宽度和高度；

矩形中的

在以上进程中，|s(x+l,y+m)-sref(l,m)|是超像素的平均颜色的距离。如果估计的当前帧的超像素颜色与参照帧的超像素颜色sref(l,m)非常相似，则最小的绝对距离之和为零。通过在s(i,j)中窗口扫描sref(l,m)，计算最小绝对距离之和的位置。在超像素中执行的扫描比在像素图像数据中的通常的模板匹配更快。最终，rm是其宽度和高度与sref(l,m)的宽度和高度相同的输出匹配区域。在超像素匹配之后，在参照超像素和匹配超像素之间的颜色距离d(l,m)是超像素平均颜色的距离。这些颜色距离用于接下来的处理。

背景屏蔽模块406，用于对具有匹配区域的超像素图像进行屏蔽处理以获得匹配区域之外的背景区域被屏蔽的超像素屏蔽图像。其中，当超像素屏蔽图像标记为前景时，屏蔽概率图的概率为1；当超像素屏蔽图像标记为中景时，屏蔽概率图的概率具有与对象概率相同的概率；以及当超像素屏蔽图像标记为背景时，屏蔽概率图的概率为0。具体地，将所述超像素屏蔽图应用于所述超像素级对象概率并且生成屏蔽概率图进一步包括：当超像素屏蔽图像标记为前景时，屏蔽概率图的概率为1；当超像素屏蔽图像标记为中景时，屏蔽概率图的概率具有与对象概率相同的概率；以及当超像素屏蔽图像标记为背景时，屏蔽概率图的概率为0。

图10是对具有匹配区域的超像素图像进行背景屏蔽的示意图；图11将超像素级对象概率图转换为屏蔽概率图的示意图。

为了估计smp(l,m)，在第一步骤中计算屏蔽图像sm(l,m)。sm(l,m)具有3种标记：背景、中景和前景。为了确定sm(l,m)的值，首先使用超像素匹配中的匹配区域。可以考虑匹配区域rm外部的超像素不是目标区域，因此，相应的超像素的sm(l,m)被标记为背景。位于rm内部的其他超像素被标记为中景或前景。如果超像素的颜色距离d(l,m)小于阈值并且对应的参照超像素sref(l,m)的标记是前景，则被标记为前景。因为位于匹配超像素的内部的超像素的标记与先前帧的超像素的标记相同的概率高。颜色距离d(l,m)大的其他像素被标记为中景。因为可能由于目标对象的变形，其颜色从先前帧颜色进行改变，所以中景超像素可能是背景区域。

基于在超像素匹配模块中计算的匹配的sad值的值，来确定判定s(i,j)的超像素颜色是否与参照超像素颜色相似。如果sad值大，则相应地将阈值设置为较大。如果sad值小，则将阈值设置为小的值。使用自适应阈值的原因是为了防止从错误的超像素分割推导出不正确的屏蔽标记。颜色距离d(l,m)的值不仅根据序列图像的差异改变，而且根据超像素分割精度而改变改变。如果由于超像素分割的低精度，超像素包含不正确像素，则dd(l,m)取大的值。sad值在rm中是颜色距离的和d(l,m)，该sad值是超像素分割精度和d(l,m)的可靠性的良好的测量值。

为了去除其概率高(由于与目标对象具有相似或相同颜色)的背景区域，sm(i,j)应用于sp(i,j)并且生成屏蔽的概率图smp(i,j)。如果sm(i,j)的 标记为前景，则smp(i,j)的概率为1。如果sm(i,j)标记为中景，则将与sm(i,j)相同的概率用于smp(i,j)的概率中。如果sm(i,j)的标记为背景，则smp(i,j)的概率为0。通过将sm(i,j)应用于sp(i,j)，生成屏蔽的概率图smp(i,j)，屏蔽具有类似颜色的非对象区域。

屏蔽处理在与类似颜色的障碍物部分重叠的情况下尤其有效。类似颜色的障碍物接近目标对象，sp(i,j)中的障碍物的对象概率高。但是通过应用sm(i,j)，去除了具有高对象概率的错误区域。

对象区域估计模块412，用于求解马尔科夫随机场mrf以生成超像素对象二值图；基于对象二值图计算最终的输出矩形区域；计算输出矩形区域的颜色直方图和先前帧的参照直方图之间的直方图相似度，以判定跟踪成功；存储最终的输出区域中的超像素信息。

图12是对象区域估计模块的执行对象区域估计的示意图。以下将参照图12详细描述对象区域估计模块的具体实例。

对象区域估计模块具有4个功能

1)解决mrf问题以获得超像素的对象二值图，包括以下所述的6个步骤。

在对象区域估计模块中，通过输入smp(i,j)超像素概率来估计对象区域sb(i,j)的二值图。sb(i,j)是前景和背景的标记图。如果对象区域是背景标记，对应的超像素属于跟踪对象区域。如果对象区域是前景区域，则对应的超像素属于非跟踪对象区域。

为了估计对象区域的二值图，解决马尔科夫随机场mrf(markovrandfield)问题。mrf是无向图模型并且可以将超像素图像处理为图形结构数据，该图形结构数据具有概率节点和连接边缘。例如，环路信念传播lbp(loopybeliefpropagation)用于获取对象二值图，其中，环路信念传播lbp是mrf问题的最简单解法之一。

在第一步骤中，生成图像数据结构

图13为图像数据结构的示意图。参考图13，图形数据结构由节点node和边缘edge组成。节点包含超像素i的概率pi。边缘是与节点相邻的超像素的指数。通过节点和边缘信息来初始化所有的超像素。

在第二步骤中，计算相邻超像素的消息权重wik

图14为该相邻超像素的消息权重与超像素i和k之间绝对距离之和的曲线图。消息权重表示来自相邻超像素的影响。如果超像素i的颜色和相邻超像素k的颜色相似，则k对i的影响大。这表示如果相邻的超像素i和k具有相同颜色时，可以考虑超像素i和k具有相同的对象区域。

d(ci,ck)＝∑∈rgb|ci-ck|公式9

其中，β:可调节参数

d(ci,ck)是超像素i和k之间绝对距离之和。davg是所有的d(ci,ck)的平均值。权重可以被视为d(ci,ck)和davg的高斯分布。如果d(ci,ck)大，则权重wik低。davg用于控制高斯分布的倾斜度。如果davg小，则权重wik的曲线陡峭(steep)。

在第三步骤中，计算能量

基于pi和wik计算用于标记前景和背景的超像素i的能量。

和是将超像素i标记为前景和背景的能量，较小的能量标记优选地用于进行标记。

在第四步骤中，计算概率

通过发送消息来更新超像素i的概率pi。前景能量值较小，

如果

背景能量值较小，

:如果

在概率更新的以上公式中，γ是确定最大消息量的参数。如果γ小，则 转换大消息量。因此γ是控制lbp快速收敛的参数。

在第五步骤中，计算总能量

计算总能量以判定是否完成消息传送。将总能量定义如下。

在超像素生成模块中由超像素级对象概率来确定阈值。r′bg内部的概率的平均值。

bi是前景(＝1)和背景(＝0)的时间标记。在每次重复的步骤5中，每一个超像素的bi都被计算为估计当前的消息传送状态的稳定性。e是总能量值并且如果所有的bi都接近1或0，则e收敛于稳定状态(0)。

pi′用作下一次重复lbp的输入概率

如果e收敛，则完成lbp循环并且进行到下一步骤。

在第六步骤中，确定最终标记

在总能量收敛之后，基于pi′确定每个超像素的标记li。如果li大于阈值，则将超像素i标记为前景(li＝1)。如果li不大于阈值，则将超像素i标记为背景(li＝0)。

2.基于对象二值图技术最终的输出矩形

在估计对象区域sb(i,j)的二值图之后，计算输出框，用于接下来的框的跟踪输入。在该输出矩形计算中，生成两个候选矩形。然后通过合并两个候选矩形计算输出矩形。

在第一步骤中，生成第一候选矩形

首先，在sb(i,j)图像中计算前景标记的中心位置。然后，将其宽度和高度与先前框的跟踪矩形相同的矩形被应用，使得其中心与前景标记的中心位置相同。该矩形是第一候选矩形。

在第二步骤中，生成第二候选矩形

使用对象二值图信息，计算限制sb(i,j)中的前景区域的矩形。矩形是 第二候选矩形。

在第四步骤中，计算直方图的相似度

基于对象区域归一化子模块生成2个直方图。然后，通过比较2个直方图来计算颜色直方图相似度(候选矩形的直方图和参照直方图)。使用巴氏距离来计算直方图相似度。

在第五步骤中，合并两个候选矩形

将两个候选矩形合并为输出矩形。相似度值用作合并两个候选矩形的权重。以下计算两个候选矩形的权重。

输出矩形的宽度和高度是第一候选矩形和第二候选矩形的加权和。

该合并处理使得跟踪结果非常稳定。第二候选矩形是通过mrf生成的对象二值图的弹性矩形。但是因为超像素分割错误等，通过mrf估计的前景区域有时包含背景。尤其当与第二候选矩形的颜色直方图相比较时，第一候选矩形的颜色直方图更类似于参照颜色直方图。

3.计算直方图相似度

计算输出矩形的颜色直方图和第一帧的参照直方图之间的直方图相似度，以判定跟踪速度。将输出跟踪矩形的置信度值输出为跟踪置信度分数。因此，将参照颜色直方图和输出颜色直方图的颜色直方图的相似度进行比较。直方图相似度测量值为巴氏距离。该相似度值为跟踪置信度分数。如果相似度低于阈值，则跟踪结果被视为错误。具体地，对于巴氏距离来说，该阈值的取值范围为0.8-0.9。如果该值太低，则输出矩形容易移动至背景区域。但是如果该阈值太高，则跟踪容易失败。

4.存储最终输出矩形中的超像素信息。

在最后的步骤中，存储超像素信息用于接下来的框的跟踪处理。sb(i,j)是通过mrf估计的对象二值图。sb(i,j)信息和输出矩形信息被存储至存储器中。位于输出矩形内部的超像素用作接下来的框的超像素匹配模块中的参照超像素sref。

图15为根据本发明的第一实施例的对象跟踪方法的流程图。参照图15，对象跟踪方法包括：在步骤1502中，对输入图像的背景区域进行归一化处理，以获得具有固定尺寸的背景区域的归一化的图像；在步骤1504中，基于使用 超像素算法将归一化的图像转换为超像素图像并将超像素图像和参照超像素区域进行匹配，以在超像素图像中找到具有与参照超像素区域的相似度最高的超像素颜色的匹配区域；以及在步骤1506中，对具有匹配区域的超像素图像进行屏蔽处理以获得匹配区域之外的背景区域被屏蔽的超像素屏蔽图像。其中，参照超像素区域是先前帧的跟踪对象区域，输入图像的背景区域是输入图像的第一帧中的初始框或在每幅后续图像中的先前帧的跟踪框。

图16是根据本发明的第二实施例的对象跟踪方法的流程图。参照图16，对象跟踪方法包括：在步骤1602中，对输入图像的背景区域进行归一化处理以获得具有固定尺寸的背景区域的归一化的图像；在步骤1604中，在对图像的背景区域进行归一化处理之后，使用前景区域和背景区域的颜色直方图来计算每个像素的对象概率，并且执行均值平移以将前景区域平移至适当位置。在步骤1606中，通过应用超像素图像将对象概率转换为超像素级对象概率，超像素级对象概率为具有相同的超像素标记的对象概率的平均值；以及在步骤1608中，将超像素屏蔽图应用于超像素级对象概率并且生成屏蔽概率图。

具体地，生成屏蔽概率图进一步包括：当超像素屏蔽图像标记为前景时，屏蔽概率图的概率为1；当超像素屏蔽图像标记为中景时，屏蔽概率图的概率具有与对象概率相同的概率；以及当超像素屏蔽图像标记为背景时，屏蔽概率图的概率为0。

具体地，通过以下方式生成超像素屏蔽图。具体地，将位于匹配区域外部的超像素标记为超像素屏蔽图像的背景并将背景设置为黑色；当匹配区域的内部的超像素颜色与参照超像素区域的超像素颜色相似时，将位于匹配区域内部的超像素标记为前景并将前景设置为白色；以及当匹配区域的内部的超像素颜色与参照超像素区域的超像素颜色不相似时，将位于匹配区域内部的超像素标记为中景并将中景设置为灰色。

具体地，对图像的背景区域进行归一化处理进一步包括：通过与输入图像的背景区域相同的长宽比，将输入图像的背景区域缩放至固定尺寸，以获得具有固定尺寸的背景区域的归一化的图像。

在进行背景屏蔽之后，还对对象区域进行估计，具体地包括以下步骤：求解马尔科夫随机场mrf以生成超像素对象二值图；基于对象二值图计算最终的输出区域；计算输出区域的颜色直方图和先前帧的参照直方图之间的直方图相似度，以判定跟踪成功；以及存储最终的输出区域中的超像素信息。

图17为对图像序列进行跟踪的示意图。对象跟踪通过相机用户初始化以生成对象特征数据作为目标区域的颜色的参照颜色直方图。

跟踪每个图像序列中的对象，基于参考帧(用户指定的该参照帧，例如，第一帧、第二帧、第三帧等)中的对象特征数据跟踪后续图像的跟踪目标。如果最终输出矩形的直方图与参照帧的直方图相似，则跟踪成功。使用巴氏距离来测量直方图的相似性。

图18是根据本发明的实施例的拍摄装置的示意图。拍摄装置包括数码相机、摄像头、摄像机等。拍摄装置为具有对象跟踪装置的拍摄装置1800。参考图18，拍摄装置1800包括处理器和存储器(在附图18中未示出)。处理器包括：透镜控制模块1802、图像获取模块1804主cpu1806、以及控制模块，例如图18中的af/ae/awb控制模块1810。在一个实施例中，主cpu1806中包括对象跟踪装置。在另一实施例中，对象跟踪装置没有设置在cpu内，而是作为独立装置存在。处理器包括图像预处理模块402，用于对输入图像的背景区域进行归一化处理，以获得具有固定尺寸的背景区域的归一化的图像；超像素匹配模块404，用于使用超像素算法将归一化的图像转换为超像素图像并将超像素图像和参照超像素区域进行匹配，以在超像素图像中找到具有与参照超像素区域相似度最高的超像素颜色的匹配区域；和背景屏蔽模块406，用于对具有匹配区域的超像素图像进行屏蔽处理以获得匹配区域之外的背景区域被屏蔽的超像素屏蔽图像。控制模块1810，用于控制拍照装置自动焦点、自动曝光、和自动白平衡，从对象跟踪装置接收跟踪对象，并生成控制信号。图像获取模块1804，用于从控制模块接收拍摄控制信号，并基于拍摄控制信号获取图像。

具有对象跟踪装置的拍摄装置1800还包括：透镜控制模块1802，用于接收来着所述控制模块的控制透镜控制信号，并基于所述透镜控制信号控制所述透镜的焦距。

采用本发明的实施例能够准确稳定地跟踪对象，通过背景屏蔽的方式从输出区域中排除障碍物，使得拍摄的图像清晰，并且准确的对焦在跟踪输出区域内部的跟踪对象上。

通过生成二值图和目标对象区域的边界矩形以防止自对对焦模块聚焦 在输出矩形内部的背景区域上，并且可以稳定地跟踪与相似或相同颜色的障碍物部分重叠的跟踪对象。如果该跟踪方法用于相机的自动对焦功能，则即使跟踪对象与相似或相同颜色的障碍物部分重叠，相机也可以聚焦在正确的跟踪对象上。本发明所提出的方法可以跟踪用户通过相机的图形用户界面gui(graphicaluserinterface)所选择的任何跟踪对象，并且可以生成精确地指示跟踪对象区域的对象二值图。使用该对象二值图，相机可以保持以高精度聚焦在跟踪对象区域上。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。