专利名称：包括目标跟踪功能的成像设备的制作方法
技术领域：
本申请涉及成像设备，其包括目标跟踪功能，用来通过按时间序列捕获的图像跟踪在其中有特定目标出现的区域。
背景技术：
在现有技术中，为了通过按时间序列从成像单元输入的捕获的图像(以下称为，图 像中贞(image frame))跟踪包括特定目标的区域,从第一图像巾贞FO确定目标区域50并通过(through)如图6所示的随后的图像巾贞Fl到Fn跟踪目标区域50。图7A到7C示出跟踪过程的结果的例子。从图7A中的图像帧R)上的目标区域50，获取图7B中的图像帧Fl上的新的目标区域51。然后从目标区域51获取图7C中的图像帧F2上的新的目标区域52。之后，重复同样的过程。存在这样的问题由于目标的姿势(posture)的移动、变形或变化而在跟踪的结果中出现误差，并且该误差随着目标区域的更新而累积。图7C示出跟踪失败的例子，其中目标区域52自第一图像帧的原始目标区域53在很大程度上偏移。此外，跟踪误差可以导致目标区域的尺寸的增大，从而造成跟踪过程中计算量的增大并且延迟处理速度。日本专利申请公开No. 2008-153879公开了一种成像设备，其使用例如运动向量(motion vector)作为跟踪的结果跟踪捕获的图像的图像帧上的目标，并且调整成像单元的扭矩量(torque amount)。然而，这种设备仍旧无法消除影响跟踪结果的跟踪误差。对于另一个例子，日本专利申请公开No. 2009-10453公开了一种技术，通过允许用户在跟踪结果上输入期望的目标点而在不中断跟踪的情况下校正跟踪结果。然而，这种技术产生了如下的问题由于当扩大或缩小跟踪结果时搜索目标区域，用于跟踪过程的计算量变得很大，因此极大程度地延迟处理的速度。
发明内容
本发明旨在提供一种成像设备，其可以以更快的速度、通过按时间序列捕获的图像跟踪在其中出现特定目标的目标区域。根据本发明的一个方面，一种成像设备包括成像单元，所述成像单元捕获对象的图像，并且通过按时间序列捕获的图像跟踪在其中有特定目标出现的区域，所述成像设备包括参数获取单元，其被配置为从成像单元获取摄影参数；目标区域确定单元，其被配置为将包括特定目标的捕获的图像的区域确定为目标区域；跟踪区域调整单元，其被配置为设置用于跟踪区域的跟踪框从而跟踪包括特定目标的目标区域以及基于该摄影参数调整该跟踪框的尺寸；以及跟踪区域搜索单元，其被配置为基于上述捕获的图像的跟踪区域中图像的特征量与按时间序列就在上述图像之前的捕获的图像的目标区域中图像的特征量之间的相似度，在移动尺寸调整过的跟踪框的同时搜索所述捕获的图像中的跟踪区域。优选地，跟踪区域调整单元使用成像单元的焦距和成像距离作为摄影参数。优选地，跟踪区域搜索单元被配置为基于亮度和颜色分量至少一者的频率分布计算图像的特征量。优选地，该成像设备还包括预处理单元，其被配置为在跟踪区域搜索单元搜索跟踪区域之前，基于摄影参数至少对捕获的图像的跟踪区域执行噪声去除处理和亮度校正处理至少一者。优选地，该预处理单元使用成像单元的感光度、焦距和孔径作为摄影参数。根据本发明的另一个方面，一种使用包括成像单元的成像设备的目标跟踪方法，所述成像单元捕获对象的图像用于通过按时间序列捕获的图像跟踪在其中有特定目标出现的区域，所述方法包括从成像单元获取摄影参数的步骤；将包括特定目标的捕获的图像的区域确定为目标区域的步骤；设置用于跟踪区域的跟踪框从而跟踪包括特定目标的目标区域以及基于该摄影参数调整该跟踪框的尺寸的步骤；以及基于上述捕获的图像的跟踪区域中图像的特征量与按时间序列就在上述图像之前的捕获的图像的目标区域中图像的特征量之间的相似度，在移动尺寸调整过的跟踪框的同时搜索所述捕获的图像中的跟踪区域的步骤。
图I是根据本发明的一个实施例的成像设备的框图；图2是成像设备的功能框图；图3示出成像设备的预处理单元所参考的参数映射的例子；图4示出成像设备的跟踪区域搜索单元的搜索操作的例子；图5示出用于成像设备的目标跟踪操作的流程图；图6示出按时间序列捕获的现有技术图像帧的例子；图7A到7C分别示出现有技术目标跟踪图像帧F0、Fl和FN的结果的例子。
具体实施例方式以下，将参照附图详细描述本发明的实施例。图I是根据本发明的一个实施例的成像设备的框图。成像设备I包括光学系统11、机械快门12、电荷耦合器件(CXD) 13、相关双采样(⑶S)电路14、模/数转换器15、马达驱动器(motor driver) 16、时序信号产生器(timing signal generator) 17、图像处理器18、中央处理单元(CPU) 19、随机存取存储器(RAM) 20、只读存储器(ROM) 21、同步动态随机存取存储器(SDRAM) 22、压缩器/解压缩器电路23、存储卡24、操作单元25以及液晶显示器(LCD)26。机械快门13阻止入射光经由光学系统进入CXD 13。CXD 13包括在其上形成有光学图像的成像平面并且将光学图像转换为模拟图像信号。⑶S电路14从由CXD 13转换的模拟图像信号去掉噪声。模/数转换器15将没有噪声的模拟图像信号转换为数字图像信号或图像数据。
马达驱动器16根据来自CPU 19的指令驱动光学系统11改变其位置，并且驱动机械快门12打开或关闭。时序信号产生器17根据来自CPU 19的指令产生时序信号以操作(XD13、⑶S电路14以及模/数转换器15。图像处理器18允许图像数据临时存储在SDRAM 22中，并且进行各种图像处理，诸如YCrCb转换、白平衡调整、对比度校正、边缘增强、图像数据的颜色转换(colortransformation),以及在IXD 26上显示处理过的图像数据。这里，白平衡调整是调整由图像数据表示的图像的色密度。对比度校正是调整由图像数据表示的图像的对比度。边缘增强是调整由图像数据表示的图像的清晰度。颜色转换是调整由图像数据表示的图像的色调。
要操作成像设备I的程序存储在ROM 21中。CPU 19允许使用RAM 20作为工作区域执行ROM 21中的程序用于后面要描述的目标跟踪功能。压缩器/解压缩器电路23根据经由操作单元25输入的指令压缩图像处理器18处理过的图像数据，并将该数据存储在存储卡24中。压缩器/解压缩器电路23还从存储卡24读取图像数据并对其解压缩并输出到图像处理器18.操作单元25包含开关、杠杆、触摸面板等。在本实施例中在LCD 26上提供触摸面板。图2是成像设备I的功能框图。成像设备I包括成像单元30并且被配置为跟踪区域，在该区域中特定目标显示在从成像单元30按时间序列接收的图像帧上。特别地,成像设备I包括参数获取单元31,该参数获取单元从成像单元30获取摄影参数，包括预处理单元32，该预处理单元对图像帧进行预处理，包括目标区域确定单元33，该目标区域确定单元从图像帧将其中有特定目标显示的区域确定为目标区域，包括跟踪区域调整单元34，该跟踪区域调整单元设置用于跟踪区域的跟踪框从而跟踪由目标区域确定单元33确定的区域中的特定目标以及调整该跟踪框的尺寸，包括跟踪区域搜索单元35，该跟踪区域搜索单元搜索用于包括该特定目标的跟踪区域的图像帧，包括成像控制单元36，该成像控制单元基于跟踪区域搜索单元35的搜索结果控制成像单元30，包括图像处理单元37，该图像处理单元对图像帧进行图像处理，还包括图像输出单元38，该图像输出单元输出处理过的图像帧。成像单元30包括光学系统11、机械快门12、CXD 13、⑶S电路14、模/数转换器15、马达驱动器16和时序信号产生器17。根据本实施例，成像单元30被配置为以A t的间隔按时间序列获取Fl (第一个图像帧)到FN (第N个图像帧)的N个图像帧。参数获取单元31包括CPU 19并且从RAM 20获取摄影参数。请注意，摄影参数包括焦距、孔径、光圈值(F-number)、ISO感光度和成像距离。预处理单元32包括CPU 19和图像处理器18，并且基于由参数获取单元31获取的摄影参数对图像帧进行预处理。在本实施例中预处理单元32被配置为进行噪声去除处理。例如，在ROM 21上预存储图3所示的参数映射。参数映射包含关于下述的数据指示成像单元30的焦距和孔径之间关系的光圈值、ISO感光度和噪声去除函数，上述三者是彼此关联的。
噪声去除函数定义成在以不同的光圈值和ISO感光度摄取对象时，使得连续图像帧的噪声率(noise rate)的差基本恒定。即，设置噪声去除函数从而使得光圈值越小且ISO感光度越大，则噪声去除程度越高。在图2中，预处理单元32使用作为摄影参数的、与分别摄取图像帧R)和Fl时获得的光圈值和感光度相关联的噪声去除函数对图像巾贞FO和Fl进行噪声去除处理。预处理单元32以同样的方式对图像帧Fl之后的图像帧进行噪声去除处理。因此，通过适当地去除每个图像帧的噪声，就有可能避免跟踪结果中误差的出现以及由连续图像帧的噪声率的差导致的误差的累积。·可选地，可以在ROM 21中预存储包括成像单元30的光圈值和ISO感光度的参数映射，以及亮度校正函数。预处理单元32可被配置为使用这个参数映射对图像帧进行亮度校正。在这种情况下，有可能避免跟踪结果中误差的出现以及由连续图像帧的亮度的差导致的误差的累积。可选地，可以在ROM 21中预存储包括成像单元30的光圈值和ISO感光度的参数映射、噪声去除函数以及亮度校正函数。预处理单元32可以被配置为使用这个参数映射对图像帧进行噪声去除和亮度校正两种处理。请注意，噪声去除函数和亮度校正函数可以组合为参数映射中的单独的函数。目标区域确定单元33包括CPU19和操作单元25，并且被配置为从图像帧识别在其中出现有特定目标的某个区域。目标区域确定单元33将该区域确定为在图像输出单元38输出的图像上的目标区域,并通过例如操作单元25用矩形框(rectangular frame)环绕该区域。可选地，目标区域确定单元33可以被配置为允许用户通过操作单元25在从图像输出单元38输出的图像上指定(designate) —个单独的点(point),并且将包括该指定的点且显示比其它区域更高的对比度的区域确定为目标区域。在本实施例中，图像帧是包括由目标区域确定单元33确定的目标区域的图像帧。跟踪区域调整单元34包括CPU 19并被配置为设置跟踪区域的跟踪框以跟踪特定目标，以及基于由参数获取单元31获取的、作为摄影参数的成像单元的焦距和成像距离调整该跟踪框的尺寸。该跟踪区域是跟踪在跟踪区域中的特定目标的区域。特别地，跟踪区域调整单元34从当摄取图像帧F(i-l)和F(i)时获得的焦距和成像距离的值计算出前一个的图像帧F(i-l)和当前的图像帧F(i)之间的可变放大倍数，并基于该计算出的可变放大倍数调整跟踪区域的尺寸。跟踪区域搜索单元35包括CPU 19，并被配置为在图4中所示的当前的图像帧F(i)上移动由跟踪区域调整单元34调整过尺寸的跟踪框40的同时，跟踪由跟踪区域确定单元33确定的跟踪区域中的特定目标。特别地，跟踪区域搜索单元35基于前一个图像帧F(i-l)的目标区域的特征量和当前的图像帧F(i)的跟踪区域的特征量，搜索当前的图像帧F(i)中具有最高相似度的区域。在本实施例中，跟踪区域搜索单元35被配置为基于图像亮度的频率分布计算图像的特征量。特别地，其计算前一个图像帧F(i-l)的目标区域中的图像亮度的频率分布(q=[ql，q2，. . . qn])和当前的图像帧F (i)的跟踪区域的图像亮度的频率分布(p=[pl, p2, . . . pn])。此外，跟踪区域搜索单元35基于前一个图像帧F(i-l)的目标区域的尺寸和当前的图像帧F(i)的跟踪区域的尺寸标准化频率分布q和p中的至少一个。跟踪区域搜索单元根据以下的表达式计算相似度Sim
n _
Si!!! = Yu
H=I然后，跟踪区域搜索单元35将具有最大相似度Sim的跟踪区域确定为目标区域。可选地，跟踪区域搜索单元35可以被配置为基于图像的颜色分量(YUV或RGB)而不是亮度的频率分布计算特征量，或基于亮度和颜色分量的频率分布组合计算特征量。成像控制单元36包括CPU 19，并且被配置为控制成像单元30的焦距以聚焦在例如由跟踪区域搜索单元35确定的目标区域上。图像处理单元37包括图像处理器18，并被配置对图像数据执行各种图像处理并且将其输出到图像输出单元38。图像输出单元38包括IXD 26、压缩器/解压缩器器电路23和存储卡24。图像输出单元38被配置为压缩由图像处理单元37处理过的图像数据，将其存储在存储卡24并在IXD 26上显示由该图像数据表示的图像。参照图5描述以上配置的成像设备的目标跟踪操作。当由目标区域确定单元33确定了在其中显示特定目标的区域时开始该操作。首先，在步骤SI，预处理单元32使用当摄取图像帧R)时获得的摄影参数对第一图像帧执行噪声去除处理。在步骤S2，跟踪区域搜索单元35计算图像帧的区域中图像的特征量。当在步骤S3从成像单元30获取了下一个图像帧F (i)时，在步骤S4，预处理单元32使用当摄取图像帧F(i)时获得的摄影参数对图像帧F (i)执行噪声去除处理。下面，在步骤S5，跟踪区域调整单元34使用当摄取图像帧F(i)和F(i_l)时获得摄影参数调整跟踪区域的尺寸从而跟踪在之前的图像帧F(i-l)的区域中的目标。在步骤S6，在移动由跟踪区域调整单元34调整过尺寸的跟踪区域的同时，跟踪区域搜索单元35计算图像帧F(i)的跟踪区域的特征量。在步骤S7，跟踪区域搜索单元35基于这些图像的特征量，计算图像帧F(i-l)的区域中的图像和图像帧F(i)的跟踪区域中的图像的相似度。在步骤S8中，当完成了对整个图像帧F(i)的搜索时，跟踪区域搜索单元35将显示最大近似度的跟踪区域确定为目标区域。在步骤S9，成像控制单元36控制成像单元30的焦距以聚焦在目标区域上。在步骤S10，经由操作单元25给出完成该目标跟踪操作的指令，该操作结束。如果没有该指令，则该操作返回到步骤S3。可选地，在目标跟踪操作的步骤S9之后，跟踪区域搜索单元35可以在基于当前图像帧的目标区域中图像的特征量和之前图像帧的目标区域中图像的特征量计算相似度的同时，扩大或缩小上述目标区域，从而基于计算出的相似度调整图像帧F(i)的目标区域的尺寸。此外，跟踪区域搜索单元35可以被配置为控制图像处理单元37，从而在步骤S9之后具有矩形框，该矩形框指示在LCD 26上显示的图像的目标区域。如上所述，根据本实施例的成像设备使用摄影参数可以调整跟踪区域的尺寸从而跟踪包括特定目标的区域，而无需通过整个图像帧扩大或缩小跟踪的结果。因此，与现有技术相比，其可以通过从成像单元按时间序列输入的捕获的图像，以更快的速度跟踪包括特定目标的区域。此外，根据本实施例的成像设备可以计算跟踪区域中图像的特征量和之前捕获的图像的目标区域中图像的特征量之间的相似度。此外，根据本实施例的成像设备可以根据噪声率或亮度预处理图像数据。虽然已经按照示例性实施例描述了本发明，但是本发明却不限于此。本领域的技术人员可以理解，在不偏离由下述权利要求所限定的本发明的范围内，可以对所述实施例进行各种变化和修改。
权利要求
1.一种成像设备，包括成像单元，所述成像单元捕获对象的图像，并且通过按时间序列捕获的图像跟踪在其中出现特定目标的区域，所述成像设备包括 参数获取单元，其被配置为从成像单元获取摄影参数； 目标区域确定单元，其被配置为将捕获的图像的包括特定目标的区域确定为目标区域； 跟踪区域调整单元，其被配置为设置用于跟踪区域的跟踪框，从而跟踪包括特定目标的目标区域以及基于所述摄影参数调整所述跟踪框的尺寸；以及 跟踪区域搜索单元，其被配置为基于所述捕获图像的跟踪区域中图像的特征量与按时间序列紧接着前述捕获图像之前的捕获图像的目标区域中图像的特征量之间的相似度，在移动尺寸调整过的跟踪框的同时搜索所述捕获图像中的跟踪区域。
2.根据权利要求I所述的成像设备,其中 所述跟踪区域调整单元使用成像单元的焦距和成像距离作为摄影参数。
3.根据权利要求I所述的成像设备,其中 所述跟踪区域搜索单元被配置为基于亮度和颜色分量至少一者中的频率分布计算图像的特征量。
4.根据权利要求I所述的成像设备，还包括 预处理单元，被配置为在跟踪区域搜索单元搜索跟踪区域之前，基于摄影参数至少对捕获的图像的跟踪区域执行噪声去除处理和亮度校正处理至少一者。
5.根据权利要求4所述的成像设备，其中 所述预处理单元使用成像单元的感光度、焦距和孔径作为摄影参数。
6.一种使用包括捕获对象的图像的成像单元的成像设备的目标跟踪方法，用于通过按时间序列捕获的图像跟踪在其中有特定目标出现的区域，所述方法包括下述步骤 从成像单元获取摄影参数； 将包括特定目标的捕获的图像的区域确定为目标区域； 设置用于跟踪区域的跟踪框，从而跟踪包括特定目标的目标区域以及基于该摄影参数调整该跟踪框的尺寸；以及 基于前述捕获图像的跟踪区域中图像的特征量与按时间序列紧接着前述捕获图像之前的捕获图像的目标区域中图像的特征量之间的相似度，在移动尺寸调整过的跟踪框的同时搜索所述捕获的图像中的跟踪区域。
7.根据权利要求6所述的目标跟踪方法，其中 在跟踪区域调整步骤中使用成像单元的焦距和成像距离作为摄影参数。
8.根据权利要求6所述的目标跟踪方法，还包括下述步骤 在跟踪区域搜索步骤中基于亮度和颜色分量至少一者的频率分布计算图像的特征量。
9.根据权利要求6所述的目标跟踪方法，还包括下述步骤 在跟踪区域搜索步骤之前，基于摄影参数至少对捕获的图像的跟踪区域执行噪声去除处理和亮度校正处理至少一者。
10.根据权利要求9所述的目标跟踪方法，其中 使用成像单元的感光度、焦距和孔径作为摄影参数。
全文摘要
成像设备包括成像单元，其捕获对象的图像并且通过按时间序列捕获的图像跟踪在其中有特定目标出现的区域。该设备包括从成像单元获取摄影参数的参数获取单元，包括特定目标的捕获的图像的区域确定为目标区域的目标区域确定单元，设置用于跟踪区域的跟踪框从而跟踪包括特定目标的目标区域以及基于该摄影参数调整该跟踪框的尺寸的跟踪区域调整单元，以及跟踪区域搜索单元，其基于当前的捕获的图像的跟踪区域的特征量与之前捕获的图像的目标区域的特征量之间的相似度，在当移动尺寸调整过跟踪框时搜索捕获的图像中的跟踪区域(对捕获的图像搜索跟踪区域)。
文档编号G06T7/20GK102763405SQ201180009818
公开日2012年10月31日 申请日期2011年2月14日 优先权日2010年2月16日
发明者关海克 申请人:株式会社理光