检测兴趣区域的检测装置和方法_3

文档序号:9794075阅读:来源:国知局
个连续帧。在实施例中,图像传感器60是照相机,例如,显示于图1中的照相机150。图像处理模块61耦合图像传感器60,以接收关于复活的帧的感测信号S60。图像处理模块61在俘获的帧中选择一个帧以作为参考帧。在一实施例中,参考帧可以是在发生于处理器20开始检测ROI之后的第一帧期间俘获的帧。图像处理模块61将参考帧分成多个子区域。因此,关于参考帧的感测信号S60分别属于参考帧的子区域,且每个子区域的感测信号S60包含由子区域覆盖的像素的颜色信息。颜色信息可以是RGB、YUV、YCrCb、灰度级、红外数据或传感器原始数据,在一实施例中,图像处理模块61用图像传感器的像素配置、多个方形、多个多边形或多个圆形分割参考帧。例如,如图3所示,参考帧3显示包含对象(例如,人)30和背景31的场景,且帧3由方形被分割为子区域,例如,子区域301和302。在另一实施例中,图像处理模块61由超级像素分割参考帧。如图4所示,在对象(例如,人)40和背景41之间有一些边缘。此外,背景41包含具有相对高的亮度的一些部分和具有相对低的亮度的一些部分,这导致了变化亮度的部分之间的颜色差。因此,图像处理模块61通过根据显示于参考帧4中的边缘外观和颜色差确定的超级像素,将参考帧分割为子区域(例如,子区域401和402)。每个子区域对应于一个对象。例如,如4中所示,对应于区域402的对象包含对象40的嘴巴、鼻子、下巴和脸颊。
[0040]在完成参考帧的分割后,对象可以移动进入接下来的帧期间。此时,至少一个子区域的形状和/或位置通过追踪至少一个子区域的对应对象来改变。例如,如图4所示,当对象40向右移动时,子区域402的位置随着对应对象(包含嘴巴、鼻子、下巴和脸颊)的移动而移动。覆盖对象40或位于对象40附近的子区域的形状和/或位置可以随着对应对象的移动而改变。
[0041]当获得参考帧的子区域时,计算模块62对发生于参考帧俘获后的预定时间间隔中的参考帧的每个子区域的感测信号S60执行具体操作,以获得特征。在实施例中,在预定时间间隔中,有若干帧期间。计算模块62根据获得的特征生成关于子区域的特征信号。在实施例中,特征信号是关于对象(人30或40)的生命指征的信号,例如,心率、呼吸率或血氧含量。在下文中,使用关于心率的特征信号是在其中获得的示例来描述具体操作。在此情况下,特征信号被称作“生命指征信号”。由于当血液流过时具体对象的肤色可改变,颜色信息可作为生命指征特征来估计对象的心率。在此情况下,对于每个子区域,计算模块62对对应感测信号执行具体操作以计算涉及对应感测信号在预定时间间隔中的像素的至少一个颜色组分(例如,R、G和/或B组分)的平均值。计算的平均值用作子区域的生命指征特征。根据计算的平均值,计算模块62估计关于心率的特征信号。
[0042]在实施例中,计算模块62估计参考帧所有子区域的特征信号。然而,在其它实施例中,计算模块62可估计参考帧的一些子区域的特征信号。例如,来自子区域的在参考帧中过曝或曝光不足的感测信号的质量通常较差,因为生命指征的细微改变可丢失,并因此,过曝或曝光不足的这些子区域可能对于ROI检测是无效的。因此,计算模块62仅仅估计除了过曝或曝光不足的的子区域的子区域的特征信号。
[0043]然后,对于每个估计的特征信号,识别模块63确定特征信号是否是有效的图像信号。在一实施例中,识别模块63特征信号的质量并根据所评估的质量确定特征信号是否为有效的图像信号。在一个情形中,识别模块63可确定发生在预定时间间隔中的两个邻近帧之间的一个子区域的图像差是否大于预定阈值(被称作“像素域方式”用于质量评估)。当图像差不大于预定阈值时,其表示对象可能没有移动或可能在两个邻近帧期间位移中微小移动,识别模块63确定特征信号的质量是高的并确定特征信号是有效的图像信号;当图像差大于预定阈值,其表示对象可在两个邻近帧期间位中移动更大的位移,识别模块63确定特征信号的质量低并确定特征信号不是有效的图像信号。在另一情形中,识别模块63可确定是否有相对高的峰值发生在预定时间间隔内的一个子区域的特征信号中(被称作“信号域方式”用于质量评估)。当没有相对高的峰值时,其表示对象可具有稳定的特征信号或没有移动或在这些若干连续帧期间移动微小位移,识别模块63确定特征信号的质量高并确定特征信号是有效的图像信号;当存在相对高的峰值时,其表示对象可具有不稳定的特征信号或在这些若干连续帧期间移动更大位移,识别模块63确定特征信号的质量低并确定特征信号不是有效的图像信号。在另外另一情形中,处理器20可经由一些技术将特征信号从时域转换到频域,例如,快速傅里叶变换(FFT)。识别模块63确定频谱能量是否集中在一个频谱频率的小的附近频率范围(被称作“频域方式”用于质量评估)。频率范围是根据由计算模块62获得的特征确定的,例如,心率。当频谱能量的集中度大于预定阈值时,识别模块63确定特征信号的质量高并确定特征信号是有效的图像信号;当频谱能量的集中度不大于预定阈值时,识别模块63确定特征信号的质量低并确定特征信号不是有效的图像信号。识别模块63通过像素域、信号域以及频域方式中的至少一个评估每个特征信号的质量。在实施例中,对于一个子区域,以上定义的方式中的至少一个在完成特征信号的获得后执行。在另一实施例中,对于一个子区域,以上定义的方式中的至少一个在预定时间间隔内的若干帧期间中执行,其中若干帧期间的总长度短于预定时间间隔。即,特征的质量可以在完成特征信号的估计之前预先评估。
[0044]在另一实施例中,对于每个估计的特征信号,识别模块63将特征信号与提前获得的或是已经储存在存储器中的预定参考信号进行比较,并根据比较结果(特征比较)确定特征信号是否为有效的图像信号。当特征信号和预定参考信号之间的差在参考范围内时,识别模块63确定特征信号是有效的图像信号;当特征信号与预定参考信号之间的差在参考范围外时,识别模块63确定第一特征信号不是有效的图像信号。
[0045]在另外另一实施例,对于每个估计的特征信号,识别模块63通过对子区域执行对象检测(例如,皮肤检测、面部检测或胸部检测)或使用对象的位置信息,确定特征信号是否是有效的图像信号。在一些实施例中,识别模块63可执行质量评估、特征比较和对象检测中的至少两个,以确定特征信号是否是有效的图像信号。
[0046]当仅仅一个特征信号确定为有效的图像信号,识别模块63直接识别对应子区域为R0I。在若干特征信号确定为有效的图像信号时,识别模块63合并彼此相邻的对应子区域,以形成合并后的区域并识别合并后的区域为R0I。如果仍然由独立于合并后的区域的子区域,识别模块63识别子区域为另一 R0I。当识别了 ROI后,ROI可以显示于位于电子系统6中或连接到电子系统6的显示器,例如,液晶显示器或触摸面板。
[0047]在图6的实施例中,检测装置6可以由处理器实施,例如,显示于图1中的处理器110。在一实施例中,检测装置6中的每个模块可以由硬件和/或执行一个或多个上述对应功能的软件实施于处理器中,例如,显示于图1中的处理器110。在另一实施例中,存储器耦合到检测装置6。如图7所示,存储器7储存多组指令(或编码)70、71和72,分别对应于显示于图6中的模块的功能。检测装置6耦合到存储器7以载入多组指令70、71和72。当检测装置6执行任何一组指令时,检测装置6中的硬件和/或软件被称作对应模块。例如,当检测装置6执行关于质量评估功能的此组指令时,检测装置6中的硬件和/或软件被称作识别模块63。
[0048]根据以上实施例,当识别至少一个ROI时,ROI可作为用于生命指征测量(例如,对象的心率、呼吸率、血氧含量)、面部识别或照相机自动对焦的区域。
[0049]图8显示追踪装置的示范性实施例。如图8所示,图像追踪装置8包含图像传感器80、检测装置81和追踪模块82。图像传感器80用于从多个帧期间的场景俘获多个连续帧。检测装置81执行与图6的检测装置相同的检测操作以检测R0I。在检测ROI后,追踪模块82在接下来的帧中追踪ROI。
[0050]在一实施例中,追踪模块81可执行至少一个追踪算法以追踪ROI,例如,包含至少一个现存的基于图像的
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1