图像处理设备、图像处理方法和程序的制作方法_4

文档序号:9355697阅读:来源:国知局
,面部图像的排列顺序在面部列表201中被频繁改变,从而改善用户查看面部列表201上的各个面部图像的容易性,和易于进行选择操作。
[0224]此外,在选择操作之后,控制单元30允许显示数据生成单元28继续包括面部列表201的显示数据的生成。这样,能够改善当用户期望另外的选择(选择的面部图像的变更)时的操作性,或者在选择操作之后,表现利用面部列表201的各个面部的可辨认性。
[0225]此外,响应对于面部列表201的选择操作,控制单元30允许显示数据生成单元28进行其中在面部列表201上,强调选择的面部图像的显示。这样,用户能够容易地在面部列表201上,辨认选择的被摄对象。用户易于发现选择错误,以致在实际使用中获得便利性。
[0226]此外,在作为运动图像的主图像200的帧前进过程中,根据对于与在选择操作中选择的面部图像对应的被摄对象的面部图像的各帧中的追踪结果,控制单元30指令显示数据生成单元,以致设定其中强调所选被摄对象的面部图像的显示的位置。
[0227]主图像200中的被摄对象的位置在各帧中变动。于是,在作为连续帧或间歇帧的各帧中,控制单元30响应作为所选被摄对象图像的追踪结果的图像中的位置,实现指示符203,特殊边框显示205等。这样,能够始终在作为运动图像的主图像200上,明确地强调和提示选择的被摄对象。
[0228]同时在本例中,作为例子,采用了其中作为候选者提示图像201,垂直地排列面部图像的面部列表。不过,作为候选者提示图像201,可以考虑各种显示方式。图9图解说明其例子。
[0229]图9A图解说明主图像200。这里,当提取了 4个面部图像,作为候选者提示图像201时,可以采用其中如图9B中图解所示,水平排列面部图像的面部列表。
[0230]此外,图9C图解说明不按列表的形式显示的候选者提示图像201。这是其中在主图像200上,扩大面部图像,并使之与各个被摄对象的面部部分结合的例子。各个扩大的面部图像是候选者提示图像201。
[0231]此外,图9D是其中面部图像作为候选者提示图像201被分散在屏幕的不同部分的例子。
[0232]如上所述,候选者提示图像201并不局限于其中顺序排列面部图像的列表形式。采用其中在屏幕上,能够明确地辨认各个面部图像的技术就足够了。
[0233]〈5.作为成像设备的第二实施例的处理例子〉
[0234]下面参考图10和图11,说明作为第二实施例的强调显示的处理例子。
[0235]在第一实施例中,在选择操作之后,候选者提示图像(面部列表)201的显示是连续的。然而,第二实施例是其中如图5C中图解所示,当存在选择操作时,结束面部列表201的显示的例子。
[0236]图10是在成像设备设备10中,进行监视图像显示的时期中的用于强调显示的控制单元30的处理的流程图。例如,控制单元30进行与作为拍摄图像数据的各帧对应的图10的处理。
[0237]在图10中,利用相同的步骤编号指示和图6的处理相同的处理,并省略其说明。和图6的不同之处在于增加了步骤F120,以及作为选择对应处理的步骤F109A的内容。
[0238]首先,类似于第一实施例,进行面部列表201的显示,当用户进行了选择操作时,作为步骤F109A,进行图11的处理。
[0239]图11是其中不进行图7的处理中的步骤F153和F154的例子,其它细节与图7相同。即,在选择操作之后,由于面部列表201的显示结束,从而不进行面部列表201上的强调显示,因此不进行图7中描述的步骤F153和F154。
[0240]响应选择操作,图10的步骤F109A,在图11的步骤F152,开启选择标记,然后在步骤F155和F156,指令主图像200上的强调显示。然后,响应其设定状态,显示数据生成单元28响应图10的步骤F114的指令,生成其中结合指示符203、特殊边框显示205等的显示数据。
[0241]然后,在后续帧之后,归因于“选择中”,处理顺序进入步骤F106、FllO和F120,控制单元30指令显示数据生成单元28关闭候选者提示图像(面部列表)201的显示。
[0242]从而,在步骤F114中在显示数据生成单元28中生成的显示数据是不包括面部列表201的数据。
[0243]结果,在选择操作之后,如图5C中图解所示,面部列表201的显示终止。不过,包括指示符203等的强调显示的主图像200被显示在显示单元34上。
[0244]另外,当在步骤F110,检测到选择取消操作时,在步骤F111,控制单元30关闭选择标记。然后,处理进入步骤F120和F114。
[0245]这种情况下,当处理后续帧时,由于在步骤F102,控制单元30向显示数据生成单元28分派开启候选者提示图像201的显示的指令,步骤F120不被执行,因此在达到步骤F114之后,候选者提示图像ON的设定延续。从而,类似于在选择操作之前,进行面部列表201的显示。此外,在这种情况下,由于选择标记被关闭,并且未达到指示“选择中”的状态,因此处理从图11的步骤F151进入步骤F157,控制单元30指令显示数据生成单元28关闭所有的强调显示。
[0246]结果,当存在选择取消操作时,返回选择之前的显示状态,以致用户能够再次在面部列表201上,选择期望的面部图像。
[0247]在上述第二实施例中,响应对于候选者提示图像(面部列表)201的选择操作,控制单元30指令显示数据生成单元28终止面部列表201的显示。这样,在选择期间,仅仅通过主图像200 (监视图像)中的强调,就能够明确地提示选择的被摄对象,用户能够容易地辨认要关注的被摄对象,和通过完全利用屏幕,辨认整个拍摄的被摄对象。特别地,在不进行重新选择的情况下,在选择期间,不进行面部列表201的显示,以致能够容易地在显示屏幕上,看到摄影对象,对用户来说这是更可取的。
[0248]另外,难以一概而言其中在选择中,进行面部列表201的显示的第一实施例,和其中在选择中,不进行面部列表201的显示的第二实施例中的哪一个对用户来说更可取。它取决于使用情况,用户的偏好,被摄对象选择的情形等。于是,只要用户能够按照用户的设定操作,切换第一实施例的应用和第二实施例的应用就足够了。
[0249]〈6.作为成像设备的第三实施例的处理例子〉
[0250]下面参考图12和图13,说明作为第三实施例的用于强调显示的处理例子。另外,类似于第一实施例,第三实施例的说明涉及其中在选择之后,继续面部列表201的显示的例子。
[0251]第三实施例是在进行选择和强调显示之后的追踪处理中,不可能实现追踪之后,考虑候选者提示图像的显示的处理例子。
[0252]图12是在成像设备10中,进行监视图像显示的时期中,用于强调显示的控制单元30的处理的流程图。例如,控制单元30进行与作为拍摄图像数据的各帧对应的图12的处理。
[0253]在图12中,利用相同的步骤编号指示和图6的处理相同的处理,并省略其说明。和图6的不同之处在于增加了步骤F130-F132,以及步骤F107A的内容。
[0254]另外在图12的处理例子中,基本上,选择候选者检测单元26检测作为选择候选图像的面部图像,响应于此,控制单元30进行候选者提示图像201的显示(步骤F103、F104、F105、F107A 和 F114)。
[0255]对于步骤F107A中的图像叠加条件的指令,进行与后面说明的优先检测大小和优先检测区域的判定对应的条件设定。不过,这是曾经选择的被摄对象的追踪被中断之后的处理,直到最初进行选择操作为止,与图6的步骤F107相同。
[0256]另外,始终对检测的面部图像,进行在图6的处理例子中说明的用于ID分配的追踪。此外,当在面部列表201上,选择某个面部图像之后,按照相同的方式,对该面部图像进行后续帧中的追踪。
[0257]对于图12的处理例子,将参考图13,说明在为了显示面部列表201,进行选择操作之后的处理。
[0258]当用户在某个时间点,为了显示面部列表201,进行选择操作时,在图12的步骤F109的选择对应处理(图7的上述处理)中,选择标记被开启,然后进行强调显示设定。随后,响应步骤F114的最终设定中的显示数据生成指令,生成显示数据。这样,例如,如图13A中图解所示,利用指示符203、特殊边框显示205等,在主图像200上进行强调显示,并利用高度有序的分类,粗线列表框202等,在面部列表201上进一步进行强调显示。另外,在图13A中,假定选择人物HMlO的面部图像。
[0259]在处理后续帧的时间点,因此选择标记被开启,因此控制单元30从步骤F106进入步骤F130。
[0260]控制单元30追踪作为包含所选面部图像的选择候选图像而被不断检测到的面部图像。不过,在步骤F130,控制单元30判断所选被摄对象的面部图像的追踪是否可继续。
[0261]当在当前帧中,继续追踪时,处理从步骤F130进入步骤F110,检查选择取消操作,当存在选择取消操作时,处理进入步骤F114。
[0262]从而,在保持对于所选面部图像的追踪的时候,响应当前帧中的所选面部图像的位置,显示指示符203或特殊边框显示205,从而继续显示强调显示。到目前为止,这和第一实施例相同。
[0263]不过,由于所选被摄对象的面部图像的追踪基于在帧图像中,存在作为面部图像,要辨认的面部图像的假定,因此,归因于诸如被摄对象的移动,摄影方向的变化,或者在被摄对象前面经过的某人之类的情形,追踪可能被中断。
[0264]例如,作为图13B中图解所示的情形,当所选人物HMlO的面部在画面之外时,追踪被中断。
[0265]如上所述,当所选被摄对象的面部图像的追踪被中断时,在步骤F130,控制单元30判定追踪失败,然后进入步骤F131。这种情况下,由于不能进行主图像200上的强调显示,因此控制单元30解除选择状态,从而在步骤F131,关闭选择标记。
[0266]随后,在步骤F132,控制单元30设定优先检测条件。例如,控制单元30设定优先检测大小和优先检测区域。优先检测大小和优先检测区域是用于估计之后进入帧中的面部图像和已选择的人物(对其来说,追踪已被中断的人物)是同一人的条件。
[0267]具体地,优先检测大小指示之前刚刚追踪的所选面部图像的大小信息。优先检测区域指示帧图像中的包括之前刚刚追踪的所选面部图像的区域。例如,刚刚在追踪被中断之前,设定所选面部图像位于的区域,如用图13B的优先选择区域PA所示。
[0268]在进行上述处理之后,由于在从后续帧起的处理中,选择标记被关闭,因此进行步骤F107A、F108和F109。首先,在步骤F109 (图7的步骤F157),控制单元30指令显示数据生成单元28关闭所有的强调显示。这样,显示不被选择,主图像200上的强调显示和面部列表201上的强调显示被关闭。
[0269]此外,在紧接在追踪失败之后的帧中,未检测到到目前为止选择的人物MlO的面部图像(F104和F105)。从而,例如,如在图13B中图解所示,在此时检测到的人物HMll和HM12的面部图像被排列在面部列表201上,人物HMlO的面部图像未保留在面部列表201上。
[0270]这样,获得和选择之前的状态相同的状态。不过,在这种情况下,控制单元30对于在各帧中检测到的选择候选图像(面部图像),进行与步骤F107A中的优先检测条件的判定对应的图像叠加条件指示。S卩,控制单元30判定在步骤F104和F105中管理的面部图像是否满足在步骤F132中设定的优先检测条件,并进行与所述判定对应的图像叠加条件指示。
[0271]具体地,控制单元30判定在追踪失败之后,新出现的面部图像(例如,新近被分配ID的面部图像)在帧中的位置是否在优先检测区域PA中(是否面部图像中的一些面部图像在优先检测区域PA中,或者面部图像位于优先检测区域PA附近)。此外,控制单元30判定新出现的面部图像的大小是否与优先检测大小一致,或者接近优先检测大小。
[0272]这里,例如,当新出现的面部图像对应于优先检测区域和优先检测大小时,控制单元30估计该面部图像以前已进入选择状态,不过是对其来说,追踪已失败的被摄对象的面部图像。随后,作为步骤F107A的图像叠加条件指示,控制单元30指令显示数据生成单元28优先把该面部图像显示在面部列表201上。例如,所述优先显示指示在列表上,首先显示该面部图像。
[0273]随后,在步骤F114,控制单元30指示按当前设定的显示数据的生成。
[0274]在控制单元30的控制下,显示数据生成单元28生成显示数据,以致估计其追踪已失败的面部图像被首先显示在面部列表201上。例如,如图13C中图解所示,首先显示人物HMlO的面部图像。
[0275]随后,当用户在某个时间点,进行在面部列表201上,再次选择人物HMlO的选择操作时,如图13D中图解所示,利用步骤F109的选择对应处理,进行强调显示。
[0276]在如上所述的第三实施例中,在作为运动图像的主图像200的帧前进过程中,当与在选择操作中选择的选择候选图像对应的被摄对象图像的追踪不可行时,控制单元30设定优先检测条件。随后,当选择候选者检测单元26检测到的选择候选图像(面部图像)满足优先检测条件时,控制单元30进行控制,以致选择候选图像被优先显示在候选者提示图像(面部列表)201上。
[0277]当摄影者作为普通用户进行摄影时,存在其中使摄影方向摇晃,或者不能追踪运动中的被摄对象的许多情况。于是,即使在曾经选择被摄对象之后,也存在其中被摄对象在画面之外的情况。此外,存在归因于成像设备10和被摄对象之间的障碍物、人等,所选被摄对象未被拍摄到的情况。
[0278]在这种情况下,由于被摄对象的强调变得不可能,因此强调显示终止。不过,在许多情况下,被摄对象随后会以相同的大小,或者在相同的位置返回画面中。此时,可取的是用户的重新选择较为容易。从而,当估计到所述返回时,允许所述被摄对象被首先显示在面部列表201上,从而实现用户的可识别性,以及之后的选择操作的容易性。
[0279]作为优先显示,除了采用高位置之外,还可进行用于提示选择的显示(例如,加亮显示或闪烁显示列表框)。
[0280]此外,按照优先检测条件,估计新出现的面部图像是否是和先前选择的人物为同一人的面部图像。
[0281]就新出现的面部图像是否是和所选人物为同一人的面部图像的判定来说,可以考虑利用个人识别技术。不过,如上所述,个人识别处理的处理负荷较大,从而个人识别处理难以应用于消费类设备。此外,当摄影条件不正确时,不能获得可靠性。于是,在本实施例中,不进行个人识别处理,而是把在与追踪失败时的情形相似的情形下的面部图像估计为选择的面部图像。这样,利用简单的处理,可实现对于用户的优先提示,获得非常适合于作为消费类设备的成像设备10的处理。
[0282]特别地,由于优先检测条件以刚好在对应于在选择操作中选择的候选者提示图像的被摄对象图像的追踪行不通之前的主图像中的位置或大小为基础,因此能够比较地精确判定新出现的被摄对象图像是否是脱离追踪的被摄对象图像。
[0283]另外,可以多样地考虑判定技术。例如,可以确定大小条件和位置条件之一,或者“满足”条件的范围可相当宽泛。当然,可允许用户设定所述条件。
[0284]此外,把属性加入条件中也是合适的。例如,可控制把“男孩”的属性包含在优先检测条件中,以致能够提高新出现的面部图像是否是和所选面部图像的人物为同一人的面部图像的判定精度。
[0285]另外,当过去一定时间时,包括位置条件、大小条件等的优先检测条件可被清除。同一人物在几乎相同的位置,或者以几乎相同的大小进入画面的高可能性以当前时期是从追踪失败起,未经过许多时间的时期的假设为基础。于是,当经过预定时间时,只要清除在步骤F132中设定的优先检测条件就足够了,然后按照通常条件,进行面部列表201的显示。
[0286]此外,第三实施例中的追踪失败之后的处理适用于类似于第二实施例,在选择期间,未进行面部列表201的显示的处理例子。即,当强调显示因追踪失败而终止,从而再次进行面部列表201的显示时,可以考虑增加优先检测条件的判定。
[0287]<7.作为成像设备的第四实施例的处理例子〉
[0288]下面参考图14,说明作为第四实施例的用于强调显示的处理例子。另外,第四实施例的说明涉及其中类似于第一实施例,在选择之后,继续面部列表201的显示的例子。不过,第四实施例也适用于类似于第二实施例,在选择期间,不显示面部列表201的显示的例子。
[0289]第四实施例是允许显示数据生成单元28利用在选择候选者检测单元26中检测的选择候选图像之中,满足预定条件的选择候选图像,
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1