图像处理设备、图像处理方法和程序的制作方法
【专利说明】图像处理设备、图像处理方法和程序
[0001]相关申请的引用
[0002]本申请要求2013年2月28日提交的日本专利申请JP 2013-038795的优先权，该申请的整个内容通过引用包含于此。
技术领域
[0003]本技术涉及进行使用户可以容易地识别图像中的被摄对象的处理的图像处理设备，图像处理方法和程序。
【背景技术】
[0004]近来的数字静态照相机和数字摄像机通常具有面部检测功能，并且具有按照面部位置和区域，最佳地匹配照相机的各种参数(焦距、亮度等)的功能。
[0005]此外，近年来，还提供一种识别个人的功能，当存在多人时，还提供识别是否存在预先登记的期望人物，并优先匹配各种参数(焦距、亮度等)和识别的期望人物的功能。
[0006]对于这种个人识别技术，已活跃地进行了设想安全领域的特定摄影条件(正面面部、照明、大面积等)中以面部图像为对象的研究，在先进研究领域中，存在具有精度非常高的识别能力的多种技术，在基于安全的商用产品中提供了这些技术。
[0007]专利文献I公开一种涉及个人识别的技术。
[0008]专利文献2公开一种进行面部识别，并扩大和显示面部图像的技术。
[0009][引文列表]
[0010][专利文献]
[0011][PTL 1]JP 2012-198781A
[0012][PTL 2]日本专利 N0.4794584
【发明内容】
[0013]然而，在普通用户的静止图像和运动图像的摄影机会，再现拍摄的图像的机会等中，存在其中难以识别要特别关注的被摄对象的情况。例如，当在小学的运动会中进行视频拍摄时，用户通过取景器或监控显示器识别被摄对象，并对该被摄对象进行摄影。然而，在许多情况下，由于用户在许多孩子中认不清他/她的孩子，因此用户不能成功地进行摄影，或者会遗漏要拍摄的场景。
[0014]鉴于上面所述，例如，当应用上述个人识别技术时，能够追踪图像中的特定人物，和使用户可以容易地在被摄对象中找出他/她的孩子。然而实际上，为了实现个人识别技术，高处理能力对算术运算设备来说是必需的；于是，难以在消费类设备中提供个人识别技术。
[0015]此外，即使当提供个人识别技术时，在使用消费类摄像机或数字照相机的情况下，换句话说，在日常的摄影场面中拍摄的面部图像包括与特定的摄影条件相比，技术难度高的许多面部图像(小图像、遮蔽、阴影、非正面面部等)。因此，难以精确地进行个人识别。
[0016]于是，在本技术中，理想的是利用更简单的技术，而不利用个人识别技术，使用户可以容易地在图像中找出要关注的被摄对象。
[0017]按照本公开的实施例，信息处理设备可包括控制装置，所述控制装置:生成显示数据，所述显示数据包括用于显示在显示区的第一区域中的主图像，和在主图像被显示在第一区域中的同时，用于显示在显示区的第二区域中的候选图像的列表，其中候选图像提取自主图像，并且代表主图像中的相应被摄对象；和接收来自用户的输入，以从所述列表中选择一个候选图像，其中根据所述一个候选图像的选择，生成显示数据。
[0018]按照本公开的实施例，信息处理方法可包括利用控制装置，生成显示数据，所述显示数据包括用于显示在显示区的第一区域中的主图像，和在主图像被显示在第一区域中的同时，用于显示在显示区的第二区域中的候选图像的列表，其中候选图像提取自主图像，并且代表主图像中的相应被摄对象；和接收来自用户的输入，以从所述列表中选择一个候选图像，其中根据所述一个候选图像的选择，生成显示数据。
[0019]按照本公开的实施例，非临时性记录介质可记录有可由计算机执行的程序，所述程序可包括显示数据的生成，所述显示数据包括用于显示在显示区的第一区域中的主图像，和在主图像被显示在第一区域中的同时，用于显示在显示区的第二区域中的候选图像的列表，其中候选图像提取自主图像，并且代表主图像中的相应被摄对象；和接收来自用户的输入，以从所述列表中选择一个候选图像，其中根据所述一个候选图像的选择，生成显示数据。
[0020]这样，能够识别选择候选图像，并实现与选择的候选者提示图像对应的候选者提示图像的强调显示。
[0021]按照本技术的实施例的程序是使算术运算处理设备进行上述图像处理方法的各个处理的程序。
[0022]按照本技术，获得能够使用户快速并且容易地找出图像中的要关注的被摄对象的效果。
【附图说明】
[0023]图1是按照本技术的实施例的图像处理设备的方框图。
[0024]图2是按照实施例的图像处理设备的处理的流程图。
[0025]图3是按照实施例的成像设备的方框图。
[0026]图4是按照实施例的显示状态的说明图。
[0027]图5是按照实施例的显示状态的说明图。
[0028]图6是按照第一实施例的显示控制处理的流程图。
[0029]图7是按照第一实施例的选择对应处理的流程图。
[0030]图8是一直到按照实施例的候选者提示图像生成的说明图。
[0031]图9是按照实施例的候选者提示图像示例的说明图。
[0032]图10是按照第二实施例的显示控制处理的流程图。
[0033]图11是按照第二实施例的选择对应处理的流程图。
[0034]图12是按照第三实施例的显示控制处理的流程图。
[0035]图13是与按照第三实施例的追踪处理对应的显示例子的说明图。
[0036]图14是按照第四实施例的显示控制处理的流程图。
[0037]图15是按照第四实施例的另一个显示控制处理例子的流程图。
[0038]图16是按照实施例的再现设备的方框图。
[0039]图17是按照实施例的计算机设备的方框图。
【具体实施方式】
[0040]下面，将按照以下顺序，说明实施例。
[0041]〈1.按照实施例的图像处理设备的结构和处理例子〉
[0042]<2.成像设备的结构>
[0043]〈3.候选者提示图像和选择的被摄对象的强调显示的例子〉
[0044]<4.作为成像设备的第一实施例的处理例子〉
[0045]〈5.作为成像设备的第二实施例的处理例子〉
[0046]<6.作为成像设备的第三实施例的处理例子〉
[0047]<7.作为成像设备的第四实施例的处理例子〉
[0048]<8.对再现设备的应用>
[0049]<9.对程序和计算机设备的应用>
[0050]<10.变形例 >
[0051]〈1.按照实施例的图像处理设备的结构和处理例子〉
[0052]图1图解说明按照实施例的图像处理设备I的结构例子。
[0053]图像处理设备I包括选择候选者检测单元2、显示数据生成单元3和控制单元4。
[0054]选择候选者检测单元2进行在作为运动图像或静止图像的主图像中，检测作为被摄对象图像的选择候选图像的处理。
[0055]运动图像数据或静止图像数据作为图像数据Dg，被提供给选择候选者检测单元2。例如，图像数据Dg包括利用成像设备拍摄的拍摄图像数据，利用再现设备从记录介质再现的再现图像数据，在接收设备中接收的接收图像数据，等等。另外，静止图像数据是对应于一帧的帧图像数据，运动图像数据是基于多个时间连续帧的帧图像数据组。此外，输入图像数据Dg是在显示输出中使用的主图像数据。
[0056]选择候选者检测单元2在图像数据Dg中，检测选择候选图像。在实施例的说明中，例如，选择候选图像被假定为“面部图像”。选择候选者检测单元2在帧图像数据中，检测面部图像，并把所述面部图像设定为选择候选图像Df。
[0057]显示数据生成单元3进行利用作为主图像的图像数据Dg，生成显示数据Ddsp的处理。从显示数据生成单元3输出的显示数据Ddsp被提供给显示设备(未图示)，被显示成图像，从而被用户看到。
[0058]控制单元4允许显示数据生成单元3结合由选择候选者检测单元2检测的选择候选图像Df和图像数据Dg (主图像)，从而生成包括候选者提示图像的显示数据Ddsp。这样，显示设备(未图示)进行其中候选者提示图像被叠加在主图像上的显示。
[0059]另外，候选者提示图像是用于明确地提示一个或多个选择候选图像(面部图像)的图像，例如包括其中排列面部图像的面部列表的图像等。例如，图4B图解说明面部列表201的例子，面部列表201将在下面说明。
[0060]此外，控制单元4监视用户的选择操作信息Ssel。当对于候选者提示图像(例如，面部列表)，进行了用户的选择操作时，控制单元4允许显示数据的生成，所述显示数据包括其中在主图像(图像数据Dg)中，强调与选择的候选者提示图像对应的被摄对象图像的显示。即，控制单元4允许在基于图像数据Dg的显示图像上，进行其中在主图像上，向用户明确提示用户从面部列表中选择的面部的显示。例如，图5A图解说明其中用将在后面说明的指示符203，强调与从面部列表201中选择的选择候选者对应的主图像200中的图像(面部)的例子。
[0061]另外，包括选择候选者检测单元2、显示数据生成单元3和控制单元4的图像处理设备I可用作为算术运算设备的CPU (中央处理器)或DSP (数字信号处理器)实现。
[0062]此外，例如，考虑用CPU等实现控制单元4的功能，考虑用连接到CPU的DSP等，或者它们的协同处理，实现选择候选者检测单元2和显示数据生成单元3的功能。
[0063]图2中说明图像处理设备I的处理例子。
[0064]图2A图解说明当图像数据Dg是运动图像数据时，与作为运动图像的连续的帧图像数据Dg的输入对应的处理。在继续帧图像数据的输入的时候，过程从步骤Fl进入步骤F2。
[0065]选择候选者检测单元2在步骤F2，接收一帧的图像数据Dg，然后在步骤F3，检测选择候选图像。例如，选择候选者检测单元2通过面部识别处理，分析作为主图像的一帧中是否存在面部图像，当存在一个或多个面部图像时，选择候选者检测单元2把面部图像设定为选择候选图像Df。
[0066]按照用户是否选择了选择候选图像(在选择时期中)，使步骤F4的处理分支。在未进行选择的时期中，过程进入步骤F5。
[0067]在步骤F5，进行包括候选者提示图像的显示数据的生成和输出。即，控制单元4允许显示数据生成单元3结合作为主图像的一帧的图像数据Dg和选择候选图像Df，从而生成其中选择候选图像Df例如是排列成面部列表的候选者提示图像的显示数据Ddsp。随后，显示数据生成单元3把显示数据Ddsp输出给显示设备(未图示)。
[0068]随后，在直到用户进行选择操作为止的时期中，过程从步骤F6返回步骤F1。从而，对顺序输入的各个帧图像数据Dg，进行步骤F2、F3和F5。这样，在显示设备上，显示其中候选者提示图像(面部列表)被叠加在作为运动图像的主图像上的图像。用户能够看到面部列表，和选择要关注的被摄对象。
[0069]在步骤F6，控制单元4监视用户的选择操作。当发现用户进行了选择操作时，控制单元4允许过程从步骤F6进入步骤F7，指令显示数据生成单元3生成和输出其中强调选择的被摄对象图像的显示数据。显示数据生成单元3生成和输出其中在此时的帧图像数据Dg之后的主图像上，显著地提示选择的被摄对象的位置的图像。另外，当在步骤F7，生成显示数据时，可以连续地进行候选者提示图像(面部列表)的叠加，或者可以不叠加面部列表，从而不进行面部列表的显示。
[0070]在其中进行选择的时期中，过程从步骤F4进入步骤F7，重复该处理。
[0071]因而，在用户的选择操作之后，其中通过诸如指示符或强调显示之类的技术，强调待用户关注的被摄对象的图像被显示在主图像上，以致用户能够一看就能够识别目标被摄对象在图像中的位置。
[0072]另外，当在选择状态下存在取消操作时，由于在存在下一个选择操作之前，不进行步骤F7的处理，因此强调显示结束，利用图5的处理，进行其中把面部列表叠加在主图像上的显示。
[0073]此外，当帧图像数据的输入结束时，图2A的处理结束。
[0074]图2B图解说明当作为图像数据Dg，输入静止图像时的处理例子。图2B图解说明与作为静止图像数据的一帧的图像数据Dg的输入对应的处理。
[0075]选择候选者检测单元2在步骤F10，接收一帧的图像数据Dg，然后在步骤F11，检测选择候选图像。随后，例如，选择候选者检测单元2通过面部识别处理，分析在图像数据Dg中是否存在面部图像，当存在一个或多个面部图像时，选择候选者检测单元2把面部图像本身设定为选择候选图像Df。
[0076]在步骤F12，进行包括选择候选图像的显示数据的生成和输出。S卩，控制单元4允许显示数据生成单元3结合作为主图像的一帧的图像数据Dg和选择候选图像Df，从而生成其中选择候选图像Df例如是排列成面部列表的候选者提示图像的显示数据Ddsp。随后，显示数据生成单元3把显示数据Ddsp输出给显示设备(未图示)。这样，在显示设备上进行其中把面部列表叠加在静止图像上的显示。
[0077]在步骤F13，控制单元4监视用户的选择操作。当发现用户进行了选择操作时，控制单元4允许过程进入步骤F14，指令显示数据生成单元3生成和输出其中强调选择的被摄对象图像的显示数据。从而，显示数据生成单元3生成作为其中在作为静止图像的主图像(图像数据Dg)上，显著地提示选择的被摄对象的位置的图像的显示数据，并把所述显示数据输出给显示设备。
[0078]这样，其中通过指示符或强调显示之类的技术，强调待用户关注的被摄对象的图像被显示在显示的静止图像上。
[0079]如上所述，在图像处理设备I中，例如，在作为运动图像或静止图像的主图像中，作为选择候选图像，检测面部图像等，把选择候选图像和主图像结合，从而生成显示数据，以致能够容易地在显示上，识别选择候选图像。随后，用户对选择候选图像进行选择操作，以致在主图像上强调，并显著地提示与选择的选择候选图像对应的被摄对象图像。从而，获得能够快速并且容易地从图像中，找出待用户关注的被摄对象的效果。
[0080]此外，按照这种方式，还获得减轻用户的压力的效果。
[0081]图像处理设备I的处理例子被认为在下面说明的各个实施例中，可类似地进行各种变更。
[0082]<2.成像设备的结构>
[0083]下面将举例详细说明其中内含图像处理设备I的成像设备10的结构和操作(候选者提示图像显示和强调显示)。
[0084]图3图解说明按照实施例的成像设备10的结构例子。
[0085]成像设备10是所谓的数字静态照相机或数字摄像机，是进行静止图像或运动图像的拍摄和记录的设备，具有内含于其中的按照实施例的图像处理设备。成像设备10在作为所谓的监视图像(被摄对象监视图像)的运动图像显示中，进行候选者提示图像显示和强调显示。
[0086]此外，采用其中面部图像被设定为选择候选图像的例子，和其中面部列表被显示成候选者提示图像的例子。
[0087]如图3中图解所示，成像设备10包括光学系统11、成像器12、光学系统驱动单元13、传感器单元14、记录单元15、通信单元16、数字信号处理单元20、控制单元30、显示单元34和操作单元35。
[0088]光学系统11具有诸如盖板透镜、变焦透镜或聚焦透镜之类的透镜，和光圈机构。利用所述光学系统11，来自被摄对象的光被收集在成像器12中。
[0089]成像器12例如具有CXD (电荷耦合器件)类或CMOS (互补金属氧化物半导体)类成像元件。
[0090]例如，成像器12对于通过成像元件中的光电转换而获得的电信号，进行CDS (相对双采样)处理、AGC(自动增益控制)处理等，还进行A/D(模/数)转换处理。随后，成像器12把作为数字数据的成像信号输出给后一级的数字信号处理单元20。
[0091]光学系统驱动单元13在控制单元30的控制下，驱动光学系统11的聚焦透镜，从而进行聚焦操作。此外，光学系统驱动单元13在控制单元30的控制下，驱动光学系统11的光圈机构，从而进行曝光调整。此外，光学系统驱动单元13在控制单元30的控制下，驱动光学系统11的变焦透镜，从而进行变焦操作。
[0092]数字信号处理单元20例如是利用DSP等，以图像处理处理器的形式构成的。数字信号处理单元20对来自成像器12的数字信号(拍摄图像数据)，进行各种信号处理。
[0093]例如，数字信号处理单元20包括预处理单元2