信息处理装置、信息处理方法以及程序的制作方法
【专利摘要】[问题]为了容易地从拍摄图像中识别用户。[解决方案]提供了一种信息处理装置，配置有：图像获取单元，用于获取拍摄图像；参数获取单元，用于获取与移动终端用户相关联的参数；识别单元，用于基于该参数从拍摄图像中识别用户；以及显示控制单元，其以如下方式执行控制：在用户未被识别单元识别的情况下，将表示识别用户所需的用户行为的信息显示在移动终端上。
【专利说明】信息处理装置、信息处理方法以及程序
【技术领域】
[0001 ] 本发明涉及信息处理装置、信息处理方法以及程序。
【背景技术】
[0002]近年来，已开发了用于指定在所拍摄的图像中示出的人的技术。例如，公开了这样的技术，其中，相对于预先准备的面部图像来检查所拍摄图像中示出的面部区域并且基于检查结果来指定所拍摄的图像中示出的人(例如，参见专利文献I)。根据该技术，在对人的指定成功的情况下打开/关闭房门，因此，能够实现增强的安全性。
[0003]用于指定在所拍摄的图像中示出的人的技术不仅应用于增强安全性，而且还应用于各种场景。
[0004]引用列表
[0005]专利文件
[0006]专利文献I JP2009-3659A
【发明内容】
[0007]技术问题
[0008]然而，在试图从拍摄图像中指定用户的情况中，不一定能成功地指定用户。例如，假设用户可能没有面对成像装置的情形。在这种情况下，在拍摄图像中没有示出用户的特征部分，因此，对用户的指定会失败。因此，期望实现一种从拍摄图像中容易地指定用户的技术。
[0009]问题的解决方案
[0010]根据本公开，提供了一种信息处理装置，包括:图像获取单元，其配置成获取拍摄图像；参数获取单元，其配置成获取与便携式终端的用户相关联的参数；指定单元，其配置成基于该参数从拍摄图像中指定用户；以及显示控制单元，其配置成以如下方式执行控制:在用户未被指定单元指定的情况下，将表示指定用户所需的用户移动的信息显示在便携式终端中。
[0011]根据本公开，提供了一种信息处理方法，包括:获取拍摄图像；获取与便携式终端的用户相关联的参数；基于所述参数从拍摄图像中示出的一个或更多个主体中指定用户；以及以如下方式执行控制:在用户未被指定的情况下，将表示指定用户所需的用户移动的信息显示在便携式终端中。
[0012]根据本公开，提供了一种使计算机用作信息处理装置的程序，包括:图像获取单元，其配置成获取拍摄图像；参数获取单元，其配置成获取与便携式终端的用户相关联的参数；指定单元，其配置成基于该参数从拍摄图像中示出的一个或更多个主体中指定用户；以及显示控制单元，其配置成以如下方式执行控制:在用户未被指定单元指定的情况下，将表示指定用户所需的用户移动的信息显示在便携式终端中。
[0013]发明的有益效果
[0014]根据上述本公开，能够从拍摄图像中容易地指定用户。
【专利附图】
【附图说明】
[0015]图1是例示根据本实施例的简要概述的示图。
[0016]图2是例示根据本实施例的信息处理系统的配置的示图。
[0017]图3是例示根据实施例的信息处理装置的功能配置的示图。
[0018]图4是例示信息处理装置的用户指定功能的简要概述的示图。
[0019]图5是例示当用户指定失败时便携式终端的显示示例的示图。
[0020]图6是例示当用户指定成功时便携式终端的显示示例的示图。
[0021]图7是例示当用户指定失败时便携式终端的显示示例的示图。
[0022]图8是例示当用户指定失败时便携式终端的显示示例的示图。
[0023]图9是例示当用户指定失败时便携式终端的显示示例的示图。
[0024]图10是例示信息处理装置的构图决定功能的简要概述的示图。
[0025]图11是例示在设定第一模式时的显示图像的示图。
[0026]图12是例示在设定第二模式时的显示图像的示图。
[0027]图13是例示确定显示图像的技术的变化的示图。
[0028]图14是例示所确定的显示图像的示例的示图。
[0029]图15是例示信息处理装置的构图决定操作的流程的流程图。
[0030]图16是例示信息处理装置的描绘改变功能的示例的示图。
[0031]图17是例示信息处理装置的描绘改变功能的另一示例的示图。
[0032]图18是例示信息处理装置的描绘改变功能的再一示例的示图。
[0033]图19是例示信息处理装置的描绘改变功能的又一示例的示图。
[0034]图20是例示信息处理装置的描绘改变功能的又一示例的示图。
[0035]图21是例示信息处理装置的描绘改变功能的又一示例的示图。
[0036]图22是例示信息处理装置的描绘改变功能的又一示例的示图。
[0037]图23是例示信息处理装置的描绘改变操作的流程的流程图。
【具体实施方式】
[0038]下文中将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有实质上相同的功能和结构的结构元件用相同的附图标记来表示，并且将省略对这些结构元件的重复的描述。
[0039]此外，在本说明书和附图中，在某些情况下，具有实质上相同的功能的多个结构元件中的每一个通过对相同的附图标记附加不同的字母来区分。然而，当没有必要区分具有实质上相同的功能的结构元件时，这些结构元件通过相同的附图标记来表示。
[0040]首先，将按照下列顺序来描述“【具体实施方式】”。
[0041]1.用户指定功能
[0042]2.构图决定功能
[0043]3.描绘改变功能
[0044]4.结论
[0045]根据本实施例的信息处理装置的功能大致分为用户指定功能、构图指定功能以及描绘改变功能。首先，在描述每个功能之前，将描述作为每个功能的前提的条件。
[0046]图1是例示本实施例的简要概述的视图。如图1中所示，具有便携式终端20的用户U出现在真实空间中。用户U可出现在真实空间中的任何地方。另外，显示图像的功能安装在便携式终端20中，用户U可观看通过便携式终端20显示的屏幕。由设置成与便携式终端20分离的成像装置30来拍摄用户U的图像。不特别限制设置成像装置30的位置。例如，成像装置可设置在建筑中，例如在监视摄像机中，或者可以设置在移动对象中，例如在汽车中。另外，不特别限制成像装置30的种类，但可以是例如红外摄像机等。
[0047]图2例示了根据本实施例的信息处理系统的配置的示图。如图2中所示，信息处理系统I包括信息处理装置10、便携式终端20以及成像装置30。尽管图2中信息处理装置10和便携式终端20经由网络40连接，但连接至网络40的便携式终端20的数量可以不是一个。例如，可存在多个便携式终端20，并且每个便携式终端20可以连接至网络40。
[0048]另外，如图2中所示，信息处理装置10连接至成像装置30。尽管在图2中示出的示例中一个成像装置30被连接至信息处理装置10，但成像装置30的数量可以不是一个。例如，可存在多个成像装置30，每个成像装置30可以连接至信息处理装置10。
[0049]另外，尽管在图2中示出的示例中信息处理装置10配置成与便携式终端20和成像装置30分离，但信息处理装置可以嵌入在便携式终端20中，或者可以嵌入在成像装置30中。由成像装置30拍摄的拍摄图像经由信息处理装置10被提供至便携式终端20，便携式终端20可显示该拍摄图像。信息处理装置10可使用从成像装置30提供的拍摄图像来执行用户指定功能、构图决定功能以及描绘改变功能。
[0050]图3是根据本实施例的信息处理装置10的功能配置的块图。如图3中所示，信息处理装置10包括处理控制单元100、显示控制单元160以及存储单元50。另外，处理控制单元100具有图像获取单元111、参数获取单元112、候选提取单元113、指定单元114、以及认证单元115。图像获取单元111、参数获取单元112、候选提取单元113、指定单元114、以及认证单元115是主要与信息处理装置10的用户指定功能相关联的块。
[0051]另外，处理控制单元100具有识别单元121、条件决定单元122、信息添加单元123、模式设定单元124、构图决定单元125以及图像确定单元126。处理控制单元100是主要与信息处理装置10的构图决定功能相关联的块，进而识别单元121、条件决定单元122、信息添加单元123、模式设定单元124、构图决定单元125以及图像确定单元126是主要与信息处理装置10的构图决定功能相关联的块。
[0052]另外，处理控制单元100具有改变检测单元131和描绘改变单元132。改变检测单元131和描绘改变单元132是主要与信息处理装置10的描绘改变功能相关联的块。
[0053]处理控制单元100和显示控制单元160对应于诸如CPU(中央处理器，CentralProcessing Unit)或 DSP (数字信号处理器,Digital Signal Processor)等处理器。处理控制单元100和显示控制单元160通过执行在存储单元50或其他存储介质中所存储的程序来执行处理控制单元100和显示控制单元160的各种功能。
[0054]存储单元50使用存储介质(例如半导体存储器或硬盘)来存储待由处理控制单元100和显示控制单元160执行的处理的程序和数据。例如，存储单元50存储用于识别对象的特征量词典(feature amount dict1nary)。此外,存储单元50可存储作为对象识别的结果产生的识别结果。尽管在图3中例示的示例中存储单元50配置成嵌入在信息处理装置10中，但存储单元50可配置成与该信息处理装置10分离。
[0055]已描述了相应功能的前提。下文中，将按顺序描述每个功能。
[0056]〈1.用户指定功能>
[0057]首先，将描述信息处理装置10的用户指定功能。图4是例示信息处理装置10的用户指定功能的简要概述的示图。图像获取单元111首先获取由成像装置30拍摄的拍摄图像。在图4中例示的示例中，作为拍摄图像的示例，由图像获取单元111来获取拍摄图像Img，在该拍摄图像Img中图1中所示的真实空间被拍摄。对图像获取单元111获取的拍摄图像进行控制以通过显示控制单元160显示在便携式终端20上。
[0058]根据用户指定功能，根据图像获取单元111获取的拍摄图像中示出的对象来指定用户。不特别限制用户指定的目的。然而，本文中，假设通过信息处理装置10来提供网络服务，并且执行用户指定以允许用户U经由便携式终端20登录进网络服务。
[0059]另外，不特别限制网络服务的种类。然而，本文中假设了允许用户利用完成了对网络服务的登录的便携式终端写入或读取由该用户或其他用户写入的消息的服务。尽管不特别限制指定用户的定时，但可以使用在便携式终端20上执行用户请求用户指定的操作的定时。请求用户指定的操作可以是请求登录进网络服务的操作。
[0060]为了根据在拍摄图像中示出的主体来指定用户，参数获取单元112获取与要被指定的用户相关联的参数。尽管不特别限制参数获取单元112获取参数的定时，但例如可预先从用户的便携式终端20获取参数，或者可以在指定用户时从便携式终端20获取该参数。
[0061]不特别限制参数获取单元112要获取的参数的种类。例如，如图4中所示，参数获取单元112可获取用户的面部图像作为参数P1，并且可获取表示用户的移动的传感器数据作为参数P2。不特别限制拍摄用户的面部图像的装置。例如，用户的面部图像可以是便携式终端20所拍摄的面部图像，或者可以是其他装置所拍摄的面部图像。
[0062]另外，不特别限制检测用户的移动的传感器。检测用户的移动的传感器可以是加速度传感器、接收GPS信号的传感器以及接收从W1-Fi基站发送的无线电波的传感器。另夕卜，检测用户的移动的传感器可以嵌入在便携式终端20中，并且可以安装在用户的身体上。
[0063]在用户被指定单元114指定之前，候选提取单元113会指定用户的候选(步骤Sll)。例如，当通过输入至便携式终端20的用户操作(例如，对触摸面板的触摸操作)指定了在便携式终端20中显示的拍摄图像上的坐标时，参数获取单元112获取该坐标，并且候选提取单元113可将经由坐标而选择的主体(例如，出现在坐标上的主体)指定为用户的候选。通过指定用户的候选，来减少指定用户所必需的工作量。
[0064]指定单元114基于参数获取单元112所获取的参数尝试从拍摄图像中指定用户(步骤S12)。例如，当用户的面部图像被参数获取单元112获取作为参数Pl时，指定单元114可将基于如下检查而提取的主体指定为用户:即，相对于面部图像对图像获取单元111获取的拍摄图像中所示出的主体的面部区域进行检查。例如，指定单元114可将具有用户的面部图像和具有相似度超过阈值的面部区域的主体指定为用户。
[0065]另外，例如，当表示用户的移动的传感器数据作为参数P2被参数获取单元112获取时，指定单元114可将以下主体指定为用户:该主体基于相对于传感器数据对从图像获取单元111获取的拍摄图像中检测到的主体的移动进行检查来提取。例如，指定单元114可以将以下主体指定为用户:在该主体中检测到拍摄图像中的用户移动和相似度超过阈值的传感器数据。另外，当指定了用户的候选时，指定单元114可基于来自用户的候选的参数来指定用户。
[0066]作为指定单元114尝试指定用户的结果，还假定用户未被指定。例如，相似度没有超过对应于上面假定的情形的阈值的情况。因此，当用户未被指定单元114指定时，显示控制单元160控制便携式终端20以在便携式终端20中显示表示指定用户所需的用户移动的信息。根据显示控制单元160的控制，在便携式终端20中显示表示用户移动的信息(步骤S13)。
[0067]图5是例示当用户指定失败时便携式终端20的显示示例的示图。例如，当用户未被指定单元114指定时，显示控制单元160可控制便携式终端20，使得在便携式终端20中显示提示用户将用户的面部转向成像装置的信息。在图5中，示出了这样的示例，其中假设成像装置30是监视摄像机并且显示控制单元160控制便携式终端20使得在便携式终端20中显示表示“请将您的面部转向监视摄像机”的消息Ml。
[0068]将回来参考图4进行描述。当指定单元114指定了用户时，在流程前进至步骤S15之前，认证单元115可对指定单元114指定的便携式终端20执行认证处理(步骤S14)。具体地，例如，如图4中所示，当通过输入至便携式终端20的用户操作来输入口令时，认证单元115可通过确定输入口令是否与预先寄存的口令匹配来确定成功或失败。当认证成功时，流程前进至步骤S15。当认证失败时，可再次执行认证处理，而不是前进至步骤S15。
[0069]当流程前进至步骤S15时，例如，登录进网络服务完成(步骤S15)，并且显示控制单元160控制便携式终端20，使得通过便携式终端20显示拍摄图像和添加信息。根据显示控制单元160的控制，在便携式终端20中显示拍摄图像和添加信息(步骤S16)。尽管不特另IJ限制添加信息，例如，添加信息可以是用户自己或其他用户所写入的消息。
[0070]图6是例示当用户指定成功时便携式终端20的显示示例的示图。例如，当指定单元114指定了用户时，显示控制单元160控制便携式终端20，以便显示拍摄图像和添加信息。图6中示出了这样的示例，其中，显示控制单元160控制便携式终端20，使得另一用户所写入的消息作为添加信息被显示。
[0071]另外，提示用户将其面部转向成像装置的信息不限于图5中示出的示例。图7是例示当用户指定失败时便携式终端20的显示示例的示图。显示控制单元160可控制便携式终端20，以便基于候选提取单元113所提取的用户的候选的位置和预先设定的成像装置30的位置在便携式终端20中显示表示指定用户所需的用户移动的信息。
[0072]例如，如图7中所示，显示控制单元160可以控制便携式终端20，使得便携式终端20利用用户候选的位置作为参考来显示在用户候选所面对的方向上的直线和在成像装置30存在的方向上的直线。另外，如图7中所示，显示控制单元160可控制便携式终端20，使得表示从在用户候选所面对的方向上的直线到在成像装置30存在的方向上的直线的旋转方向的箭头显示在便携式终端20中。另外，如图7中所示，显示控制单元160可控制便携式终端20，使得在便携式终端20中显示消息M2 “向左转”作为用户已看到的表示旋转方向的消息。
[0073]另外，当用户未被指定单元114指定时，可以切换指定用户的技术。图8是例示当用户指定失败时便携式终端20的显示示例的示图。当用户未被指定单元114指定时，显示控制单元160可以控制便携式终端20，使得在便携式终端20中显示表示通过另一技术来指定用户的信息。例如，显示控制单元160可控制便携式终端20，使得在便携式终端20中显示消息M3 “切换了指定用户的技术”作为表示通过另一技术来指定用户的信息。指定单元114可将由另一指定技术所提取的主体指定为用户。
[0074]例如，指定单元114尝试将基于以下检查而提取的主体指定为用户:即，相对于用户的面部图像，对拍摄图像中所示的主体的面部区域来进行检查。在这种情况下，当用户未被指定时，指定单元114会尝试将基于以下检查而提取的主体指定为用户:即，相对于传感器数据，对通过拍摄图像所检测的主体的移动进行检查。另外，可以以相反顺序来尝试用户指定。
[0075]另外，当用户未被指定单元114指定时，可提示用户:使拍摄图像中所示的另一主体的移动与用户的移动之间的差异明显。因此，当从拍摄图像中检测到移出所限定的正常范围的主体时，指定单元114可将该主体指定为用户。
[0076]图9是例示当用户指定失败时便携式终端20的显示示例的示图。例如，当用户未被指定单元114指定时，显示控制单元160可控制便携式终端20，使得在便携式终端20中显示提示用户移动便携式终端20的信息作为表示指定用户所需的用户移动的信息。例如，如图9中所示，显示控制单元160可控制便携式终端20，使得在便携式终端20中显示消息M4 “请移动你的便携式终端”作为提示用户移动便携式终端20的信息。
[0077]如上所述，根据信息处理装置10的用户指定功能，基于与便携式终端的用户相关联的参数来尝试从拍摄图像中指定用户，并且显示控制单元160控制便携式终端20，使得当用户未被指定时在便携式终端20中显示表示指定用户所需的用户移动的信息。因此，预期能够根据拍摄图像容易地指定用户。
[0078]<2.构图决定功能〉
[0079]接下来，将描述信息处理装置10的构图决定功能。图10是例示信息处理装置10的构图决定功能的简要概述的示图。如上面所描述的，当成像装置30拍摄了拍摄图像时，在用户的便携式终端20上显示拍摄图像。用户可观看到在便携式终端20中显示的拍摄图像。本文中假设用户在观看拍摄图像的同时向目的地移动的情形。将描述关于将优选构图作为用户所看到的拍摄图像的决定。
[0080]首先，假设表示用户的目的地的信息。表示用户的目的地的信息可通过输入至便携式终端20的用户操作来输入，并且可以通过便携式终端20所运行的应用来设定。例如，表示用户的目的地的信息描绘在真实空间中的位置处。信息处理装置10获取表示用户的目的地的信息。构图决定单元125基于表示用户的目的地的信息和根据图像获取单元111获取的拍摄图像的用户识别结果来决定构图。构图是示出对象在图像中的理想位置(或对象的理想方向)的示图。
[0081]对用户的识别结果至少包括在真实空间中的用户位置和用户的行进方向。例如，通过识别单元121来获取对用户的识别结果。换言之，识别单元121通过基于拍摄图像而识别用户来获得识别结果。在图10中示出的示例中，在真实空间中的用户位置表示为Pu，用户的行进方向表示为VI，利用用户位置Pu作为参考的用户目的地方向表示为V2。
[0082]例如，当用户位置被识别为识别结果时，构图决定单元125可基于利用用户位置作为参考的用户目的地方向来决定构图。例如，在图10中所示的示例中，构图决定单元125可基于利用用户位置Pu作为参考的用户目的地方向V2来决定构图，例如，当基于V2来决定构图时，构图决定单元125可将以下图像决定为构图:在该图像中包括了在利用用户位置Pu作为参考的方向V2上的区域，该区域比在与利用用户位置Pu作为参考的方向V2相反的方向上的区域更大。如上面所决定的构图的示例在图10中作为K2示出。点C2表示构图K2的中间点。
[0083]另外，例如，当用户的行进方向被识别为识别结果时，构图决定单元125可基于用户的行进方向来决定构图。例如，在图10中示出的示例中，构图决定单元125可基于用户的行进方向Vl来决定构图。例如，当基于Vl来决定构图时，构图决定单元125可将以下图像决定为构图:该图像中包括了在利用用户位置Pu作为参考的方向Vl上的区域，该区域比在与利用用户位置Pu作为参考的方向Vl相反的方向上的区域更大。
[0084]构图决定单兀125可一律基于用户的行进方向Vl来决定构图,可一律基于利用用户位置Pu作为参考的用户目的地方向V2来决定构图，或者可选择地使用上述任意一种决定技术。换言之，当基于用户的行进方向Vl来决定构图的模式是第一模式并且基于利用用户位置Pu作为参考的用户目的地方向V2来决定构图的模式是第二模式时，模式设定单元124可设定这两种模式中的任意一种模式。在这种情况下，构图决定单元125可根据模式设定单元124设定的模式来决定构图。模式可基于输入至便携式终端20的用户操作来设定，或者可以通过便携式终端20所运行的应用来设定。
[0085]图像确定单元126基于构图决定单元125所决定的构图来确定显示图像。例如，图像确定单元126可将符合构图决定单元125所决定的构图的图像确定为显示图像，或者可将可选范围内与构图决定单元125所决定的构图最接近的图像确定为显示图像。显示控制单元160控制便携式终端20，使得图像确定单元126所确定的图像显示在便携式终端20上。
[0086]图11是例示在设定第一模式时的显示图像的示图。例如，当获取了如图10中所示的拍摄图像Img并且通过模式设定单元124设定第一模式时，基于用户的行进方向Vl来决定构图K1。在这种情况下，例如，如图11所示，图像确定单元126可将与构图Kl吻合的图像确定为显示图像D1。另外，构图决定单元125可决定用户出现在中间的构图。如图11中所示，可决定用户出现在与中间间隔预定距离dl的位置处的构图。
[0087]另外，可以决定当前拍摄条件。换言之，条件决定单元122可决定拍摄用户的条件是否准备好，并且当条件决定单元122决定出条件没准备好时信息添加单元123可将表示条件没准备好的信息添加至显示图像。例如，当条件决定单元122决定了能够被拍摄的区域时，信息添加单元123可将表示能够被拍摄的区域的边界的对象添加至显示图像。
[0088]另外，当条件决定单元122决定了在利用用户位置Pu作为参考的用户行进方向Vl上能够被拍摄的区域的边界时，信息添加单元123可将表示能够被拍摄的区域的边界的对象添加至显示图像。由于在图11中已决定了在利用用户位置Pu作为参考的用户行进方向Vl上能够被拍摄的区域的边界，所以将表示能够被拍摄的区域的边界的对象作为Al添加至显示图像D1。替代地，当条件决定单元122决定出用户位置Pu与能够被拍摄的区域的边界之间的距离短于阈值时，信息添加单元123可将表示能够被拍摄的区域的边界的对象添加至显示图像。
[0089]另外，当条件决定单元122决定出拍摄图像的亮度小于阈值，则信息添加单元123可将表示拍摄条件劣化的对象添加至显示图像。尽管通过这样的过程可提示用户改变行进方向，但提供至用户的信息不限于所添加的对象。例如，信息添加单元123可控制便携式终端20以进行振动，并且可控制便携式终端20以产生报警音。
[0090]图12是例示在设定第二模式时的显示图像的示图。例如，当获取了如图10中所示的拍摄图像Img并且模式设定单元124设定了第二模式时，基于利用用户位置Pu作为参考的用户目的地方向V2来决定构图K2。在这种情况下，例如，如图12中所示，图像确定单元126可确定符合构图K2的图像作为显示图像D2。另外，尽管构图决定单元125决定了用户出现在中间的构图，但构图决定单元可决定如图12中所示的用户出现在与中间间隔预定距离d2的位置处的构图。
[0091]迄今为止，图像确定单元126已使用了通过基于构图决定单元125所决定的构图而剪切掉成像装置30拍摄的拍摄图像的一部分来确定显示图像的技术。当成像装置30是一个固定摄像机时，仅采用上述技术。然而，当成像装置30是方向可调摄像机或视角可调摄像机时，或者当提供了多个成像装置30时，可以采用其他技术。
[0092]在这种情况下，固定摄像机意味着拍摄方向和视角不可调的摄像机。方向可调摄像机意味着可移动摄像机，并且可以是具有全景功能(pan funct1n)的摄像机或具有倾斜功能的摄像机。视角可调摄像机意味着能够改变视角的摄像机。图13是例示确定显示图像的技术的变化的示图。如图13所示，当拍摄摄像机30是固定摄像机时，图像确定单元126采用将从拍摄图像选择的区域确定为显示图像的技术。
[0093]另外，如图13中所示，当成像装置30是方向可调摄像机时，图像确定单元126确定提供拍摄图像的成像装置30的拍摄方向，并且将在所确定的拍摄方向上拍摄的拍摄图像确定为显示图像。例如，图像确定单元126基于构图决定单元125决定的构图来确定成像装置30的拍摄方向。特别地，图像确定单元126可将能够拍摄与构图决定单元125所决定的构图最接近的图像的方向确定为成像装置30的拍摄方向。
[0094]另外，如图13所示，当成像装置30是视角可调摄像机时，图形确定单元126确定出提供拍摄图像的成像装置30的视角，并且将在所确定的视角处拍摄的拍摄图像确定为显示图像。例如，图像确定单元126基于构图决定单元125所决定的构图来确定成像装置30的视角。特别地，图像确定单兀126可将能够拍摄与构图决定单兀125所决定的构图最接近的图像的视角确定为成像装置30的视角。
[0095]另外，如图13中所示，当图像获取单元111获取从各个成像装置30提供的拍摄图像时，图像确定单元126将从由各个成像装置30提供的拍摄图像中选择的拍摄图像确定为显示图像。例如，图像确定单元126基于构图决定单元125所决定的构图来将从由各个成像装置30提供的拍摄图像中选择的拍摄图像确定为显示图像。特别地，图像确定单元126可从由各个成像装置30提供的拍摄图像中选择与构图决定单元125所决定的构图最接近的拍摄图像，并且可将选择的拍摄图像确定为显示图像。
[0096]另外，在上述示例中，与构图决定单元125所决定的构图最接近的图像用作显示图像。然而，当仅获取了具有超出图像与构图之间的阈值的差异的图像时，不能确定显示图像。在这种情况下，还假定图像确定单元126难以基于构图决定单元125所决定的构图来确定显示图像。因此，在这种情况下，图像确定单元126可基于除构图之外的检测数据来确定显示图像。
[0097]不特别限制检测数据。例如，图像确定单元126可将在与指定单元114基于传感器数据所指定的用户位置最接近的位置处拍摄的图像确定为显示图像。另外，图像确定单元126可将图像中所示人数最少的图像确定为显示图像，或者可将图像中所示的人密度最小的图像确定为显不图像。此外，图像确定单兀126可将拍摄了最大范围的图像确定为显示图像，或者可将最频繁使用的拍摄图像确定为显示图像。
[0098]另外，当成像装置30不存在等时，还假定拍摄图像不是由图像获取单元111获取。在这种情况下，图像确定单元126可根据表示用户目的地的信息和基于拍摄图像以外的数据所检测的用户位置来确定图像。
[0099]例如，当基于接收GPS信号的传感器所接收的信号来获取用户的位置信息时，图像确定单元126可使用位置信息和表示用户的目的地的信息来从网页等搜索图像。图像可以是绘制的地图，或者可以是拍摄的照片。另外，当通过搜索获取多个图像时，图像确定单元126可将通过合成多个图像而产生的新图像确定为显示图像。
[0100]图14是例示所确定的显示图像的示例的示图。如图14中所示,显示控制单元160可将表示从作为参考的用户位置Pu到用户的目的地的距离的对象Objl，表示到达目的地的估计时间和距目的地的距离的对象0bj2等添加至显示图像D2。
[0101]另外，如图14中所示，显示控制单元160可将表示方位的对象0bj3、表示利用用户位置Pu作为参考的用户目的地方向的对象0bj4等添加至显示图像D2。另外，如图14中所示，显示控制单元160可将表示利用用户位置Pu作为参考的用户目的地方向的对象Obj5添加至用户位置Pu，并且可将表示用户位置Pu的对象Ob j6添加至显示图像D2中的用户位置。
[0102]接下来，将描述信息处理装置10的构图决定操作的流程。图15是例示信息处理装置10的构图决定操作的流程的流程图。如图15中所示，当图像获取单元111没有获取拍摄图像时(在步骤S21中的“否”)，识别单元121根据除拍摄图像之外的数据来识别用户(步骤S22)，并且流程前进至步骤S26。
[0103]另一方面，当图像获取单元111获取了拍摄图像时(步骤S21中的“是”)，识别单元121根据拍摄图像来识别用户(步骤S23)，并且条件决定单元122决定是否准备好拍摄的条件(步骤S24)。当条件决定单元122决定出准备好了拍摄条件时(步骤S24中的“是”)，流程前进至步骤S26。另一方面，当条件决定单元122决定出没有准备好拍摄条件时(步骤S24中的“否”)，信息添加单元123将表示条件没准备好的信息添加至拍摄图像(步骤S25)，并且流程前进至步骤S26。
[0104]当流程前进至步骤S26，模式设定单元124可设定第一模式和第二模式中的任意一种(步骤S26)，并且构图决定单元125基于识别单元121的识别结果根据模式设定单元124所设定的模式来决定构图(步骤S27)。然后图像决定单元126尝试基于构图决定单元125决定的构图来确定显示图像(步骤S28)。
[0105]在这种情况下，当图像确定单元126确定了显示图像时(步骤S29中的“是”)，流程前进至步骤S31。另一方面，当图像确定单元126没有确定显示图像时(步骤S29中的“否”)，图像确定单元126基于除构图之外的检测数据来确定显示图像(步骤S30)，并且流程前进至步骤S31。显示控制单元160控制便携式终端20，使得图像确定单元126所确定的显示图像被显示在便携式终端20上(步骤S31)，并且流程结束。
[0106]如上所述，根据信息处理装置10的构图决定功能，基于表示用户的目的地的信息和根据拍摄图像的用户的识别结果来确定构图。另外，基于所确定的构图来确定显示图像。根据这种控制，可期望针对用户确定具有更高便利性的显示图像。
[0107]〈3.描绘改变功能〉
[0108]接下来，将描述信息处理装置10的描绘改变功能。如上所述，假定，当用户U经由便携式终端20登录进网络服务时，信息处理装置10提供网络服务并且网络服务被提供至便携式终端20。
[0109]不限于用户U登录进网络服务，可由另一用户来执行登录进网络服务。换言之，有可能是拍摄图像中所示的人(下文中，也称为主体)享受网络服务。下文中，将描述容易地发现在拍摄图像中所示的、在网络服务中的主体的状态上的变化的功能。另外，识别单元121可使用与由用户来指定的技术相同的技术来识别在拍摄图像中所示的主体。
[0110]改变检测单元131检测从由图像获取单元111获取的拍摄图像识别出的、在网络服务中的主体的状态上的改变。不特别限制在网络服务中的状态。例如，该状态可以是表示主体的便携式终端是否登录进网络服务的信息。换言之，当改变检测单元131检测到主体的便携式终端已登录进网络服务中时，描绘改变单元132可改变拍摄图像中所示的主体的描绘。
[0111]另外，在网络服务中的状态可以是表示是否在登录进网络服务的同时执行指定处理的信息。换言之，当改变检测单元131检测出在网络服务中的主体的便携式终端的移动满足预定条件时，描绘改变单元132可改变在拍摄图像中所示的主体的描绘。例如，不特别限制预定的条件。例如，预定的条件可以是消息被写入的条件，可以是在预定时间内写入消息的条件。
[0112]当通过改变检测单元131来检测状态上的改变时，描绘改变单元132改变在拍摄图像中所示的主体的描绘。描绘改变单元132可以以任何方式算出(figure out)在拍摄图像中示出的主体的区域。例如，当未示出主体的拍摄图像与示出了主体的拍摄图像之间存在差异时，可找到二者之间的差异区域作为主体的区域。另外，不特别限制对主体的描绘进行改变的方法。
[0113]此外，当指定单元114指定了用户时，描绘改变单元132可通过突出拍摄图像中示出的用户来改变用户的描绘。另外，不特别限制突出用户的方法。显示控制单元160控制便携式终端20，使得可通过使描绘改变单元132改变描绘而获得显示图像显示在便携式终端20上。
[0114]将参考附图来描述突出用户的技术。图16是例示信息处理装置10的描绘改变功能的示例的示图。如图16中所示，描绘改变单元132可通过降低拍摄图像中除用户U以外的主体的清晰度来突出用户U。
[0115]图17是例示信息处理装置10的描绘改变功能的另一示例的示图。如图17中所示，描绘改变单元132可通过突出在拍摄图像中的用户U的轮廓线LI来突出用户U。例如，可通过在拍摄图像中使用户U的轮廓线LI加粗来突出用户U。
[0116]图18是例示信息处理装置10的描绘改变功能的再一示例的示图。如图18中所示，描绘改变单元132可通过改变在拍摄图像中除用户U以外的主体的像素值来突出用户U。例如，可通过降低在拍摄图像中除用户U以外的主体的亮度来突出用户U。
[0117]图19是例示信息处理装置10的描绘改变功能的又一示例的示图。如图19中所示，描绘改变单元132可突出用户U，使得用户U被放大并且被显示在拍摄图像中。另外，如图19中所示，描绘改变单元132在执行了放大显示之后可缩小并且显示用户U。
[0118]图20是例示信息处理装置10的描绘改变功能的又一示例的示图。描绘改变单元132可通过在拍摄图像中在用户的位置处或在用户附近的位置处显示对象来突出用户。可预先定义用户周围的范围。在图20中所示的示例中，描绘改变单元132通过在拍摄图像中将对象Obj8和Obj9添加至用户周围的位置来突出用户U。
[0119]另外，突出用户U的程度可以是恒定不变的，或者可以根据情况而改变。例如，描绘改变单元132可根据在拍摄图像中的用户的尺寸来改变突出用户的程度。图21是例示信息处理装置10的描绘改变功能的又一示例的示图。例如，描绘改变单元132可以按照与用户在拍摄图像中的尺寸降低的程度相同的程度来增加突出用户的程度。
[0120]在图21中所示的示例中，随着用户U的位置远离成像装置30，用户U在拍摄图像中的尺寸更小。因此，描绘改变单元132通过使尺寸小的用户U的轮廓线LO稍粗于尺寸大的用户U的轮廓线LI来增加突出尺寸小的用户U的程度。以此方式，通过按照与用户在拍摄图像中的尺寸降低的程度相同的程度来增加突出用户的程度，能够在拍摄图像中更容易地发现用户。
[0121]另外，用户U在拍摄图像中可能隐藏在其他对象之后。例如，当在拍摄图像中用户的一部分或整个用户通过其他对象隐藏和示出时，则描绘改变单元132可改变突出用户的技术。图22是例示信息处理装置10的描绘改变功能的又一示例的示图。如图22中所示，在拍摄图像中，用户U的一部分被其他对象隐藏。因此，描绘改变单元132通过在拍摄图像中将对象ObjlO添加至用户U周围的位置来改变突出用户U的技术。可预先定义用户U周围的范围。
[0122]接下来，将描述信息处理装置10的描绘改变操作的流程。图23是例示信息处理装置10的描绘改变操作的流程的流程图。如图23中所示，当图像获取单元111没有获取拍摄图像时(步骤S41中的“否”)，流程结束。另一方面，当图像获取单元111获取了拍摄图像时(步骤S41中的“是”)，识别单元121根据拍摄图像来识别主体(步骤S42)。然后，改变检测单元131决定是否检测到在网络服务中的主体的状态上的改变(步骤S43)。
[0123]当改变检测单元131没有检测到在网络服务中的主体的状态上的改变时(步骤S43中的“否”)，流程结束。另一方面，当改变检测单元131检测到在网络服务中的主体的状态上的改变时(步骤S43中的“是”)，描绘改变单元132改变主体的描绘(步骤S44)。显示控制单元160控制可由改变描绘的描绘改变单元132获得的显示图像的显示(步骤S45)，并且流程结束。
[0124]如上所述，根据信息处理装置10的描绘改变功能，检测到根据拍摄图像识别的在网络服务中的主体的状态上的改变。另外，当检测到状态上的改变时，改变在拍摄图像中示出的主体的描绘。根据这种控制，可期望容易地发现在拍摄图像中示出的在网络服务中的主体的状态上的改变。
[0125]<4.结论〉
[0126]如上所述，根据本实施例的信息处理装置10的用户指定功能，提供了信息处理装置10，该信息处理装置10包括:图像获取单元111，其获取拍摄图像；参数获取单元112，其获取与便携式终端20的用户相关联的参数；指定单元114，其基于参数根据拍摄图像来指定用户，以及显示控制单元160，其在用户未被指定单元114指定时控制便携式终端使得表示指定用户所需的用户移动的信息显示在便携式终端20中。
[0127]根据上述配置，当用户未被指定单元114指定时，表示指定用户所需的用户移动的信息由便携式终端20显示，并且已观看到该信息的用户能够进行移动，从而根据拍摄图像来指定用户。因此，可设想根据拍摄图像容易地指定用户。
[0128]另外，根据本实施例的信息处理装置10的构图决定功能，提供了信息处理装置10，该信息处理装置10包括:图像获取单元111，其获取拍摄图像；构图决定单元125，其基于表示用户的目的地的信息和根据拍摄图像的对用户的识别结果来决定构图；以及图像确定单元126，其基于构图决定单元125所决定的构图来确定显示图像。
[0129]根据这样的配置，基于表示用户的目的地的信息和基于拍摄图像的对用户的识别结果来决定构图，并且基于构图来确定显示图像。例如，构图决定单元125基于表示用户位置的信息和表示目的地的信息来决定构图。因此，可设想针对用户确定具有更高便利的显示图像。
[0130]另外，根据本实施例的信息处理装置10的描绘改变功能，提供了信息处理装置10，该信息处理装置10包括:图像获取单元111，其获取拍摄图像；改变检测单元131，其检测根据拍摄图像识别的在网络服务中的主体的状态上的改变；以及描绘改变单元132，其在改变检测单元131检测到状态上的改变时改变在拍摄图像中示出的主体的描绘。
[0131]根据这样一种配置，当检测到在网络服务中的主体的状态上的变化时，改变在拍摄图像中所示的主体的描绘。已观看拍摄图像的用户可根据拍摄图像容易地发现在网络服务中的主体的状态上的改变。
[0132]本领域的技术人员应理解的是，可根据设计需要和其他因素产生各种修改、组合、子组合以及变化，只要它们在所附权利要求书及其等价物的范围内即可。
[0133]另外，例如，已描述了信息处理装置10包括处理控制单元100和显示控制单元160两者的示例。然而，除信息处理装置10之外的装置可具有这些块中的一部分或所有这些块。例如，服务器可具有处理控制单元100中的一部分，而显示控制单元160和便携式终端20可具有剩余的部分。以这种方式，本公开的技术还能够应用于云计算。
[0134]另外，本说明书的信息处理装置10的操作中的每一步不必以流程图中描述的顺序按时间顺序来处理。例如，信息处理装置10的操作中的每一步可以按照与流程图中描述的顺序不同的顺序来处理或者可以并行地处理。
[0135]另外，可创建计算机程序，其使包括在信息处理装置10中的硬件(例如CPU、ROM以及RAM)执行与上述信息处理装置10的配置相同的功能。另外，还可提供其中存储了计算机程序的存储介质。
[0136]另外，本技术还可以配置如下。
[0137](I) 一种信息处理装置，包括:
[0138]图像获取单元，所述图像获取单元配置成获取拍摄图像；
[0139]参数获取单元，所述参数获取单元配置成获取与便携式终端的用户相关联的参数；
[0140]指定单元，所述指定单元配置成基于所述参数根据所述拍摄图像来指定所述用户；以及
[0141]显示控制单元，所述显示控制单元配置成以如下方式执行控制:在所述用户未被所述指定单元指定的情况下，将表示指定所述用户所需的用户移动的信息显示在所述便携式终端中。
[0142](2)根据⑴所述的信息处理装置，
[0143]其中，所述参数获取单元获取所述用户的面部图像作为所述参数，以及
[0144]其中，所述指定单元将基于如下检查而提取的主体识别为所述用户:即，相对于所述用户的面部图像对在所述拍摄图像中所示的面部区域进行检查。
[0145](3)根据⑵所述的信息处理装置，其中，
[0146]在所述指定单元没有指定用户的情况下，所述显示控制单元以如下方式执行控制:将提示用户将面部转向成像装置的信息显示在所述便携式终端中，作为表示指定所述用户所需的用户移动的信息，所述成像装置对所述拍摄图像进行成像。
[0147](4)根据⑴所述的信息处理装置，
[0148]其中，所述参数获取单元获取表示所述用户的移动的传感器数据，作为所述参数，以及
[0149]其中，所述指定单元将基于如下检查而提取的主体指定为所述用户:即，相对于所述传感器数据，对从所述拍摄图像检测的主体移动进行检查。(5)根据(4)所述的信息处理装置，
[0150]其中，在所述指定单元没有指定用户的情况下，所述显示控制单元以如下方式执行控制:将提示所述用户移动所述便携式终端的信息显示在所述便携式终端中，作为表示指定所述用户所需的用户移动的信息。
[0151](6)根据⑴至(5)中任一项所述的信息处理装置，还包括:
[0152]候选提取单元，所述候选提取单元配置成从所述拍摄图像提取用户候选，
[0153]其中，所述指定单元基于所述参数根据所述候选提起单元所提取的用户候选来指定所述用户。
[0154](7)根据(6)所述的信息处理装置，
[0155]其中，所述参数获取单元获取通过来自用户的操作所指派的在所述拍摄图像上的坐标，作为所述参数，以及
[0156]其中，所述候选提取单元提取基于所述坐标而选择的主体，作为所述用户候选。
[0157](8)根据(7)所述的信息处理装置，
[0158]其中，在所述指定单元指定了所述用户的情况下，所述显示控制单元以如下方式执行控制:基于所述候选提取单元所提取的所述用户候选的位置和预先设定的所述成像装置的位置，将表示指定所述用户所需的用户移动的信息显示在所述便携式终端中。
[0159](9)根据⑴至⑶中任一项所述的信息处理装置，
[0160]其中，在所述指定单元没有指定所述用户的情况下，所述显示控制单元以如下方式执行控制:将表示通过另一指定技术来指定所述用户的信息显示在所述便携式终端中，以及
[0161]其中，所述指定单元将通过所述另一指定技术所提取的主体指定为用户。
[0162](10)根据⑴至(9)所述的信息处理装置，还包括:
[0163]认证单元，所述认证单元配置成对所述指定单元所指定的便携式终端执行认证处理。
[0164](11) 一种信息处理方法，包括:
[0165]获取拍摄图像；
[0166]获取与便携式终端的用户相关联的参数；
[0167]基于所述参数从所述拍摄图像中示出的一个或更多个主体中指定所述用户；以及
[0168]以如下方式执行控制:在所述用户未被指定的情况下，将表示指定所述用户所需的用户移动的信息显示在所述便携式终端中。
[0169](12) 一种使计算机用作信息处理装置的程序，包括:
[0170]图像获取单元，所述图像获取单元配置成获取拍摄图像；
[0171]参数获取单元，所述参数获取单元配置成获取与便携式终端的用户相关联的参数；
[0172]指定单元，所述指定单元配置成基于所述参数从所述拍摄图像中示出的一个或更多个主体中指定所述用户；以及
[0173]显示控制单元，所述显示控制单元配置成以如下方式执行控制:在所述用户未被所述指定单元指定的情况下，将表示指定所述用户所需的用户移动的信息显示在所述便携式终端中。
[0174]附图标记列表
[0175]I 信息处理系统
[0176]2 信息处理装置
[0177]20便携式终端
[0178]30成像装置
[0179]40 网络
[0180]50存储单元
[0181]100处理控制单元
[0182]111图像获取单元
[0183]112参数获取单元
[0184]113候选提取单元
[0185]114指定单元
[0186]115认证单元
[0187]121识别单元
[0188]122条件决定单元
[0189]123信息添加单元
[0190]124模式设定单元
[0191]125构图决定单元
[0192]126图像确定单元
[0193]131改变检测单元
[0194]132描绘改变单元
[0195] 160显示控制单元
【权利要求】
1.一种信息处理装置，包括: 图像获取单元，所述图像获取单元配置成获取拍摄图像； 参数获取单元，所述参数获取单元配置成获取与便携式终端的用户相关联的参数； 指定单元，所述指定单元配置成基于所述参数从所述拍摄图像中指定所述用户；以及显示控制单元，所述显示控制单元配置成以如下方式执行控制:在所述用户未被所述指定单元指定的情况下，将表示指定所述用户所需的用户移动的信息显示在所述便携式终端中。
2.根据权利要求1所述的信息处理装置， 其中，所述参数获取单元获取所述用户的面部图像作为所述参数，以及其中，所述指定单元将基于如下检查而提取的主体指定为所述用户:即，相对于所述用户的面部图像，对在所述拍摄图像中所示的面部区域进行检查。
3.根据权利要求2所述的信息处理装置，其中， 在所述指定单元没有指定所述用户的情况下，所述显示控制单元以如下方式执行控制:将提示用户将面部转向成像装置的信息显示在所述便携式终端中，作为表示指定所述用户所需的用户移动的信息，所述成像装置对所述拍摄图像进行成像。
4.根据权利要求1所述的信息处理装置， 其中，所述参数获取单元获取表示所述用户移动的传感器数据作为所述参数，以及其中，所述指定单元将基于如下检查而提取的主体指定为所述用户:即，相对于所述传感器数据，对从所述拍摄图像检测的主体的移动进行检查。
5.根据权利要求4所述的信息处理装置， 其中，在所述指定单元没有指定用户的情况下，所述显示控制单元以如下方式执行控制:将提示所述用户移动所述便携式终端的信息显示在所述便携式终端中，作为表示指定所述用户所需的用户移动的信息。
6.根据权利要求1所述的信息处理装置，还包括: 候选提取单元，所述候选提取单元配置成从所述拍摄图像中提取用户候选， 其中，所述指定单元基于所述参数根据所述候选提取单元所提取的用户候选来指定所述用户。
7.根据权利要求6所述的信息处理装置， 其中，所述参数获取单元获取通过来自所述用户的操作所指派的在所述拍摄图像上的坐标作为所述参数，以及 其中，所述候选提取单元提取基于所述坐标而选择的主体作为所述用户候选。
8.根据权利要求7所述的信息处理装置， 其中，在所述指定单元没有指定所述用户的情况下，所述显示控制单元以如下方式执行控制:基于所述候选提取单元所提取的所述用户候选的位置和预先设定的所述成像装置的位置，将表示指定所述用户所需的用户移动的信息显示在所述便携式终端中。
9.根据权利要求1所述的信息处理装置， 其中，在所述指定单元没有指定所述用户的情况下，所述显示控制单元以如下方式执行控制:将表示通过另一指定技术来指定所述用户的信息显示在所述便携式终端中，以及其中，所述指定单元将通过所述另一指定技术所提取的主体指定为所述用户。
10.根据权利要求1所述的信息处理装置，还包括: 认证单元，所述认证单元配置成对所述指定单元所指定的便携式终端执行认证处理。
11.一种信息处理方法，包括: 获取拍摄图像； 获取与便携式终端的用户相关联的参数； 基于所述参数从所述拍摄图像中示出的一个或更多个主体中指定所述用户；以及以如下方式执行控制:在所述用户未被指定的情况下，将表示指定所述用户所需的用户移动的信息显示在所述便携式终端中。
12.—种使计算机用作信息处理装置的程序，包括: 图像获取单元，所述图像获取单元配置成获取拍摄图像； 参数获取单元，所述参数获取单元配置成获取与便携式终端的用户相关联的参数； 指定单元，所述指定单元配置成基于所述参数从所述拍摄图像中示出的一个或更多个主体中指定所述用户；以及 显示控制单元，所述显示控制单元配置成以如下方式执行控制:在所述用户未被所述指定单元指定的情况下，将表示指定所述用户所需的用户移动的信息显示在所述便携式终端中。
【文档编号】G06F3/01GK104205013SQ201380015453
【公开日】2014年12月10日 申请日期:2013年2月7日 优先权日:2012年3月27日
【发明者】笠原俊一, 繁田修, 铃木诚司, 深泽辽, 森麻纪 申请人:索尼公司