图像处理装置、程序和图像处理方法

专利名称：图像处理装置、程序和图像处理方法
技术领域：
本公开涉及图像处理装置、程序和图像处理方法。
背景技术：
近年来，被称为增强现实(AR)的技术已经引起了关注，该技术在通过捕获现实空间获得的图像上重叠信息并向用户呈现作为结果的图像。使用AR技术在图像上重叠的信息是多种类型的。例如，JP 2010-158056A公开了一种将超链接信息附加到输入图像中存在的、在现实空间中移动的对象上并呈现作为结果的图像的技术。

发明内容
但是，当输入图像包含多个应被附加信息的对象时，要显示的信息可能会混杂，并且因此可能损失呈现给用户的输出图像的可理解性。例如，在经由增强现实的图像的用户间通信中，如果不加区别地显示与积极参与通信的用户相关的信息以及与位于周围区域中的另一用户相关的信息，则由于混杂的信息可能妨碍平滑的通信，因此可能发生不容易获知哪个用户发送了哪个信息的情况。考虑到上述，希望提供一种新的改进的图像处理装置、程序和图像处理方法，其可以在信息混杂在增强现实的图像中的情况下以更容易理解的方式呈现信息。根据本公开的实施例，提供了一种图像处理装置，其包括识别单元，被配置用于识别由成像装置捕获的输入图像中存在的多个用户；信息获取单元，被配置用于获取与识别单元识别的每个用户相关联的要显示的显示信息；权重确定单元，被配置用于确定识别单元识别的每个用户的权重；以及输出图像产生单元，被配置用于通过基于权重确定单元确定的每个用户的权重确定与每个用户相关联的显示信息的显示位置并在输入图像上在所确定的显示位置中重叠所述显示信息，来产生输出图像。输出图像产生单元可以确定所述显示信息的所述显示位置，使得与具有较大权重的用户相关联的显示信息距缺省显示位置的位移较小。输出图像产生单元可以确定第一用户的第一显示信息的显示位置，使得斥力和引力处于平衡状态，所述斥力取决于在所述图像中所述第一用户的所述第一显示信息与另一用户的显示信息之间的距离，并且所述引力取决于所述第一用户的权重以及所述第一显示信息距缺省显示位置的位移。权重确定单元可以根据每个用户在所述输入图像中存在的时间长度来确定每个用户的所述权重。信息获取单元还可以获取识别单元识别的每个用户的属性信息；以及权重确定单元可以使用信息获取单元获取的所述属性信息来确定每个用户的所述权重。权重确定单元可以确定每个用户的所述权重，使得属于特定性别或特定年龄组的用户的权重变得大于其他用户的权重。当基于每个用户的所述权重确定的所述显示信息的所述显示位置满足显示方面的制约时，输出图像产生单元可以将所述显示信息布置在所述显示位置中。输出图像产生单元可以基于与每个用户距所述成像装置的距离相对应的参数来确定相互重叠的显示信息中的哪个显示信息要被重叠在前面。当在所述输出图像中第一显示信息与第二显示信息相互重叠时，如果与第一显示信息相关联的用户距所述成像装置的距离短于与第二显示信息相关联的用户距所述成像装置的距离，则输出图像产生单元可以将所述第一显示信息置于所述第二显示信息的前识别单元还可以识别在所述输入图像中存在的每个用户的面部区域的尺寸；以及输出图像产生单元可以使用识别单元识别的每个用户的所述面部区域的所述尺寸作为所述参数。输出图像产生单元可以测量识别单元识别的每个用户在输入图像中存在的时间长度或每个用户的移动速度；以及输出图像产生单元可以根据针对与所述显示信息相关联的所述用户测量的所述时间长度或所述移动速度来设置在所述输入图像上重叠的所述显示信息的透明度。输出图像产生单元可以将在所述输入图像上存在较长时间的用户的所述显示信息的所述透明度设置为较低的水平。输出图像产生单元可以将移动速度较低的用户的所述显示信息的所述透明度设置为较低的水平。输出图像产生单元可以根据每个用户距所述成像装置的距离来确定与每个用户相关联的所述显示信息的显示尺寸。根据本公开的另一实施例，提供了一种程序，该程序使得控制图像处理装置的计算机具有以下功能识别单元，被配置用于识别由成像装置捕获的输入图像中存在的多个用户；信息获取单元，被配置用于获取与识别单元识别的每个用户相关联的要显示的显示信息；权重确定单元，被配置用于确定识别单元识别的每个用户的权重；以及输出图像产生单元，被配置用于通过基于权重确定单元确定的每个用户的所述权重确定与每个用户相关联的所述显示信息的显示位置并在所述输入图像上在所确定的显示位置中重叠所述显示信息，来产生输出图像。输出图像产生单元可以确定所述显示信息的所述显示位置，使得与具有较大权重的用户相关联的显示信息距缺省显示位置的位移较小。输出图像产生单元可以确定第一用户的第一显示信息的显示位置，使得斥力和引力处于平衡状态，所述斥力取决于在所述图像中所述第一用户的所述第一显示信息与另一用户的显示信息之间的距离，并且所述引力取决于所述第一用户的权重以及所述第一显示信息距缺省显示位置的位移。权重确定单元可以根据每个用户在所述输入图像中存在的时间长度来确定每个用户的所述权重。信息获取单元还可以获取识别单元识别的每个用户的属性信息；以及权重确定单元可以使用信息获取单元获取的所述属性信息来确定每个用户的所述权重。根据本公开的又一实施例，提供了一种信息处理方法，其包括识别由成像装置捕获的输入图像中存在的多个用户；获取与每个识别的用户相关联的要显示的显示信息；确定每个识别的用户的权重；基于所述用户的所确定的权重来确定与每个用户相关联的所述显示信息的显示位置；以及通过在所述输入图像上在所确定的显示位置中重叠所述显示信息来产生输出图像。如上所述，在信息混杂在增强现实的图像中的情况下，根据本发明实施例的图像处理装置、程序和图像处理方法允许以更容易理解的方式呈现信息。


图1是示出图像处理系统的概述的示意图；图2是示出利用图1的图像处理系统显示的输出图像的示例的说明图；图3是示出根据第一实施例的图像处理装置的示例性配置的框图；图4是示出用于登记新用户的用户接口的示例的说明图；图5是示出显示对象数据的示例性结构的说明图；图6A是示出显示对象的形状的第一示例的说明图；图6B是示出显示对象的形状的第二示例的说明图；图6C是示出显示对象的形状的第三示例的说明图；图6D是示出显示对象的形状的第四示例的说明图；图7是示出根据第一实施例的显示对象的显示位置的说明图；图8A是示出透明度(transparency)设置处理的示例的说明图；图8B是示出透明度设置处理的另一示例的说明图；图9A是示出层设置处理的示例的第一说明图；图9B是示出层设置处理的示例的第二说明图；图10是示出根据第一实施例的输出图像的示例的说明图；图11是示出根据第一实施例的图像处理的示例性流程的流程图；图12是示出根据第二实施例的图像处理装置的示例性配置的框图；图13是示出权重确定处理的示例的说明图；图14A是示出显示位置确定处理的第一示例的第一说明图；图14B是示出显示位置确定处理的第一示例的第二说明图；图14C是示出显示位置确定处理的第一示例的第三说明图；图15是示出显示位置确定处理的第二示例的说明图；图16是示出根据第二实施例的输出图像的示例的说明图；图17是示出根据第二实施例的图像处理的示例性流程的流程图；图18是示出根据第二实施例的显示位置确定处理的第一示例性流程的流程图；图19是示出根据第二实施例的显示位置确定处理的第二示例性流程的流程图。
具体实施例方式以下，将参考附图详细地描述本公开的优选实施例。注意，在本说明书和附图中， 用相同的附图标记来标记具有实质上相同的功能和结构的构成要素，并且省略了对这些构成要素的重复说明。根据本公开实施例的图像处理装置可以包括识别单元，被配置用于识别由成像装置捕获的输入图像中存在的多个用户；信息获取单元，被配置用于获取与所述识别单元识别的每个用户相关联的要显示的显示信息；权重确定单元，被配置用于确定所述识别单元识别的每个用户的权重；以及输出图像产生单元，被配置用于通过以下方式来产生输出图像基于所述权重确定单元确定的每个用户的所述权重来确定与每个用户相关联的所述显示信息的显示位置，并在所述输入图像上在所确定的显示位置中重叠所述显示信息。根据本公开实施例的图像处理方法可以包括识别由成像装置捕获的输入图像中存在的多个用户；获取与每个识别的用户相关联的要显示的显示信息；确定每个识别的用户的权重；基于每个用户的所确定的权重来确定与所述用户相关联的所述显示信息的显示位置；以及通过在所述输入图像上在所确定的显示位置中重叠所述显示信息来产生输出图像。根据本公开实施例的图像处理装置可以包括识别单元，被配置用于识别由成像装置捕获的输入图像中存在的多个用户；信息获取单元，被配置用于获取与所述识别单元识别的每个用户相关联的要显示的显示信息；以及输出图像产生单元，被配置用于通过在输入图像上在缺省显示位置中重叠所述显示信息来产生输出图像。根据本公开实施例的图像处理方法可以包括识别由成像装置捕获的输入图像中存在的多个用户；获取与每个识别的用户相关联的要显示的显示信息；以及通过在所述输入图像上在缺省显示位置中重叠所述显示信息来产生输出图像。将根据如下顺序来描述“具体实施方式
”1.系统概述2.第一实施例的描述2-1.图像处理装置的示例性配置2-2.显示对象的属性2-3.输出图像的示例2-4.处理流程2-5.第一实施例的结论3.第二实施例的描述3-1.图像处理装置的示例性配置3-2.输出图像的示例3-3.处理流程3-4.第二实施例的结论<1.系统概述〉首先，将参考图1描述根据本发明的实施例的图像处理系统的概述。图1是示出根据本公开的一个实施例的图像处理系统1的概述的示意图。参考图1，图像处理系统1包括图像处理装置100、数据库102、成像装置104和显示装置106。图像处理装置100连接到数据库102、成像装置104和显示装置106。图像处理装置100可以是例如诸如PC(个人计算机)或工作站之类的通用计算机或用于特定目的的专用计算机。如下详细所述，图像处理装置100获取由成像装置104捕获的图像作为输入图像，并且向显示装置106输出已处理的输出图像。数据库102是用于存储图像处理装置100执行处理要使用的信息的装置。数据库102不限于图1的示例，并且可以构建在图像处理装置100中。数据库102中存储的信息的示例包括唯一地标识图像处理系统1的每个用户的标识符(以下称为用户标识)、用于识别每个用户的特征量信息、每个用户的属性信息和图像数据。响应于当图像处理装置100 执行处理时的请求，可以从数据库102中输出数据库102中存储的信息。替代性地，图像处理装置100可以定期地下载存储在数据库102中的信息。成像装置104是捕获用户可以存在于其中的真实空间的图像的装置。成像装置 104被布置在屏幕107的上侧，使得成像装置104对着屏幕107前方的空间。成像装置104 捕获屏幕107前方的真实空间的图像，并且以时间序列的方式向图像处理装置100输出系列图像(即，视频)。显示装置106是显示由图像处理装置100产生的系列输出图像的装置。在图1的示例中，显示装置106是投影仪。显示装置106将从图像处理装置100输入的输出图像投影到屏幕107上。在这种情况下，显示装置106是背投式投影仪。注意，显示装置106不限于图1的示例，并且可以是PDP(等离子体显示面板)、IXD(液晶显示器)等。屏幕107是显示装置106的显示屏幕。在图像处理系统1中，显示装置106的显示屏幕被布置成使得该显示屏幕对着其中存在用户的真实空间。在图1的示例中，三个用户Ua、Ub和Uc位于屏幕107之前。图像处理系统1的用户可以使用终端装置与图像处理装置1进行交互。在图1的示例中，用户fe保持终端装置105。终端装置105可以是例如PC、智能电话或PDA(个人数字助理)。终端装置105根据诸如例如无线LAN(局域网)、Zigbee 或Biuet00th (蓝牙)等的任何无线通信协议与图像处理装置100进行通信。用户fe例如可以使用终端装置105来输入文本或语音或者登记用户的信息。图2是示出在图1中示例性地示出的图像处理系统1中显示的输出图像的示例的说明图。参照图2，作为示例示出了输出图像ImOl。在输出图像ImOl中存在三个用户Ua、 Wd和Uc。显示对象12a、1 和12c分别重叠在三个用户Uajb和Uc周围的区域上。每个显示对象是用于显示与对应的用户相关联的信息的对象。在本说明书中，由图像处理装置 100显示的与用户相关联的信息应该被称为“显示信息”。在图2的示例中，显示对象12a、 12b和12c中的每个包括作为显示信息的对应用户的面部图像、昵称和属性信息(例如，爱好)。此外，显示对象13a重叠在用户fe附近的区域上。显示对象13a包含作为显示信息的由用户fe输入的消息。如下将详细描述由图像处理装置100在图像上重叠这种显示对象。该图像处理系统1可以用于加深处于诸如例如聚会、会议室或展览等的许多人彼此交流的地方中的用户之间的交流。替代性地，图像处理系统1可以用于例如视频会议等的商业场景中。在该情况下，在每个地方布置成像装置和显示装置，使得在给定地方捕获的视频可以随显示信息一起在另一地方显示。这里，当图像处理系统1中的输入图像中存在多个用户时，可能发生应在输出图像中显示多个显示对象的情况。在该情况下，用于观看输出图像的用户的信息的可理解性取决于每个显示对象被布置在什么位置以及以什么方式被布置而不同。如果信息难以理解，则可能中断平滑的通信。因此，下面的部分将描述用于以更容易理解的方式来呈现信息以支持平滑通信的两个实施例。
<2.第一实施例的描述〉<2-1.图像处理装置的示例性配置〉图3是示出根据本发明第一实施例的图像处理装置100的示例性配置的框图。参照图3，图像处理装置100包括图像获取单元110、语音获取单元120、识别单元130、信息获取单元150以及输出图像产生单元170。此外，识别单元130包括图像识别单元134、语音识别单元138和个人识别单元142。(图像获取单元)图像获取单元110获取由成像装置104捕获的系列输入图像。然后，图像获取单元110向识别单元130的图像识别单元134和输出图像产生单元170输出所获取的输入图像。(语音获取单元)语音获取单元120获取由用户发出的作为输入语音的语音。可以通过例如接收从用户保持的终端装置105发送的语音信号来执行利用语音获取单元120对语音的捕获。替代性地，可以在屏幕107周围布置麦克风。在后者的情况中，语音获取单元120经由布置的麦克风来获取输入语音。然后，语音获取单元120向识别单元130的语音识别单元138输出所获取的输入语音。(图像识别单元)图像识别单元134向自图像获取单元110输入的输入图像应用已知的面部识别方法(例如，参见JP 2008-131405A)，并检测输入图像中存在的用户的面部区域。此外，对于检测的面部区域，图像识别单元134计算用于个体识别的特征量(以下被称为图像特征量)。然后，图像识别单元134向个人识别单元142输出所计算的图像特征量。然后，当个人识别单元142已识别了对应于每个面部区域的用户(已识别了对应于每个面部区域的用户标识)时，图像识别单元134将用户与已识别的用户标识相关联，并向输出图像产生单元170输出表示每个面部区域的位置和尺寸的信息。此外，基于每个用户的图像特征量，图像识别单元134可以识别如下属性诸如用户的面部表情(例如，微笑)、用户的讲话状态(用户是否在讲话)或用户的性别或年龄组等。在此情况下，图像识别单元134向输出图像产生单元170输出表示已识别的面部表情、 讲话状态、性别、年龄组等的信息。此外，图像识别单元134还可以检测输入图像中存在的用户的手部区域，并基于已检测的手部区域的位置的移动路径来识别用户的姿势。在此情况下，图像识别单元134 向输出图像产生单元170输出表示已识别的姿势的类型的信息。(语音识别单元)语音识别单元138向自语音识别单元120输入的输入语音应用已知的语音识别方法，并将用户发出的语音提取为文本数据(以下称为“语音数据”)。然后，语音识别单元 138将已提取的语音数据与用户标识相关联，并将其输出到信息获取单元150。当经由终端装置105获取输入语音时，语音识别单元138可以基于作为传输源的终端装置105的装置标识、账户标识等来识别对应的用户。同时，当经由布置在屏幕107周围的语音输入装置获取输入语音时，例如，通过与数据库102中预先登记的用户的语音特征量相对照地检查从输入语音提取的语音特征量，语音识别单元138可以识别单个用户。此外，例如，语音识别单元138可以估计输入语音的语音源的方向，并且基于所估计的语音源的方向来识别单个用户。(个人识别单元)个人识别单元142识别由成像装置104捕获的输入图像中存在的一个或多个用户中的每个用户。更具体地，例如，个人识别单元142与数据库102中预先登记的已知用户的面部的图像特征量相对照地检查从图像识别单元134输入的图像特征量(对于检查方法， 参见例如JP 2009-53916A)。然后，个人识别单元142将由图像识别单元134识别的每个面部区域与作为检查结果的用户的已识别的用户标识相关联。替代性地，例如，个人识别单元 142可以与数据库102中预先登记的已知用户的语音的语音特征量相对照地检查从语音识别单元138输入的语音特征量。(信息获取单元)信息获取单元150获取与由识别单元130识别的每个用户相关联的要显示的显示信息。在该实施例中，与每个用户相关联的要显示的显示信息的示例可以包括用户的属性信息以及由用户输入的输入信息。信息获取单元150获取例如来自数据库102的用户的属性信息。由信息获取单元 150从数据库102获取的属性信息是由用户预先在数据库102中登记的。在数据库102中登记的属性信息可以是任何信息，例如用户的昵称、年龄、性别、爱好或组/部门，或者用户对于特定问题的答案。替代性地，例如，信息获取单元150可以获取作为属性信息的由图像识别单元134识别的每个用户的性别、年龄组等。信息获取单元150获取的作为显示信息的输入信息包括例如经由文本输入装置输入的文本。例如，用户可以使用终端装置105作为文本输入装置来输入文本，然后将该文本作为输入信息从终端装置105发送到图像处理装置100。此外，信息获取单元150获取的作为显示信息的输入信息包括例如由语音识别单元138识别的前述语音数据。此外，信息获取单元150可以搜索与包含在用户的属性信息或用户输入的输入信息中的关键字相匹配的给定信息的外部信息源，然后获取作为搜索结果获得的信息(以下称为搜索信息)作为显示信息。外部信息源可以是例如诸如在线字典服务、SNS(社交网络服务)或知识共享服务之类的与网络相关的服务。此外，信息获取单元150提供例如用于用户登记与新用户相关的信息的用户接口 (UI)。用于用户登记的UI可以显示在屏幕107上。用于用户登记的UI可以是例如使用如图4中示例性地示出的图像的UI。根据图4示出的UI的示例，通过进行触摸选择域19a或 19b的姿势以回答显示在屏幕107上的问题18，用户可以在图像处理系统1中登记他/她的属性信息。替代性地，可以经由图像处理装置100的特定屏幕或终端装置105的屏幕来提供用于用户登记的用户接口。(输出图像产生单元)输出图像产生单元170通过在由图像获取单元110输入的输入图像上重叠由信息获取单元150获取的显示信息来产生输出图像。更具体地，输出图像产生单元170首先确定用于显示由信息获取单元150获取的显示信息的显示对象的属性。显示对象的属性的示例包括与显示对象的形状、颜色、尺寸、显示位置、透明度和层相关的数据。其中，层表示每个显示对象的对于显示对象相互重叠的顺序而言的序号。例如，当多个显示对象相互重叠
11时，较低层的显示对象置于较前面。在确定用于每个显示信息的每个显示对象的属性之后， 输出图像产生单元170根据所确定的属性产生每个显示对象的图像。下个部分将更具体地描述利用输出图像产生单元170确定每个显示对象的属性的标准。然后，输出图像产生单元170通过在输入图像上重叠所产生的显示对象的图像来产生输出图像，并且向显示装置 106顺序地输出所产生的输出图像。[2-2.显示对象的属性](1)属性的示例图5是示出包括由输出图像产生单元170确定的属性值的显示对象数据180的示例性结构的说明图。参照图5，显示对象数据180具有包括对象标识181、用户标识182、形状183、颜色184、尺寸185、显示位置186、透明度187、层188和显示信息189的九个数据项。(2)对象标识和用户标识对象标识181是用于唯一标识单个图像内重叠的每个显示对象的标识符。用户标识182是表示与显示对象相关联的用户的用户标识，其中显示对象是用对象标识181来标识的。例如，从显示对象数据180的第一记录190a和第二记录190b可以理解，两个显示对象DOlA和D02A与用户fe相关联。此外，从第三记录190c可以理解，显示对象DOlB与用户Ub相关联，并且，从第四记录190d可以理解，显示对象DOlC与用户Uc相关联。(3)形状形状183表示显示对象的形状。在图5的示例中，通过规定预先定义的显示对象的类型0bjl、0bj2......中的任一个来标识显示对象的形状。图6A至图6D是各自示出显示对象的类型的示例的说明图。参照图6A，示出了图 2中示例性示出的显示对象1 和13a。在图6A中，显示对象12a的类型是类型“Ob jl”，并且显示对象13a的类型是类型“0bj2”。这些类型Objl和0bj2的显示对象均具有所谓讲话气球(speech balloon)的形状。接下来，参照图6B，示出了显示对象14a。显示对象14a的类型是“Obj3”。显示对象Ha具有挂在肩上的标志牌的形状。例如，图6A示出的类型Objl和图6B示出的类型 0bj3可以用于显示用户的属性信息。同时，例如，图6A示出的类型0bj2可以用于显示由用户输入的显示信息。此外，参照图6C，示出了显示对象15a。显示对象15a的类型是“0bj4”。例如，类型0bj4还可以用于显示由用户输入的显示信息。这里，图6A示出的类型0bj2的形状是表示用户讲话的形状。同时，图6C示出的类型0bj4的形状是表示用户想法的形状。当显示信息是经由语音输入装置输入的输入信息时，输出图像产生单元170可以例如将用于显示所述显示信息的显示对象设置为具有表示讲话的形状的类型Obj2。此外，当显示信息是经由文本输入装置输入的输入信息时，输出图像产生单元170可以例如将用于显示所述显示信息的显示对象设置为具有表示想法的形状的类型Ob j4。替代性地，例如，输出图像产生单元170可以通过分析显示信息的内容来确定该显示信息是对应于用户的想法的信息还是对应于用户的讲话的信息，并且将对应于用户想法的显示对象设置为类型0bj4以及将对应于用户讲话的显示对象设置为类型 Ob j2。
参照图6D，示出了显示对象16a。显示对象16a的类型是“0bj5”。显示对象16a 也具有讲话气球的形状。但是，类型0bj5的讲话气球的尾部不指向用户而指向上方。例如，输出图像产生单元170可以将用于显示信息的显示对象设置为类型0bj5，其中，该信息是由信息获取单元150从外部信息源获取的。从外部信息源获取的信息的示例包括前述搜
索fe息。如上所述，当根据显示信息的获取路径或用于输入信息的输入手段而改变显示对象的形状时，用户在与使用图像处理系统1的另一用户进行通信时可以更为直观且准确地理解信息的类型。此外，由于用户能够选择性地使用用于显示用户输入的信息(讲话或想法)的对象的形状，所以可以实现更丰富的信息。(4)颜色图5中的颜色184表示显示对象的颜色(或显示对象中显示信息的文本的颜色)。 例如，输出图像产生单元170可以参考由信息获取单元150获取的每个用户的属性信息，并且根据指示用户的性别、年龄组等的属性值来改变每个显示对象的颜色。(5)尺寸尺寸185表示显示对象的尺寸。在图5的示例中，显示对象的尺寸被表示为缺省尺寸的倍率(％)。例如，输出图像产生单元170根据每个用户距成像装置104的距离确定用于显示与每个用户相关联的显示信息的显示对象的尺寸。在该实施例中，作为对测量每个用户距成像装置104的距离的替代，输出图像产生单元170可以使用每个用户的面部区域的尺寸作为与每个用户距成像装置104的距离相对应的参数。例如，面部区域的尺寸可以被表示为被识别为属于该面部区域的像素的数量，或者可以被表示为围绕面部区域的边界框的尺寸。更具体地，输出图像产生单元170将用于显示与面部区域较大的用户相关联的显示信息的显示对象的尺寸设置为较大的尺寸。注意，可以预先限定显示对象的尺寸的上限。在该情况下，输出图像产生单元170设置显示对象的尺寸，使得已靠近成像装置104 到大于等于预定距离的距离的用户的显示对象的尺寸不超过该上限。(6)显示位置显示位置186指示显示对象的显示位置，也就是说，表示显示对象在图像中重叠的位置的二维坐标。在该实施例中，输出图像产生单元170布置每个显示对象，使得显示对象的中心(或预定拐角等)位于距作为参考点的用户的面部区域预定偏移量的位置处。图7是示出根据该实施例的显示对象的显示位置的说明图。参照图7，示出了用户的面部区域的重心的位置Po。位置PO指示用于确定显示对象的显示位置的偏移量的参考点。当与给定用户相关联的显示信息的数目是1时，输出图像产生单元170将用于显示所述显示信息的显示对象的显示位置设置为位置Pl。替代性地，当与给定用户相关联的显示信息的数目大于1时，输出图像产生单元170将用于第二、第三和第四显示信息的显示位置分别设置为位置P2、P3和P4。位置PO与每个位置P1、P2、P3和P4之间的偏移量是预先定义的。在本说明书中，这些显示位置应该被称为“缺省显示位置”。注意，图7中示出的缺省显示位置仅是示例性的。例如，当图6B中示例性地示出显示对象的类型是类型“0bj3”时，显示对象的缺省显示位置是位置P5。同时，例如，当图6D中示例性地示出显示对象的类型是类型“0bj5” 时，显示对象的缺省显示位置可以是位置P6和P7。
(7)透明度图5中的透明度187表示显示对象的透明度。当针对显示对象设置了透明度时， 即使多个显示对象相互重叠，也可以允许用户观看在后面的显示对象。在该实施例中，输出图像产生单元170测量由识别单元130识别的每个用户出现在输入图像中的时间长度(以下，该时间应被称为“停留时间”)或每个用户的移动速度。然后，输出图像产生单元170根据与显示信息相关联的用户的所测量的停留时间或移动速度来设置用于显示所述显示信息的显示对象的透明度。图8A是示出输出图像产生单元170的透明度设置处理的示例的说明图。在图8A 的示例中，输出图像产生单元170根据图像中用户的停留时间设置与用户相关联的显示对象的透明度。图8A的横轴表示时间轴(时间T)，并且纵轴表示由虚线指示的停留时间M和由实线指示的透明度水平Tr。在图8A的示例中，随着在时间Ttl已出现在图像中的用户继续停留在图像中，用户的停留时间M沿着时间轴线性地增加。同时，在时间Ttl显示对象的透明度Tr是100%。也就是说，当用户刚出现在图像中的时刻，看不到显示对象。然后，随着停留时间^增加，显示对象Tr的透明度减小。也就是说，随着用户停留在图像中，显示对象的色调逐渐变深。然后，当显示对象的透明度Tr在时间T1达到20%时，输出图像产生单元170停止减小透明度Tr。这使得重叠在后面的显示对象至少在一定程度上可以被看到。这里，用户停留在图像中的时间长度被认为表示用户的感兴趣水平或者用户对图像处理系统1提供的通信的贡献水平。因此，如果停留时间较长的用户的显示对象的透明度被设置为较低水平，则可以优先地使得具有较强的感兴趣水平或高贡献水平的用户参与通信。同时，如果停留时间较短的用户的显示对象的透明度被设置为较高水平，则可以避免与只是偶然在成像装置104的前面路过的用户相关的不必要的显示信息在图像中较强地出现的情况。注意，作为对这里所述的停留时间的替代，输出图像产生单元170还可以使用例如从用户已开始使用图像处理系统1起经过的时间。图8B是示出输出图像产生单元170的透明度设置处理的另一示例的说明图。在图8B的示例中，输出图像产生单元170根据图像中用户的移动速度来设置与用户相关联的显示对象的透明度。图8B的横轴表示时间轴(时间T)，并且纵轴表示由虚线指示的移动速度Mv和由实线指示的透明度水平Tr。在图8B的示例中，在时间Ttl已出现在图像中的用户的移动速度是MVl。这时，显示对象的透明度Tr是100%。之后，用户的移动速度从时间Ttl到T2减小，并且用户的移动速度在时间T2之后增大。透明度Tr跟随着移动速度Mv的该变化，从时间Ttl到T2减小之后，透明度在时间T2之后再次增大。这里，可以认为，对由图像处理系统1提供的通信具有较强兴趣的用户停留在成像装置104的前面。因此，如果移动速度较低的用户的显示对象的透明度被设置为较低水平，则可以优先地使该用户参与通信。此外，还可以避免与只是偶然在成像装置104的前面路过的用户相关的不必要的显示信息在图像中较强地出现的情况。注意，例如，输出图像产生单元170可以根据面部区域的重心位置在帧之间的移动量来计算用户的移动速度。此外，输出图像产生单元170还可以根据用户的停留时间和移动速度两者来设置显示对象的透明度。例如，即使当用户的移动速度已增大时，如果该用户的停留时间大于等于预定阈值，则输出图像产生单元170可以将该用户的显示对象的透明度维持在低水平。 相应地，可以避免当用户暂时地在图像中移动时该用户的显示对象难以被观察到的情况。 注意，对于每个用户，输出图像产生单元170还可以测量移动速度小于等于预定阈值的暂停状态的时间长度以及移动速度大于该阈值的移动状态的时间长度，然后根据这两个时间长度的比率来设置显示对象的透明度。此外，输出图像产生单元170可以暂时减小做出预定姿势的用户的显示对象的透明度。例如，举手姿势、挥手姿势等可以与透明度的减小相关联。相应地，可以容易地使刚出现的(即，其停留时间短)但对通信具有较强兴趣的用户参与通信。(8)层图5中的层188表示显示对象的对于相互重叠的显示对象的顺序而言的序号。在图5的示例中，显示对象DOlA和D02A中每个的层是1，显示对象DOlB的层是2，显示对象 DOlC的层是3。因此，输出图像产生单元170对显示对象进行重叠，使得显示对象DOlA和 D02A位于最前面的层，显示对象DOlB位于下一层，显示对象DOlC位于最后面的层。输出图像产生单元170基于与每个用户距成像装置104的距离相对应的参数来确定每个显示对象的层。在该实施例中，与每个用户距成像装置104的距离相对应的参数可以是前述的面部区域的尺寸。然而，该参数不限于此，并且例如，还可以使用所测量的与测距传感器的距离或经由麦克风输入的语音的音量作为参数。然后，输出图像产生单元170 将用于显示与由该参数指示的距离较短的用户相关联的显示信息的显示对象的层设置为较低值(即，将该显示对象布置在较前面)。图9A和9B是均示出层设置处理的示例的说明图。参照图9A，三个用户Ua到Uc位于屏幕107前面。用户Uajb和Uc距屏幕107的距离分别是D1、D2和D3。其中，距离Dl是最短的，距离D3是最长的。在该情况下，出现在输入图像中的用户Ua的面部区域是最大的。用户Ub的面部区域的尺寸是第二大的，用户 Uc的面部区域的尺寸是最小的。在图9A的示例中，用户Uajb和Uc的面部区域的尺寸分别是1000个像素、800个像素和400个像素。因此，输出图像产生单元170将与用户Ua相关联的显示对象的层设置为1，将与用户Ub相关联的显示对象的层设置为2，将与用户Uc 相关联的显示对象的层设置为3。如上所述，当用于面部区域较大的用户的显示对象重叠在较前面时，容易实现即使当显示对象混杂时也可以与距离感相匹配的自然显示。此外，还可以将希望参与通信的用户引导到较靠近屏幕107的位置。此外，例如，输出图像产生单元170可以暂时地将下述显示对象的层设置到前面而不考虑用户距成像装置104的距离，其中，该显示对象与以下用户相关联做出预定姿势或具有预定面部表情的用户、或正在讲话的用户。这里的预定姿势可以是例如举手姿势、挥手姿势等。此外，这里的预定面部表情可以是微笑等。在图9B的示例中，尽管用户Uc距屏幕107的距离是最长的，但是正在做挥手姿势的用户Uc的层被暂时地设置为1。该处理可以提供多个希望参加通信的用户能够执行通信的扩展的机会，而防止仅仅位于接近屏幕 107的用户较强地参与通信。[2_3·输出图像的示例]图10是示出根据该实施例的从图像处理装置100输出的输出图像的示例的说明图。参照图10，示出了输出图像Lull作为示例。在输出图像Lull中出现了三个用户Ua、 Wd和Uc。此外，显示对象1 和13a重叠在用户fe周围的区域上。显示对象12b重叠在用户证周围的区域上。显示对象12c重叠在用户Uc周围的区域上。但是，由于用户Ua、 Ub和Uc在图像中彼此靠近，因此显示对象混杂在由点线框围绕的区域中，并且因此显示对象13a、12b和12c相互重叠。在图10的右下部示出部分图像Iml2，其是输出图像Lull中前述点线框中的部分图像的放大图。在部分图像加12中，显示对象13a重叠在最前面。此外，显示对象12b重叠在显示对象13a的后面，并且显示对象12c重叠在显示对象12b的后面。也就是说，应当理解，与积极参与通信的处于最靠近屏幕107的位置的用户fe相关的信息优先地显示在输出图像Lull中。此外，正在图像中从右向左横跨行走的用户Uc的显示对象12c的透明度被设置为高水平。相应地，可以防止与很可能不参与通信的用户Uc相关的信息妨碍其它信息的可视性。[2-4.处理流程]图11是示出根据第一实施例的图像处理装置100的主要图像处理流程的示例的流程图。参照图11，图像获取单元110首先获取由成像装置104捕获的输入图像(步骤 S102)。然后，图像获取单元110向识别单元130和输出图像产生单元170输出所获取的输入图像。接下来，识别单元130检测出现在输入图像中的用户的面部区域和手部区域(步骤S104)。接下来，识别单元130通过与存储在数据库102中的已知用户的图像特征量相对照地检查每个检测的面部区域的图像特征量来识别输入图像中存在的单个用户(步骤 S106)。此外，通过附加地使用从由语音获取单元120获取的输入语音中检测的语音特征量和语音源的方向，识别单元130可以识别单个用户。接下来，信息获取单元150从数据库102、终端装置105、外部信息源等获取与识别单元130识别的每个用户相关联的、要显示的显示信息(步骤S108)。接下来，输出图像产生单元170测量图像中由识别单元130识别的每个用户的停留时间或移动速度(步骤S110)。然后，基于已测量的停留时间或移动速度，输出图像产生单元170设置用于显示由信息获取单元150获取的显示信息的显示对象的透明度(步骤 S112)。此外，输出图像产生单元170通过使用每个用户的面部区域的尺寸作为与用户距成像装置104的距离相对应的参数，来设置每个显示对象的尺寸和层(步骤S114)。这里，输出图像产生单元170可以根据由识别单元130识别出的用户的面部表情、姿势或讲话状态来改变每个显示对象的透明度或层。此外，输出图像产生单元170设置诸如每个显示对象的显示位置和颜色之类的其它属性(步骤S116)。接下来，输出图像产生单元170通过根据显示对象的所设置的属性在输入图像上重叠该显示对象来产生输出图像(步骤S118)。然后，输出图像产生单元170向显示装置 106输出所产生的输出图像，以使得显示装置106显示该输出图像(步骤S120)。[2-5.第一实施例的结论]以上已经参照图1至图11描述了本发明的第一实施例。根据该实施例，在信息混杂在增强现实的图像中的情况中(其中通过在输入图像上重叠与每个用户相关联的信息
16来产生输出图像)，根据每个用户距成像装置的距离来确定每个显示信息在深度方向上的布置。相应地，由于实现了与距离感相匹配的自然显示，因此用户可以容易地理解哪个显示信息与哪个用户相关。此外，随着希望参与通信的用户被引导到靠近屏幕的位置，期望使得通信更活跃。此外，根据该实施例，根据图像中用户的停留时间或移动速度来设置每个显示对象的透明度。相应地，可以以更可视化的方式向用户呈现与对通信具有较强兴趣的用户相关的信息或与在较高程度上对通信有贡献的用户相关的信息。此外，还可以防止与不参与通信的用户相关的信息妨碍其它信息的可视性。此外，根据该实施例，每个显示对象的形状根据显示信息的获取路径或用于输入信息的输入手段而改变。因此，用户能够更直观和更准确地理解显示信息的类型。<3.第二实施例的描述〉在前述第一实施例中，即使在显示信息混杂在图像中的情况下多个显示信息相互重叠时，也能以容易理解的方式呈现这些信息。在第一实施例中，每个显示信息基本上在缺省显示位置显示。相对照地，在本部分描述的第二实施例中，适应性地确定每个显示信息的显示位置，以抑制在多个显示信息相互重叠的情况下将发生的可视性的降低。根据第二实施例的系统配置可以类似于参照图1描述的图像处理系统1的配置。<3-1.图像处理装置的示例性配置〉图12是示出根据本公开第二实施例的图像处理装置200的示例性配置的框图。参照图12，图像处理装置200包括图像获取单元110、语音获取单元120、识别单元130、信息获取单元150、权重确定单元沈0以及输出图像产生单元270。如同根据第一实施例的图像处理装置100 —样，识别单元130包括图像识别单元134、语音识别单元138和个人识别单元 142。(权重确定单元)权重确定单元260确定由识别单元130识别的每个用户的权重。在本实施例中， 术语用户的“权重”表示与用户在显示方面的优先级相类似的概念，并且具有较大的“权重” 的用户的显示信息优先地被布置在靠近缺省显示位置的位置。例如，权重确定单元260可以根据每个用户在输入图像中存在的时间长度(即，停留时间)来确定该用户的权重。替代性地，权重确定单元260可以使用每个用户的属性信息来确定该用户的权重。更具体地， 例如，权重确定单元260可以确定每个用户的权重，使得属于特定性别(例如，女性)或特定年龄组(例如，小于10岁的儿童或大于70岁的老人)的用户的权重变得大于其他用户的权重。图13是示出权重确定单元沈0的权重确定处理的示例的说明图。图13的横轴表示时间轴(时间T)，并且纵轴表示由虚线指示的停留时间M和由实线指示的权重W的大小。在图13的示例中，权重W的类型根据用户的属性可以被划分为以下三类针对儿童(例如，小于10岁)的权重狐，针对女性的权重Wf，针对男性的权重Wm。当在时间Ttl已出现在图像中的用户继续停留在图像中时，停留时间M沿着时间轴线性地增加。从时间Ttl到T3, 权重Wm与停留时间M成比例地线性增大，然后在时间T3之后变成恒定值。从时间Ttl到T3, 权重Wf也线性增大，然后在时间T3之后变成恒定值。但是，在全部时间中，权重Wf比权重 Wm大dW。从时间Tc^IjT4，权重Λ线性增大，然后在时间T4之后变成恒定值。从时间Ttl到T3，权重Λ大于权重Wf。确定单元260存储例如用于根据每个用户的停留时间和属性来预先计算权重的图形或计算公式，并根据该图形或计算公式来确定每个用户的权重。如上所述，当具有特定属性的用户的权重被设置为比其它用户的权重更大的值时，可以优先地处理被期望积极参与通信的用户，或者可以吸引具有特定属性的用户的关注。此外，还可以将一般公众之间在通信中所尊重的诸如女士先请或老人优先之类的想法引入系统中。注意，被优先处理的用户可以是例如支付了会员费的会员。(输出图像产生单元)输出图像产生单元270通过在从图像获取单元110输入的输入图像上重叠由信息获取单元150获取的显示信息来产生输出图像。更具体地，输出图像产生单元270首先确定用于显示由信息获取单元150获取的显示信息的显示对象的属性。显示对象的属性包括如图5的示例中的与形状、颜色、尺寸、显示位置、透明度和层等相关的数据。用于确定显示对象的形状、颜色、尺寸、透明度或层的方式与第一实施例的方式相类似。在该实施例中，输出图像产生单元270基于由权重确定单元260确定的每个用户的权重来确定与每个用户相关联的显示信息的显示位置(例如，每个显示对象的显示位置)。更具体地，例如，输出图像产生单元270确定每个显示对象的显示位置，使得与具有较大权重的用户相关联的显示对象被从缺省显示位置位移较小的程度。然后，输出图像产生单元270通过在输入图像上在确定的显示位置中重叠每个显示对象来产生输出图像。在该实施例中，取决于用户的权重以及距缺省显示位置的位移的概念“引力”用于确定显示位置。此外，在显示位置确定处理的第一示例中，还引入了取决于给定用户的显示信息的缺省显示位置与另一用户的显示信息的缺省显示位置之间的距离的概念“斥力”。(1)显示位置确定处理的第一示例图14Α至图14C是各自示出输出图像产生单元270的显示位置确定处理的第一示例的说明图。在显示位置确定处理的第一示例中，输出图像产生单元270确定用于显示每个显示信息的显示对象的显示位置，使得前述的针对每个显示信息的斥力和引力处于平衡状态。参照图14Α，示出了用户Ux的显示对象DOl和另一用户的显示对象D02。作为示例，显示对象DOl的缺省显示位置DPl与显示对象D02的缺省显示位置DP2之间的距离(I1, 2等于120 (单位像素)。此外，用户Ux的权重Wl等于20。这里，作用在显示对象DOl上的斥力Rl被定义为例如距离Cl1,2与预定常数C(以下称为斥力常数，例如，C = 50)的乘积。然后，斥力Rl = dlj2XC = 6000。同时，作用在显示对象DOl上的引力Gl被定义为例如用户Ux的权重Wl与显示对象DOl距缺省显示位置 DPl的位移dl的乘积。然后，在引力Gl和斥力Rl之间的平衡状态(S卩，Gl = Rl)中，如下导出显示对象DOl的位移dl :dl = Gl/ffl = Rl/ffl = 6000/20 = 300。因此，例如，输出图像产生单元270确定在连接位置DPl和位置DP2的直线上(在与位置DP2相反的方向上) 距位置DPl的距离为300的位置NPl作为显示对象DOl的新的显示位置。可以以类似的方式确定显示对象D02的新的显示位置。已经参照图14A的示例描述了两个显示对象相互重叠的情况。相对照地，当三个或更多个显示对象相互重叠时，通过在计算过程中考虑斥力的合力，输出图像产生单元270 可以确定每个显示对象的显示位置。
18
现在参照图14B，示出了用户te的显示对象DOl以及另一用户的显示对象D02和 D03。这里，由Vdli2来指示起始于显示对象D02的缺省显示位置DP2处并结束于显示对象 DOl的缺省显示位置DPl处的矢量。此外，由Vdl，3来指示起始于显示对象D03的缺省显示位置DP3处并结束于显示对象DOl的缺省显示位置DPl处的矢量。然后，作用在显示对象 DOl上的斥力Rl被表示为矢量CXVdli2与CXVdli3的和。在平衡状态中，引力Gl+斥力Rl =0。因此，输出图像产生单元270可以通过将斥力Rl除以用户Ux的权重来计算显示对象 DOl距缺省显示位置DPl的位移dl。然后，将缺省显示位置DPl加上位移dl可以确定显示对象DOl的新的显示位置NP1。已经基于单个(合成前的)斥力沿着连接两个显示对象的缺省显示位置的直线起作用的假定而描述了图14A和14B的示例。替代性地，可以将斥力定义为仅在诸如(图像中的)垂直方向之类的预定的受限方向上起作用。现在参照图14C，示出了用户Ux的显示对象DOl和另一用户的显示对象D02。这里，起始于显示对象D02的缺省显示位置DP2处并结束于显示对象DOl的缺省显示位置DPl 处的矢量Vdl，2指向右上方。注意，在图14C的示例中，斥力被定义为仅在垂直方向上起作用。因此，斥力Rl沿着从位置DPl向上延伸的直线起作用。在该情况下，显示对象DOl距缺省显示位置DPl的位移dl也变成不是指向右上方而是指向直上方的矢量。结果，显示对象DOl从缺省显示位置向上移动。同样地，显示对象D02从缺省显示位置向下移动。在该情况下，每个显示对象和用户之间的相对位置关系在水平方向上不变化。因此，观看输出图像的用户能够容易地理解显示对象与用户之间的对应关系。尽管这里将斥力定义为斥力常数与显示对象间的距离的乘积，但是斥力不限于此，并且可以使用斥力的另一定义。例如，斥力自身可以是常数，或者斥力可以与显示对象之间的距离的平方成比例。此外，可以限定斥力取决于显示信息的类型而不同。替代性地，如果作为对使用显示对象的缺省显示位置之间的距离的替代而限定了与显示对象的外周上的点(彼此最接近的点)之间的距离相对应的斥力，则也可以消除显示对象可能彼此部分重叠的可能性。作为进一步的替换，如果在每个显示对象的外周周围提供缓冲区并定义与缓冲区的边缘之间的距离相对应的斥力，则也可以在显示对象之间创建间隙。此外，还可以限定距输出图像的外周(窗口框)的斥力，并且将距该窗口框的斥力计算到表示作用于该显示对象上的引力和斥力之间的平衡状态的公式中。已经对上述示例进行了描述，其中使用所谓弹簧系统的定义来计算显示对象的位移，该弹簧系统使用用户的权重与显示对象的位移的乘积作为引力。但是，替代性地，还可以使用质量-弹簧-阻尼器系统的定义。在该情况下，可以根据用户的属性或显示信息的类型给出显示对象的加速度系数(质量)和速度系数(阻尼常数)。相应地，可以产生视觉效果，使得已互撞的显示对象沿着时间轴摆动(并且这种摆动将逐渐停止)。(2)显示位置确定处理的第二示例图15是示出输出图像产生单元270的显示位置确定处理的第二示例的说明图。在显示位置确定处理的第二示例中，输出图像产生单元270确定多个显示对象的显示位置， 使得作用在多个显示对象上的引力处于平衡状态。在该情况下，不使用前述的斥力的概念。参照图15，示出了用户Ux的显示对象D05和用户Uy的显示对象D04。作为示例， 显示对象D04的缺省显示位置DP4和新的显示位置NP4之间的距离d4等于40。同时，显示对象D05的缺省显示位置DP5和新的显示位置NP5之间的距离d5等于80。此外，用户te 的权重W5等于50，并且用户Uy的权重W4等于100。这里，当如显示位置确定处理的第一示例中那样地将引力的大小定义为用户的权重与显示对象距缺省显示位置的位移之间的乘积时，作用在显示对象D04上的引力G4等于W4Xd4 = 4000。同时，作用在显示对象D05 上的引力G5等于W5Xd5 = 4000。也就是说，在新的显示位置上引力G4和引力G5处于平衡状态。例如，输出图像产生单元270可以搜索对于多个显示对象而言达到这种引力的平衡状态的显示位置，并将作为搜索结果而获得的显示位置确定为该多个显示对象的显示位置。在该情况下，还可以如同显示位置确定处理的第一示例那样地使得与具有较大权重的用户相关联的显示对象从缺省显示位置位移较小的程度。(3)显示方面的制约注意，当经由上述的显示位置确定处理而确定的显示对象的新的显示位置不满足显示方面的制约时，输出图像产生单元270可以进一步改变显示对象的显示位置或者将显示对象的显示位置设置为缺省显示位置。显示方面的制约的例子包括如下例子显示对象应在屏幕内，以及显示对象不应与用户(例如所有用户或者权重大于等于预定阈值的用户)的面部相重叠。例如，当显示对象重叠在缺省显示位置上时，增大了多个显示对象可能相互重叠的可能性。但是，当多个显示对象相互重叠时，输出图像产生单元270根据第一实施例中描述的方法来控制显示信息的尺寸、深度方向上的布置、透明度等。因此，可以减少显示信息的清晰度的降低。[3_2·输出图像的示例]图16是示出从根据该实施例的图像处理装置200输出的输出图像的示例的说明图。参照图16，示出了输出图像Lii21作为示例。在输出图像Lii21中存在三个用户Ua、W3 和Uc。在图16的示例中，用户版和Wd在输入图像中存在相对长的时间，并且相互通信。 同时，用户Uc是暂时路过的用户。显示对象1 和13a重叠在用户fe周围的区域上。显示对象12b和1 重叠在用户Ub周围的区域上。与用户Uc相关联的显示对象12c重叠在用户Uc上方且距用户Uc 相对远的显示位置上。这些显示对象不相互重叠。这里，在该实施例中，相互重叠的显示对象的位置从其缺省显示位置移开，使得如上所述地与具有较大权重的用户相关联的显示对象从其缺省显示位置位移较小的程度。因此，停留时间长且权重大的用户fe和Ub的显示对象13a和1 从其缺省显示位置移动得不多。相对照地，停留时间短且权重较小的用户 Uc的显示对象12c向上移动以避开显示对象13a和13b。相应地，用户Ua和Ub之间的通信可以平滑地继续而不会被暂时经过的用户Uc的显示对象妨碍。此外，用户能够容易地理解哪个用户以何种程度持续使用系统。[3-3.处理流程]图17是示出根据该实施例的图像处理装置200的主要图像处理流程的示例的流程图。参照图17，图像获取单元110首先获取由成像装置104捕获的输入图像(步骤 S202)。然后，图像获取单元110向识别单元130和输出图像产生单元270输出所获取的输入图像。接下来，识别单元130检测输入图像中存在的用户的面部区域和手部区域(步
20骤S204)。接下来，识别单元130通过与存储在数据库102中的已知用户的图像特征量相对照地检查每个检测的面部区域的图像特征量来识别输入图像中存在的单个用户(步骤 S206)。接下来，信息获取单元150从数据库102、终端装置105、外部信息源等获取与识别单元130识别的每个用户相关联的要显示的显示信息(步骤S208)。接下来，输出图像产生单元270测量图像中的由识别单元130识别的每个用户的停留时间(以及根据需要，还测量移动速度)(步骤S210)。然后，权重确定单元260基于由输出图像产生单元270测量的每个用户的停留时间和每个用户的属性信息来确定每个用户的权重(步骤S211)。接下来，输出图像产生单元270基于停留时间或移动速度来设置用于显示由信息获取单元150获取的显示信息的显示对象的透明度(步骤S212)。此外，输出图像产生单元270通过使用每个用户的面部区域的尺寸作为与用户距成像装置104的距离相对应的参数，来设置每个显示对象的尺寸和层(步骤S214)。接下来，输出图像产生单元270执行下面详细描述的显示位置确定处理以确定每个显示对象的显示位置(步骤S215)。此外，输出图像产生单元270设置诸如每个显示对象的颜色等的其它属性(步骤S216)。接下来，输出图像产生单元270通过根据所设置的显示对象的属性在输入图像上重叠该显示对象来产生输出图像(步骤S218)。然后，输出图像产生单元270向显示装置 106输出所产生的输出图像以使显示装置106显示该输出图像(步骤S220)。图18是示出与图17的步骤S215相对应的显示位置确定处理的示例性流程的流程图。图18中的流程图对应于参照图14A至14C描述的显示位置确定处理的第一示例。参照图18，输出图像产生单元270首先将每个显示对象布置在其缺省显示位置中 (步骤S25》。接下来，输出图像产生单元270根据缺省显示位置之间的距离来计算作用于每个显示对象上的斥力(或多个斥力的合力)(步骤S2M)。接下来，输出图像产生单元 270基于所计算的斥力和用户的权重来计算每个显示对象距其缺省显示位置的位移(步骤 S256)。接下来，输出图像产生单元270确定通过将缺省显示位置加上所计算的位移而导出的每个显示对象的新的显示位置是否满足显示方面的制约(步骤S258)。这里，如果确定新的显示位置满足显示方面的制约，则输出图像产生单元270将显示对象布置在新的显示位置中(步骤S260)。同时，如果确定新的显示位置不满足显示方面的制约，则输出图像产生单元270将显示对象布置在包括缺省显示位置的另一位置中(步骤。图19是示出与图17的步骤S215相对应的显示位置确定处理的另一示例性流程的流程图。图19中的流程图对应于参照图15描述的显示位置确定处理的第二示例。参照图19，输出图像产生单元270首先将每个显示对象布置在其缺省显示位置中 (步骤S272)。接下来，输出图像产生单元270确定是否存在任何相互重叠的显示对象(步骤S274)。这里，如果不存在重叠的显示对象，则输出图像产生单元270的显示位置确定处理终止。同时，如果存在重叠的显示对象，则处理进行到步骤S276。在步骤S276中，输出图像产生单元270将在步骤S274中已被确定为相互重叠的显示对象移动到新的显示位置(步骤S276)。接下来，输出图像产生单元270基于距缺省显示位置的位移和用户的权重来计算每个显示对象的引力(步骤S278)。然后，输出图像产生单元270确定所计算的显示对象的引力是否已达到平衡状态(步骤S280)。这里，如果确定显示对象的引力已达到平衡状态，则输出图像产生单元270的显示位置确定处理终止。同时，如果确定显示对象的引力未达到平衡状态，则处理进行到步骤S282。在步骤S282中，输出图像产生单元270确定是否已经搜索了所有满足显示方面的制约的显示位置(步骤S282)。这里，如果还有任何显示位置尚未被搜索，则处理返回到步骤S276。同时，如果已经搜索了所有满足显示方面的制约的显示位置，则输出图像产生单元 270再次将显示对象布置在其缺省显示位置，而不考虑例如显示对象的重叠(步骤， 然后终止该处理。[3-4.第二实施例的结论]以上已经参照图12至图19描述了本发明的第二实施例。根据该实施例，例如根据用户的停留时间或属性信息来确定用户的权重，其中用户的权重类似于用户在显示方面的优先级。基于该权重确定与每个用户相关联的显示信息的显示位置。相应地，可以避免多个显示信息相互重叠，以使得具有高优先级的用户的显示信息不被其他用户的显示信息妨碍或干扰。结果，在信息混杂在增强现实的图像中的情况下，可以以更容易理解的方式来显不fe息。此外，根据该实施例，确定每个显示信息的显示位置，使得与具有较大权重的用户相关联的显示信息被从其缺省显示位置位移较小的程度。相应地，根据该实施例，可以减小暂时在图像中出现的用户的显示信息可能妨碍已持续使用该系统的用户之间的通信的风险。此外，还可以激励用户更长时间地使用该系统。同时，如果基于权重确定的显示位置不满足显示方面的制约，那么如第一实施例中那样地控制显示信息的尺寸、深度方向上的布置、透明度等，使得可以允许多个显示信息相互重叠。相应地，即使当信息混杂在增强现实的图像中时，也不会发生信息的清晰度的显著降低。注意，典型地使用软件来实现根据本说明书中描述的第一和第二实施例的系列处理。构成用于实现该系列处理的软件的程序被存储在例如预先设置在每个装置之内或之外的存储介质中。此外，每个程序在被执行时被读入RAM (随机存取存储器)，并由诸如CPU (中央处理单元)之类的处理器来执行。尽管已经参考附图详细描述了本公开的优选实施例，但是本公开不限于此。对于本领域的技术人员而言，各种变型或变化显然是可能的，只要该变型或变化在所附的权利要求或其等同内容的技术范围之内即可。应当理解，这种变型或变化也在本公开的技术范围之内。本发明包含与2010年9月6日在日本专利局递交的日本在先专利申请JP 2010-198986中公开的主题相关的主题，其全部内容通过引用合并于此。
权利要求
1.一种图像处理装置，包括识别单元，被配置用于识别由成像装置捕获的输入图像中存在的多个用户；信息获取单元，被配置用于获取与所述识别单元识别的每个用户相关联的要显示的显不信息；权重确定单元，被配置用于确定所述识别单元识别的每个用户的权重；以及输出图像产生单元，被配置用于通过以下方式来产生输出图像基于所述权重确定单元确定的每个用户的所述权重来确定与每个用户相关联的所述显示信息的显示位置，并在所述输入图像上在所确定的显示位置中重叠所述显示信息。
2.根据权利要求1所述的图像处理装置，其中，所述输出图像产生单元确定所述显示信息的所述显示位置，使得与具有越大权重的用户相关联的显示信息距缺省显示位置的位移越小。
3.根据权利要求2所述的图像处理装置，其中，所述输出图像产生单元确定第一用户的第一显示信息的显示位置，使得斥力和引力处于平衡状态，所述斥力取决于在所述图像中所述第一用户的所述第一显示信息与另一用户的显示信息之间的距离，并且所述引力取决于所述第一用户的权重以及所述第一显示信息距缺省显示位置的位移。
4.根据权利要求2所述的图像处理装置，其中，所述输出图像产生单元搜索对于多个显示信息而言达到引力的平衡状态的相应的显示位置，并将作为搜索结果而获得的显示位置确定为所述多个显示信息的相应的显示位置。
5.根据权利要求1所述的图像处理装置，其中，所述权重确定单元根据每个用户在所述输入图像中存在的时间长度来确定每个用户的所述权重。
6.根据权利要求1所述的图像处理装置，其中，所述信息获取单元还获取所述识别单元识别的每个用户的属性信息；以及所述权重确定单元使用所述信息获取单元获取的所述属性信息来确定每个用户的所述权重。
7.根据权利要求6所述的图像处理装置，其中，所述权重确定单元确定每个用户的所述权重，使得属于特定性别或特定年龄组的用户的权重变得大于其他用户的权重。
8.根据权利要求1所述的图像处理装置，其中，当基于每个用户的所述权重确定的所述显示信息的所述显示位置满足显示方面的制约时，所述输出图像产生单元将所述显示信息布置在所述显示位置中。
9.根据权利要求1所述的图像处理装置，其中，当基于每个用户的所述权重确定的所述显示信息的所述显示位置不满足显示方面的制约时，所述输出图像产生单元将所述显示信息布置在与所确定的所述显示位置不相同的包括缺省显示位置的另一显示位置中。
10.根据权利要求1所述的图像处理装置，其中，所述输出图像产生单元基于与每个用户距所述成像装置的距离相对应的参数来确定相互重叠的显示信息中的哪个显示信息要被重叠在前面。
11.根据权利要求10所述的图像处理装置，其中，当在所述输出图像中第一显示信息与第二显示信息相互重叠时，如果与所述第一显示信息相关联的用户距所述成像装置的距离短于与所述第二显示信息相关联的用户距所述成像装置的距离，则所述输出图像产生单元将所述第一显示信息置于所述第二显示信息的前面。
12.根据权利要求10所述的图像处理装置，其中，所述识别单元还识别所述输入图像中存在的每个用户的面部区域的尺寸；以及所述输出图像产生单元使用所述识别单元识别的每个用户的所述面部区域的所述尺寸作为所述参数。
13.根据权利要求10所述的图像处理装置，其中，所述输出图像产生单元测量所述识别单元识别的每个用户在所述输入图像中存在的时间长度或每个用户的移动速度；以及所述输出图像产生单元根据针对与所述显示信息相关联的所述用户测量的所述时间长度或所述移动速度来设置在所述输入图像上重叠的所述显示信息的透明度。
14.根据权利要求13所述的图像处理装置，其中，所述输出图像产生单元将在所述输入图像中存在越长时间的用户的所述显示信息的所述透明度设置为越低的水平。
15.根据权利要求13所述的图像处理装置，其中，所述输出图像产生单元将移动速度越低的用户的所述显示信息的所述透明度设置为越低的水平。
16.根据权利要求1所述的图像处理装置，其中，所述输出图像产生单元根据每个用户距所述成像装置的距离来确定与每个用户相关联的所述显示信息的显示尺寸。
17.一种程序，所述程序用于使得控制图像处理装置的计算机具有以下功能识别单元，被配置用于识别由成像装置捕获的输入图像中存在的多个用户；信息获取单元，被配置用于获取与所述识别单元识别的每个用户相关联的要显示的显不信息；权重确定单元，被配置用于确定所述识别单元识别的每个用户的权重；以及输出图像产生单元，被配置用于通过以下方式来产生输出图像基于所述权重确定单元确定的每个用户的所述权重确定与每个用户相关联的所述显示信息的显示位置，并在所述输入图像上在所确定的显示位置中重叠所述显示信息。
18.根据权利要求17所述的程序，其中，所述输出图像产生单元确定所述显示信息的所述显示位置，使得与具有越大权重的用户相关联的显示信息距缺省显示位置的位移越
19.根据权利要求18所述的程序，其中，所述输出图像产生单元确定第一用户的第一显示信息的显示位置，使得斥力和引力处于平衡状态，所述斥力取决于在所述图像中所述第一用户的所述第一显示信息与另一用户的显示信息之间的距离，并且所述引力取决于所述第一用户的权重以及所述第一显示信息距缺省显示位置的位移。
20.根据权利要求17所述的程序，其中，所述权重确定单元根据每个用户在所述输入图像中存在的时间长度来确定每个用户的所述权重。
21.根据权利要求17所述的程序，其中，所述信息获取单元还获取所述识别单元识别的每个用户的属性信息；以及所述权重确定单元使用所述信息获取单元获取的所述属性信息来确定每个用户的所述权重。
22.—种图像处理方法，包括识别由成像装置捕获的输入图像中存在的多个用户； 获取与每个识别的用户相关联的要显示的显示信息；确定每个识别的用户的权重；基于每个用户的所确定的权重来确定与所述用户相关联的所述显示信息的显示位置；以及通过在所述输入图像上在所确定的显示位置中重叠所述显示信息来产生输出图像。
23.一种图像处理装置，包括识别单元，被配置用于识别由成像装置捕获的输入图像中存在的多个用户；信息获取单元，被配置用于获取与所述识别单元识别的每个用户相关联的要显示的显示信息；以及输出图像产生单元，被配置用于通过在输入图像上在缺省显示位置中重叠所述显示信息来产生输出图像。
24.根据权利要求23所述的图像处理装置，其中，所述输出图像产生单元基于与每个用户距所述成像装置的距离相对应的参数来确定相互重叠的显示信息中的哪个显示信息要被重叠在前面。
25.根据权利要求M所述的图像处理装置，其中，当在所述输出图像中第一显示信息与第二显示信息相互重叠时，如果与所述第一显示信息相关联的用户距所述成像装置的距离短于与所述第二显示信息相关联的用户距所述成像装置的距离，则所述输出图像产生单元将所述第一显示信息置于所述第二显示信息的前面。
26.根据权利要求M所述的图像处理装置，其中，所述识别单元还识别所述输入图像中存在的每个用户的面部区域的尺寸；以及所述输出图像产生单元使用所述识别单元识别的每个用户的所述面部区域的所述尺寸作为所述参数。
27.根据权利要求23所述的图像处理装置，其中，所述输出图像产生单元测量所述识别单元识别的每个用户在所述输入图像中存在的时间长度或每个用户的移动速度；以及所述输出图像产生单元根据针对与所述显示信息相关联的所述用户测量的所述时间长度或所述移动速度来设置在所述输入图像上重叠的所述显示信息的透明度。
28.根据权利要求27所述的图像处理装置，其中，所述输出图像产生单元将在所述输入图像中存在越长时间的用户的所述显示信息的所述透明度设置为越低的水平。
29.根据权利要求27所述的图像处理装置，其中，所述输出图像产生单元将移动速度越低的用户的所述显示信息的所述透明度设置为越低的水平。
30.根据权利要求23所述的图像处理装置，其中，所述输出图像产生单元根据每个用户距所述成像装置的距离来确定与每个用户相关联的所述显示信息的显示尺寸。
31.一种图像处理方法，包括识别由成像装置捕获的输入图像中存在的多个用户；获取与每个识别的用户相关联的要显示的显示信息；以及通过在所述输入图像上在缺省显示位置中重叠所述显示信息来产生输出图像。
全文摘要
提供了图像处理装置、程序和图像处理方法。该图像处理装置包括识别单元，被配置用于识别由成像装置捕获的输入图像中存在的多个用户；信息获取单元，被配置用于获取与识别单元识别的每个用户相关联的要显示的显示信息；权重确定单元，被配置用于确定由识别单元识别的每个用户的权重；以及输出图像产生单元，被配置用于通过基于权重确定单元确定的每个用户的权重而确定与每个用户相关联的显示信息的显示位置并在输入图像上在所确定的显示位置中重叠该显示信息来产生输出图像。
文档编号G06F17/30GK102446210SQ20111025951
公开日2012年5月9日 申请日期2011年8月30日 优先权日2010年9月6日
发明者前川宗周, 望月俊助, 鹤见辰吾 申请人:索尼公司