专利名称：图像处理系统、图像处理装置、图像处理方法及程序的制作方法
技术领域：
本发明涉及一种图像处理系统、图像处理装置、图像处理方法及程序。
背景技术：
当人们之间进行通信时，非常普遍的是，人们通过用他/她的手指指出出现在他/ 她的视场中的地点(例如，当前正谈论的人或物所在的地点)而与其他人共享该地点的识别。然而，除了此人能够用他/她的手指直接触摸所提及的地点的情况之外，在许多情况下，听者不能正确地识别出指示者(即，做出指示的人)指向的地点。在这种情形下，如果指示者能够口头描述地点，则根据指向和口头描述的组合，听者更容易识别指示者预期的地点。然而，当难以口头描述地点时，无法使用这种方法组合。作为另一示例，在会议期间， 对于发言者而言，通过使用激光指示器进行指向来向其他出席者指示地点是常见的。然而， 在真实世界中的典型情形下，用户不总是随身携带激光指示器，即使他们携带了，激光指示器若错误使用的话也会是危险的。然而，存在如下技术其检测出现在拾取图像中的用户的手指，并且基于检测到的用户的手指的形状、位置或手势来操作电子设备。例如，日本公开专利公布第2005-63091 号公开了一种技术，该技术能够通过沿着基于出现在拾取图像中的用户的臂部的中心轴设置的扫描线扫描用户的臂部宽度而以高精度检测用户的手指形状等。
发明内容
然而，不可将检测出现在拾取图像中的用户的手指的传统方法直接应用于人们之间的通信。其主要原因是，用户之间视线方向不同。即使指示者用他/她的手指指向特定位置，指示者的视线和正看该手指时的听者的视线可能会是在单个点交叉的两条直线，因此是不同方向。这意味着，例如，即使在由朝向听者的视线方向的图像拾取装置获取的图像中以高精度检测到指示者的手指，与手指一致的地点也将不是指示者试图指向的地点。由于此原因，本发明的目的是提供一种新的且改进的图像处理系统、图像处理装置、图像处理方法及程序，它们使得视线方向不同的用户在多人之间的通信期间能够正确和容易地识别指向的地点。根据本发明的实施例，提供了一种图像处理系统，其包括各自包括输入图像获取单元的第一和第二图像处理装置，输入图像获取单元获取通过真实空间的图像拾取产生的输入图像。第一图像处理装置还包括图像识别单元，其识别在第一图像处理装置中获取的第一输入图像中出现的指示物，该指示物被用于指向真实空间中的地点；第一特征量生成单元，其生成包括设置在第一输入图像中的多个特征点的坐标的第一特征量；以及第一通信单元，其传输针对第一输入图像生成的第一特征量、以及表明由图像识别单元识别出的指示物的位置的位置数据，以及第二图像处理装置还包括第二征量生成单元，其生成包括设置在第二图像处理装置中获取的第二输入图像中的多个特征点的坐标的第二特征量；第二通信单元，其接收第一特征量和位置数据；指定单元，其将第一特征量和第二特征量进行比较，并且基于比较的结果和位置数据来指定由指示物指向的真实空间中的地点在第二输入图像中的位置；以及输出图像生成单元，其生成显示指示符的输出图像，指示符指示由指定单元指定的位置。第一图像处理装置还可以包括存储单元，其存储用于识别用户的手指作为指示物的手指图像，并且图像识别单元通过检测出现在第一输入图像中的手指图像来识别指示物。第一特征量可以包括当在多个视线方向的每个上旋转第一输入图像时在第一输入图像中分别设置的多个集合的特征点坐标，并且指定单元可以通过将第二特征量与包括在第一特征量中的各特征点坐标集合中的每个集合进行比较来选择多个视线方向中的一个。指定单元可以针对在多个视线方向的每个上旋转第一输入图像的情况，根据第一特征量来生成在第一输入图像中分别设置的多个集合的特征点坐标，并且通过将第二特征量与生成的多个特征点坐标集合中的每个集合进行比较来选择多个视线方向中的一个。指定单元可以基于所选择的视线方向和位置数据来指定由指示物指向的真实空间中的地点在第二输入图像中的位置。输出图像生成单元可以生成输出图像，该输出图像显示由指定单元指定的位置周围的图形作为指示符。根据本发明的另一实施例，提供了一种图像处理装置，其包括通信单元，其接收包括设置在由另一个图像处理装置获取的图像中的多个特征点的坐标的第一特征量、以及表明用于指向真实空间中的地点的指示物在图像中的位置的位置数据；输入图像获取单元，其获取通过真实空间的图像拾取产生的输入图像；特征量生成单元，其生成包括设置在由输入图像获取单元获取的输入图像中的多个特征点的坐标的第二特征量；指定单元，其将第一特征量与第二特征量进行比较，并且基于比较的结果和位置数据来指定由所述指示物指向的真实空间中的地点在输入图像中的位置；以及输出图像生成单元，其生成显示指示符的输出图像，指示符指示由指定单元指定的位置。第一特征量可以包括当在多个视线方向的每个上旋转图像时在图像中分别设置的多个集合的特征点坐标，并且指定单元可以通过将第二特征量与包括在第一特征量中的各特征点坐标集合中的每个集合进行比较来选择多个视线方向中的一个。指定单元可以针对在多个视线方向的每个上旋转图像的情况，根据第一特征量生成在图像中分别设置的多个集合的特征点坐标，并且通过将第二特征量与生成的多个特征点坐标集合中的每个集合进行比较来选择多个视线方向中的一个。指定单元可以基于选择的视线方向和位置数据来指定由指示物指向的真实空间中的地点在输入图像中的位置。输出图像生成单元可以生成输出图像，该输出图像显示由指定单元指定的位置周围的图形作为指示符。根据本发明的另一实施例，提供了一种图像处理方法，该方法由各自获取通过真实空间的图像获取而产生的输入图像的第一和第二图像处理装置来执行，该图像处理方法包括第一图像处理装置的步骤获取第一输入图像；识别出现在获取的第一输入图像中的指示物，该指示物用于指向真实空间中的地点；生成包括设置在第一输入图像中的多个特征点的坐标的第一特征量；以及传输针对第一输入图像生成的第一特征量和表明所识别的指示物的位置的位置数据，并且该图像处理方法还包括第二图像处理装置的步骤接收第一特征量和位置数据；获取第二输入图像；生成包括设置在获取的第二输入图像中的多个特征点的坐标的第二特征量；将第一特征量与第二特征量进行比较；基于比较的结果和位置数据来指定由指示物指向的真实空间中的地点在第二输入图像中的位置；以及生成显示指示符的输出图像，该指示符指示该指定的位置。根据本发明的另一实施例，提供了一种由图像处理装置进行的图像处理方法，其包括步骤接收第一特征量，该第一特征量包括设置在由另一个图像处理装置获取的图像中的多个特征点的坐标、以及表明用于指向真实空间中的地点的指示物在图像中的位置的位置数据；获取通过真实空间的图像拾取产生的输入图像；生成包括设置在获取的输入图像中的多个特征点的坐标的第二特征量；将第一特征量与第二特征量进行比较；基于比较的结果和位置数据来指定由指示物指向的真实空间中的地点在输入图像中的位置；以及生成显示指示符的输出图像，该指示符指示该指定的位置。根据本发明的另一实施例，提供了一种使控制图像处理装置的计算机具有以下功能的程序通信单元，其接收包括设置在由另一个图像处理装置获取的图像中的多个特征点的坐标的第一特征量、以及表明用于指向真实空间中的地点的指示物在图像中的位置的位置数据；输入图像获取单元，其获取通过真实空间的图像拾取产生的输入图像；特征量生成单元，其生成包括设置在由输入图像获取单元获取的输入图像中的多个特征点的坐标的第二特征量；指定单元，其将第一特征量与第二特征量进行比较，并且基于比较的结果和位置数据来指定由指示物指向的真实空间中的地点在输入图像中的位置；以及输出图像生成单元，其生成显示指示符的输出图像，该指示符指示由指定单元指定的位置。基于以上描述的根据本发明的实施例的图像处理系统、图像处理装置、图像处理方法及程序，可使得视线方向不同的用户能够在多人之间的通信期间正确和容易地识别出所指向的地点。
图1是示出了根据本发明的实施例的图像处理系统的概况的示意图；图2是示出了根据本发明的实施例的图像处理装置的配置的一个示例的框图；图3是用于说明根据本发明的实施例的输入图像的一个示例的图；图4A是示出了根据本发明的实施例的指示物的一个示例的示意图；图4B是示出了根据本发明的实施例的指示物的另一示例的示意图；图5是用于说明根据本发明的实施例的第一输入图像中设置的特征点的图；图6是用于说明根据本发明的实施例的输入图像的第二示例的图；图7是用于说明根据本发明的实施例的第二输入图像中设置的特征点的图；图8是用于说明根据本发明的实施例的特征量的比较处理的图；图9是用于通过本发明的实施例生成的输出图像的一个示例的图；图10是示出了根据本发明的实施例在指示者一侧的图像处理流程的一个示例的流程图；以及图11是示出了根据本发明的实施例在接收者一侧的图像处理流程的一个示例的流程图。
具体实施例方式下文中，将参照附图来详细描述本发明的优选实施例。注意，在本说明书和附图中，用相同的附图标记表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。按照下面指出的顺序给出以下描述。1.根据本发明的实施例的图像处理系统的概况2.根据本发明的实施例的图像处理装置的示例配置2-1.整体配置2-2.指示者一侧2-3.接收者一侧3.根据本发明的实施例的图像处理的流程3-1.指示者一侧3-2.接收者一侧4.结论1.根据本发明的实施例的图像处理系统的概况首先，将参照图1描述根据本发明的实施例的图像处理系统的概况。图1是示出根据本发明的实施例的图像处理系统1的概况的示意图。如图1所示，图像处理系统1包括用户Ua使用的图像处理装置IOOa和用户Ub使用的图像处理装置100b。作为一个示例，图像处理装置IOOa连接到安装在用户Ua的头部上的图像拾取装置102a和头戴式显示器(HMD) 104a。图像拾取装置102a朝向用户Ua的视线方向，拾取真实空间3的图像，并将系列输入图像输出到图像处理装置100a。HMD 104a向用户Ua显示从图像处理装置IOOa输入的图像。HMD 104a所显示的图像是由图像处理装置IOOa生成的输出图像。HMD 104a可以是透视显示器，或者可以是非透视显示器。作为一个示例，图像处理装置IOOb连接到安装在用户Ub的头部上的图像拾取装置102b和HMD 104b。图像拾取装置102b朝向用户Ub的视线方向，拾取真实空间3的图像，并将系列输入图像输出到图像处理装置100b。HMD 104b向用户Ub显示从图像处理装置IOOb输入的图像。HMD 104b所显示的图像是由图像处理装置IOOb生成的输出图像。 HMD104b可以是透视显示器，或者可以是非透视显示器。图像处理装置IOOa和IOOb能够经由可以是有线的或无线的通信连接而彼此通信。作为示例，图像处理装置IOOa与图像处理装置IOOb之间的通信可以通过P2P(对等， Peer to Peer)方法而直接进行，或者可以经由诸如路由器或服务器(未示出)的其它装置而间接进行。在图1的示例中，用户Ua和用户Ub都面向真实空间3的方向。用户Ua还将他/ 她的手指指向例如存在作为交谈主题的人、物体等的地点。此时，在从图像拾取装置102a 输入到图像处理装置IOOa的输入图像中，用户Ua的手指可能会恰好指向该地点。然而，在从图像拾取装置102b输入到图像处理装置IOOb的输入图像中，可能用户Ua的手指会相对该地点移位。由于此原因，在根据本实施例的图像处理系统1中，通过使用稍后将详细描述的布置，用户Ub可正确和容易地识别用户Ua正指向的地点。注意，图像处理装置IOOa和IOOb不限于图1中示出的示例。作为一个示例，可以使用配备有摄像机的移动终端来实现图像处理装置IOOa或100b。在这种情况下，在配备有摄像机的移动终端的摄像机拾取真实空间的图像并且该终端进行了图像处理之后，在终端的屏幕上显示输出图像。图像处理装置IOOa或IOOb可以是诸如PC(个人计算机)或游戏控制板的其它类型的装置。下文中，在本说明书中，除了当需要在图像处理装置IOOa与IOOb之间进行区别时之外，省略附于附图标记的字母，并且这种图像处理装置IOOa和IOOb被统称为“信息处理装置100”。以相同的方式处理其它部件元件，其中图像拾取装置102a和102b被称作“图像拾取装置102”，并且HMD 104a和104b被称作“HMD 104”。能够参与图像处理系统1的图像处理装置100的数目也不限于图1中示出的示例，并且可以是三个或更多个。也就是， 作为一个示例，在图像处理系统1中还可以包括由第三用户使用的第三图像处理装置100。2.根据本发明的实施例的图像处理装置的示例配置2-1.整体配置接下来，将参照图2至图9描述根据本实施例的图像处理装置100的配置。图2 是示出根据本实施例的图像处理装置100的配置的一个示例的框图。如图2所示，每个图像处理装置100包括输入图像获取单元110、存储单元120、图像识别单元130、特征量生成单元140、通信单元150、指定单元160、输出图像生成单元170、以及显示单元180。注意，当图像处理装置100在指向地点的指示用户一侧(例如，图1中的用户Ua， 下文中称作“指示者一侧”)操作时，在图2中示出的图像处理装置100的部件元件之中， 主要是输入图像获取单元110、存储单元120、图像识别单元130、特征量生成单元140、以及通信单元150参与图像处理。同时，在正被指出地点的收听用户一侧(例如，图1中的用户 Ub，下文中的“接收者一侧”)，在图2中示出的图像处理装置100的部件元件之中，主要是输入图像获取单元110、特征量生成单元140、通信单元150、指定单元160、输出图像生成单元170、以及显示单元180参与图像处理。这里描述了每个图像处理装置100配备有针对指示者一侧的配置和针对接收者一侧的配置两者的示例。然而，本发明并不局限于该示例并且可以提供仅配备有针对指示者一侧的配置和针对接收者一侧的配置之一的图像处理装置。2-2.指示者一侧输入图像获取单元输入图像获取单元110获取使用图像拾取装置102拾取的系列输入图像。图3示出了输入图像IM01，以作为由输入图像获取单元110获取的图像的一个示例。真实空间3中存在的各个对象出现在输入图像IMOl中。在图3的示例中，真实空间3是车站建筑物内的空间，使得诸如售货亭(kiosk)Tl、离站公告板T2、标牌T3、以及人T4出现在输入图像IMOl 中。指示物Ma也出现在输入图像IMOl中。这里，指示物Ma是用户Ua的手指。输入图像获取单元110相继地将获取的输入图像输出到图像识别单元130和特征量生成单元140。存储单元存储单元120使用诸如硬盘驱动器、半导体存储器等的存储介质，并且预先存储在识别出现在输入图像中的指示物的图像识别中使用的一个或更多个指示物图像。在本说明书中，表述“指示物”是指用户使用的、用于在真实空间中指向任意地点的物体或人体的部分。图4A和图4B是示出根据本实施例的指示物的示例的示意图。在图4A的示例中， 指示物Ml是用户(手上)的指部。作为一个示例，存储单元120预先存储出现用户的手指的图像作为指示物图像。存储单元120还可以存储从多个不同方向示出用户的手指的一组图像作为指示物图像。在图4B的示例中，指示物M2是安装在用户的手指上的立方标记。在标记的每个表面的中心处设置有空腔，使得用户能够将他/她的手指插入空腔中并移动标记。在这种情况下，存储单元120预先存储出现标记的图像作为指示物图像。作为替选，标记和插入该标记的手指的组合可以被看作指示物，并且可以存储出现标记和手指的图像作为指示物图像。注意，指示物并不限于图4A和图4B中示出的示例，并且作为示例，可以是存在于真实世界中的人体的部分或任意物体，诸如用户的脚或用户握持的棒状物体。存储单元120 根据来自图像识别单元130的请求将指示物图像输出到图像识别单元130。图像识别单元图像识别单元130识别由输入图像获取单元110获取的输入图像中出现的指示物。作为一个示例，可以通过利用已知的模式匹配方法将输入图像与存储在存储单元120 中的一个或更多个指示物图像进行比较，来识别出现在输入图像中的指示物。作为替选，使用例如日本公开专利公布第2005-63091号中公开的方法来替代使用指示物图像的方法， 图像识别单元130可以识别用户的手指作为出现在输入图像中的指示物。在识别指示物出现在输入图像中时，图像识别单元130还确定指示物正指向的地点在输入图像中的位置。作为一个示例，图像识别单元130可以确定图4A所示的指示物Ml 的食指的尖部处的位置是由指示物Ml正指向的地点在输入图像中的位置。作为另一示例， 图像识别单元130可以确定图4B所示的指示物M2的标记的空腔的中心的位置是由指示物 M2正指向的地点在输入图像中的位置。根据来自用户的请求，图像识别单元130将表明通过上述方法识别出的指示物的位置(即，由指示物正指示的位置的输入图像中的坐标)的位置数据输出到通信单元150。 作为一个示例，可以通过使用指示物做出的手势将来自用户的请求输入图像处理装置100。 例如，图像识别单元130可以监视输入图像中的指示物的尺寸的改变。如果当连续检测到尺寸等于或大于特定阈值的指示物时，例如该指示物的尺寸暂时变小，则图像识别单元130 可以识别出用户会轻击某一地点。这样的轻击手势是表示传送关于用户正指向的地点的信息的请求的用户输入的一个示例。作为其它示例，图像识别单元130可以将指示物的前端追踪圆形路径的手势、用用户的手指做出的指定形状等认为是表示传送信息的请求的用户输入。替换图像识别单元130进行的图像识别，可以经由诸如设置在图像处理装置100上的按钮或开关的用户界面来输入信息传送的请求。当检测到来自用户的请求时，图像识别单元130将表明指示物位置的位置数据输出到通信单元150，并且还请求特征量生成单元140生成输入图像的特征量。特征量生成单元根据来自图像识别单元130的请求，特征量生成单元140在由输入图像获取单元110获取的输入图像中设置多个特征点，并且生成包括设置的特征点的坐标的特征量。 作为示例，特征量生成单元140可以根据使用已知的哈里斯(Harris)算子或莫拉韦克 (Moravec)算子的方法、或诸如FAST特征检测的任意方法，在输入图像中设置特征点。除了各特征点的坐标之外，由特征量生成单元140生成的特征量可以包括诸如每个特征点的亮度、对比度和方向的补充参数。作为一个示例，通过使用David G.Lowe的“Distinctive Image Features from Scale-Invariant Keypoints，，(the International Journal of Computer Vision, 2004)中描述的特有的不变特征作为特征量，实现对图像中的噪声、尺寸的改变、旋转、亮度的改变等具有高鲁棒性的图像处理。图5是用于说明由根据本实施例的特征量生成单元140在输入图像中设置的特征点的图。如图5所示，在图3所示的输入图像IMOl中设置使用“X”标记示出的大量特征点。 作为一个示例，特征点可以设置在真实空间3中的各个物体的边缘和角部。特征量生成单元140将存储上述的这样的特征点的输入图像中的坐标和补充参数作为一个数据集的特征量输出到通信单元150。通信单元通信单元150作为用于使得图像处理装置100能够与其它装置通信的通信接口而操作。作为一个示例，当由图像识别单元130检测到表示信息传送的请求的用户输入时，通信单元150将从图像识别单元130输入的指示物的位置数据和从特征量生成单元140输入的输入图像的特征量传输到另一图像处理装置100。2-3.接收者一侧输入图像获取单元当图像处理装置100作为接收者一侧操作时，以与指示者一侧相同的方式，输入图像获取单元110获取使用图像拾取装置102拾取的系列输入图像。输入图像获取单元 110然后相继地将获取的输入图像输出到特征量生成单元140。图6示出了输入图像IM02作为由输入图像获取单元110获取的输入图像的另一示例。以与图3所示的输入图像IMOl相同的方式，诸如存在于真实空间3中的售货亭Tl、 离站公告板T2、标牌T3、以及人T4的多个对象出现在输入图像IM02中。作为用户Ua的手指的指示物Ma也出现在输入图像IM02中。然而，由于视线方向不同，在输入图像IM02中， 指示物Ma没有如输入图像IMOl中那样存在于标牌T3上，反而是位于人T4上。因此，仅看输入图像IM02的用户将不能正确地识别指示物Ma实际上正指向的地点。通信单元接收者一侧的通信单元150接收从指示者一侧的装置传输的上述特征量和位置数据。在本说明书的以下描述中，由指示者一侧的通信单元150传输的并由接收者一侧的通信单元150接收的特征量被称作“第一特征量”。当接收到第一特征量和位置数据时，通信单元150将第一特征量和位置数据输出到指定单元160，并请求特征量生成单元140生成要与第一特征量比较的输入图像的第二特征量。特征量生成单元响应于来自通信单元150的请求，接收者一侧的特征量生成单元140将针对由输入图像获取单元110获取的输入图像生成的特征量输出到指定单元160，以作为要与第一特征量比较的第二特征量。以与第一特征量相同的方式，第二特征量包括设置在输入图像中的多个特征点的坐标。另外，第二特征量可以包括诸如每个特征点的亮度、对比度和方向的补充参数。指定单元指定单元160将从通信单元150输入的第一特征量和从特征量生成单元140输入的第二特征量进行比较。指定单元160然后基于比较结果和从通信单元150输入的位置数据来指定作为由指示物指向的真实空间中的地点在输入图像中的位置。图7是用于说明设置在图6所示的输入图像IM02中的特征点的图。如图7所示， 在输入图像IM02中设置使用“X”标记示出的大量特征点。输入图像IM02中的各个特征点的坐标与输入图像IMOl中的相应特征点的坐标不同。这样的坐标不同是由于视线方向不同。由于此原因，出于比较的目的，指定单元160使用各集合的特征点坐标，其中针对多个视线方向的每个方向旋转了第一特征量中包括的坐标。指定单元160将各个特征点坐标集合与第二特征量进行比较，并且选择对应于与特征量最佳匹配的特征点坐标集合的视线方向。指定单元160然后基于选择的视线方向和与该视线方向对应的指示物的位置来指定由指示物指向的真实空间中的地点在接收者一侧的输入图像中的位置。图8是用于说明由根据本实施例的指定单元160进行的特征量的比较处理的图。 在图8的中心处，示出了包括在第一特征量中的特征点坐标集合FSO和指示物的位置P0。通过对特征点坐标集合FSO的各坐标和指示物的位置PO进行仿射变换或三维旋转，指定单元 160生成分别与多个视线方向对应的多个特征点坐标集合和多个位置数据。在图8的示例中，示出了分别与视线方向α 1至α8对应的八个特征点坐标集合FSl至FS8和指示物的位置Pl至Ρ8。作为一个示例，指定单元160然后将第二特征量与基本特征点坐标集合FSO和特征点坐标集合FSl至FS8之中的各个集合进行比较。如果作为一个示例，特征点坐标集合 FS4以最小误差与第二特征量匹配，则指定单元160指定指示物正指向与接收者一侧的输入图像中的位置Ρ4对应的地点。这里，作为一个示例，由指定单元160进行的特征点的比较可以根据先前提到的 “Distinctive Image Features from Scale-Invariant Keypoints，， 中描述的SIFT (尺度不变特征变换)方法来进行。作为一个示例，由指定单元160进行的特征点的比较还可以牛艮据由Mustafa Oezuysal等人在“Fast Keypoint Recognition using Random Ferns，， (IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 32，Nr. 3，pp. 448-461，March 2010)中描述的随机蕨(Random Fern)方法来进行。注意，可以由指示者一侧的图像处理装置100的特征量生成单元140进行如下处理根据指示者一侧的输入图像的特征量，生成每个视线方向的特征点坐标集合。在这种情况下，在接收者一侧的通信单元150接收到的第一特征量包括各个视线方向的多个特征点坐标集合和对应的指示物的位置数据。指定单元160以这种方式指定指示物正指向的地点在接收者一侧的输入图像中的位置，并且将指定位置的坐标输出到输出图像生成单元170。输出图像生成单元输出图像生成单元170生成显示指示符(indicator)的输出图像，指示符指示由指定单元160指定的位置。例如，在本实施例中，输出图像生成单元170生成输出图像，该输出图像显示由指定单元160指定的位置周围的图形作为上面提到的指示符，并且将生成的输出图像输出到显示单元180。替选地，上述指示符可以是表示由指定单元160指定的位置的箭头等。在由指定单元160指定的位置周围的特定尺寸的区域与其它区域之间还可产生颜色或亮度的差，并且使用这样的差作为上述指示符。显示单元显示单元180使用HMD 104向用户显示由输出图像生成单元170生成的输出图像。输出图像的示例图9是用于说明由输出图像生成单元170生成的输出图像的一个示例的图。图9 示出了输出图像IMl 1作为一个示例。在输出图像IMl 1中，虽然指示物Ma位于人T4上，但是在标牌T3上显示了指示符IND。显示指示符IND的位置是由指定单元160通过进行参照图8描述的处理而指定的位置。通过以这种方式参照该输出图像IM11，接收者一侧的用户 (例如，图1中的用户Ub)能够容易地识别指示者一侧的用户(例如，图1中的用户Ua)使用指示物Ma正指示标牌T3。注意，当HMD 104是透视显示器时，例如，输出图像生成单元170生成仅有指示符 IND的图像作为输出图像。同时，当HMD 104是非透视显示器时，输出图像生成单元170生成指示符IND叠加在输入图像上的输出图像。3.根据本发明的实施例的图像处理的流程接下来，将参照图10和图11描述由根据本实施例的图像处理装置100进行的图像处理的流程。图10是示出由图像处理装置100进行的指示者一侧的图像处理的流程的一个示例的流程图。图11是示出由图像处理装置100进行的接收者一侧的图像处理的流程的一个示例的流程图。3-1.指示者一侧图10示出了由指示者一侧的图像处理装置100针对系列输入图像中的每个帧进行的图像处理的流程的一个示例。首先，输入图像获取单元110从图像获取装置102获取输入图像(步骤S102)。接下来，例如，通过将输入图像与存储在存储单元120中的指示物图像进行比较，图像识别单元130识别出输入图像中的指示物(步骤S104)。接下来，例如，图像识别单元130使用指示物通过手势表示的用户输入。这里，如果检测到请求信息传送的用户输入，则处理进行到步骤S108。同时，如果未检测到用户输入，则跳过随后的处理(步骤 S106)。当在步骤S106中图像识别单元130检测到请求信息传送的用户输入时，特征量生成单元140在输入图像中设置多个特征点并生成第一特征量(步骤S108)。通信单元150 然后传输表示由图像识别单元130识别出的指示物的位置的位置数据、以及由特征量生成单元140生成的第一特征量(步骤S110)。3-2.接收者一侧响应于先前描述的来自指示者一侧的图像处理装置100的第一特征量和位置数据的接收，典型地由接收者一侧的图像处理装置进行图11所示的图像处理。首先，通信单元150接收从指示者一侧的图像处理装置100传输的第一特征量和位置数据(步骤S202)。接下来，特征量生成单元140在由输入图像获取单元110获取的输入图像中设置多个特征点，并且生成第二特征量(步骤S204)。此后，指定单元160根据第一特征量生成通过针对多个视线方向的每个分别转换特征点坐标而产生的多个特征点坐标集合(步骤S206)。接下来，指定单元160将在根据第一特征量生成的多个特征点坐标集合中的每个集合与第二特征量进行比较(步骤S208)。这里，由于当没有特征点坐标集合与第二特征量明显匹配时(例如，当误差的总和在指定阈值以下时)不可以指定指示物正指示的地点，所以跳过随后的处理。同时，当特征点坐标集合之一与第二特征量匹配时，处理进行到步骤S212 (步骤S210)。接下来，根据对应于与第二特征量最佳匹配的特征点坐标集合的视线方向，指定单元160指定指示物正指向的地点在接收者一侧的输入图像中的位置(步骤S212)。此后， 输出图像生成单元170生成显示指示符的输出图像，该指示符指示由指定单元160指定的位置(步骤S214)。接下来，显示单元180在HMD 104上显示由输出图像生成单元170生成的输出图像(步骤S216)。注意，作为一个示例，在图11示出的图像处理之中，在接收到第一特征量和位置数据之后，在指定期间内可以针对每个输入图像重复执行步骤S204至S216。当这样做时， 对于输入图像的内容没有相对于先前帧发生改变的帧(也就是，当在接收者一侧的用户的视线方向没有改变时)，可以省略特征量的比较处理。在这种情况下，在输出图像上显示表示对先前帧指定的位置的指示符。4.结论到现在，参照图1至图11描述了根据本发明的实施例的图像处理系统1和图像处理装置100。根据本实施例，指示者一侧的第一图像处理装置100识别出现在输入图像中的指示物，并且还生成包括第一输入图像的特征点坐标的第一特征量并传输生成的第一特征量和表明指示物位置的位置数据。接下来，收听者一侧的第二图像处理装置100生成包括第二输入图像的特征点坐标的第二特征量，并且将从第一图像处理装置100接收到的第一特征量与第二特征量进行比较。根据比较结果，第二图像处理装置100在第二输入图像中指定指示物正指向的真实空间中的地点，并且在输出图像中显示表示该地点的指示符。通过这样做，第二图像处理装置100的用户可正确和容易地识别第一图像处理装置100的用户正指向的地点。在本实施例中，使通过针对多个视线方向的每个旋转包括在这样的特征量之一中的特征点坐标集合而生成的多个特征点坐标集合中的每个集合与这样的特征量的另一个匹配，来进行第一特征量和第二特征量的比较。于是根据特征点坐标的最佳匹配集合来选择多个视线方向中的一个。这里选择的视线方向对应于用户的视线方向之间的相对移位。 这意味着，通过根据选择的视线方向来指定指示物正指向的地点，可正确地识别具有不同视线方向的用户正指向的地点。注意，本说明书描述了显示指示物正指向的地点周围的图形作为指示符的示例。 然而，作为另一示例，还可以应用基于模式匹配的对象识别技术以识别指示物正指向的对象的形状，并且然后在输出图像中显示符合对象的形状的框等。此外，在输出图像中可以显示诸如识别对象的名称和属性的补充信息。典型地使用软件来实现本说明书中描述的由图像处理装置100进行的系列处理。 作为示例，构建实现系列处理的软件的程序可以预先存储在图像处理装置100内或外部设置的存储介质中。该程序例如可以在执行期间写入图像处理装置100的RAM(随机存取存储器)中，并且由诸如CPU(中央处理单元)的处理器来执行。
虽然参照附图详细描述了本发明的优选实施例，但是本发明并不限于以上示例。 本领域的技术人员应当理解，可以在所附权利要求或其等同物的范围内，根据设计要求和其它因素进行各种修改、组合、子组合和变更。本发明包含与在2010年4月19日向日本专利局提交的日本优先权专利申请JP 2010-095877中公开的主题内容相关的主题内容，在此通过引用将其全文合并于此。
权利要求
1.一种图像处理系统，包括各自包括输入图像获取单元的第一和第二图像处理装置，所述输入图像获取单元获取通过真实空间的图像拾取产生的输入图像，其中，所述第一图像处理装置还包括图像识别单元，其识别在所述第一图像处理装置中获取的第一输入图像中出现的指示物，所述指示物被用于指向所述真实空间中的地点；第一特征量生成单元，其生成包括设置在所述第一输入图像中的多个特征点的坐标的第一特征量；以及第一通信单元，其传输针对所述第一输入图像生成的第一特征量、以及表明由所述图像识别单元识别出的所述指示物的位置的位置数据，以及所述第二图像处理装置还包括第二特征量生成单元，其生成包括设置在所述第二图像处理装置中获取的第二输入图像中的多个特征点的坐标的第二特征量；第二通信单元，其接收所述第一特征量和所述位置数据；指定单元，其将所述第一特征量和所述第二特征量进行比较，并且基于所述比较的结果和所述位置数据来指定由所述指示物指向的所述真实空间中的所述地点在第二输入图像中的位置；以及输出图像生成单元，其生成显示指示符的输出图像，所述指示符指示由所述指定单元指定的所述位置。
2.根据权利要求1所述的图像处理系统，其中，所述第一图像处理装置还包括存储单元，其存储用于识别用户的手指以作为所述指示物的手指图像，并且所述图像识别单元通过检测出现在所述第一输入图像中的所述手指图像来识别所述指示物。
3.根据权利要求2所述的图像处理系统，其中，所述第一特征量包括当在多个视线方向的每个上旋转所述第一输入图像时在所述第一输入图像中分别设置的多个集合的特征点坐标，并且所述指定单元通过将所述第二特征量与包括在所述第一特征量中的各特征点坐标集合的每个集合进行比较来选择所述多个视线方向中的一个。
4.根据权利要求2所述的图像处理系统，其中，所述指定单元针对在多个视线方向的每个上旋转所述第一输入图像的情况，根据所述第一特征量生成在所述第一输入图像中分别设置的多个集合的特征点坐标，并且通过将所述第二特征量与所述生成的多个特征点坐标集合中的每个集合进行比较来选择所述多个视线方向中的一个。
5.根据权利要求3所述的图像处理系统，其中，所述指定单元基于所述选择的视线方向和所述位置数据来指定由所述指示物指向的所述真实空间中的所述地点在第二输入图像中的位置。
6.根据权利要求1所述的图像处理系统，其中，所述输出图像生成单元生成所述输出图像，所述输出图像显示由所述指定单元指定的位置周围的图形作为所述指示符。
7.一种图像处理装置，包括通信单元，其接收包括设置在由另一个图像处理装置获取的图像中的多个特征点的坐标的第一特征量、以及表明用于指向真实空间中的地点的指示物在图像中的位置的位置数据；输入图像获取单元，其获取通过所述真实空间的图像拾取产生的输入图像；特征量生成单元，其生成包括设置在由所述输入图像获取单元获取的所述输入图像中的多个特征点的坐标的第二特征量；指定单元，其将所述第一特征量与所述第二特征量进行比较，并且基于所述比较的结果和所述位置数据来指定由所述指示物指向的所述真实空间中的所述地点在所述输入图像中的位置；以及输出图像生成单元，其生成显示指示符的输出图像，所述指示符指示由所述指定单元指定的所述位置。
8.根据权利要求7所述的图像处理装置，其中，所述第一特征量包括当在多个视线方向的每个上旋转所述图像时在所述图像中分别设置的多个集合的特征点坐标，并且所述指定单元通过将所述第二特征量与包括在所述第一特征量中的各特征点坐标集合中的每个集合进行比较来选择所述多个视线方向中的一个。
9.根据权利要求7所述的图像处理装置，其中，所述指定单元针对在多个视线方向的每个上旋转所述图像的情况，根据所述第一特征量生成在所述图像中分别设置的多个集合的特征点坐标，并且通过将所述第二特征量与所述生成的多个特征点坐标集合中的每个集进行比较来选择所述多个视线方向中的一个。
10.根据权利要求8所述的图像处理装置，其中，所述指定单元基于所述选择的视线方向和所述位置数据来指定由所述指示物指向的所述真实空间中的所述地点在所述输入图像中的位置。
11.根据权利要求7所述的图像处理装置，其中，所述输出图像生成单元生成所述输出图像，所述输出图像显示由所述指定单元指定的位置周围的图形作为所述指示符。
12.—种图像处理方法，该方法由各自获取通过真实空间的图像拾取产生的输入图像的第一和第二图像处理装置来执行，所述图像处理方法包括步骤由所述第一图像处理装置获取第一输入图像；由所述第一图像处理装置识别出现在所述获取的第一输入图像中的指示物，所述指示物用于指向所述真实空间中的地点；由所述第一图像处理装置生成包括设置在所述第一输入图像中的多个特征点的坐标的第一特征量；以及由所述第一图像处理装置传输针对所述第一输入图像生成的第一特征量、以及表明所述识别的指示物的位置的位置数据，以及由所述第二图像处理装置接收所述第一特征量和所述位置数据；由所述第二图像处理装置获取第二输入图像；由所述第二图像处理装置生成包括设置在所述获取的第二输入图像中的多个特征点的坐标的第二特征量；由所述第二图像处理装置将所述第一特征量与所述第二特征量进行比较； 由所述第二图像处理装置基于所述比较的结果和所述位置数据来指定由所述指示物指向的所述真实空间中的所述地点在所述第二输入图像中的位置；以及 由所述第二图像处理装置生成显示指示符的输出图像，所述指示符指示所述指定位置。
13.一种由图像处理装置进行的图像处理方法，包括步骤接收第一特征量，所述第一特征量包括设置在由另一个图像处理装置获取的图像中的多个特征点的坐标、以及表明用于指向真实空间中的地点的指示物在图像中的位置的位置数据；获取通过所述真实空间的图像拾取产生的输入图像；生成包括设置在所述获取的输入图像中的多个特征点的坐标的第二特征量；将所述第一特征量与所述第二特征量进行比较；基于所述比较的结果和所述位置数据，来指定由所述指示物指向的所述真实空间中的所述地点在输入图像中的位置；以及生成显示指示符的输出图像，所述指示符指示所述指定位置。
14.一种使控制图像处理装置的计算机具有以下功能的程序通信单元，其接收包括设置在由另一个图像处理装置获取的图像中的多个特征点的坐标的第一特征量、以及表明用于指向真实空间中的地点的指示物在图像中的位置的位置数据；输入图像获取单元，其获取通过所述真实空间的图像拾取产生的输入图像； 特征量生成单元，其生成包括设置在由所述输入图像获取单元获取的所述输入图像中的多个特征点的坐标的第二特征量；指定单元，其将所述第一特征量与所述第二特征量进行比较，并且基于所述比较的结果和所述位置数据来指定由所述指示物指向的所述真实空间中的所述地点在输入图像中的位置；以及输出图像生成单元，其生成显示指示符的输出图像，所述指示符指示由所述指定单元指定的所述位置。
全文摘要
公开了一种图像处理系统、图像处理装置、图像处理方法及程序。图像处理装置包括通信单元，其接收包括由其它图像处理装置获取的图像中的特征点的坐标的第一特征量、以及表明指向真实空间中的地点的指示物在图像中的位置的位置数据；输入图像获取单元，其获取通过真实空间的图像拾取产生的输入图像；特征量生成单元，其生成包括设置在获取的输入图像中的特征点坐标的第二特征量；指定单元，其将第一特征量与第二特征量进行比较，并且基于比较的结果和位置数据来指定由指示物指向的真实空间中的地点在输入图像中的位置；以及输出图像生成单元，其生成显示指示符的输出图像，该指示符指示该指定的位置。
文档编号G06K9/00GK102221878SQ20111009315
公开日2011年10月19日 申请日期2011年4月12日 优先权日2010年4月19日
发明者松田晃一 申请人:索尼公司