专利名称：信息呈现装置和信息呈现方法
技术领域：
本发明涉及一种信息呈现装置和一种信息呈现方法，其分析真实世界中的目标物体和/或预定标记的空间定位信息(spatial stereotacticinformation)，并在屏幕上输出预定的相关信息。
背景技术：
作为呈现关于真实世界中的目标物体和/或预定标记的预定相关信息的信息呈现装置，条码读取器已众所周知。
其中，在美国专利No.6,389,182中公开了一种通过利用目标物体和/或预定标记的空间信息来呈现信息的装置。该装置借助摄像机读取印在名片上的二维码，并通过计算机中的程序分析其条码ID。然后，从图像数据库中读出与所分析的ID对应的人的面部照片的图像数据，并紧挨着上述已被摄像机捕获且在计算机显示器上显示的名片图像上的二维码显示该图像数据。通过这种方法，进行显示仿佛面部照片紧挨着名片上的二维码。
应当注意条码读取器一般在预定条码被正确识别时通过发出声音等来通知操作者该识别是正确或是错误。通常，条码读取器实现“读取信息，并呈现由其提示的信息”的目标。因此，如果它具有发出声音等的功能，则该目标的实现情况就被通知给操作者，并且因此从作业运行的立场来看没有任何特殊问题。
另一方面，在分析真实世界中的目标物体和/或预定标记的空间定位信息并输出其预定相关信息的信息呈现装置中，对目标物体或预定标记进行一次识别是不够的。需要持续地执行识别，并持续地输出预定相关信息。这样做的原因是因为要分析空间定位信息和呈现相关信息，所以例如，即使信息呈现装置与目标物体或预定标记之间的位置关系随着时间改变，也需要在任何时刻适应性地持续呈现正确信息。在此，作为应对方法，假设为了按照条码读取器的意思通知识别成功与否而简单地持续发出声音，对操作者来说是很烦的。这可以通过假设在超市中条码读取器不间断地持续发出声音而容易理解。
在美国专利No.6,389,182中公开的上述装置是一种分析关于预定标记的空间定位信息并输出预定相关信息的信息呈现装置。然而，其中完全没有考虑的一点是在信息呈现时向操作者通报成功或失败。首先，使用空间定位信息来紧挨着名片上的二维码显示面部照片。因此，当一旦对该码进行了识别和显示时，就不必持续地通知操作者识别的成功或失败。
此外，在某些情况下，进行这样的尝试在空间定位信息的分析结果中并非离散地(例如以“1”或“0”的形式)而是连续地表明成功或失败。例如，希望进行这样的尝试表明定位的准确度远非对准或者虽有一点误差但接近正确等。然而，在现有技术中完全没有考虑这一点。
发明内容
本发明的目的是提供一种信息呈现装置和信息呈现方法，其可以在分析真实世界中的目标物体和/或预定标记的空间定位信息并在屏幕上输出预定相关信息的信息呈现装置中，以不间断且不烦扰操作者的方式呈现要被呈现的预定相关信息的准确度，以便通过连续的表示方式容易地进行辨别。
根据本发明的第一方面，提供了一种信息呈现装置，其包括摄像机，其捕获真实世界中的目标物体和/或预定标记，并且获取包含有目标物体和/或标记的图像；相关信息呈现单元，其根据摄像机捕获的图像来分析包含在该图像中的目标物体和/或标记的空间定位信息，并且在屏幕上输出有关目标物体和/或标记的预定相关信息；以及提示信息呈现单元，除了预定相关信息之外，其在屏幕上输出与所分析的真实世界中的目标物体和/或预定标记的空间定位信息有关的提示信息。
应当注意，在本说明书中，“真实世界中的目标物体”一词是指真实世界中已经存在的东西，例如结构(例如建筑物或房屋)、自然物(诸如树木)、人造物(诸如交通灯、管道和器具)。此外，“标记”是指用于信息呈现装置输出的、被边框等包围的、人工设置的各种条码、数字、字符和标志。然而，在被登记为用于信息呈现装置输出的标记的情况下，上述真实世界中的目标物体也作为标记处理。
根据本发明的第二方面，提供一种信息呈现方法，其包括捕获真实世界中的目标物体和/或预定标记，并且获取包含有目标物体和/或标记的图像；基于所获得的图像来分析包含在该图像中的目标物体和/或标记的空间定位信息，并且在屏幕上输出关于目标物体和/或标记的预定相关信息；以及除了预定相关信息之外，还在屏幕上输出与所分析的真实世界中的目标物体和/或预定标记的空间定位信息有关的提示信息。
根据本发明的第三方面，提供了一种信息呈现装置，其包括图像拍摄装置，用于捕获真实世界中的目标物体和/或预定标记，并且用于获取包含有目标物体和/或标记的图像；相关信息呈现装置，用于根据图像获取装置捕获的图像来分析包含在该图像中的目标物体和/或标记的空间定位信息，并且用于在屏幕上输出关于目标物体和/或标记的预定相关信息；以及提示信息呈现装置，用于除了预定相关信息之外，在屏幕上输出与所分析的真实世界中的目标物体和/或预定标记的空间定位信息有关的提示信息。
图1用于解释根据本发明第一实施例的信息呈现装置。
图2A用于解释作为提示信息的、表示所分析的标记图像的位置的坐标值。
图2B用于解释作为提示信息的、指示所分析的标记图像的位置的箭头图像。
图2C用于解释作为提示信息的、以所分析的标记图像的位置坐标为中心的圆。
图2D用于解释作为提示信息的、包围所分析的标记图像的边框的图像。
图2E用于解释作为提示信息的、使包围所分析的标记图像的边框的内部透明的图像。
图3A示出在标记图像与提示信息之间的位置关系具有高准确度情况下，该标记图像和该提示信息的呈现示例。
图3B示出在标记图像与提示信息之间的位置关系具有中等准确度的情况下，该标记图像和该提示信息的呈现示例。
图3C示出在标记图像与提示信息之间的位置关系具有低准确度的情况下，该标记图像和该提示信息的呈现示例。
图4A用于解释在根据本发明第二实施例的信息呈现装置中提示了作为标记易于辨别的目标物体的情况。
图4B用于解释在根据本发明第二实施例的信息呈现装置中提示了位于与预定标记远离图像输入装置的视野角或更多的位置上的目标物体的情况。
图5用于解释根据本发明第三实施例的信息呈现装置。
图6A示出在根据本发明第四实施例的信息呈现装置中，当标记位置处的提示信息与标记图像的位置相同时的显示示例。
图6B示出在根据本发明第四实施例的信息呈现装置中，当标记位置处的提示信息与标记图像的位置偏离很大时的显示示例。
图7A示出在根据本发明第八实施例的信息呈现装置中，以稳定位置状态输出相关信息的情况的屏幕输出示例。
图7B示出在根据本发明第八实施例的信息呈现装置中，以不稳定位置状态输出相关信息的情况的屏幕输出示例。
具体实施例方式将参照图1至3C说明本发明的第一实施例。
如图1中所示，根据本实施例的信息呈现装置被构造为配有摄像头11的个人数字助理(PDA)10。而且，假设预定标记20例如是被矩形边框包围的字母数字字符或标记。
在捕获上述预定标记20和管道30的时候，配有摄像头的PDA 10按照进行的内部程序进行以下操作。即，通过图像处理来分析所捕获的图像中的上述预定标记20的诸如变形和大小的空间定位信息，。然后，显示预先登记在配有摄像头的PDA 10中的用作相关信息的管道名称40，使其叠置在配有摄像头的PDA 10的屏幕12上的对应管道图像30′上。
注意可以通过使用以下公知方法容易地实现上述将相关信息叠置在所捕获的标记20上的技术，因此省略对其的说明。即，作为上述的公知方法，已知在“A High Accuracy Realtime 3D Measuring Method ofMarker for VR Interface by Monocular Vision”(3D Image Conference′96preliminary reports pp.67-172，Akira Takahashi，Ikuo Ishii，Hideo Makino，Makoto Nakashizuka，1996)中公开的用于根据基准标记的位置来确定图像输入单元的位置姿势的方法，以及在日本专利申请特开公报No.2001-126051中公开的用于根据图像输入单元的视点来显示相关信息的方法。
此外，在本实施例中，除了用作预定相关信息的管道名称40以外，还在显示在配有摄像头的PDA 10的屏幕12上的被分析的标记图像20′的附近输出与预定标记20的空间定位信息有关的提示信息50。与空间定位信息有关的提示信息50例如可以是如图2A所示的表示被分析的标记图像20′的位置坐标值50A，或者可以是如图2B所示的指示被分析的标记图像20′的位置的箭头图像50B。此外，可以考虑各种变型例，例如如图2C所示的以被分析的标记图像20′的位置坐标为中心的圆50C，如图2D所示的包围被分析的标记图像20′的边框图像50D，以及如图2E所示使包围被分析的标记图像20′的边框的内部透明的图像50E。
下面将描述显示有如图2D所示的包围被分析的标记图像20′的边框的图像50D的示例。
图3A示出这样的情况包围标记图像20′并且用作被分析的标记20的空间定位信息的提示信息的边框图像50D的位置与屏幕12上的实际标记图像20′的位置相同。在这种情况下，可以说准确地呈现了待呈现的预定相关信息。
图3B和3C示出这样的情况在包围标记图像20′并且用作被分析的标记20的空间定位信息的提示信息的边框图像50D的位置与屏幕12上的实际标记图像20′的位置之间存在差异。这种情况意味着在待呈现的预定相关信息中发生了某种错误。此外，差异变得越大，则准确度变得越低(逐渐变得不准确)，而差异变得越小，则准确度变得越高(变得更加准确)。关于差异信息，通过仅在屏幕12上显示包围标记图像20′且用作被分析标记的空间定位信息的提示信息的边框图像50D，操作者能够识别与实际标记图像20′的偏移信息。不言自明可以持续地在屏幕12上进行显示，并且因为是在操作者从一开始就监测的屏幕12上进行显示，所以对于操作者没有任何麻烦。此外，如上所述，可以连续地表示相互关联的差异和准确度。
如上所述，在本实施例中，可以通过连续的表示方式将待呈现的预定相关信息的准确度持续通知给操作者，而不烦扰操作者并且使操作者容易辨别。
注意可以将专门的处理器用于构成本实施例中的各部分的所有各个部分和算法部分，或者其中已载入程序的CPU可以进行那些计算。此外，在本实施例中，使用了输出与预定标记20相关的预定信息的信息呈现装置作为示例。然而，可以在输出与真实世界中的目标物体相关的预定信息的装置中输出关于真实世界中的目标物体的空间定位信息的提示信息。或者，可以在输出与预定标记20和真实世界中的目标物体二者相关的预定信息的装置中，输出与预定标记20和真实世界中的目标物体的空间定位信息有关的提示信息。
此外，对于信息呈现装置，不限于上述配有摄像头的PDA 10，可以是具有能够输入图像的图像输出装置并且能够在屏幕上输出通过由图像输入设备的图像输入和内部处理准备的信息(图像，字符等)的任何装置。例如，可以将本发明以各种方式应用于配有摄像头的便携式电话，配有摄像头的PC，配有摄像头的台式PC，以及专门用于上述功能的专用设备。可以以与下述所有其他实施例相同的方式考虑上述设备的实际结构。
接下来，将通过使用图4A和4B来描述本发明的第二实施例。在本实施例中，提示信息不仅涉及真实世界中的目标物体和/或预定标记20的空间定位信息，而且涉及任意目标物体的空间定位信息。具体地，作为提示信息，设置有提示作为标记的易于辨别的目标物体的信息，以及提示处于与预定标记20远离为信息呈现装置设置的图像输入设备的视野角13或更多的位置上的目标物体的信息。在图4A和4B的示例中，将画60设置为易于辨别为标记的目标物体的示例，而将灭火器70设置为处于与预定标记20远离图像输入设备的视野角或更多的位置上的目标物体。注意“与预定标记远离图像输入设备的视野角或更多的位置”表示与预定标记20相距与圆形区域13的直径相对应的距离或更多的一点，该圆形区域13是由图像输入设备的视野角确定的一平面(假设预定标记20存在于该平面上)上的视野。即，该点是当预定标记20被捕获在图像输入设备的视野内时不在该视野之内的一点。
如图4A中所示，当预定标记20和画60被配有摄像头的PDA 10的摄像头11捕获时，根据配有摄像头的PDA 10中运行的程序，通过图像处理来分析预定标记20的诸如变形和大小的空间定位信息。然后，在配有摄像头的PDA 10的屏幕12上输出与预定标记20的空间定位信息有关的提示信息50和与画60的空间定位信息有关的提示信息51。
接着，如图4B所示，通过配有摄像头的PDA 10的摄像头11捕获灭火器70。在这种情况下，因为灭火器70远离预定标记20的距离是配有摄像头的PDA 10的摄像头11的视野角或更多。因此，在配有摄像头的PDA 10的屏幕12上只输出与灭火器70的空间定位信息有关的提示信息52。
如上所述，通过提示易于辨别为标记的目标物体，可以使操作者更易辨认地表示待呈现的预定相关信息的准确度。此外，提示了目标物体的位置，该位置处在与预定标记20远离为信息呈现装置设置的图像输入设备的视野角或更远的点。结果，即使在通过图像呈现装置输入图像时预定标记20在视野以外，也可以以操作者更易辨别的方式将待呈现的预定相关信息的准确度通知给操作者。
接着，将通过使用图5说明本发明的第三实施例。在本实施例中，假设提示信息为与信息呈现装置的预定相关信息的位置(图5中的立方体41)具有给定相对关系的位置处的信息(图5中的粗线矩形边框包围标记图像20′并且用作标记位置的提示信息的边框图像50D)。
通过这种方式，提示信息与相关信息具有给定相对关系(图5中以虚线80示出)。因此，通过观察屏幕12上的提示信息与实际目标物体或标记20的位置之间的差异，不仅可以评价相关信息的值的准确度，还可以评价相关信息的方向的准确度。
例如，如图5中所示，当在配有摄像头的PDA 10的屏幕12中实际标记图像20′处在提示信息(50D)的左下方时，可以估计用作预定相关信息的立方体41的正确位置位于比所显示的稍左下方的位置。
接着，将通过使用图6A和6B描述本发明的第四实施例。在本实施例中，假设信息呈现装置的预定相关信息是表示任意现象的空间分布状况的信息90，例如，空间中尘埃的分布。
因为尘埃的空间分布状况以各种分布变化，所以在屏幕上对其进行显示的情况下，乍看去难以辨别所显示的位置是否准确。然而，如图6A和6B所示，通过观察标记20的实际位置与指示标记20的信息之间的差异，可以明白相关信息的准确度以便容易地进行辨别。
例如，如图6A所示，当标记位置处的指示(包围标记图像20′的边框图像50D)与实际标记图像20′的位置相同时，可以认为所显示的相关信息(表示空间中尘埃分布的信息90)的位置是正确的。然而，如图6B所示，当二者远没有对准时可以估计出相关信息的位置是不可靠的。
注意任意现象的空间分布状况不限于上述空间中的尘埃分布，例如，可以想到诸如空间中的温度分布和空间中的放射性分布的各种类型。
接着，将通过使用图7A和7B描述本发明的第五实施例。在本实施例中，根据空间定位信息的分析结果改变上述提示信息的屏幕输出。
具体地，作为分析空间定位信息的结果，当确定位置的准确度低或者例如由于正被识别的标记错过边缘使得不可能稳定地进行输出(原本可以稳定得到的输出不稳定地移动)时，以明灭闪烁的方式输出提示信息。通过这种方法，可以将待呈现的预定相关信息的准确度通知给操作者，使得操作者更容易进行辨别。
例如，在如图7A所示的不闪烁的显示中(在该图中以实线示出)和如图7B所示的闪烁显示中(在图7B中虚线以示出)，以不同的方式使用标记位置的提示信息(包围标记图像20′的边框图像50D)。在图7A和7B中，标记位置处的提示信息与实际标记图像的位置之间的位置关系基本相同。在此方法中，通过改变提示信息的屏幕输出，可以在图7A和7B中显示虽然二者的相关信息位置的准确度处在相同水平，但是前者以稳定位置状态输出相关信息，而后者以不稳定位置状态输出相关信息。
不言自明用于改变提示信息的屏幕输出的方法不限于这种闪烁显示，而可以是颜色、亮度、透射率、形状以及显示/不显示之间的选择中的一种，并且可对它们进行组合。
此外，当信息呈现装置具有音频输出功能等时，可以根据屏幕输出的这种改变来改变音频信号的开/关、音量、高低和音频音调中的至少一个或更多。
以上基于实施例说明了本发明。然而，不言自明，本发明并不限于上述实施例，而是可以在不偏离本发明要点的范围内进行各种修改和应用。
例如，关于标记20的提示信息，主要使用了包围标记图像20′的边缘的表示方式作为示例。然而，可以引入仅描绘其部分形状的表示方式(例如，仅显示边框的角)以及涂黑(paint out)部件的一部分等表示方式。
此外，本发明的描述集中在通过在屏幕12上进行显示使操作者可视地辨别偏移。然而，可以通过图像处理来分析偏移测量，并且可以在文本、标记等的图像中显示偏离量、偏离方向等。
此外，可以提供一种反馈机构，其用于通过使用移动长度来校正信息呈现装置的显示。
权利要求
1.一种信息呈现装置，包括摄像机，其捕获真实世界中的目标物体和/或预定标记，并且获取包含有所述目标物体和/或所述标记的图像；相关信息呈现单元，其根据所述摄像机捕获的图像来分析包含在所述图像中的所述目标物体和/或所述标记的空间定位信息，并且在屏幕上输出关于所述目标物体和/或所述标记的预定相关信息；以及提示信息呈现单元，除了所述预定相关信息之外，该提示信息呈现单元还在屏幕上输出与所分析的所述真实世界中的目标物体和/或所述预定标记的空间定位信息有关的提示信息。
2.根据权利要求1所述的信息呈现装置，其中所述提示信息是表示所述真实世界中的目标物体和/或所述预定标记的位置或方向的图像和/或字符。
3.根据权利要求1或2所述的信息呈现装置，其中所述提示信息不仅涉及所述真实世界中的目标物体和/或所述预定标记的空间定位信息，而且还涉及任意目标物体的空间定位信息。
4.根据权利要求1至3中的任一项所述的信息呈现装置，其中所述提示信息是所述信息呈现装置中存在于距所述预定相关信息的位置给定相对位置处的信息。
5.根据权利要求1至4中的任一项所述的信息呈现装置，其中所述信息呈现装置中的所述预定相关信息是用于使任意现象的空间分布状况可视的信息。
6.根据权利要求1至5中的任一项所述的信息呈现装置，其中根据对所述信息呈现装置中的所述空间定位信息的分析结果来改变所述提示信息的屏幕输出。
7.根据权利要求6所述的信息呈现装置，其中所述屏幕输出的改变项目是颜色、亮度、透射率、形状以及显示/不显示之间的选择中的至少一个。
8.根据权利要求6或7所述的信息呈现装置，所述信息呈现装置还包括音频输出功能，其中根据所述屏幕输出的变化来改变音频信号的开/关、音量、高低以及音频音调中的至少一个。
9.一种信息呈现方法，其包括捕获真实世界中的目标物体和/或预定标记，并且获取包含有所述目标物体和/或所述标记的图像；基于所获取的图像来分析包含在所述图像中的所述目标物体和/或所述标记的空间定位信息，并且在屏幕上输出关于所述目标物体和/或所述标记的预定相关信息；以及除了所述预定相关信息之外，还在所述屏幕上输出与所分析的所述真实世界中的目标物体和/或所述预定标记的空间定位信息有关的提示信息。
10.一种信息呈现装置，其包括图像拍摄装置，用于捕获真实世界中的目标物体和/或预定标记，并且用于获取包含有所述目标物体和/或所述标记的图像；相关信息呈现装置，用于根据通过所述图像拍摄装置捕获的图像来分析包含在所述图像中的所述目标物体和/或所述标记的空间定位信息，并且用于在屏幕上输出关于所述目标物体和/或所述标记的预定相关信息；以及提示信息呈现装置，用于除了所述预定相关信息之外，在屏幕上输出与所分析的所述真实世界中的目标物体和/或所述预定标记的空间定位信息有关的提示信息。
全文摘要
一种信息呈现装置(例如配有摄像头的PDA(10))，该信息呈现装置分析与真实世界中的目标物体和/或预定标记(20)有关的空间定位信息，并在屏幕(12)上输出预定相关信息(例如管道名称(40))，除了该预定相关信息之外，还在屏幕(12)上输出与真实世界中的目标物体和/或预定标记(20)的空间定位信息有关的提示信息(50)。
文档编号H04N5/225GK1806255SQ20048001682
公开日2006年7月19日 申请日期2004年6月9日 优先权日2003年6月18日
发明者齐藤明人, 寺岛干彦 申请人:奥林巴斯株式会社