便携式信息终端、图像处理方法和计算机可读存储介质与流程

本申请是申请号为201110405446.9、申请日为2011年12月8日、发明名称为“图像处理装置、图像处理系统和图像处理方法”的发明专利申请的分案申请。

本发明涉及便携式信息终端、图像处理方法和计算机可读存储介质。

背景技术：

例如，数字摄像头、设置有摄像头的蜂窝电话等包括摄像头和显示器，并且通过使用摄像头进行摄像所取得的图像显示在显示器上(例如，参见日本未审专利申请公开no.2002-354082)。

在显示通过对对象摄像所取得的图像的情况下，要呈现的对象的信息限于已经执行了摄像的区域。

技术实现要素：

根据本发明的一方面，提供了一种具有摄像部的便携式信息终端，包括接收单元和显示控制单元。所述接收单元接收利用与对象的图像数据相关联的信息而生成且不包括在由所述摄像部所摄像的图像中的附加信息，所述对象的图像数据存储在与所述便携式信息终端不同的服务器中。所述显示控制单元在对象图像上叠加地显示所述附加信息。

根据本发明的另一方面，提供了一种图像处理方法，所述图像处理方法包括：取得摄像图像；识别在所述摄像图像中被摄像的对象；取得与识别出的对象相关联地存储的关于所述对象的附加信息；以及在对象图像上叠加地显示所述附加信息。

根据本发明的又一方面，提供了一种存储有程序的计算机可读存储介质，所述程序使计算机执行处理，所述处理包括：取得摄像图像；识别在所述摄像图像中被摄像的对象；取得与识别出的对象相关联地存储的关于所述对象的附加信息；以及在对象图像上叠加地显示所述附加信息。

发明效果

根据在以上方面中描述的发明，关于对象的附加信息显示在便携式信息终端的显示器上。

附图说明

将基于下面的图详细地描述本发明的示例性实施方式，在附图中：

图1a和图1b是示出根据本发明的示例性实施方式的便携式信息终端的示例的外观视图；

图2a、图2b和图2c示出要安装在便携式信息终端的摄像头部上的红外摄像头适配器的示例；

图3a、图3b和图3c是示出红外摄像头适配器安装在便携式信息终端上的情况的示例的外观视图；

图4示出对象的示例；

图5示出在对象的表面上形成的编码图案的示例；

图6是便携式信息终端的功能框图；

图7示出对象数据表的示例；

图8示出附加信息表的示例；

图9是示出由便携式信息终端执行的处理的流程图；

图10示出显示图像的示例；

图11示出显示图像的示例；以及

图12示出显示图像的示例。

具体实施方式

下面参照附图描述本发明的示例性实施方式。在该示例性实施方式中，将说明根据示例性实施方式的图像处理装置应用于具有摄像功能和显示功能的便携式信息终端的示例。

图1a和图1b是示出根据该示例性实施方式的便携式信息终端100的示例的外观视图。图1a是便携式信息终端100的顶视图。图1b是便携式信息终端100的仰视图。如图1a和图1b所示，便携式信息终端100包括触摸板102和设置在触摸板102的底侧上的摄像头104。

图2a、图2b和图2c示出要安装在便携式信息终端100的摄像头104上的红外摄像头适配器110的示例。图2a是红外摄像头适配器110的顶视图，图2b是红外摄像头适配器110的侧视图，而图2c是沿图2a的线iic-iic截取的红外摄像头适配器110的截面图。

如图2a、图2b和图2c所示，红外摄像头适配器110包括红外发光二极管(led)112、阻挡除红外光以外的其他光的滤光器114、和特写透镜116。按照红外摄像头适配器110的特写透镜116面对便携式信息终端100的摄像头104的方式，红外摄像头适配器110安装在便携式信息终端100上。红外led112的状态由设置在红外摄像头适配器110上的开关118在发光状态和非发光状态之间切换。在红外led112处于发光状态的情况下，设置在开关118中的led被控制为发光。

图3a、图3b和图3c是示出红外摄像头适配器110安装在便携式信息终端100上的情况的示例的外观视图。图3a、图3b和图3c分别是安装了红外摄像头适配器110的便携式信息终端100的顶视图、仰视图和侧视图。

图4示出使用设置在便携式信息终端100中的摄像头104被摄像对象200的示例。在该示例性实施方式中，对象200是纸介质，并在对象200的表面上执行了印刷，如图4所示。

此外，在对象200上使用红外吸收材料来形成编码图案202(点代码)，在编码图案202中对与对象200中的位置对应的位置信息进行编码，如图5所示。

图5示出在对象200的表面上形成的编码图案202的示例。如图5所示，每个编码图案202是由非常小的点组成的二维代码，并且通过对每个预定单位区域形成的多个点进行排列，对数据进行编码。例如，针对编码图案202可以采用在日本待审专利公开no.261059中描述的技术。待编码为编码图案202的数据没有特别限制，只要数据是识别对象200并识别对象200中的位置的信息(例如，在对象200上的识别信息和在对象200中的位置信息)。

图6是根据该示例性实施方式的便携式信息终端100的功能框图。如图6所示，便携式信息终端100包括存储单元150、摄像单元152、摄像图像取得单元154、解码单元156、对象识别单元158、摄像区域识别单元160、对象旋转角度识别单元162、对象图像信息取得单元164、显示区域设置单元166、显示图像生成单元168、控制单元170、显示单元172、和输入单元174。

当包括诸如中央处理单元(cpu)的控制部、诸如存储器的存储部、向外部设备发送数据以及从外部设备接收数据的通信部、诸如摄像头的摄像部、诸如触摸板102的输入/显示部等的计算机读取并执行存储在计算机可读信息存储介质中的程序时，可以实现设置在便携式信息终端100中的各个单元的功能。程序可以通过诸如光盘、磁盘、磁带、磁-光盘、或闪存或者经由诸如因特网的数据通信网络提供给便携式信息终端100(例如，作为计算机)。

存储单元150存储数据和程序并还用作工作存储器。例如，图7中示出的对象数据表存储在存储单元150中。如图7所示，用于识别对象的对象id、对象尺寸的尺寸信息(例如，纵向和横向长度等)、用于识别对象的图像数据的对象图像数据id、和对象图像数据的分辨率(例如，垂直和水平像素的数量等)存储在对象数据表中。此外，对象图像数据存储在存储单元150中。对象图像数据可以包括基于对象图像数据附加地显示在对象图像上的附加信息。例如，附加信息是例如链接信息或注释信息。在对象图像中的显示位置由附加信息限定。

图8示出附加信息表的示例，附加信息表描述了对象和附加信息之间的对应关系。如图8所示，对象图像数据id、附加信息id、附加信息的细节(例如，链接信息)和要显示附加信息的位置(在对象图像中的显示位置)存储在附加信息表中。在附加信息表中描述的对应关系可以包括在对象图像数据中或单独添加到对象图像数据。在选择与对象图像一起显示的附加信息的情况下，基于附加信息的详情执行处理。例如，在附加信息表示链接的情况下，执行用于访问该链接的处理。在附加信息表示执行数据(音频数据等)的途径(pass)的情况下，执行用于再现由该途径所指示的执行数据的处理。

摄像单元152使用设置在便携式信息终端100中的摄像头104，对对象进行摄像。例如，摄像单元152可以利用安装了红外摄像头适配器110的便携式信息终端100的摄像头104，对以红外吸收油墨印刷在对象表面上的编码图案进行摄像。

摄像图像取得单元154取得由摄像单元152所摄像的图像。例如，摄像图像取得单元154可以取得对印刷在对象表面上的编码图案进行摄像所取得的摄像图像。

解码单元156对摄像图像取得单元154所取得的摄像图像中所包含的编码图案进行解码。例如，解码单元156可以从摄像图像顺序提取各具有预定尺寸的单位区域，识别所提取的单位区域中所包含的多个点的配置，并基于识别出的配置取得在编码图案中所编码的数据。例如，被编码的数据可以包括对象id和在对象中的位置信息。

基于由解码单元156对编码图案进行解码所取得的结果，对象识别单元158识别摄像图像取得单元154所取得的摄像图像中的被摄像对象。例如，在编码图案包含对象id的情况下，对象识别单元158可以基于编码图案中包含的对象id，来识别对象。在摄像图像中的预定区域中包含对象的识别信息的情况下，对预定区域执行扫描，使得可以取得该对象的识别信息。

摄像区域识别单元160识别摄像图像取得单元154所取得的摄像图像中被摄像对象的区域。例如，基于解码单元156解码出的在对象中的位置信息，摄像区域识别单元160可以识别在摄像图像中被摄像对象的区域。

基于摄像图像取得单元154所取得的摄像图像，对象旋转角度识别单元162识别在摄像图像中被摄像对象的旋转角度。绕三个轴(x轴、y轴和z轴)中各轴的旋转角度可以被定义为对象的旋转角度。例如，对象旋转角度识别单元162可以基于摄像图像中所包含的编码图案的垂直和水平方向上的伸缩比以及自编码图案的竖直位置的旋转角度，来计算对象的旋转角度。

对象图像信息取得单元164取得对象识别单元158识别出的对象的图像信息。例如，对象图像信息取得单元164可以参照存储单元150中与对象识别单元158识别出的对象id相关联地存储的对象图像id，并基于对象图像id取得存储在存储单元150中的对象图像数据。

显示区域设置单元166基于对象图像信息取得单元164取得的对象的图像信息，设置要显示对象图像的区域(显示区域)。例如，基于摄像区域识别单元160识别出的对象区域，显示区域设置单元166可以设置与对象区域相对应的显示区域。显示区域设置单元166可以设置与摄像区域识别单元160识别的对象区域相对应并与便携式信息终端100的触摸板102的尺寸相对应的显示区域。

显示图像生成单元168基于由对象图像信息取得单元164取得的对象的图像信息、由显示区域设置单元166设置的显示区域和由对象旋转角度识别单元162识别的对象旋转角度，来生成显示图像。例如，显示图像生成单元168可以通过以下方式来生成显示图像：根据对象图像信息取得单元164取得的对象的图像信息，提取由显示区域设置单元166设置的显示区域中的图像，并且基于对象旋转角度识别单元162识别出的对象旋转角度对提取的图像执行图像处理。

控制单元170控制便携式信息终端100的各单元。例如，控制单元170可以控制显示单元172来显示由显示图像生成单元168生成的显示图像。

显示单元172由例如触摸板102来实现，并在控制单元170的控制下显示图像。例如，显示单元172可以显示由显示图像生成单元168生成的显示图像。

输入单元174由例如触摸板102来实现，并接收来自用户的操作指令。

将参照图9中示出的流程图，通过具体示例来说明便携式信息终端100执行的处理。

如图9所示，便携式信息终端100通过对对象100进行摄像来取得摄像图像(步骤s1)，并从取得的摄像图像中提取对对象的编码图案进行了摄像对象的图像区域(步骤s2)。

便携式信息终端100对步骤s2中提取的图像区域中所包含的编码图案进行解码(步骤s3)，并基于解码数据来识别对象、对象的摄像区域和对象旋转角度(步骤s4)。

便携式信息终端100取得步骤s4识别出的对象的图像信息(步骤s5)，并设置要显示的所取得的对象的图像信息的显示区域(步骤s6)。便携式信息终端100基于在步骤s5取得的对象的图像信息、在步骤s6设置的显示区域以及在步骤s4识别的对象旋转角度，来生成显示图像(步骤s7)，并显示生成的显示图像(步骤s8)。

图10示出由便携式信息终端100显示的显示图像的示例。在图10中示出的显示图像包括附加信息(链接)和作为对象图像的显示区域而被选择的部分。

当例如接收在触摸板102上显示的图像的移动、放大/缩小或旋转的操作的指令时(步骤s9中的“是”)，便携式信息终端100基于所接收的操作指令，更新显示区域(步骤s10)。接着，便携式信息终端100基于更新后的显示区域生成显示图像(步骤s7)，并显示生成的显示图像(步骤s8)。

图11示出了在接收了显示图像平行布置的操作指令(例如，拖曳操作)后更新和显示的显示图像的示例。

当选择显示图像中的链接时(步骤s11中为“是”)，便携式信息终端100基于该链接执行处理(步骤s12)。图12示出了当选择了链接时更新后的显示图像的示例。在图12示出的示例中，当选择了链接时显示基于链接的注释信息。

当便携式信息终端100确定处理未结束时(步骤s13中为“否”)，处理返回到步骤s9。当便携式信息终端100确定处理要结束时(步骤s13中为“是”)，处理结束。

上面已经描述了便携式信息终端100执行的处理的示例。上面描述的便携式信息终端100识别摄像图像中的被摄像对象，取得预先与识别的对象相关联地存储的图像信息，并基于取得的图像信息显示对象。因而，摄像图像中未包含的附加信息也可以被呈现。此外，由于根据来自用户的操作指令更新要显示对象图像的区域，也可以显示当显示摄像图像时不可见的部分。

本发明不限于上述示例性实施方式。例如，在便携式信息终端100中，可以选择性地执行基于摄像图像的显示和基于对象图像的显示。

在上述示例性实施方式中，已经说明了根据示例性实施方式的图像处理装置应用于包括摄像部和显示部的便携式信息终端100的示例。但是，图像处理装置可以应用于不包括摄像部或显示部的装置。此外，在上述示例性实施方式中，红外摄像头适配器110安装在便携式信息终端100的摄像头上，使得可以取得红外图像。但是，替代摄像头104，可以设置红外摄像头。

在上述示例性实施方式中，已经说明在便携式信息终端100中存储有对象的图像信息的示例。但是，可以在与便携式信息终端100不同的服务器中存储对象的图像信息，并在该情况下，便携式信息终端100可以从服务器取得对象的图像信息。这里，服务器可以执行从便携式信息终端100取得摄像图像到生成显示图像的处理或者这些处理中的仅一部分。

在上述示例性实施方式中，由显示区域设置单元166设置的对象图像的显示区域不限于与摄像图像中所包含的对象区域相对应的区域。可以基于对象和便携式信息终端100之间的距离、便携式信息终端100和用户之间的位置关系等，设置显示区域。

对本发明示例性实施方式的前述描述是为了例示和描述的目的而提供的。其并非旨在穷举或者将本发明限于所公开的确切形式。显然，许多变型和修改对于本领域技术人员是显而易见的。选择并描述这些实施方式是为了最好地说明本发明的原理及其实际应用，从而使得本领域其他技术人员能够理解本发明的适用于所构想特定用途的各种实施方式和各种变型。旨在由所附权利要求书及其等同物来限定本发明的范围。