专利名称：信息处理终端、信息处理方法和程序的制作方法
技术领域：
本发明涉及一种信息处理终端、信息处理方法和程序，尤其涉及一种即使在不再能够识别标识符的情况下也能够连续显示与该标识符相对应的信息的信息处理终端、信息处理方法和程序。
背景技术：
近年来，与扩展现实感(或AR(增强现实))有关的技术已受到关注。在AR应用中存在如下应用，其中该应用对用户使用所谓的智能手机等拍摄的图像中的对象进行识别，并且以叠加方式在所拍摄图像中显示与识别出的对象有关的信息。例如，通过拍摄打印在产品的广告海报上的二维标记，用户可以从叠加显示在显示器上的海报图像上的信息中找到产品的详细内容。这种二维标记利用具有白色区域和黑色区域的图案来表示预定信息。通过对期望表现的信息进行编码，确定了具有白色区域和黑色区域的图案。日本未审查专利申请公开2011-204047为上述现有技术的示例。
发明内容
在通过识别二维标记来显示信息的标记型AR应用中，当然需要将二维标记投射在所拍摄图像上。因而，例如，在识别出二维标记时连续显示与该二维标记相对应的信息的情况下，如果此时已投射的二维标记偏离图像，则停止该二维标记的识别，并且结束信息的显示。期望即使在不再能够识别标识符的情况下也能够连续显示与该标识符相对应的信息。根据本发明的实施例，提供一种信息处理终端，包括:识别单元，其识别投射在图像上的标识符；获取单元，其获取与所述标识符相对应的对象的数据；处理单元，其根据基于所述图像所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位，并且在不再能够识别所述标识符的情况下，根据基于传感器数据所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位；以及显示控制单元，其使得以叠加方式在所述图像上显示根据所述信息处理终端自身与所述标识符之间的位置关系而改变方位的所述对象。不仅可以改变对象的方位，而且可以改变对象的显示大小。还可以设置拍摄单元。在这种情况下，识别单元可以对投射在由拍摄单元所拍摄的图像上的标识符进行识别。在不再能够识别标识符的情况下，处理单元可以根据基于最后能够识别出标识符时和之后检测到的传感器数据所指定的信息处理终端自身与标识符之间的位置关系来改变对象的方位。还可以设置有用于检测传感器数据的传感器单元。传感器单元可以包括陀螺仪传感器。
标识符可以是包括具有不同颜色的区域的二维码。根据本发明的另一实施例，提供一种信息处理方法，包括:识别投射在图像上的标识符以及获取与该标识符相对应的对象的数据。另外，进行如下处理:根据基于所述图像所指定的信息处理终端自身与标识符之间的位置关系来改变所述对象的方位，并且在不再能够识别所述标识符的情况下，根据基于传感器数据所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方向；以及使得以叠加方式在所述图像上显示根据所述信息处理终端自身与所述标识符之间的位置关系而改变方位的对象。根据本发明，即使在不再能够识别标识符的情况下，也能够连续显示与该标识符相对应的信息。
图1是示出根据本发明实施例的信息处理终端的正面的配置示例的图；图2是示出根据本发明实施例的信息处理终端的背面的配置示例的图；图3是示出根据本发明实施例的二维标记的示例的图；图4是示出根据本发明实施例的3维(3D)对象的示例的图；图5是示出根据本发明实施例的打印有二维标记的纸张所放置的实空间的立体图；图6是示出根据本发明实施例的显示单元的显示示例的图；图7是示出根据本发明实施例的显示单元的另一显示示例的图；图8是示出根据本发明实施例的显示单元的又一显示示例的图；图9是示出根据本发明实施例的信息处理终端与二维标记之间的位置关系的图；图10是示出根据本发明实施例的显示单元的显示示例的图；图11是示出根据本发明实施例的信息处理终端的硬件配置示例的图；图12是示出根据本发明实施例的由陀螺仪传感器所测量到的角速度的图；图13是示出根据本发明实施例的控制单元的功能配置示例的框图；图14是用于说明根据本发明实施例的由信息处理终端所进行的3D对象显示处理的流程图；图15是用于说明根据本发明实施例的图14的步骤S6中进行的旋转矩阵计算处理的流程图；图16是示出根据本发明实施例的坐标系的示例的图；图17是示出根据本发明实施例的基于传感器数据的旋转矩阵的计算的图；以及图18是示出根据本发明实施例的计算机的配置示例的框图。
具体实施例方式信息处理终端的外观构造图1是示出根据本发明实施例的信息处理终端的外观的示例的图。信息处理终端I是诸如所谓的智能手机的移动终端，该移动终端的壳体的大小足够大以由用户单手把持。在信息处理终端I的壳体的正面IA上，设置有包括LCD(液晶显示器)等的显示单元11。在显示单元11上，层压有触摸面板，并且用户可以通过利用手指直接触摸显示单元11上所显示的按钮等来进行各种操作。如图2所示，在信息处理终端I的壳体的背面IB上设置有摄像头12。通过摄像头12拍摄的图像(所拍摄图像)被实时地显示在显示单元11上。用户观看显示单元11上的显示，然后可以识别所拍摄图像中的对象。具有上述外观构造的信息处理终端I配备有识别二维标记的功能。当识别出所拍摄图像中的二维标记时，信息处理终端I获取与所识别出的二维标记相对应的信息，并且以叠加方式在所拍摄图像上显示所获取的图像。如后面所述，经由因特网等获取3D对象的数据作为与该二维标记相对应的信息，然后以叠加方式在所拍摄图像上显示该数据。3D对象的方位和位置基于二维标记和信息处理终端I之间的位置关系而改变。二维标记的示例图3是示出二维标记的示例的图。以如下方式配置二维标记21:白色区域和黑色区域被布置在由虚线表示的范围内。作为具有大致正方形形状的黑色区域的标记Ml表示二维标记21的左上角并且标记M2表示二维标记21的左下角。标记M3表示二维标记21的右下角，并且标记M4表示二维标记21的右上角。被布置在标记M2和标记M3的下方并且具有矩形形状的标记M5表示二维标记21的方位的基准，其中该矩形在长边方向上的长度与二维标记21在左右方向上的长度基本相同。在将二维标记21投射至所拍摄图像上时，信息处理终端I可以根据标记MfM4的位置指定二维标记21在实空间内的范围。另外，信息处理终端I可以根据标记M5的位置指定二维标记21在实空间内的方位。布置在标记Ml与标记M2之间的标记Ml I的形状和布置在标记M2与标记M3之间的标记M12的形状表示识别信息。信息处理终端I识别标记MlI的形状和标记M12的形状，并且获取与由所识别出的形状所表示的识别信息相对应的3D对象的数据作为对应于二维标记21的信息。使用二维标记21的识别信息的表现方法不限于使用标记M12的形状的方法，可以使用其它方法。另外，在仅要显示特定3D对象的情况下，不需要识别信息。3D对象的晶示示例图4是示出3D对象的示例的图。图4所示的对象31是具有数字静态照相机外观的3D对象。在信息处理终端I中，经由因特网等获取从不同角度观看的图4的数字静态照相机的外观的数据，并且准备该数据作为对象31的数据。在对象31的正面上设置有镜头等，并且在顶面上设置有快门按钮。当用户将信息处理终端I的摄像头12指向图3的二维标记21时，信息处理终端I识别出投射在所拍摄图像上的二维标记21。在信息处理终端I的显示单元11上，以叠加方式在所拍摄图像上显示图4的对象31。图5是示出打印有二维标记21的纸张所放置的实空间的立体图。将二维标记21打印在放置在桌子等的水平面上的纸张P上，使得标记M5在长边方向上的边与纸张P的下边大致平行。用户将摄像头12指向以这种状态准备的二维标记21，以使得信息处理终端I识别二维标记21。在下文中，将通过以下设置提供说明:将图5的左右方向适当设置为X轴方向(右方向为+并且左方向为-);将从左下方到右上方的方向适当设置为Y轴方向(右上方向为+并且左下方向为-);并且将上下方向适当设置为Z轴方向(上方向为+并且下方向为-)。以摄像头12的位置作为基准，白色箭头#1的方向是从上侧向+Y方向倾斜地观看二维标记21的方向，并且白色箭头#2时从上侧向-X轴方向倾斜地观看二维标记21的方向。图6是示出在识别出图5的二维标记21的情况下显示单元11的显示示例的图。图6示出如下情况下的显示示例:在摄像头12面向图5的白色箭头#3的方向的状态下进行拍摄，使得二维标记21大致被布置在显示单元11的中心处。在识别出二维标记21时，将对象31显示在与二维标记21被投影在所拍摄图像上的位置接近的位置处，仿佛在实空间内该对象略微浮在二维标记21上方。关于对象31的方位，将设置有镜头等的正面设置成面向标记M5。在正面总是面向标记M5的状态下显示对象31。因此，通过拍摄图5所示的状态的二维标记21，用户可以从相对于右侧略微倾斜的上方位置处观看表示为对象31的数字静态照相机的正面。图7示出如下情况下的另一显示示例:在摄像头12面向图5的白色箭头#1的方向的状态下进行拍摄，使得二维标记21大致被布置在显示单元11的中心处。在该示例中，从斜上位置看到以叠加方式显示在所拍摄图像上的作为对象31的数字静态照相机的大致正面。图8示出如下情况下的另一显示示例:在摄像头12面向图5的白色箭头#2的方向的状态下进行拍摄，使得二维标记21大致被布置在显示单元11的中心处。在该示例中，从斜上位置观看到以叠加方式显示在所拍摄图像上的作为对象31的数字静态照相机的右侧面。如上所述，在信息处理终端I中准备从各种位置观看数字静态照相机时的数据，并且以叠加方式显示在所拍摄图像上的对象31的方位和位置根据信息处理终端I与二维标记21之间的位置关系而改变。通过改变拍摄位置、然后从各种位置拍摄打印在纸张P上的二维标记21，用户可以根据各位置来观看数字静态照相机的外观。尽管图中没有示出，例如，通过以标记M5被置于后侧且标记Ml和标记M4被置于前侧的方式拍摄二维标记21，用户可以观看数字静态照相机的背面。在识别出二维标记21的情况下，图6 8所示的对象31的显示实时地继续。在通过改变位置来进行所拍摄图像的拍摄、以使得二维标记21相对于所拍摄范围没有偏离的情况下，根据投射在所拍摄图像上的二维标记21的方向来顺次显示从不同方向观看到的对象31。另外，即使在不再能够识别二维标记21之后，对象31的显示也基于使用陀螺仪传感器的传感器数据所估计的信息处理终端I与二维标记21之间的位置关系而继续。信息处理终端I设置有诸如陀螺仪传感器的传感器。图9是示出信息处理终端I与二维标记21之间的位置关系的图。图9是通过从与桌子的顶面的高度相同的高度在-X方向上观看图5的环境所获得的截面图。例如，在信息处理终端I位于位置pi时，在显示单元11上，以叠加方式将处于正被从右前侧观看的状态的对象31显示在所拍摄图像上，其中，位置pi为可以从二维标记21的右前侧拍摄二维标记21的位置。位置pi是摄像头12的光轴L与二维标记21的平面(打印有二维标记21的纸张P所放置的水平面)的垂线平行的位置。图9所示的对象31不位于实空间内，而是为了描述从信息处理终端I观看对象的方式而示出的。将说明如下情况:在摄像头12固定面向二维标记21并且摄像头12与二维标记21之间的距离固定的状态下，使信息处理终端I如箭头Al所示地从位置pi接近水平面。在这种情况下，对象31的可视性改变，由此根据从所拍摄图像指定的二维标记21与信息处理终端I之间的位置关系来逐渐显示对象31的正面。在摄像头12位于位置p2处的情况下，对象31如图7所示显示在显示单元11上。在使信息处理终端I接近水平面且其位置超过位置p3的情况下，信息处理终端I不能识别投射在所拍摄图像上的二维标记21。位置p3是由摄像头12的光轴L与水平面所形成的角是角a的位置。由于投射在所拍摄图像上的二维标记21的倾斜度增大，位置p3是可以在其处识别出二维标记21的极限位置。在该终端超过位置p3的情况下，信息处理终端I在基于传感器数据最后可以识别出二维标记21的时间之后指定其自身位置的改变，并且根据当前位置处的信息处理终端I与二维标记21之间的位置关系来继续对象31的显示。图10是示出在信息处理终端I的位置位于比位置p3低的位置处的情况下显示单元11的显示示例的图。在这种情况下，从比图7的位置低的位置观看以叠加方式显示在所拍摄图像上的作为对象31的数字静态照相机的大致右前侧。这样，信息处理终端I可以在从比作为二维标记21的识别极限位置的位置p3低的位置观看的状态下显示对象31。换句话说，在对基于所拍摄图像所指定的信息处理终端I与二维标记21之间的位置关系进行校正时使用诸如陀螺仪传感器的传感器的测量值等，由此继续对象31的显示。后面将参考流程图来说明信息处理终端I的用于以上述方式显示对象31的一系列处理。信息处理终端I的配置示例图11是示出信息处理终端I的硬件配置示例的图。除了上述的显示单元11和摄像头12以外，信息处理终端I还设置有控制单元51、陀螺仪传感器52、存储器53和通信单元54。控制单元51使得执行存储在存储器53中的程序等，并且控制信息处理终端I的整体操作。例如，在可以识别出投射在从摄像头12供给的所拍摄图像上的二维标记21的情况下，控制单元51获取与由二维标记21所表示的识别信息相对应的3D对象的数据。控制单元51基于所拍摄图像来指定信息处理终端I与二维标记21之间的位置关系，并且使显示单元11以叠加方式在所拍摄图像上显示方位和位置根据所指定的关系而改变的3D对象。另外，在不再能够识别二维标记21的情况下，控制单元51参考最后能够识别出二维标记21的状态，基于陀螺仪传感器52的输出来指定二维标记21与当前位置处的信息处理终端I之间的位置关系。控制单元51根据信息处理终端I与二维标记21之间的位置关系来改变3D对象的方位和位置，并且即使在不再能够识别二维标记21之后也继续使显示单元11以叠加方式在所拍摄图像上显示3D对象。如图12所示，陀螺仪传感器52测量绕X轴、Y轴和Z轴中每个轴发生的角速度，并将测量值作为传感器数据输出至控制单元51。存储器53包括闪速存储器等，并且存储由控制单元51执行的程序以及从因特网上的服务器发送来的3D对象的数据。利用控制单元51适当读取存储在存储器53中的数据。通信单元54根据控制单元51所进行的控制来与外部装置进行通信。例如，通信单元54经由因特网与服务器进行通信，并且请求发送与由二维标记21所表示的识别信息相对应的3D对象的数据。通信单元54接收根据该请求从服务器发送来的数据，并将该数据输出至控制单元51。输出至控制单元51的数据用在显示单元11的显示中并且被供给至存储器53来保持。图13是示出控制单元51的功能配置示例的框图。通过由图11的控制单元51执行预定程序来实现图13所示的功能部的至少一部分。在控制单元51中，实现图像分析部61、标记识别部62、对象数据获取部63、旋转矩阵计算部64、旋转处理部65和显示控制部66。将摄像头12拍摄的所拍摄图像输入至图像分析部61和显示控制部66。图像分析部61对所拍摄图像进行分析并且获取二维标记21的位置。在图像分析部61所获取的二维标记21的位置信息中，包括与构成二维标记21的各黑色区域的位置有关的信息。将由图像分析部61获取的二维标记21的位置信息作为所拍摄图像的分析结果供给至标记识别部62和旋转矩阵计算部64。标记识别部62基于图像分析部61的分析结果来识别二维标记21。在能够识别出二维标记21的情况下，标记识别部62将表示该识别的信息输出至旋转矩阵计算部64，并且将由二维标记21所表示的识别信息输出至对象数据获取部63。另外，在不再能够识别二维标记21的情况下，标记识别部62将表示未识别的信息输出至旋转矩阵计算部64。对象数据获取部63通过从存储器53读取数据或者通过控制通信单元54与服务器进行通信，来获取与从标记识别部62供给的识别信息相对应的3D对象的数据。对象数据获取部31将所获取的3D对象的数据输出至旋转处理部65。在标记识别部62识别出二维标记21的情况下，旋转矩阵计算部64基于图像分析部61的分析结果来计算旋转矩阵，该旋转矩阵表示以叠加方式显示在所拍摄图像上的3D对象的方位的旋转量和位置的变换量。在标记识别部62识别出二维标记21的情况下所获得的旋转矩阵基于根据所拍摄图像所指定的信息处理终端I与二维标记21之间的位置关系。后面将说明旋转矩阵的计算。另外，在不再能够识别二维标记21的情况下，旋转矩阵计算部64基于从陀螺仪传感器52供给的传感器数据来计算旋转矩阵。在不再能够识别二维标记21的情况下所获得的旋转矩阵基于根据该传感器数据所指定的当前位置处的信息处理终端I与二维标记21之间的位置关系。旋转矩阵计算部64将通过该计算所获得的旋转矩阵输出至旋转处理部65。旋转处理部65将从旋转矩阵计算部64获得的旋转矩阵应用于由从对象数据获取部63供给的数据所表示的3D对象，并将应用旋转矩阵之后的3D对象的数据输出至显示控制部66。通过应用旋转矩阵，3D对象的方位和位置根据信息处理终端I与二维标记21之间的位置关系而改变。
显示控制部66使显示单元11以叠加方式在所拍摄图像上显示从旋转处理部65供给的已经历旋转矩阵的应用的3D对象。信息处理终端I的操作这里，将参考图14的流程图来说明由信息处理终端I进行的3D对象的显示处理。图14的处理例如在从显示单元11上所显示的菜单画面指示了启动具有二维标记21的识别功能的应用之后开始。在启动了该应用时，开始获取利用摄像头12所拍摄的图像。在陀螺仪传感器52中按预定间隔重复测量角速度。在步骤SI中，摄像头12获取所拍摄图像。在步骤S2中，图像分析部61对摄像头12所获取的所拍摄图像进行分析，并且获取二维标记21的位置。在步骤S3中，标记识别部62基于图像分析部61的分析结果来识别二维标记21。在步骤S4中，标记识别部62确定是否能够识别出二维标记21。在步骤S4中确定能够识别出二维标记21的情况下，在步骤S5中，对象数据获取部63获取与由二维标记21所表示的识别信息相对应的3D对象的数据。在能够识别出二维标记21的情况下，标记识别部62将作为二维标记21的识别结果的识别信息供给至对象数据获取部63。在步骤S6中，旋转矩阵计算部64进行旋转矩阵计算处理。后面将参考图15的流程图来说明该旋转矩阵计算处理。根据该旋转矩阵计算处理，从旋转矩阵计算部64获得3D对象的方位旋转和位置变换时所使用的矩阵。在步骤S7中，旋转处理部65将从旋转矩阵计算处理所获得的旋转矩阵应用于由从对象数据获取部63供给的数据所表示的3D对象。在步骤S8中，显示控制部66使显示单元11以叠加方式在所拍摄图像上显示已经历旋转矩阵应用的3D对象。另一方面，在步骤S4中确定不能识别出二维标记21的情况下，在步骤S9中，旋转矩阵计算部64确定是否是要进行陀螺仪校正的时间段(换句话说，是否是要基于陀螺仪传感器52的输出来校正信息处理终端I与二维标记21之间的位置关系的时间段)。例如，将从最后能够识别出二维标记21的时间点起的预定时间内的时间段或者直到测量出等于或高于预定值的角速度的时间为止的时间段设置为用于进行陀螺仪校正的时间段。在步骤S9中确定该时间段在用于进行陀螺仪校正的时间段内的情况下，在步骤SlO中，旋转矩阵计算部64计算陀螺仪传感器52的当前测量值与先前测量值之间的差。在步骤Sll中，旋转矩阵计算部64基于通过计算所获得的差来计算旋转矩阵。这里所获得的旋转矩阵被设置为表示根据由陀螺仪传感器52的测量值的差所表示的信息处理终端I的位置的变化估计出的、与当前位置处的信息处理终端I与二维标记21之间的位置关系相对应的3D对象的方位的旋转量和位置的变换量。可以使3D对象的旋转轴固定至能够最后识别出二维标记21的轴。在基于陀螺仪传感器52的当前测量值与先前测量值之间的差获得旋转矩阵之后，进行步骤S7及其之后的处理。换句话说，将基于当前测量值与先前测量值之间的差所获得的旋转矩阵应用于3D对象，并且以叠加方式在所拍摄图像上显示已经历旋转矩阵应用的3D对象。
在步骤S8中以叠加方式在所拍摄图像上显示已经历旋转矩阵应用的3D对象之后、或者在步骤S9中确定该时间段不再用于进行陀螺仪校正的时间段内的情况下，该处理结束。在每次获取到所拍摄图像时重复上述处理，并且实现了如参考图6 8和图9所述的对象31的显示。即使在用户将摄像头12的位置移动至低于作为所拍摄图像上的二维标记21的识别极限位置的位置p3的情况下，也可以显示和识别处于从该位置观看的状态下的对象31。接着，将参考图15的流程图来说明图14的步骤S6中所进行的旋转矩阵计算处理。旋转矩阵计算处理是用于计算4X4矩阵的处理，该4X4矩阵用于将三维空间(实空间)内的作为二维标记21的坐标系的标记坐标系变换成同一三维空间内的作为信息处理终端I的坐标系的照相机坐标系。这里，假定基于来自图像分析部61的分析结果来指定具有表示二维标记21的四个角的标记μι μ的所拍摄图像中的中心位置的坐标。另外，将 作为变换目标的照相机坐标系设置为如下表示的坐标系:将所拍摄图像的右方向设置为+X方向、将其下方向设置为+Y方向并且将其深度方向设置为+Z方向。原点为摄像头12的位置。此外，将作为变换源的标记坐标系设置为以图3的方位作为基准的、如下表述的坐标系:将二维标记21的右方向设置为+X方向、将其下方向设置为+Y方向并且将从其表面到背面的方向设置为+Z方向。原点为二维标记21的中心。由1X1的长度表示二维标记21的大小。将所拍摄图像的二维坐标设置为由被设置为+X方向的右方向和被设置为+Y方向的下方向所表示的坐标。将所拍摄图像的中心位置设置为原点。将三维空间内的照相机的位置设置为O。另外，将二维标记21的左上角的标记Ml、左下角的标记M2、右下角的标记M3和右上角的标记M4分别设置为点A、B、C和D。在标记坐标系中，分别由 A= (-0.5，-0.5)、B= (-0.5，0.5)、C= (0.5，0.5)和 D= (0.5，-0.5)来表示点A、B、C和D。将点A、B、C和D设置为所拍摄图像中的点A2、B2、C2和D2。在步骤S21中，如图16所示，旋转矩阵计算部64在照相机坐标系中定义Z=Zl (Zl是正常数)的平面，并且将点A2、B2、C2和D2投射到该平面上。该平面上的投射点分别被设置为点A3、B3、C3和D3。利用照相机位置O以及点A3、B3、C3和D3定义Λ 0A3B3、Λ 0B3C3、A0C3D3和A0D3A3这四个三角形。在步骤S22中，旋转矩阵计算部64通过外积计算来获得所定义的四个三角形的法线矢量。Λ 0Α3Β3、Δ 0B3C3、Δ 0C3D3和Λ 0D3A3的法线矢量分别被设置为Vab、Vbc、Vcd和Vda0在步骤S23中，旋转矩阵计算部64计算外积VabXVcd和VbcXVda，并且将各计算结果设置为Vl和V2。另外，旋转矩阵计算部64执行Vl X V2，并且将该计算结果设置为V3。矢量V3是平面AB⑶的法线矢量、即标记坐标系的Z轴。在步骤S24中，旋转矩阵计算部64利用连接照相机位置O与点A3和C3的对角线的两端来定义Λ 0A3C3,并且利用连接照相机位置O与点Β3和D3的对角线的两端来定义A0B3D3。另外，旋转矩阵计算部64使用外积计算来获得所定义的这两个三角形的法线矢量，并且将所获得的法线矢量分别设置为Vac和Vbd。在步骤S25中，旋转矩阵计算部64计算外积Vac X V3和Vbd X V3，并且将这些计算结果分别设置为对角线矢量V4和V5。在步骤S26中，旋转矩阵计算部64获得对角线矢量V4与V5的和V4+V5，并将该和设置为矢量AB。矢量AB用作标记坐标系的Y轴。在步骤S27中，旋转矩阵计算部64获得对角线矢量V4与V5的差V4-V5，并将该差设置为矢量AD。矢量AD用作标记坐标系的X轴。因此，获得了二维标记21的X、Y和Z轴每个方向的单位矢量。在步骤S28中，旋转矩阵计算部64使用三个方向的元素将这些单位矢量设置为(Xl，X2，X3)、(yl，y2，y3)和(zl，z2，z3)，并且获得作为以下的表达式(I)的4X4矩阵的旋转矩阵。之后，处理返回至图14的 步骤S6，并且执行之后的处理。
权利要求
1.一种信息处理终端,包括: 识别单元，其识别投射在图像上的标识符； 获取单元，其获取与所述标识符相对应的对象的数据； 处理单元，其根据基于所述图像所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位，并且在不再能够识别所述标识符的情况下，根据基于传感器数据所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位；以及 显示控制单元，其使得以叠加方式在所述图像上显示根据所述信息处理终端自身与所述标识符之间的位置关系而改变方位的所述对象。
2.根据权利要求1所述的信息处理终端，还包括: 拍摄单兀， 其中，所述识别单元对投射在由所述拍摄单元拍摄的所述图像上的所述标识符进行识别。
3.根据权利要求1所述的信息处理终端，其中，在不再能够识别所述标识符的情况下，所述处理单元根据基于在最后能够识别出所述标识符时和之后检测到的传感器数据所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位。
4.根据权利要求1所述的信息处理终端，还包括: 传感器单元，其检测所述传感器数据。
5.根据权利要求4所述的信息处理终端，其中，所述传感器单元包括陀螺仪传感器。
6.根据权利要求1所述的信息处理终端，其中，所述标识符是包括具有不同颜色的区域的二维码。
7.—种信息处理方法,包括: 识别投射在图像上的标识符； 获取与所述标识符相对应的对象的数据； 根据基于所述图像所指定的信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位，并且在不再能够识别所述标识符的情况下，根据基于传感器数据所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位；以及使得以叠加方式在所述图像上显示根据所述信息处理终端自身与所述标识符之间的位置关系而改变方位的所述对象。
8.一种程序，用于使计算机执行如下处理，所述处理包括: 识别投射在图像上的标识符； 获取与所述标识符相对应的对象的数据； 根据基于所述图像所指定的信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位，并且在不再能够识别所述标识符的情况下，根据基于传感器数据所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位；以及使得以叠加方式在所述图像上显示根据所述信息处理终端自身与所述标识符之间的位置关系而改变方位的所述对象。
全文摘要
本发明提供了一种信息处理终端、信息处理方法和程序。所述信息处理终端包括识别单元，其识别投射在图像上的标识符；获取单元，其获取与所述标识符相对应的对象的数据；处理单元，其根据所述信息处理终端自身与基于所述图像所指定的所述标识符之间的位置关系来改变所述对象的方位，并且在不再能够识别所述标识符的情况下，根据所述信息处理终端自身与基于传感器数据所指定的所述标识符之间的位置关系来改变所述对象的方位；以及显示控制单元，其使得以叠加方式显示在所述图像上根据所述信息处理终端自身与所述标识符之间的位置关系而改变方位的所述对象。
文档编号G06K7/10GK103198286SQ20121055490
公开日2013年7月10日 申请日期2012年12月19日 优先权日2011年12月26日
发明者中村隆俊, 盐野崎敦, 三屋光史朗 申请人:索尼公司