电子互动产品的内容显示方法及装置与流程

本发明涉及增强现实技术领域，具体而言，涉及一种电子互动产品的内容显示方法及装置。

背景技术：

传统的幼儿早教产品，主要有各类幼儿图书、早教闪卡，VCD、DVD光盘类以及点读机、故事机等，但是上述产品通常仅是向孩子推送其产品的内容，孩子更多的是被动接收相关内容，很难主动参与到该产品的学习中去，因此，这些产品存在互动性低的缺点，导致幼儿自主学习程度较低。

为了提高早教产品的互动性，出现了增强现实(Augmented Reality，简称AR)早教产品,它能把平面的信息立体化,虚拟的信息应用到真实世界,改变了传统的早教教学模式，提高了幼儿的认知兴趣及学习主动性。

然而目前AR早教产品因为要达到立体化显示和互动，不得不存储大量的相关数据，例如场景数据等，同时，这些立体化显示和互动还需要具备较强的场景模型构建知识，对开发人员和系统的要求也较高。针对这种立体互动早教产品需要的资源包较大且开发成本较高的问题，目前尚未提出有效的解决方案。

技术实现要素：

有鉴于此，本发明实施例的目的在于提供一种用于电子互动产品的内容显示方法及装置以降低开发成本、缩小资源包,同时增强画面真实感。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种电子互动产品的内容显示方法，包括：当电子互动产品启动后，用户终端开启摄像装置；其中，用户终端配置有该摄像装置；用户终端通过摄像装置抓取电子互动产品的目标对象，目标对象包括实物对象和立体场景，其中立体场景为3D立体书中搭建的场景；用户终端获取实物对象的虚拟三维模型；用户终端叠加虚拟三维模型与立体场景；用户终端在显示界面上显示叠加后的内容。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，当上述实物对象为电子互动产品对应的卡片对象时，用户终端通过将卡片对象与预先存储的卡片图案进行比对的方式，确定卡片对象对应的卡片图案；用户终端按照确定的卡片图案调取卡片对象的虚拟三维模型。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，用户终端通过将卡片对象与预先存储的卡片图案进行比对的方式，确定卡片对象对应的卡片图案包括：用户终端提取卡片对象的标识码；用户终端对比卡片对象的标识码与用户终端中预先存储的卡片图案的标识码；当卡片对象的标识码与卡片图案的标识码相符时，确定卡片图案为卡片对象对应的卡片图案。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，用户终端获取实物对象的虚拟三维模型包括：当实物对象为用户终端所处环境中的实体时，用户终端确定上述实体在模板坐标系下的第一坐标，模板坐标系以实体的中心为原点；用户终端根据第一坐标变换得到摄像机坐标系下的第二坐标；用户终端根据第二坐标变换得到屏幕坐标系下的第三坐标；用户终端根据第三坐标生成实物对象的虚拟三维模型。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，用户终端通过摄像装置抓取新的目标对象；用户终端将该新的目标对象叠加在当前显示界面的显示内容上；用户终端在接收到用户的截屏操作时，对显示界面的显示内容进行截屏保存。

第二方面，本发明实施例还提供一种电子互动产品的内容显示装置，包括：启动模块，用于当电子互动产品启动后，开启摄像装置；其中，摄像装置配置在用户终端上；抓取模块，用于通过摄像装置抓取电子互动产品的目标对象，目标对象包括实物对象和立体场景，其中，立体场景为3D立体书中搭建的场景；获取模块，用于获取实物对象的虚拟三维模型；叠加模块，用于叠加虚拟三维模型与立体场景；显示模块，用于在显示界面上显示叠加后的内容。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，获取模块包括：对比单元，用于当实物对象为电子互动产品对应的卡片对象时，通过将卡片对象与预先存储的卡片图案进行比对的方式，确定卡片对象对应的卡片图案；调取单元，用于按照确定的卡片图案调取卡片对象的虚拟三维模型。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，对比单元包括：标识码提取子单元，用于提取卡片对象的标识码；标识码对比子单元，用于对比卡片对象的标识码与用户终端中预先存储的卡片图案的标识码；确定子单元，用于当卡片对象的标识码与卡片图案的标识码相符时，确定该卡片图案为该卡片对象对应的卡片图案。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，获取模块包括：第一坐标确定单元，用于当实物对象为用户终端所处环境中的实体时，确定该实体在模板坐标系下的第一坐标，模板坐标系以实体的中心为原点；第二坐标确定单元，用于根据第一坐标变换得到摄像机坐标系下的第二坐标；第三坐标确定单元，用于根据第二坐标变换得到屏幕坐标系下的第三坐标；生成单元，用于根据第三坐标生成实物对象的虚拟三维模型。

结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，还包括：新对象抓取模块，用于通过摄像装置抓取新的目标对象；新对象叠加模块，用于将新的目标对象叠加在当前显示界面的显示内容上；截屏模块，用于在接收到用户的截屏操作时，对显示界面的显示内容进行截屏保存。

本发明实施例提供的电子互动产品的内容显示方法及装置，通过抓取实物对象和立体场景，并获取实物对象的虚拟三维模型，将虚拟三维模型与立体场景实时地叠加到用户终端的显示界面，该立体场景是3D立体书中场景，因此将该虚拟三维模型与该3D立体书中的场景结合起来，不需要在用户终端中预先模拟、存储场景模型，从而降低了开发的成本、缩小了资源包，同时由于该场景是3D立体书中的立体场景，增强了显示画面的真实感，带来视觉的全新体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的用户终端的结构框图；

图2示出了本发明实施例1提供的电子互动产品的内容显示方法的流程示意图；

图3示出了本发明实施例2提供的电子互动产品的内容显示方法的坐标变换示意图；

图4示出了本发明实施例3提供的电子互动产品的内容显示装置的结构框图。

具体实施方式

本发明实施例所提供的电子互动产品的内容显示方法及装置，用户终端优选为移动终端设备，例如可以包括智能手机、平板电脑、电子书阅读器、穿戴式移动终端等。用户终端中安装有至少一个应用程序(APP)，为用户提供服务。

图1示出了一种可应用于本发明实施例中的用户终端的结构框图。如图1所示，用户终端包括存储器102、存储控制器104，一个或多个(图中仅示出一个)处理器106、外设接口108、摄像模块110、音频模块112、触控屏幕114等。这些组件通过一条或多条通讯总线/信号线116相互通讯。可以理解，图1所示的结构仅为示意，用户终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

本发明实施例提出的电子互动产品的内容显示方法及装置，可适用于Android操作系统、iOS操作系统、Windows Phone操作系统等平台。

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1

图2示出了本发明第一实施例提供的一种电子互动产品的内容显示方法的流程图。应当说明的是，本发明的电子互动产品的内容显示方法并不以图2以及以下所述的具体顺序为限制。应当理解，在其它实施例中，该方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。

下面将对图2所示电子互动产品的内容显示方法的具体流程进行详细阐述。该方法包括如下步骤：

步骤S110，用户终端开启摄像装置。

当用户终端上的电子互动产品启动后，用户终端开启摄像装置，该用户互动产品是用户终端上已安装的应用程序(APP)，该APP可以从互联网上下载或者预先安装在该用户终端中。用户终端可以是智能手机或者平板电脑等移动设备，本实施例以智能手机为例说明，该智能手机配置有摄像装置，以摄像头为例，可以实现对实体的摄像。

步骤S120，用户终端通过摄像装置抓取电子互动产品的目标对象。

用户终端开启摄像装置后，将该摄像装置对准目标对象，以对该目标对象进行取景，此时该目标对象显示在用户终端的显示界面上。目标对象包括实物对象和立体场景，该立体场景为3D立体书中搭建的场景。在3D立体书在打开后，会展现各种立体场景。上述立体场景实时显示在用户终端的显示界面上。由于该立体场景是3D立体书搭建的，因此不需要在电子互动产品APP中预先编写模拟、存储场景模型，降低了APP的体积更加方便用户下载使用，同时降低了开发成本。

步骤S130，用户终端获取实物对象的虚拟三维模型。

在摄像装置抓取实物对象后，获取该实物对象的虚拟三维模型。当该实物对象是电子互动产品对应的卡片对象时，用户终端通过将卡片对象与预先存储的卡片图案进行对比的方式，确定卡片对象对应的卡片图案。然后按照确定的卡片图案调取卡片对象的虚拟三维模型。上述卡片对象为预先制作完成的卡片，卡片上可以绘制有各种图案，例如各种动物、植物的卡通图案，用于幼儿早教学习；上述卡片图案预先存储在电子互动产品APP中，与卡片上的图案一一对应，在APP中还预先存储有与该卡片图案一一对应的虚拟三维模型。当用户终端对比卡片对象与卡片图案的结果是匹配时，调取该卡片图案对应的虚拟三维模型，并将其显示在用户终端的显示界面上。

用户终端对比卡片对象与卡片图案可以采用以下方式：

首先用户终端提取卡片对象的标识码；其次对比卡片对象的标识码与用户终端中预先存储的卡片图案的标识码；当卡片对象的标识码与卡片图案的标识码相符时，确定卡片图案为卡片对象对应的卡片图案。

上述标识码也可以是卡片对象中图案的独特的特征点。用户终端通过一系列算法(如：SURF，ORB，FERN等)对图案提取特征点并记录。当摄像装置扫描周围场景时，会提取周围场景的特征点并与记录的图案特征点进行比对。如果扫描到的特征点和记录的图案特征点的匹配数量超过阈值，则确认摄像装置扫描到该图案。

在用户终端获取到实物对象的虚拟三维模型后，该摄像装置可以移动，不需要保持对准实物对象。

步骤S140，用户终端叠加虚拟三维模型与立体场景。

在步骤S120中用户终端已抓取了3D立体书搭建的场景作为立体场景，在步骤S130中用户终端已获取了实物对象的虚拟三维模型，此时将上述虚拟三维模型与立体场景叠加。

步骤S150，用户终端在显示界面上显示叠加后的内容。

将步骤S140中叠加的虚拟三维模型与立体场景显示在显示界面上。在实际使用中，获取到实物对象的虚拟三维模型后摄像装置不需要保持对准实物对象，此时显示界面上已显示有该虚拟三维模型，移动用户终端或者调整显示界面上虚拟三维模型的位置，从而调整虚拟三维模型与立体场景的相对位置，实现更好的叠加显示效果。

在用户终端的该电子互动产品APP中，还具有与虚拟三维模型互动的功能，例如点击、移动、旋转上述虚拟三维模型；还可以对各三维模型配置相应的音频文件，包括环境音乐、动作音效等，增强了产品与幼儿的互动性及使用的趣味性，激发幼儿的认知兴趣和学习主动性，让学习变得更加轻松有趣。

本实施例提供的方法在上述步骤之后，还可以包括截屏保存步骤。

在完成上述虚拟三维模型与立体场景的叠加显示后，还可以在增加新的目标对象，例如新的实体对象。用户终端通过摄像装置抓取新的目标对象；用户终端将该新的目标对象叠加在当前显示界面的显示内容上；用户终端在接收到用户的截屏操作时，对显示界面的显示内容进行截屏保存。

上述实体对象可以是使用该电子互动产品的幼儿，将该幼儿通过摄像装置进行拍摄，按上述方法与虚拟三维模型及立体场景叠加显示在显示界面，对此界面进行截屏保存，增强了使用过程中的参与感和互动性。

上述实施例1中的方法，通过将电子互动产品APP获取的虚拟三维模型与现实中的3D立体书搭建的立体场景相结合，虚拟的物体与真实的环境实时地叠加到同一个显示界面，不需要在APP中预先模拟、存储场景模型，从而降低了开发的成本、缩小了资源包，同时由于该场景是3D立体书中的立体场景，增强了显示画面的真实感，带来视觉的全新体验。

实施例2

在实施例1的方法中，用户终端获取实物对象的虚拟三维模型还可以使用以下方式：

当实物对象为用户终端所处环境中的实体时，用户终端确定上述实体在模板坐标系下的第一坐标，模板坐标系以实体的中心为原点；用户终端根据第一坐标变换得到摄像机坐标系下的第二坐标；用户终端根据第二坐标变换得到屏幕坐标系下的第三坐标；用户终端根据第三坐标生成实物对象的虚拟三维模型。

如图3所示，首先将实体放到现实中的一个位置上，相当于确定了一个现实场景中的平面，使用该平面为基准平面，例如图3所示中的坐标轴Xm与Ym限定的平面，其中A表示该实体在该平面上的形状。通过摄像头对实体进行识别和姿态评估(Pose Estimation)，并确定其位置，然后将其中心为原点的坐标系称为Marker Coordinates即模板坐标系，如图3中所示最左侧Xm、Ym、Zm组成的坐标系，获得该实体在模板坐标系中的坐标。从模板坐标系变换到真实的屏幕坐标系需要先旋转平移到摄像机坐标系(Camera Coordinates)，获取摄像机坐标系中的坐标，如图3中所示中间Xc、Yc、Zc组成的坐标系。然后再从摄像机坐标系映射到屏幕坐标系，如图3所示右侧Xd、Yd组成的坐标系，完成虚拟三维模型的绘制。

在上述获取实物对象的虚拟三维模型的方式中，使用的是对实体实时生成的三维模型，因此不需要预先编程开发各种卡片图案的虚拟三维模型，也不需要在APP中预先存储，从而节省了开发成本及降低了APP资源包的体积。

实施例3

对应于上述实施例提供的方法，本发明实施例还提供了一种电子互动产品的内容显示装置，参见图4，该装置包括：启动模块11、抓取模块12、获取模块13、叠加模块14、显示模块15。

启动模块11，用于当电子互动产品启动后，开启摄像装置。

当用户终端上的电子互动产品启动后，用户终端开启摄像装置，该用户互动产品是用户终端上已安装的应用程序(APP)，该APP可以从互联网上下载或者预先安装在该用户终端中。用户终端可以是智能手机或者平板电脑等移动设备，本实施例以智能手机为例说明，该智能手机配置有摄像装置，以摄像头为例，可以实现对实体的摄像。

抓取模块12，用于通过摄像装置抓取电子互动产品的目标对象。

用户终端开启摄像装置后，将该摄像装置对准目标对象，以对该目标对象进行取景，此时该目标对象显示在用户终端的显示界面上。目标对象包括实物对象和立体场景，该立体场景为3D立体书中搭建的场景。在3D立体书在打开后，会展现各种立体场景。上述立体场景实时显示在用户终端的显示界面上。由于该立体场景是3D立体书搭建的，因此不需要在电子互动产品APP中预先编写模拟、存储场景模型，降低了APP的体积更加方便用户下载使用，同时降低了开发成本。

获取模块13，用于获取实物对象的虚拟三维模型。

在摄像装置抓取实物对象后，获取该实物对象的虚拟三维模型。

获取模块13包括：对比单元，用于当实物对象为电子互动产品对应的卡片对象时，通过将卡片对象与预先存储的卡片图案进行对比的方式，确定卡片对象对应的卡片图案；调取单元，用于按照确定的卡片图案调取卡片对象的虚拟三维模型。

上述卡片对象为预先制作完成的卡片，卡片上可以绘制有各种图案，例如各种动物、植物的卡通图案，用于幼儿早教学习；上述卡片图案预先存储在电子互动产品APP中，与卡片上的图案一一对应，在APP中还预先存储有与该卡片图案一一对应的虚拟三维模型。当用户终端对比卡片对象与卡片图案的结果是匹配时，调取该卡片图案对应的虚拟三维模型，并将其显示在用户终端的显示界面上。

对比单元对比卡片对象与卡片图案可以采用以下方式：

首先提取卡片对象的标识码；其次对比卡片对象的标识码与用户终端中预先存储的卡片图案的标识码；当卡片对象的标识码与卡片图案的标识码相符时，确定卡片图案为卡片对象对应的卡片图案。

上述标识码也可以是卡片对象中图案的独特的特征点。用户终端通过一系列算法(如：SURF，ORB，FERN等)对图案提取特征点并记录。当摄像装置扫描周围场景时，会提取周围场景的特征点并与记录的图案特征点进行比对。如果扫描到的特征点和记录的图案特征点的匹配数量超过阈值，则确认摄像装置扫描到该图案。

在用户终端获取到实物对象的虚拟三维模型后，该摄像装置可以移动，不需要保持对准实物对象。

叠加模块14，用于叠加虚拟三维模型与立体场景。

在抓取模块12已抓取了3D立体书搭建的场景作为立体场景，在获取模块13已获取了实物对象的虚拟三维模型，此时叠加模块14将上述虚拟三维模型与立体场景叠加。

显示模块15，用于在显示界面上显示叠加后的内容。

将叠加模块14叠加的虚拟三维模型与立体场景显示在显示界面上。在实际使用中，获取到实物对象的虚拟三维模型后摄像装置不需要保持对准实物对象，此时显示界面上已显示有该虚拟三维模型，移动用户终端或者调整显示界面上虚拟三维模型的位置，从而调整虚拟三维模型与立体场景的相对位置，实现更好的叠加显示效果。

在用户终端的该电子互动产品APP中，还具有与虚拟三维模型互动的功能，例如点击、移动、旋转上述虚拟三维模型；还可以对各三维模型配置相应的音频文件，包括环境音乐、动作音效等，增强了产品与幼儿的互动性及使用的趣味性，激发幼儿的认知兴趣和学习主动性，让学习变得更加轻松有趣。

本实施例提供的装置还可以包括：新对象抓取模块，用于通过摄像装置抓取新的目标对象；新对象叠加模块，用于将新的目标对象叠加在当前显示界面的显示内容上；截屏模块，用于在接收到用户的截屏操作时，对显示界面的显示内容进行截屏保存。

在完成上述虚拟三维模型与立体场景的叠加显示后，还可以在增加新的目标对象，例如新的实体对象。新对象抓取模块通过摄像装置抓取新的目标对象；新对象叠加模块将该新的目标对象叠加在当前显示界面的显示内容上；在接收到用户的截屏操作时，截屏模块对显示界面的显示内容进行截屏保存。

上述实体对象可以是使用该电子互动产品的幼儿，将该幼儿通过摄像装置进行拍摄，按上述方法与虚拟三维模型及立体场景叠加显示在显示界面，对此界面进行截屏保存，增强了使用过程中的参与感和互动性。

上述实施例3中的装置，通过将将该虚拟三维模型与该3D立体书中的场景结合方式降低了开发的成本、缩小了资源包，同时由于该场景是3D立体书中的立体场景，增强了显示画面的真实感。

在上述装置中，获取模块可以由以下单元组成，具体包括：第一坐标确定单元，用于当实物对象为用户终端所处环境中的实体时，确定该实体在模板坐标系下的第一坐标，模板坐标系以实体的中心为原点；第二坐标确定单元，用于根据第一坐标变换得到摄像机坐标系下的第二坐标；第三坐标确定单元，用于根据第二坐标变换得到屏幕坐标系下的第三坐标；生成单元，用于根据第三坐标生成实物对象的虚拟三维模型。

首先将实体放到现实中的一个位置上，相当于确定了一个现实场景中的平面，然后通过摄像头对实体进行识别和姿态评估(Pose Estimation)，并确定其位置，然后将其中心为原点的坐标系称为Marker Coordinates即模板坐标系，获得该实体在模板坐标系中的坐标。从模板坐标系变换到真实的屏幕坐标系需要先旋转平移到摄像机坐标系(Camera Coordinates)，获取摄像机坐标系中的坐标，然后再从摄像机坐标系映射到屏幕坐标系，完成虚拟三维模型的绘制。

在上述获取实物对象的虚拟三维模型的过程中，使用的是对实体实时生成的三维模型，因此不需要预先编程开发各种卡片图案的虚拟三维模型，也不需要在APP中预先存储，从而节省了开发成本及降低了APP资源包的体积。

综上所述，本发明实施例提供的电子互动产品的内容显示方法及装置，通过实时地叠加虚拟三维模型与现实中的3D立体书中场景，降低了开发的成本、缩小了资源包，增强了显示画面的真实感。

附图中的流程图和结构框图显示了根据本发明的多个实施例的方法、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。