一种基于增强现实AR的对象互动展示方法及系统与流程

本发明涉及一种基于增强现实(augmentedreality，ar)的对象互动展示方法，属于ar技术领域。

背景技术：

ar技术是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。目前，ar技术可以应用在博物馆进行文物展示。

在通过ar技术进行展示时，可以使用图像采集组件采集被展对象的当前图像；通过图像识别组件识别当前图像中的目标对象；在识别出目标对象时，通过ar展示组件展示该目标对象的相关信息。

然而，若图像采集组件所处场景的环境光较弱、过强或者采集角度不佳，则图像识别组件识别该图像采集组件采集到的当前图像可以会失败，这样，图像识别组件无法识别出目标对象，从而ar展示组件无法获取到目标对象对应的相关信息，并无法基于目标对象的位置对该相关信息进行展示。

另外，图像识别组件识别当前图像中的目标对象时只能识别简单场景中的目标对象，比如：场景中只包含简单几何体并且该简单几何体需要具备显著的尖锐角点或者明显的反差颜色；此时，若场景中的被展对象是弧线轮廓或者颜色反差不明显时，图像识别组件识别的成功率就会降低，此时，ar展示组件也无法获取到目标对象对应的相关信息，并无法基于目标对象的位置对该相关信息进行展示。

技术实现要素：

本发明的目的在于提供一种基于ar的对象互动展示方法及系统。为达到上述目的，本发明提供如下技术方案：

第一方面，提供了一种基于实ar的对象互动展示方法，所述方法包括：

通过投影组件获取本次展示需求对应的辅助展示特征，所述辅助展示特征包括：所述本次展示需求对应的对象纹理和/或对象特征锚点；其中，所述对象纹理是指用于投射于所述被展对象表面之上的图像；所述对象特征锚点是指位于所述对象纹理中的特定拐点；

通过所述投影组件以24帧/秒或12帧/秒的频率将所述辅助展示特征投射至被展对象，得到投射后的被展对象；其中，每24帧动态的辅助展示特征中插入有至少1帧包括所述对象纹理和/或所述对象特征锚点的辅助展示特征；所述被展对象包括所述本次展示需求对应的原始展示特征；

通过图像采集组件实时采集所述投射后的被展对象的当前图像帧；

通过图像识别组件识别所述当前图像帧中是否存在目标对象，所述辅助展示特征用于供所述图像识别组件结合所述原始展示特征识别所述目标对象，所述目标对象为包括所述辅助展示特征与所述原始展示特征的对象；

在所述当前图像帧中存在所述目标对象时，通过ar展示组件获取所述目标对象的相关信息；

通过所述ar展示组件基于所述图像识别组件识别出的目标对象在空间场景当前图像帧中的位置，将所述相关信息以目标展示方式进行展示。

可选地，所述通过投影组件获取本次展示需求对应的辅助展示特征，包括：

通过所述图像采集组件采集所述被展对象的当前图像帧；

通过所述图像识别组件识别所述被展对象的当前图像帧；

在所述图像识别组件识别所述被展对象的当前图像帧失败时，通过所述投影组件获取所述本次展示需求对应的辅助展示特征。

可选地，所述本次展示需求对应的辅助展示特征包括至少两组辅助展示特征；

所述在所述图像识别组件识别所述被展对象的当前图像帧失败时，通过所述投影组件获取所述本次展示需求对应的辅助展示特征，包括：

获取识别所述被展对象的当前图像帧失败的失败原因；

从所述本次展示需求对应的所述至少两组辅助展示特征中，确定所述失败原因对应的辅助展示特征。

可选地，所述方法还包括：

在所述本次展示需求变更时，通过所述投影组件获取更新后的展示需求对应的更新后的辅助展示特征；

通过所述投影组件将所述更新后的辅助展示特征投射至被展对象，得到投射后的被展对象，再次执行所述通过图像采集组件实时采集所述投射后的被展对象的当前图像帧的步骤。

可选地，所述本次展示需求包括：所述相关信息的年代特征和/或信息标识。

可选地，所述投影组件设置于所述被展对象上方。

可选地，所述通过所述投影组件将所述辅助展示特征投射至被展对象，包括：

通过所述投影组件通过水幕投影方式将所述辅助展示特征投射至所述被展对象。

第二方面，提供一种ar的对象互动展示系统，所述系统包括：

投影组件，用于获取本次展示需求对应的辅助展示特征；以24帧/秒或12帧/秒的频率将所述辅助展示特征投射至被展对象，得到投射后的被展对象；其中，所述被展对象包括所述本次展示需求对应的原始展示特征；所述辅助展示特征包括：所述本次展示需求对应的对象纹理和/或对象特征锚点；其中，所述对象纹理是指用于投射于所述被展对象表面之上的图像；所述对象特征锚点是指位于所述对象纹理中的特定拐点；其中，每24帧动态的辅助展示特征中插入有至少1帧包括所述对象纹理和/或所述对象特征锚点的辅助展示特征；

图像采集组件，用于实时采集所述投射后的被展对象的当前图像帧；

图像识别组件，用于识别所述当前图像帧中是否存在目标对象，所述辅助展示特征用于供所述图像识别组件结合所述原始展示特征识别所述目标对象，所述目标对象为包括所述辅助展示特征与所述原始展示特征的对象；

ar展示组件，用于在所述当前图像帧中存在所述目标对象时获取所述目标对象的相关信息；基于所述图像识别组件识别出的目标对象在空间场景中的位置，将所述相关信息以目标展示方式进行展示。

本发明的有益效果在于：通过投影组件获取本次展示需求对应的辅助展示特征；通过投影组件将辅助展示特征投射至被展对象，得到投射后的被展对象；通过图像采集组件实时采集投射后的被展对象的当前图像帧；通过图像识别组件识别当前图像帧中是否存在目标对象；在当前图像帧中存在目标对象时，通过ar展示组件获取目标对象的相关信息；通过ar展示组件基于目标对象在当前图像帧中的位置，将相关信息以目标展示方式进行展示；可以解决现有的ar互动展示系统中由于图像识别组件识别目标对象的失败率较高，导致ar互动展示系统的展示效果不佳的问题；由于投影组件可以对被展对象的展示特征强化，这样保证图像采集组件采集到的当前图像帧可以满足图像识别组件识别目标对象的要求，从而提高图像识别组件识别目标对象的成功率，进而提高ar互动展示系统的展示效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1是本申请一个实施例提供的基于ar的对象互动展示系统的结构示意图；

图2是本申请一个实施例提供的基于ar的对象互动展示方法的流程图；

图3是本申请一个实施例提供的对象纹理和对象特征锚点的示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本申请一个实施例提供的基于ar的对象互动展示系统的结构示意图，如图1所示，该系统至少包括：投影组件110、图像采集组件120、图像识别组件130、ar展示组件140和控制组件150。

可选地，投影组件110可以是家庭影院型、便携商务型、教育会议型、主流工程型、专业型、阴极射线管(cathoderaytube，crt)投影机、液晶(liquidcrystaldisplay，lcd)投影机、数码光学处理器(digitallightprocessor、dlp)投影机、全息投影机等，本实施例不对投影组件110的类型作限定。

示意性地，本实施例中，投影组件110用于获取本次展示需求对应的辅助展示特征；以24帧/秒或12帧/秒的频率将辅助展示特征投射至被展对象，得到投射后的被展对象。在一个示例中，投影组件110以水幕投影的方式将辅助展示特征投射至被展对象，这样，辅助展示特征可以三维地在被展对象上展示。其中，每24帧动态的辅助展示特征中插入有至少1帧包括对象纹理和/或对象特征锚点的辅助展示特征。这样，投影组件110投射的至少1帧包括对象纹理和/或对象特征锚点的辅助展示特征人眼无法识别，而图像采集组件可以获取到，可以提高互动展示效果。

其中，被展对象包括本次展示需求对应的原始展示特征。被展对象是指互动展示场景中放置的被展示物体和/或图像等。

可选地，投影组件110获取终端设备发送的本次展示需求对应的辅助展示特征。投影组件110可以通过有线或者无线方式与终端设备通信连接；或者，投影组件110与终端设备为一体机。终端设备可以是控制组件150；或者，也可以是与控制组件150不同的设备，比如：可以是手机、计算机、平板电脑等具有控制投影组件110的功能的设备。本实施例不对投影组件110所连接的终端设备的类型作限定。

可选地，投影组件110设置于被展对象上方，这样，图像采集组件120可以从被展对象四周的各个角度采集到投影组件110投射的辅助展示特征，从而辅助图像识别组件130识别目标对象。当然，在其他实施例中，投影组件110也可以设置于其他位置，比如：被展对象的斜上方等，本实施例不对投影组件110的位置作限定。

图像采集组件120、图像识别组件130、ar展示组件140和控制组件150通过有线方式或者无线方式通信相连。可选地，图像采集组件120、图像识别组件130、ar展示组件140和控制组件150可以设置在同一设备中(此时，可以通过进程间通信实现通信连接)；当然，也可以设置在不同设备(此时，可以基于无线网络或者有线网络实现通信连接)中，本实施对此不作限定。

图像采集组件120可以为摄像头组件，图像采集组件120用于随着用户的移动实时采集当前图像帧。本实施例中，图像采集组件120可以实时采集被展对象的当前图像帧，也可以实时采集投射后的被展对象的当前图像帧。

图像采集组件120采集到当前图像帧后，将该当前图像帧发送至控制组件150；再由控制组件150将当前图像帧发送至图像识别组件130。

其中，控制组件150可以通过dsp(digitalsignalprocessing，数字信号处理)、fpga(field－programmablegatearray，现场可编程门阵列)、pla(programmablelogicarray，可编程逻辑阵列)中的至少一种硬件形式来实现。控制组件150也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(centralprocessingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，控制组件150可以在集成有gpu(graphicsprocessingunit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，控制组件150还可以包括ai(artificialintelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。

图像识别组件130可以运行于计算机、手机、平板电脑、个人计算机等硬件设备中，图像识别组件130用于对图像采集组件120采集到的当前图像帧进行识别，以识别当前图像帧中是否存在目标对象。其中，投影组件110投射的辅助展示特征用于供图像识别组件结合原始展示特征识别目标对象。

目标对象为包括辅助展示特征与原始展示特征的对象。目标对象可以是博物馆中的文物；或者，也可以是园林中的遗址，当然还可以是其他用于互动展示的对象，本实施例不对目标对象的类型作限定。

图像识别组件130还用于将识别结果发送至控制组件150。可选地，在识别结果为当前图像帧中存在目标对象时，控制组件150获取目标对象的相关信息。

可选地，目标对象的相关信息可以是文字信息、图像信息、视频信息等，本实施不对该相关信息的内容作限定。目标对象的相关信息可以是二维的信息，或者也可以是1维或者更多维的信息，本实施例不对相关信息的类型作限定。

控制组件150在获取到目标图像的相关信息之后，还用于通过ar展示组件140基于目标对象在空间场景中的位置，将该相关信息以目标展示方式进行展示。

可选地，根据被展对象的不同，对应的目标展示方式也有所不同。示意性地，在被展对象为残缺类对象，该目标对象的相关信息包括投射后的被展对象的复原图像，此时目标展示方式为：将复原图像覆盖在投射后的被展对象之上，并以逐行出现的方式展示(复原效果)；在被展对象为完整的对象时，此时目标展示方式为在投射后的被展对象的右上角展示相关信息。当然，每种被展对象对应的目标展示方式也可以其它方式，本实施例对此不作限定。比如：被展对象可以是具有水平平面的物体，比如：桌面、柜台、舞台或者手掌心等，此时，目标展示方式为在投射后的被展对象的水平平面上显示相关信息等。

ar展示组件140可以为ar眼镜，ar展示组件140展示的内容可以是二维的；或者，也可以是三维，当然，也可以是更多维的，本实施例对此不作限定。

当然，ar设备还可以包括其他组件，比如：ar手柄、传感器、定位组件等。

本实施例中，通过投影组件110向被展对象投射辅助展示特征，使得图像采集组件120采集到的当前图像帧可以包括该辅助展示特征，图像识别组件130可以结合辅助展示特征和投射后的被展对象的原始展示特征来识别目标对象，可以提高图像识别组件130的识别成功率，从而提高基于ar的互动展示系统的互动展示效果。

图2是本申请一个实施例提供的基于ar的对象互动展示方法的流程图，本实施例以该的方法应用于图1所示的系统中，且各个步骤的执行主体为控制组件150为例进行说明。该方法至少包括以下几个步骤：

步骤201，通过投影组件获取本次展示需求对应的辅助展示特征。

可选地，本次展示需求包括：相关信息的年代特征和/或信息标识。信息标识可以是目标对象的相关信息的名称、简介、可视化介绍等，本实施例不对信息标识的类型作限定。年代特征用于指示需要展示的相关信息的年代，比如：唐代、元代等过去时代，当然，也可以是未来时代。

可选地，辅助展示特征可以是静态的特征，比如：一张图片；或者，也可以是动态展示的特征，比如：动画。辅助展示特征包括：本次展示需求对应的对象纹理和/或对象特征锚点；其中，对象纹理是指用于投射于被展对象表面之上的图像；对象特征锚点是指位于对象纹理中的特定拐点。比如：对象纹理中具有特定几何形状的拐角、具有明显颜色差异的拐点等。参考图3所示的对象纹理301与对象特征锚点302的示意图。当然，辅助展示特征也可以是其他用于辅助图像识别组件识别目标对象的图像特征，本实施例不对辅助展示特征的类型作限定。

其中，投影组件获取到的辅助展示特征可以是控制组件发送的，此时，控制组件可以接收到用户选择或者输入的本次展示需求，并根据展示需求与辅助展示特征之间的对应关系确定出本次展示需求对应的辅助展示特征。可选地，控制组件所属的设备中可以存储有不同展示需求对应的辅助展示特征，且每种展示需求可以对应至少一组辅助展示特征。

比如：展示需求为唐代陶瓷，辅助展示特征可以为辅助展示特征1；展示需求为宋代陶瓷，辅助展示特征可以为辅助展示特征2和3。

在一个示例中，控制组件也可以先对被展对象进行图像采集，在对采集到的被展对象的当前图像帧识别失败时再启动投影组件，通过投影组件向被展对象投射辅助展示特征。此时，通过投影组件获取本次展示需求对应的辅助展示特征，包括：通过图像采集组件采集该被展对象的当前图像帧；通过图像识别组件识别被展对象的当前图像帧；在图像识别组件识别被展对象的当前图像帧失败时，通过投影组件获取本次展示需求对应的辅助展示特征。这样，可以仅在当前互动展示场景不满足图像识别组件的识别条件时才开启投影组件，可以降低互动展示系统消耗的资源。

可选地，本次展示需求对应的辅助展示特征包括至少两组辅助展示特征；且在图像识别组件识别被展对象的当前图像帧失败时，通过投影组件获取本次展示需求对应的辅助展示特征，包括：获取识别被展对象的当前图像帧失败的失败原因；从本次展示需求对应的至少两组辅助展示特征中，确定失败原因对应的辅助展示特征。此时，控制组件所属的设备还存储有展示需求、失败原因与辅助展示特征之间的对应关系。其中，失败原因包括但不限于：采集角度、环境光强度过强、环境光强度过弱和/或原始展示特征较少等。

步骤202，通过投影组件以24帧/秒或12帧/秒的频率将辅助展示特征投射至被展对象，得到投射后的被展对象。

其中，被展对象包括本次展示需求对应的原始展示特征。每24帧动态的辅助展示特征中插入有至少1帧包括对象纹理和/或对象特征锚点的辅助展示特征。

在一个示例中，投影组件以水幕投影的方式将辅助展示特征投射至被展对象，这样，辅助展示特征可以三维地在被展对象上展示。

由于以24帧/秒的频率将辅助展示特征投射至被展对象时，投影组件投射的至少1帧包括对象纹理和/或对象特征锚点的辅助展示特征人眼无法识别，而图像采集组件可以获取到，可以提高互动展示效果。

步骤203，通过图像采集组件实时采集投射后的被展对象的当前图像帧。

可选地，图像采集组件随着用户的移动而移动，此时，图像采集组件实时采集到的当前图像帧为该用户当前观看的对象，即投射后的被展对象。

步骤204，通过图像识别组件识别当前图像帧中是否存在目标对象，辅助展示特征用于供图像识别组件结合原始展示特征识别目标对象。

本实施例中目标对象为具有辅助展示特征和原始展示特征的对象。

可选地，图像识别组件通过图像识别算法将当前图像帧与模板库中的模板信息进行比较，在模板库中存在与当前图像帧中的图像内容相匹配的模板信息时，确定该当前图像帧中存在目标对象，此时，执行步骤205；在模板库中不存在与当前图像帧中的图像内容相匹配的模板信息时，确定该当前图像帧中不存在目标对象，流程结束，或者再次执行步骤201重新获取辅助展示特征。

可选地，每种模板信息对应一组相关信息，这样，在图像识别组件识别出目标对象后，可以获取到该模板信息对应的一组相关信息。

在一个示例中，投射后的被展对象为残缺类对象，相应地，该目标对象的相关信息包括被展对象的复原图像，控制组件将目标对象与模板库中的至少一个模板复原图像进行对比；将匹配度高于预设阈值的模板复原图像确定为被展对象的复原图像。比如：被展对象为园林遗址。

在另一个示例中，投射后的被展对象为完整的对象时，相应地，该目标对象相关信息包括被展对象的介绍信息。

步骤205，在当前图像帧中存在目标对象时，通过ar展示组件获取目标对象的相关信息。

控制组件获取到目标对象的相关信息后，将该相关信息发送至ar展示组件；相应地，ar展示组件可以获取到该目标对象的相关信息。

步骤206，通过ar展示组件基于目标对象在空间场景中的位置，将相关信息以目标展示方式进行展示。

示意性地，投射后的被展对象为残缺类对象，该相关信息包括被展对象的复原图像。此时，控制组件根据目标对象在当前图像帧中的尺寸确定复原图像的尺寸；将目标对象在当前图像帧中的位置确定为复原图像的展示位置；在当前图像帧的展示位置中，通过ar展示组件以复原图像的尺寸基于目标对象以逐行出现的方式进行展示。

可选地，相关信息还包括目标对象的文字介绍信息；此时，通过ar展示组件基于目标对象在当前图像帧中的位置，将相关信息以目标展示方式进行展示，还可以包括：确定目标对象的目标位置；在目标位置通过ar展示组件以气泡的形式进行展示。

比如：在目标对象的右上角以气泡的形式展示目标对象的介绍信息，如：文物的出土日期、作用、年代、使用者等。

空间场景是指被投射的被展对象所在的场景。

综上所述，本实施例提供的基于ar的对象互动展示方法，通过投影组件获取本次展示需求对应的辅助展示特征；通过投影组件将辅助展示特征投射至被展对象，得到投射后的被展对象；通过图像采集组件实时采集投射后的被展对象的当前图像帧；通过图像识别组件识别当前图像帧中是否存在目标对象；在当前图像帧中存在目标对象时，通过ar展示组件获取目标对象的相关信息；通过ar展示组件基于目标对象在当前图像帧中的位置，将相关信息以目标展示方式进行展示；可以解决现有的ar互动展示系统中由于图像识别组件识别目标对象的失败率较高，导致ar互动展示系统的展示效果不佳的问题；由于投影组件可以对被展对象的展示特征强化，这样保证图像采集组件采集到的当前图像帧可以满足图像识别组件识别目标对象的要求，从而提高图像识别组件识别目标对象的成功率，进而提高ar互动展示系统的展示效果。

可选地，基于上述各个实施例，在步骤206之后，还包括：在本次展示需求变更时，通过投影组件获取更新后的展示需求对应的更新后的辅助展示特征；通过投影组件将更新后的辅助展示特征投射至被展对象，得到投射后的被展对象，再次执行通过图像采集组件实时采集投射后的被展对象的当前图像帧的步骤。

本实施例中，通过改变投影组件所投射的辅助展示特征，可以实现基于同一被展对象展示不同ar虚拟展示场景，可以减少被展对象占用的空间，提高展示空间利用率。以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。