本发明属于增强现实(augmentedreality,ar)技术领域，具体地，涉及一种异常现实环境下进行增强现实数字文化内容显示的方法及装置。
背景技术：
增强现实(augmentedreality,ar)是近几年发展起来的计算机图形学领域的研究热点，它能将计算机生成的虚拟数字信息叠加在现实环境之中，并将这种虚拟数字信息与现实环境融为一体，通过显示设备将这种虚实融合的场景加以呈现，从而使现实环境呈现出信息增强的效果。这种增强信息的呈现，使体验者不仅能感知真实世界的信息，还能同时感知真实世界以外的虚拟数字信息，从而能有效增强体验者对真实世界环境的感知。随着计算机科学技术的发展，ar技术的研究也从早期的军事、航空等高端领域的应用研究转向了教育、娱乐、文化、旅游等众多领域的应用开发研究。
非物质文化遗产(intangibleculturalheritage,ich)不同于物质文化遗产,它是一种极为重要的文化遗产形态，被喻为是代表我国民族特色传统文化多样性的文化基因。ich看不见、摸不着、难以体验，且越来越匮乏，如何保护好ich是国内外专家研究的一个重点。
目前，我国丰富的ich与ar技术相结合，能充分凸显和发挥二者之间的优势互补关系，能促进ich的有效诠释、展示与传播，最终实现ich的合理开发利用与保护。
现有技术中，针对ar与文化旅游产业的应用出现了不少实体化应用，例如博物馆的ar导览、圆明园等历史古迹的ar场景还原等，给用户耳目一新的感觉，例如在cn104778654a提及的非物质文化保护遗产的ar应用中，采用了二维绘本进行文化标签识别，并将ich文化呈现在二维图像上，例如黄鹤楼的三维模型呈现等。但是，在异常的现实环境下，例如逆光、昏暗、图像不清晰、拍摄环境嘈杂、物质文化载体中缺少必要的文化标签信息等环境下，会出现文化标签识别不出或识别不准的问题，导致无法显示ich数字文化内容或显示不准。
技术实现要素：
本发明提供了一种异常现实环境下进行ar数字文化内容显示的方法及一种移动增强现实(mobileaugmentedreality,mar)装置，解决了现有技术异常现实环境下ich数字文化内容显示不出或显示不准的问题。
为了实现上述目的，本发明实施例提供了一种异常现实环境下的移动增强现实mar装置，所述系统包括图像采集模块、发送模块、接收模块、无线传感模块、显示模块及处理模块，其中，
所述图像采集模块，用于采集物质文化载体的图像；
所述发送模块，用于将所述采集的图像发送至所述处理模块；
所述处理模块，用于在所述物质文化载体的图像中提取所述物质文化载体对应的第一文化标签；当所述第一文化标签提取或解析失败时，将生成的失败响应消息转发至所述接收模块；
所述接收模块，用于在接收所述失败响应消息后，接收所述无线传感模块发送的与所述物质文化载体对应的第二文化标签信息；
所述发送模块，还用于将所述第二文化标签信息发送至所述处理模块；
所述处理模块，还用于获取与所述第二文化标签信息对应的非物质文化遗产ich数字文化内容，将所述ich数字文化内容融合叠加至所述物质文化载体的图像上，并发送所述融合叠加后的图像至所述显示模块；
所述显示模块，用于显示所述融合叠加后的图像。
可选地，所述处理模块用于将所述ich数字文化内容融合叠加至所述物质文化载体的图像上，包括：
采用三维跟踪注册技术对所述ich数字文化内容及所述采集图像进行虚实配准处理；
将所述ich数字文化内容进行实时绘制渲染，并根据所述虚实配准处理后所述ich数字文化内容在现实场景中的映射关系，将所述ich数字文化内容与所述物质文化载体图像进行叠加融合，
其中，所述ich数字文化内容包括ich数字三维模型，以及ich数字动画、ich数字影视、ich数字声音、ich数字图片及ich数字文本的其中一种或多种的组合。
可选地，所述无线传感模块还用于：
接收无线网络节点发送的文化标签，所述无线网络节点固定放置，所述无线传感模块置于所述无线网络节点的发送范围内。
可选地，所述物质文化载体包括文化创意产品、博物馆展示品或文化景观，则所述第二文化标签包括文化创意产品的文化标签、博物馆内部展品的文化标签或文化景观文化标签的其中一种或多种的组合。
可选地，所述处理器还用于：
当所述物质文化载体是博物馆展品，且所述第二文化标签是博物馆内部展品标签时，构建标识数据库，根据所述标识数据库，对所述图像进行动态标识切换识别匹配；
获取所述图像中姿态定位坐标，进行所述展品匹配检测；
确定所述图像采集模块的姿态位置信息，将所述展品对应的ich数字文化内容与所述展品图像进行虚实融合。
可选地，所述无线传感模块为zigbee无线收发模块。
本发明实施例还提供一种异常现实环境下进行增强现实数字文化内容显示的方法，包括：
图像采集模块采集物质文化载体的图像，通过发送模块将所述采集的图像发送至所述处理模块；
处理模块在所述物质文化载体的图像中提取所述物质文化载体对应的第一文化标签；当所述第一文化标签提取或解析失败时，将生成的失败响应消息转发至接收模块；
所述接收模块在接收所述失败响应消息后，接收无线传感模块发送的与所述物质文化载体对应的第二文化标签信息；
所述发送模块将所述第二文化标签信息发送至所述处理模块；
所述处理模块获取与所述第二文化标签信息对应的非物质文化遗产ich数字文化内容，将所述ich数字文化内容融合叠加至所述物质文化载体的图像上，并发送所述融合叠加后的图像至显示模块；
所述显示模块显示所述融合叠加后的图像。
可选地，所述处理模块将与所述信号中文化标签信息对应的ich数字文化内容融合叠加至所述图像上，包括：
采用三维跟踪注册技术对所述ich数字文化内容及所述采集图像进行虚实配准处理；
将所述ich数字文化内容进行实时绘制渲染，并根据所述虚实配准处理后所述ich数字文化内容在现实场景中的映射关系，将所述ich数字文化内容与所述物质文化载体图像进行叠加融合，
其中，所述ich数字文化内容包括ich数字三维模型，以及ich数字动画、ich数字影视、ich数字声音、ich数字图片及ich数字文本的其中一种或多种的组合。
可选地，所述方法还包括：
所述处理模块采用计算机图形图像cg技术制作与所述第二文化标签对应的数字三维模型。
可选地，所述物质文化载体包括文化创意产品、博物馆展示品或文化景观，则所述第二文化标签包括文化创意产品的文化标签、博物馆内部展品的文化标签或文化景观的文化标签的其中一种或多种的组合。
本发明实施例的方法及装置具有下列优点：
本发明实施例中，在异常现实环境下(例如昏暗、背景杂乱、逆光等)，识别第一文化标签失败时，通过ar与无线传感的架构进行第二文化标签的获取与识别，从而通过第二文化标签获取到与该第二文化标签对应的数字文化内容，并叠加融合到采集的图像上进行显示，解决了现有技术异常现实环境下ich数字文化内容显示不出或显示不准的问题，提高了ar识别率及准确率，提升了用户体验。
附图说明
图1是本发明实施例中异常现实环境下mar组成结构图；
图2是本发明实施例中三维注册跟踪技术流程示意图；
图3是本发明实施例中异常现实场景下进行ar显示的方法流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
为达到以上目的，如图1所示，本发明提供了一种移动增强现实mar装置11，该装置包括图像采集模块12、发送模块13、接收模块14、无线传感模块15、显示模块16及处理模块17，其中，
所述图像采集模块12，用于采集物质文化载体的图像；
图像采集模块可以是单独的摄像头或由多个不同角度的摄像头组成的摄像头阵列，也可以是包含有摄像头的移动终端，移动终端可以是常用的移动终端，如个人电脑、智能手机及平板电脑等。
物质文化载体在本发明实施例中，可以分为如下三类：一是针对传统技艺类、传统美术类、民间文学类等ich资源的手工艺品、纪念品、民族特色产品等；二是ich博物馆的展览品，包括各种文物、字画、绘本、古典建筑模型等；三是ich生态博物馆、民俗村、民族风情园等文化旅游景区，以及该景区内的民族特色/地域特色产品，包括民族服饰、特产、各类园林景观(花草树木、奇石、公园等)等。
所述发送模块13，用于将所述采集的图像发送至所述处理模块；
发送模块13可以是无线发送器，例如wifi、蓝牙、适用于3g/lte的通信模块等。可以集成在移动终端内部，也可以独立于移动终端，与移动终端通过通信协议进行图像传输。
所述处理模块17，用于在所述物质文化载体的图像中提取所述物质文化载体对应的第一文化标签；当所述第一文化标签提取或解析失败时，将生成的失败响应消息转发至所述接收模块；
处理模块17可以是移动终端的处理模块，也可以是服务器，由于处理模块17要进行大量的数据处理，故本发明实施例处理模块17优选为云服务器。
物质文化载体中可包含第一文化标签，文化标签信息是一种用于表示ich的具体标签，对于ich而言，其标签决定了ich的种类、内容及展现形式，同时，文化标签也可以是一个触发机制，在接收到该文化标签后触发相应的ar元素(例如后面提及的数字文化内容)加载到采集的图像上。此外，文化标签还可以是一种标记物，可分为人工标记的黑白识别物(marker)，和无人工标记的自然图像特征图形的识别物(markerless)，该标记物是根据ich文化内容涉及的带有传统文化元素符号各类图案、图形等标识物，是后续进行三维跟踪注册的目标对象。如cn104778654a所述，文化标签可以是二维绘本，也可以是三维物体的轮廓。当现实环境出现异常时，例如现实环境昏暗、逆光、背景嘈杂等，在现实识别过程中易发生文化标签识别不准或识别不出的问题，即认定第一文化标签提取或解析失败，无法进行下一步骤以获取ich数字文化内容。整个ar识别显示过程失败。
所述接收模块14，用于在接收所述失败响应消息后，接收所述无线传感模块15发送的与所述物质文化载体对应的第二文化标签信息；
接收模块14与发送模块13为对应的收发模块，这里不再累述。
当接收模块接收到该失败响应后，接收无线传感模块15发送的第二文化标签信息。可选地，在无线传感模块15发送第二文化标签之前，该无线传感模块15还接收无线网络节点发送的文化标签，所述无线网络节点固定放置，所述无线传感模块置于所述无线网络节点的发送范围内。
需要说明的是，该无线传感模块15包括但不限于zigbee、wifi、蓝牙、nfc等无线传感模块。在本发明实施例中，根据场景的不同，其采用的无线传感模块也不相同，例如，在近距离(10米以内)通信范围内，可采用nfc和蓝牙来完成数据的发送与接收，而在中距离(10-100米)的通信范围时，则采用zigbee、wifi等通信方式。
其中，在本发明实施例中优选zigbee模块作为无线传感模块15，该zigbee模块15可继承在移动终端内部，也可以独立于移动终端，与移动终端通过通信协议进行信令传输与交互。其中，zigbee是基于ieee802.15.4标准的低功耗局域网协议。根据国际标准规定，zigbee技术是一种短距离、低功耗的无线通信技术。其特点是近距离、低复杂度、自组织、低功耗、低数据速率。主要适合用于自动控制和远程控制领域，可以嵌入各种设备。
无线网络节点可固定放置在特定位置处，无线网络节点用于与无线传感模块进行通信，以zigbee为例，无线网络节点在通信范围内获取到zigbee的信息，采用zigbee传输协议与zigbee模块进行握手，完成信令交互，并将内部存储的文化标签信息及当前无线网络节点位置处物质文化载体的信息发送至该zigbee模块。
在本发明实施例中，第二文化标签信息可以是文化创意产品的文化标签信息、博物馆内部展品的文化标签信息或文化景观文化标签信息的其中一种或多种的组合。第二文化标签信息还可以是一串特定格式的数字编码，存储于无线网络节点中，当无线传感模块15与无线网络节点进行交互时，无线网络节点将该数字编码封装在信号格式中，并通过报文形式发送至无线传感模块15中，无线传感模块15通过对该信号进行解码，提取出其中的文化标签信息，并将该文化标签信息转发至接收模块14。可选地，文化标签也可以是qr码等，本发明对文化标签具体的表现形式并无限制。
本发明实施例中，对于文化标签的接收方式存在优先级，优先从图像中获取第一文化标签，若获取成功，这不需要获取第二文化标签(降成本)，即可根据第一文化标签获取ich数字文化内容并实现叠加融合处理。而当且仅当第一文化标签识别失败时，才进行第二文化标签的识别，增加了识别率及识别的稳定性。
所述发送模块14，还用于将所述第二文化标签信息发送至所述处理模块；
所述处理模块17，还用于获取与所述第二文化标签信息对应的ich数字文化内容，将所述ich数字文化内容融合叠加至所述物质文化载体的图像上，并发送所述融合叠加后的图像至所述显示模块；
其中，所述处理模块将所述ich数字文化内容融合叠加至所述物质文化载体的图像上，具体为：
采用三维跟踪注册技术对所述ich数字文化内容及所述采集图像进行虚实配准处理；
将所述ich数字文化内容进行实时绘制渲染，并根据所述虚实配准处理后所述ich数字文化内容在现实场景中的映射关系，将所述ich数字文化内容与所述物质文化载体图像进行叠加融合，
其中，所述ich数字文化内容包括ich数字三维模型(例如黄鹤楼的三维模型)，以及ich数字动画、ich数字影视、ich数字声音、ich数字图片及ich数字文本的其中一种或多种的组合。
三维跟踪注册是指装置在运行过程中，需要实时地检测、识别现实环境的图像特征，根据获取的现实环境视频图像帧的特征确定三维空间中摄像头相对于真实环境的位置和方向，从而将虚拟对象准确地放置在现实场景中的正确位置。要实现虚拟对象与现实场景的无缝融合，三维跟踪注册技术是ar装置最核心的关键技术。
三维跟踪注册技术(3dregistration)的实现一般可分为三种途径：基于计算机视觉的三维跟踪注册技术、基于硬件设备的三维跟踪注册技术和混合三维跟踪注册技术。
基于计算机视觉的三维跟踪注册技术：主要通过识别现实场景中图像的特征来确定摄像机的位置与姿态，这种注册方法可分为基于人工标记物(marker)的方法和基于自然图像特征的方法两种。装置通过实时识别现实场景中标记物的平行线、垂直线、平面物体、角点、纹理特征等方法，获取摄像机内、外部参数。基于marker的方法的优点是现实场景特征明显，具有较高鲁棒性和运算速度快，但需要人为事先在场景中设置黑白标记物，会影响场景的美观，基于自然图像特征的方法能克服人工标记物的上述缺点。
基于硬件设备的三维跟踪注册技术：主要是利用信号发射装置和感应装置，获取相关数据，计算三维注册所需要的位置和姿态信息。常用的有电磁式跟踪装置、光学式跟踪装置、超声波式跟踪装置、gps定位装置、惯性导航、电子罗盘等硬件设备。电磁式跟踪装置是利用线圈信号发射器，根据磁发射信号与磁感应信号之间的耦合互动关系来确定现实场景中目标对象的相对位置与姿态信息。光学式跟踪装置是通过摄像设备或光敏元器件，根据接收的光源信息或反射球发出的光，通过获取的图像、光源信息与传感器的三维空间位置信息来确定目标对象的六自由度信息。超声波式跟踪装置是根据不同声源发出的超声波到达现实场景特定的目标对象所产生的时间差、相位差和声压来进行三维注册。通过gps定位、惯性导航、电子罗盘等硬件装置来确定现实场景目标对象相对位置信息常用于基于位置服务的增强现实信息服务装置。
混合三维跟踪注册技术：在某些特定的应用中，综合上述多种三维跟踪注册方法来确定虚拟对象相对于真实场景的位置信息，实现装置的三维跟踪注册功能。
本发明实施例中，利用三维跟踪注册技术来实现ich与现实场景的叠加：通过视频图像中的坐标信息，进行世界坐标系、摄像机坐标系、成像平面坐标系和像素坐标系之间的转换计算，实现ich数字文化内容对象与现实场景精准叠加。为实现虚拟对象与现实场景的完美融合与配准，mar装置需要实时地检测和计算移动终端摄像头的位置和方向，根据摄像机外部参数实时计算ich数字文化内容与现实场景之间的映射关系，以实现将文化数字文化内容对象准确地“放置”在目标对象所在的现实场景视频图像的正确位置上；此外，mar装置还需要通过对数字三维模型、数字动画、数字影视、声音、图片、数字文本等ich数字文化内容对象进行实时绘制渲染，并根据mar装置实时获取的虚拟对象在现实场景中的映射关系，将这些计算机产生的虚拟图像与现实场景视频图像融合，实现对现实场景信息的增强效果，即在现实场景视频图像基础上获得增强ich数字文化信息的视频图像。
具体而言，本发明实施例中，装置通过移动终端上的摄像头捕获现实环境视频图像序列帧，识别出现实环境中的目标对象，进一步确定智能终端摄像机相对于现实环境中目标对象的位姿关系，装置根据获取的摄像机位姿数据信息和从真实场景获得的定位数据信息，确定虚拟对象(即与文化标签对应的ich数字化的数字三维模型、数字动画、视频、音频、图形、数字文本等一种或多种数字文化内容)在现实环境中的准确位置，最终在现实环境中完成虚拟对象的实时绘制与生成，将虚拟对象与现实环境融合显示在移动终端上，形成虚实融合的新场景，完成三维跟踪注册的过程，从而达到对现实环境文化信息增强的目的。
在mar装置的这一运行过程中，一方面，移动终端摄像头的位姿信息处于动态变化的状态，装置必须实时准确地获取摄像机相对于真实环境中目标对象的位置信息，才能完成后续精准的三维注册任务，另一方面，装置必须能实时地检测、识别、跟踪现实环境中的文化标签信息，才能快速地获取摄像机的位姿数据信息，三维空间环境下对目标对象(文化标签)的实时检测、识别、跟踪并实时完成虚实场景配准。基于计算机视觉的三维跟踪注册技术是装置在现实场景的视频图像序列帧中，以包含目标对象的图像帧为定位基准，通过对目标对象图像帧的特征点检测、识别匹配与实时跟踪的方法来实时获取摄像机与现实环境的位姿关系，并实时地更新虚拟对象到现实环境中目标对象的坐标转换关系，进而对虚实融合的场景进行实时地更新，完成三维注册的任务。基于计算机视觉的三维跟踪注册过程，主要包括图像特征点检测、识别匹配、目标对象的实时跟踪与虚实融合四个环节。
在mar装置中，三维跟踪注册是确保虚拟对象准确叠加、融合在现实环境中的关键性技术，这一过程中，装置是通过摄像头捕获的现实场景视频图像来获取真实场景的数据信息，三维跟踪注册的数据直接来源于摄像机捕获的图像信息，如果摄像机的内部参数不准确，将会严重影响三维注册精度，甚至导致注册失败。因此，增强现实装置需要进行摄像机标定(cameracalibration)来确定摄像机相关参数，摄像机参数包括内部参数与外部参数，内部参数是指与摄像机本身的几何、光学特性相关的参数，外部参数是指摄像机相对于某一世界坐标系中的三维空间位置和方向，mar装置进行摄像机标定的过程就是确定摄像机内、外部参数的过程。增强现实装置三维跟踪注册过程如图2所示。此外，三维跟踪注册中的坐标变换三维跟踪注册过程的本质涉及到世界坐标系、摄像机坐标系、成像平面坐标系与像素坐标系之间的转换关系，通过这四个坐标系之间的转换矩阵的确定，mar装置就能将虚拟对象准确地叠加在现实环境的场景之中三维跟踪注册过程主要包括摄像机标定、实时跟踪与三维场景绘制融合三个方面的主要内容。摄像机标定的目的在于帮助装置确定摄像机内部参数与外部参数，获取真实世界坐标系、摄像机坐标系、成像平面坐标系和像素坐标系之间的转换关系，为后续的虚拟对象准确叠加在现实场景中提供数据信息。实时跟踪过程包括对现实场景目标对象的实时检测与跟踪，通过对现实场景中目标对象的实时检测、识别匹配与跟踪，获取摄像机相对于真实世界坐标系的位置与方向，以确定真实世界坐标系与摄像机坐标系之间的转换矩阵。三维场景绘制融合主要通过装置获取的世界坐标系、摄像机坐标系、成像平面坐标系与像素坐标系之间的转换关系，利用计算机图形图像绘制生成技术，将虚拟对象叠加在现实场景的目标对象区域之中，形成虚实融合的新场景。
需要说明的是，针对博物馆展品的情况，即当所述物质文化载体是博物馆展品，且文化标签信息是博物馆内部展品信息时，处理模块17还用于：构建标识数据库，根据所述标识数据库，对所述图像进行动态标识切换识别匹配；并获取所述移动终端采集图像中姿态定位坐标，进行所述展品匹配检测；确定所述移动终端的姿态位置信息，将所述展品对应的ich数字文化内容与所述展品图像进行虚实融合，不仅能实现文物的重构与再现，还可以实现ich与历史古迹的完美融合。
所述显示模块18，用于显示所述融合叠加后的图像。
移动增强现实mar的开发应用主要有两种模式，一种是基于位置服务lbs(locationbasedservice,lbs)的mar装置，主要通过移动智能终端的gps定位、电子罗盘和重力加速度计等设备确定智能终端的位置与姿态，在用户的智能终端中叠加用户周围环境兴趣点poi(pointofinterest,poi)的相关信息，如对用户周围的酒店、导航、主要公共设施等进行的标注信息。另一种是基于自然图像特征的计算机视觉跟踪注册方法的移动增强现实装置应用，主要通过移动智能终端摄像头识别用户周围目标对象的特征来确定智能终端相对于目标对象的位置与姿态，在用户的智能终端中叠加与目标对象相关的信息。在目前的mar这两种应用模式中，前者主要是标注用户周围一定距离范围内的poi信息，一般叠加的信息属于二维的文字、图片等信息，不太适合通过有形化、情境化等较丰富的数字化信息叠加来实现对目标对象的详细诠释与展示。而本发明实施例创造性地提出了一种在异常现实环境下基于无线传感技术与ar技术结合的方案，在第一文化标签识别失败的情况下，通过无线传感模块接收无线网络节点将当前区域范围内的文化标签发送给接收模块，并转发至处理模块，处理模块根据识别出的该图像及第二文化标签信息，将该第二文化标签信息对应的ich数字文化内容叠加在该图像特定位置处，实现ar虚实叠加。采用本发明实施例提供的方案，不仅能够更提高ar的识别率，还可实现产业化应用，从而实现商业上的成功。
实施例二
如图3所示，本发明实施例公开了一种异常现实环境下进行ar显示数字文化内容的方法，包括：
s201、图像采集模块采集物质文化载体的图像，通过发送模块将所述采集的图像发送至所述处理模块；
图像采集模块可以是单独的摄像头或由多个不同角度的摄像头组成的摄像头阵列，也可以是包含有摄像头的移动终端，移动终端可以是常用的移动终端，如个人电脑、智能手机及平板电脑等。
物质文化载体在本发明实施例中，可以分为如下三类：一是针对传统技艺类、传统美术类、民间文学类等ich资源的手工艺品、纪念品、民族特色产品等；二是ich博物馆的展览品，包括各种文物、字画、绘本、古典建筑模型等；三是ich生态博物馆、民俗村、民族风情园等文化旅游景区，以及该景区内的民族特色/地域特色产品，包括民族服饰、特产、各类园林景观(花草树木、奇石、公园等)等。
s202、处理模块在所述物质文化载体的图像中提取所述物质文化载体对应的第一文化标签；当所述第一文化标签提取或解析失败时，将生成的失败响应消息转发至接收模块；
处理模块17可以是移动终端的处理模块，也可以是服务器，由于处理模块17要进行大量的数据处理，故本发明实施例处理模块17优选为云服务器。
物质文化载体中可包含第一文化标签，文化标签信息是一种用于表示ich的具体标签，对于ich而言，其标签决定了ich的种类、内容及展现形式，同时，文化标签也可以是一个触发机制，在接收到该文化标签后触发相应的ar元素(例如后面提及的数字文化内容)加载到采集的图像上。此外，文化标签还可以是一种标记物，可分为人工标记的黑白识别物(marker)，和无人工标记的自然图像特征图形的识别物(markerless)，该标记物是根据ich文化内容涉及的带有传统文化元素符号各类图案、图形等标识物，是后续进行三维跟踪注册的目标对象。如cn104778654a所述，文化标签可以是二维绘本，也可以是三维物体的轮廓。当现实环境出现异常时，例如现实环境昏暗、逆光、背景嘈杂等，在现实识别过程中易发生文化标签识别不准或识别不出的问题，即认定第一文化标签提取或解析失败，无法进行下一步骤以获取ich数字文化内容。整个ar识别显示过程失败。
s203、所述接收模块在接收所述失败响应消息后，接收无线传感模块发送的与所述物质文化载体对应的第二文化标签信息；
需要说明的是，该无线传感模块包括但不限于zigbee、wifi、蓝牙、nfc等无线传感模块。在本发明实施例中，根据场景的不同，其采用的无线传感模块也不相同，例如，在近距离(10米以内)通信范围内，可采用nfc和蓝牙来完成数据的发送与接收，而在中距离(10-100米)的通信范围时，则采用zigbee、wifi等通信方式。
其中，在本发明实施例中优选zigbee模块作为无线传感模块，该zigbee模块可继承在移动终端内部，也可以独立于移动终端，与移动终端通过通信协议进行信令传输与交互。其中，zigbee是基于ieee802.15.4标准的低功耗局域网协议。根据国际标准规定，zigbee技术是一种短距离、低功耗的无线通信技术。其特点是近距离、低复杂度、自组织、低功耗、低数据速率。主要适合用于自动控制和远程控制领域，可以嵌入各种设备。
无线网络节点可固定放置在特定位置处，无线网络节点用于与无线传感模块进行通信，以zigbee为例，无线网络节点在通信范围内获取到zigbee的信息，采用zigbee传输协议与zigbee模块进行握手，完成信令交互，并将内部存储的文化标签信息及当前无线网络节点位置处物质文化载体的信息发送至该zigbee模块。无线网络节点可理解为zigbee“基站”。
在本发明实施例中，第二文化标签信息可以是文化创意产品的文化标签信息、博物馆内部展品的文化标签信息或文化景观文化标签信息的其中一种或多种的组合。第二文化标签信息还可以是一串特定格式的数字编码，存储于无线网络节点中，当无线传感模块15与无线网络节点进行交互时，无线网络节点将该数字编码封装在信号格式中，并通过报文形式发送至无线传感模块15中，无线传感模块15通过对该信号进行解码，提取出其中的文化标签信息，并将该文化标签信息转发至接收模块14。可选地，文化标签也可以是qr码等，本发明对文化标签具体的表现形式并无限制。
本发明实施例中，对于文化标签的接收方式存在优先级，优先从图像中获取第一文化标签，若获取成功，这不需要获取第二文化标签(降成本)，即可根据第一文化标签获取ich数字文化内容并实现叠加融合处理。而当且仅当第一文化标签识别失败时，才进行第二文化标签的识别，增加了识别率及识别的稳定性。
s204、所述发送模块将所述第二文化标签信息发送至所述处理模块；
s205、所述处理模块获取与所述第二文化标签信息对应的非物质文化遗产ich数字文化内容，将所述ich数字文化内容融合叠加至所述物质文化载体的图像上，并发送所述融合叠加后的图像至显示模块；
采用三维跟踪注册技术对所述ich数字文化内容及所述采集图像进行虚实配准处理；
将所述ich数字文化内容进行实时绘制渲染，并根据所述虚实配准处理后所述ich数字文化内容在现实场景中的映射关系，将所述ich数字文化内容与所述物质文化载体图像进行叠加融合，
其中，所述ich数字文化内容包括ich数字三维模型，以及ich数字动画、ich数字影视、ich数字声音、ich数字图片及ich数字文本的其中一种或多种的组合。其中，所述处理模块采用计算机图形图像cg技术制作与所述第二文化标签对应的数字三维模型。
需要说明的是，针对博物馆展品的情况，即当所述物质文化载体是博物馆展品，且文化标签信息是博物馆内部展品信息时，本方法还包括：构建标识数据库，根据所述标识数据库，对所述图像进行动态标识切换识别匹配；并获取所述移动终端采集图像中姿态定位坐标，进行所述展品匹配检测；确定所述移动终端的姿态位置信息，将所述展品对应的ich数字文化内容与所述展品图像进行虚实融合，不仅能实现文物的重构与再现，还可以实现ich与历史古迹的完美融合。
s206、所述显示模块显示所述融合叠加后的图像。
本发明实施例在第一文化标签识别失败时，创造性地提出了一种基于无线传感技术与ar技术结合的方案，通过无线传感模块接收无线网络节点将当前区域范围内的文化标签发送给无线传感模块，并转发至处理模块，当用户使用移动终端采集物质文化载体的图像时，处理模块根据识别出的该图像及文化标签信息，将该文化标签信息对应的ich数字文化内容叠加在该图像特定位置处，实现ar虚实叠加。采用本发明实施例提供的方案，提高了ar的识别率及稳定性，可实现产业化应用，从而实现商业上的成功。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置和装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。
最后，需要说明的是：以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。显然，本领域技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。