一种增强现实反馈方法及设备的制造方法

一种增强现实反馈方法及设备的制造方法
【专利摘要】本发明公开了一种增强现实反馈方法及设备，该方法中，获取物理设备的设备状态数据；根据预设规则以及所述获取的设备状态数据，进行增强现实感官反馈；其中，所述增强现实感官反馈包括视觉增强反馈、触觉增强反馈、听觉增强反馈和嗅觉增强反馈中的至少一种。通过本发明可以方便用户快速直观的获知设备状态。
【专利说明】
一种増强现实反馈方法及设备
技术领域
[0001 ] 本发明涉及增强现实领域，尤其涉及一种增强现实(Augmented Reality，AR)反馈 方法及设备。
【背景技术】
[0002] AR技术是一种将真实世界信息和虚拟世界信息无缝集成的技术，是通过传感、计 算和图形等科学技术将原本在现实世界的一定时间空间范围内很难体验到的视觉、声音、 味道和触觉等实体信息，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所 感知，从而达到超越现实的感官体验。
[0003] 目前，可利用增强现实技术反馈设备所处位置以及故障等状态信息，目前反馈的 设备状态信息主要通过诸如在显示界面上进行文字表达等机器视觉展示方式进行反馈。例 如应用增强现实技术反馈中央处理器(Central Processing Unit，CPU)温度过高故障时， 一般是将温度值信息直接叠加在图形化界面上进行显示，如图1所示。
[0004] 上述进行设备状态反馈的方式中，通过机器视觉反馈设备状态，单纯的通过文字 信息进行反馈，并不能使用户快速直观的获知设备状态。

【发明内容】

[0005] 本发明实施例提供一种增强现实反馈方法及设备，以方便用户快速直观的获知设 备状态。
[0006] 第一方面，提供一种增强现实反馈方法，在该方法中预先设定针对设备状态数据 进行增强现实感官反馈的规则，增强现实设备获取到物理设备的设备状态数据后，根据预 设规则以及所述获取的设备状态数据，进行增强现实感官反馈。所述增强现实感官反馈可 以是视觉增强反馈、触觉增强反馈、听觉增强反馈和嗅觉增强反馈中一种，也可以是多种， 故本发明实施例中增强现实设备进行增强现实感官反馈，反馈方式多样丰富，并能够基于 获取的设备状态数据对设备状态进行更形象的反馈，能够方便用户快速直观的获知设备状 ??τ 〇
[0007] 本发明实施例中，所述预设规则中可包括设备状态数据类型、设备状态数据级别 和增强现实感官反馈之间的对应关系，所述设备状态数据类型包括但不限于温度异常(温 度过高或过低）、漏水、漏电、压力异常(压力过高或过低）、吞吐量过大、设备断网、丢包率过 大等。所述设备状态数据级别一般包括至少两种级别。设备状态数据的每一级别对应固定 的增强现实感官反馈，不同级别具有不同的增强现实感官反馈。每一类型以及每一级别的 设备状态数据对应的固定的增强现实感官反馈，可以是视觉增强反馈、触觉增强反馈、听觉 增强反馈和嗅觉增强反馈中一种，也可以是多种。
[0008] 本发明实施例中所述设备状态数据包括但不限于吞吐量状态数据、网络连接状态 数据、温度状态数据、湿度状态数据、压力状态数据和电力状态数据。增强现实设备获取的 设备状态数据可以是以上所列设备状态数据中的一种或者多种。
[0009] 本发明实施例中进行增强现实感官反馈时，可根据所述获取的设备状态数据，确 定获取的所述设备状态数据所属类型以及所属级别，并根据确定的设备状态数据所属类型 以及所属级别查找预设规则，确定对应获取的所述设备状态数据所属类型以及所属级别的 增强现实感官反馈，对获取的所述设备状态数据进行对应确定的设备状态数据所属类型以 及所属级别的增强现实感官反馈，以实现对不同的设备状态数据进行不同的增强现实感官 反馈。
[0010] 本发明实施例中确定的对应所述所述获取的设备状态数据所属类型以及所属级 别的增强现实感官反馈可以是视觉增强反馈、触觉增强反馈、听觉增强反馈和嗅觉增强反 馈中的一种，也可以是多种。
[0011]若确定的对应所述获取的设备状态数据所属类型以及所属级别的增强现实感官 反馈中包括视觉增强反馈，则可从预设的图形库中调用匹配所述确定的设备状态数据所属 类型以及所属级别的视觉增强反馈图形，通过图像显示装置呈现所述调用的视觉增强反馈 图形，对所述获取的设备状态数据进行视觉增强反馈，达到从颜色、形状、透明度以及物理 现象等对设备状态数据进行可视化增强的效果。
[0012] 若确定的对应所述获取的设备状态数据所属类型以及所属级别的增强现实感官 反馈中包括听觉增强反馈，则可从预设的声音库文件中调用匹配所述确定的设备状态数据 所属类型以及所属级别的声觉增强反馈音频文件，通过音频设备播放所述调用的音频文 件，对所述获取的设备状态数据进行声觉增强反馈，达到用风声、水声、火声等声音对设备 状态数据进行模拟增强的效果。
[0013] 若确定的对应所述获取的设备状态数据所属类型以及所属级别的增强现实感官 反馈中包括触觉增强反馈，则可控制加热设备的温度为匹配所述确定的设备状态数据所属 类型以及所属级别的触觉增强反馈的温度，对所述获取的设备状态数据进行触觉增强反 馈，达到通过温度触感对设备状态数据进行模拟增强的效果。
[0014] 若确定的对应所述获取的设备状态数据所属类型以及所属级别的增强现实感官 反馈中包括嗅觉增强反馈，则可控制气味散发设备散发匹配所述确定的设备状态数据所属 类型以及所属级别的嗅觉增强反馈的气味，对所述获取的设备状态数据进行嗅觉增强反 馈，达到用气味对设备状态数据进行模拟增强的效果。
[0015] 第二方面，提供一种增强现实反馈设备，该增强现实反馈设备具备实现上述增强 现实反馈方法的全部功能，所述功能可以通过硬件实现，也可以通过硬件执行相应的软件 实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。所述模块可以是软件和/ 或硬件。
[0016] -种可能的设计中，所述增强现实反馈设备可包括获取单元和处理单元，所述获 取单元，用于获取物理设备的设备状态数据;所述处理单元，用于根据预设规则以及获取的 所述设备状态数据，进行增强现实感官反馈。
[0017] 另一种可能的设计中，所述增强现实反馈设备可包括处理器和通信接口，所述处 理器被配置为支持增强现实反馈设备执行上述方法中相应的功能，所述通信接口用于支持 增强现实反馈设备与物理设备之间的通信。进一步的，所述增强现实反馈设备还可以包括 存储器，所述存储器用于与处理器耦合，其保存增强现实反馈设备必要的程序指令和数据。
[0018] 本发明实施例中，所述增强现实反馈设备还可包括图像显示装置、音频设备、加热 设备和气味散发设备中的一种或多种。所述图像显示装置用于呈现调用的匹配确定的设备 状态数据所属类型以及所属级别的视觉增强反馈图形，对获取的设备状态数据进行视觉增 强反馈。所述音频设备用于播放调用的匹配确定的设备状态数据所属类型以及所属级别的 声觉增强反馈音频文件，对获取的设备状态数据进行声觉增强反馈。所述加热设备用于控 制温度为匹配确定的设备状态数据所属类型以及所属级别的触觉增强反馈的温度，对获取 的设备状态数据进行触觉增强反馈。所述气味散发设备用于散发匹配确定的设备状态数据 所属类型以及所属级别的嗅觉增强反馈的气味，对获取的所述设备状态数据进行嗅觉增强 反馈。
[0019] 第三方面，本发明实施例还提供一种计算机存储介质，用于储存为上述增强现实 反馈设备所用的计算机软件指令，其包含用于执行上述方面媒体文件分享设备所涉及的程 序。
[0020] 本发明实施例提供的增强现实反馈方法和增强现实反馈设备，对设备状态进行增 强现实感官反馈，反馈方式多样丰富，并能够基于获取的设备状态数据对设备状态进行更 形象的反馈，方便用户快速直观的获知设备状态。
【附图说明】
[0021 ]图1为现有技术中增强现实反馈的效果示意图；
[0022] 图2为本发明实施例提供的增强现实反馈方法应用的系统结构图；
[0023] 图3为本发明实施例涉及的物理设备结构示意图；
[0024] 图4为本发明实施例涉及的增强现实设备的结构示意图；
[0025] 图5为本发明实施例提供的一种增强现实反馈的实施方法流程图；
[0026] 图6为本发明实施例提供的获取设备状态数据的一种实施过程示意图；
[0027] 图7为本发明实施例提供的获取设备状态数据的另一种实施过程示意图；
[0028] 图8为本发明实施例提供的根据预设规则进行增强现实反馈的实施方法流程图；
[0029] 图9为本发明实施例提供的进行视觉增强反馈的实施方法流程图；
[0030] 图10为本发明实施例提供的增强现实感官反馈的一种效果图；
[0031] 图11为本发明实施例提供的增强现实感官反馈的另一种效果图；
[0032] 图12为本发明实施例提供的增强现实感官反馈的又一种效果图；
[0033] 图13A至图13D为本发明实施例提供的增强现实感官反馈设备的结构示意图。
【具体实施方式】
[0034]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行描述。
[0035] 本发明实施例描述的网络架构以及业务场景是为了更加清楚的说明本发明实施 例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员 可知，随着网络架构的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似 的技术问题，同样适用。
[0036] 图2所示为本发明实施例提供的增强现实反馈方法应用的系统结构图。图2中，物 理设备是用户需要检测运行状态的设备，用户佩戴的增强现实设备主要用于实现增强现实 功能以及检测功能。物理设备与增强现实设备之间通过网络进行数据联通。增强现实反馈 方法应用的系统结构中还包括有系统服务器（图2未示出），该系统服务器用于收集和处理 物理设备所产生的数据，并将处理后的数据发送给增强现实设备。
[0037] 本发明实施例以下，将对本发明技术实现中应用到的物理设备和增强现实设备进 行分别说明：
[0038] 物理设备：
[0039]本发明实施例中的物理设备主要是指待检测运行状态的设备，如实验室或数据中 心里面的交换机、路由器、机柜等。图3所示为本发明实施例涉及的物理设备结构示意图，如 图3所示，所述物理设备在功能上可划分为传感器数据采集模块A100、处理模块A201、通信 模块A301和对象识别模块A401。本发明实施例中传感器数据采集模块A100能检测到被测量 的信息，并能将检测到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以 满足信息的传输、处理、存储、显示、记录和控制等要求。传感器数据采集模块A100主要由硬 件数据采集模块A110和软件数据采集模块A120组成。硬件数据采集模块A110由多种传感器 组成，包括但不限于温度传感器A111、压力传感器A112、湿度传感器A113、音频传感器A115 所组成，主要采集物理设备的物理特征包括但不限于温度、压力、湿度以及声音，如，温度传 感器A111可用于探测设备温度是否高于或低于预设阈值，压力传感器A112用于探测设备的 压力值是否高于或低于预设阈值，设备漏水。软件数据采集模块A120包括但不限于数据包 采集模块A121和变频功率传感器A122,主要采集物理设备的软件模块的数据传输特征，例 如，主要通过软件实现探测包括但不限于数据吞吐量、网络连接状况、丢包率、功率等。本发 明实施例中处理模块A201用于接收从硬件数据采集模块A110和软件数据采集模块A120发 送过来的设备数据，并通过多传感器数据融合技术对数据进行分析以及处理，按照预先定 义的规则将用户所需的设备状态数据发送给增强现实设备。处理模块A201也可依据增强现 实设备指令调取，下发，更新或新建数据并保存。通信模块A301可使用蜂窝，以太网，无线保 真(Wireless Fidelity，wifi)，蓝牙，红外等通信方式接收其它设备发来的指令信息，也可 以将物理设备的数据发送给云端或者其它设备。对象识别模块A401，可以包含物理标签、可 见光学签名或非可见签名，用于增强现实设备近距离识别物理设备，。一些实施方式中，可 以将对象识别模块A401布置在物理设备的表面上，如打印二维码或条形码的物理贴纸标 签，使用无线射频识别（Radio Frequency Identification，RFID)射频装置对每台物理设 备进行数字标识，以区分不同的物理设备。
[0040] 增强现实设备：
[0041] 本发明实施例中涉及的增强现实设备可以设置于穿戴式智能设备上，穿戴式智能 设备是应用穿戴式技术对日常穿戴进行智能化设计、并开发出的可以穿戴的设备的总称， 如眼镜、手套、手表、服饰及鞋等。所述增强现实设备可以是头戴式增强现实设备(Head-mounted display s， HMD) ， 将头戴式显示器， 机器视觉系统 ，移动计算机这三个组件集成到 一个单元中，放置在用带子绑定的设备中，通过佩戴的方式戴在使用者的头部，该设备能将 增强现实类的信息传输至类似于普通眼镜的显示器上或投射至用户的眼球中进行显示，用 以增强用户的视觉沉浸感。
[0042] 图4所示为本发明实施例涉及的增强现实设备的结构示意图，如图4所示，本发明 实施例涉及的增强现实设备在现有增强现实模块C200的基础上包含有感官增强模块C100。 感官增强模块C100用于处理传感器数据采集模块A100和处理模块A201发送的设备状态数 据，并根据预设规则对所述获取的设备状态数据进行多感官维度的增强现实感官反馈，其 中，所述增强现实感官反馈包括视觉增强反馈、触觉增强反馈、听觉增强反馈和嗅觉增强反 馈中的至少一种。如图4所示，感官增强模块C100可包括视觉增强模块C101、听觉增强模块 C102、触觉增强模块C103和嗅觉增强模块C104。其中，视觉增强模块C101由视觉增强应用程 序软件及图形库所组成，用于根据物理设备发送的设备状态数据以及预设规则调用相应的 图形，达到从颜色、形状、透明度以及物理现象等对设备状态数据进行可视化增强的效果。 听觉增强模块C102由听觉增强应用程序软件以及如听筒、扬声器等现有音频设备所组成， 用于根据物理设备发送的设备状态数据以及预设规则调用相应的声音库文件，达到用风 声、水声、火声等声音对设备状态数据进行模拟增强的效果。触觉增强模块C103由触觉增强 应用程序软件以及加热设备组成，加热设备一般是由加热元件和附件组成的器件，用于根 据物理设备发送的设备状态数据以及预设规则，通过软件模块控制加热设备进行温度控 制，达到通过温度触感对设备状态数据进行模拟增强的效果。嗅觉增强模块C104由可以散 发气味的气味散发设备组成，用于根据物理设备发送的设备状态数据以及预设规则，控制 气味散发设备释放相应的气味，达到用气味对设备状态数据进行模拟增强的效果。
[0043]如图4所示，现有增强现实模块C200包括机器视觉模块C201、图像显示模块C202、 通信模块C203、通信端口 C204、处理模块C205和采集模块C206。其中，机器视觉模块C201包 括不限于通过机器视觉图像摄取装置，深度信息摄取装置，将被摄取目标转换成图像信号， 传送给图形计算机系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转 变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的 结果来生成各类指令，在本发明实施例中机器视觉模块C201主要用于识别发生故障的物理 设备。图像显示模块C202包括各类可实现增强现实功能的显示装置，如液晶显示屏，红外光 影投射装置。更具体的，如头戴式显示设备所使用的基于光学原理的穿透式投影显示屏以 及基于视频合成技术的透射式显示技术的显示装置。在本发明实施例中图像显示模块 C202,主要用以呈现视觉增强模块C101所下发的图像信息，并实时反馈用户操作的操作结 果。通信模块C203,可使用蜂窝，以太网，wifi，蓝牙，红外等通讯方式接收其它设备发来的 指令信息，同时也可以将增强现实设备的数据发送给云端或者其它设备。通信端口C204使 用传输控制协议（Transmission Control Protocol，TCP)/因特网协议（Internet Protocol，IP)作为网络通信的标准协议，使增强现实设备能够有单独的IP地址，用于获取 从网络发送过来的设备状态数据。处理模块C205用于控制增强现实设备的各部分硬件设备 和应用程序软件等，本发明实施例中主要用于接收从感官增强模块C100发送过来的数据， 结合机器视觉模块C201反馈回来的数据进行处理后下发至图像显示模块C202。采集模块 C206,主要用于使用摄像头，麦克风等传感器设备采集音视频等数据，通过摄像头、红外传 感器、触摸屏等采集用户的手势。
[0044] 本发明实施例以下将对本发明技术实现中涉及的技术进行分别说明。
[0045] 机器视觉技术：
[0046] 机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉 产品（图像摄取装置)将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被 摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这 些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。机 器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作 环境或人工视觉难以满足要求的场合中，经常使用机器视觉来替代人工视觉。
[0047]图像叠加显示技术：
[0048]图像叠加显示即是通过计算机的实时运算能力，使预先生成并存储的图形、属性， 特征等被调用并叠合在一个基本图形或真实物体上的过程或方法，在本发明实施例中，主 要应用其将预制图形叠加在真实物体上的能力。
[0049] 多传感器数据融合技术：
[0050] 多传感器数据融合可以概括为把分布在不同位置的多个同类或不同类传感器所 提供的局部数据资源加以综合，采用计算机技术对其进行分析，消除多传感器信息之间可 能存在的冗余和矛盾，加以互补，降低其不确实性，获得被测对象的一致性解释与描述，从 而提高系统决策、规划、反应的快速性和正确性，使系统获得更充分的信息。
[0051 ]以下，将对本发明实施例涉及的增强现实反馈方法进行详细说明。
[0052]图5所示为本发明实施例提供的增强现实反馈装置进行增强现实反馈的方法流程 图，其中，所述增强现实反馈装置可以是增强现实设备。图5中以增强现实反馈装置为增强 现实设备为例进行说明，如图5所示，本发明实施例提供的增强现实反馈方法包括：
[0053] S101:增强现实设备获取物理设备的设备状态数据。
[0054] 本发明实施例中所述设备状态数据包括但不限于吞吐量状态数据、网络连接状态 数据、温度状态数据、湿度状态数据、压力状态数据和电力状态数据。增强现实设备获取的 设备状态数据可以是以上所列设备状态数据中的一种或者多种。
[0055] S102:增强现实设备根据预设规则以及所述获取的设备状态数据，进行增强现实 感官反馈。
[0056] 本发明实施例中，可预先设定针对设备状态数据进行增强现实感官反馈的规则， 所述预设规则中包括设备状态数据类型、设备状态数据级别和增强现实感官反馈之间的对 应关系。
[0057] 本发明实施例中，设备状态数据类型包括但不限于温度异常(温度过高或过低）、 漏水、漏电、压力异常(压力过高或过低）、吞吐量过大、设备断网、丢包率过大等。
[0058] 本发明实施例中，设备状态数据级别一般包括至少两种级别，当然可根据实际情 况划分设备状态所属级别，例如所述设备状态数据所属级别包括低级别和高级别两种，也 可以包括低级别、中级别和高级别三种，还可以包括低级别、中级别、高级别、紧急级别和严 重级别五种。
[0059] 本发明实施例中，增强现实感官反馈可以是视觉增强反馈、触觉增强反馈、听觉增 强反馈和嗅觉增强反馈中一种，也可以是多种。本发明实施例中每一种增强现实感官反馈 所呈现的图形、声音、触感和气味是符合设备状态在真实物理世界上所呈现的形式的，例如 对温度状态数据进行的视觉增强反馈，可包括发出红光、冒出火花、流出熔岩，对温度状态 数据进行的听觉增强反馈包括发出蜂鸣声、噼啪火花声，对漏水状态数据进行的听觉增强 反馈包括发出溪水声、瀑布声、海浪声等等。
[0060] 本发明实施例中包括设备状态数据类型、设备状态数据级别和增强现实感官反馈 之间的对应关系的预设规则可如表1所示：

[0064]由表1可知，本发明实施例中，设备状态数据的每一级别对应固定的增强现实感官 反馈，每一类型以及每一级别的设备状态数据对应的固定的增强现实感官反馈，可以是视 觉增强反馈、触觉增强反馈、听觉增强反馈和嗅觉增强反馈中一种，也可以是多种。
[0065] 由表1可知，本发明实施例中进行增强现实感官反馈时，增强现实感官反馈的图 形、声音、触感和气味不同级别具有不同的反馈形式，例如，温度状态过高情况下，从低级别 到高级别对应的不同视觉增强反馈是发出红光、冒出火花、流出熔岩，听觉反馈。漏水状态 吓，从低级别到高级别对应的不同听觉感官反馈是发出溪水声、瀑布声、海浪声等等。
[0066] 需要说明的是，本发明实施例中进行增强现实感官反馈时，增强现实感官反馈所 反馈的图形、声音、触感和气味可以是比物理设备状态的真实物理现象夸张的，以更容易引 起用户的注意，提高用户的定位故障的效率，例如，以温度过高为例，物理设备实际情况是 并没有起火，但增强现实感官反馈的图形、声音、触感和气味可以是起火对应的物理现象。
[0067] 本发明实施例中，每一设备状态数据类型对应设备状态数据的至少两个级别，设 备状态数据的每一级别对应固定的增强现实感官反馈，以实现对不同的设备状态数据进行 不同的增强现实感官反馈。
[0068] 本发明实施例中增强现实设备通过视觉增强反馈、触觉增强反馈、听觉增强反馈 和嗅觉增强反馈等进行增强现实感官反馈，反馈方式多样丰富，并能够基于获取的设备状 态数据对设备状态进行更形象的反馈，能够方便用户快速直观的获知设备状态。
[0069]通常，增强现实反馈设备用于反馈物理设备的异常运行状态，故本发明实施例中 所述获取的设备状态数据可以是反映设备运行状态异常的设备状态数据。其中，设备运行 状态异常包括但不限于温度异常、漏水、漏电和断网等。
[0070] 本发明实施例中，增强现实设备获取物理设备的设备状态数据可采用如下方式：
[0071] 一种可能的实施方式中，由物理设备识别自身的运行状态，并将识别到的物理设 备运行状态异常的设备状态数据通过网络发送给增强现实设备，增强现实设备可通过网络 获取物理设备发送的设备状态数据，具体的实施过程可参阅图6所示，图6中，物理设备的硬 件数据采集模块A110和软件数据采集模块A120采集物理设备的设备状态数据，并发送给物 理设备的处理模块A201。其中，硬件数据采集模块A110采集的设备状态数据可以包括温度 状态数据、气味状态数据、环境湿度状态数据等。软件数据采集模块A120采集的设备状态数 据可以包括吞吐量状态数据、网络连接状态数据、丢包率状态数据等。处理模块A201接收硬 件数据采集模块A110和软件数据采集模块A120发送的设备状态数据后，通过多传感器数据 融合技术判断所述设备状态数据是否为反映设备运行状态异常的设备状态数据，若是，则 物理设备的处理模块A201将所述设备状态数据发送给增强现实设备的处理模块C205。若 否，则物理设备的处理模块不做处理，继续接收硬件数据采集模块A110和软件数据采集模 块A120发送的设备状态数据。增强现实设备的处理模块C205接收到所述设备状态数据后， 将所述设备状态数据发送给增强现实设备的感官增强模块C100,由增强现实设备的感官增 强模块C100根据预设规则进行增强现实感官反馈，并由增强现实设备的图像显示模块C202 呈现增强现实感官反馈的效果。
[0072] 另一种可能的实施方式中，也可不通过网络环境，而是由增强现实设备直接识别 物理设备的运行状态并获取设备状态数据，实施过程示意图可参阅图7所示。图7所示的实 现过程中，增强现实设备实现增强现实感官反馈的处理过程与图6所示的处理过程类似，在 此不再赘述。
[0073] 本发明实施例中，增强现实设备根据预设规则以及所述获取的设备状态数据进行 增强现实感官反馈可采用如图8所示的实现方式，如图8所示，包括：
[0074] S1021:根据所述获取的设备状态数据，确定所述获取的设备状态数据所属类型以 及所属级别。
[0075] S1022:根据所述确定的设备状态数据所属类型以及所属级别查找预设规则，确定 对应所述获取的设备状态数据所属类型以及所属级别的增强现实感官反馈。
[0076] S1023:对所述获取的设备状态数据进行对应所述确定的设备状态数据所属类型 以及所属级别的增强现实感官反馈。
[0077] 本发明实施例，S1022中确定的对应所述所述获取的设备状态数据所属类型以及 所属级别的增强现实感官反馈可以是视觉增强反馈、触觉增强反馈、听觉增强反馈和嗅觉 增强反馈中的一种，也可以是多种。
[0078] 若确定的对应所述获取的设备状态数据所属类型以及所属级别的增强现实感官 反馈中包括视觉增强反馈，则可从预设的图形库中调用匹配所述确定的设备状态数据所属 类型以及所属级别的视觉增强反馈图形，通过图像显示装置呈现所述调用的视觉增强反馈 图形，对所述获取的设备状态数据进行视觉增强反馈。
[0079] 若确定的对应所述获取的设备状态数据所属类型以及所属级别的增强现实感官 反馈中包括听觉增强反馈，则可从预设的声音库文件中调用匹配所述确定的设备状态数据 所属类型以及所属级别的声觉增强反馈音频文件，通过音频设备播放所述调用的音频文 件，对所述获取的设备状态数据进行声觉增强反馈。
[0080] 若确定的对应所述获取的设备状态数据所属类型以及所属级别的增强现实感官 反馈中包括触觉增强反馈，则可控制加热设备的温度为匹配所述确定的设备状态数据所属 类型以及所属级别的触觉增强反馈的温度，对所述获取的设备状态数据进行触觉增强反 馈。
[0081] 若确定的对应所述获取的设备状态数据所属类型以及所属级别的增强现实感官 反馈中包括嗅觉增强反馈，则可控制气味散发设备散发匹配所述确定的设备状态数据所属 类型以及所属级别的嗅觉增强反馈的气味，对所述获取的设备状态数据进行嗅觉增强反 馈。
[0082] 本发明实施例以下结合实际应用对上述实施例涉及的增强现实感官反馈的具体 实现过程进行说明。
[0083]本发明实施例以进行视觉增强反馈为例进行举例说明。
[0084]图9所示为本发明实施例实现视觉增强反馈的一种实施流程图，如图9所示，包括： [0085] S201:增强现实设备的处理模块C205获取物理设备的设备状态数据，并识别设备 状态数据所属类型以及所属级别。
[0086]本发明实施例中可由物理设备的处理模块A201将识别出的反映设备运行状态异 常的设备状态数据发送给系统服务器，并由系统服务器将设备状态数据发送给增强现实设 备的处理模块C205。
[0087]本发明实施例中增强现实设备的处理模块C205识别出获取的设备状态数据所属 类型以及所属级别中对应的增强现实感官反馈中包括视觉增强反馈，则向增强现实设备的 视觉增强模块C101发送进行视觉增强反馈的指令信息。例如，所述设备状态数据为温度状 态数据，增强现实设备的处理模块C205识别出的设备状态数据类型为温度过高，设备状态 数据级别为中等级别，则可通过查询预设规则(例如表1)，确定需要进行视觉增强反馈。
[0088] S202:增强现实设备的处理模块C205根据识别出的设备状态数据所属类型以及所 属级别，发送进行视觉增强反馈的指令信息给相应的视觉增强模块C101。
[0089] S203:视觉增强模块C101根据预设规则中对应的视觉增强反馈，从图形库中调用 相应的视觉增强反馈图形数据，并将调用的视觉增强反馈图形数据发送给处理模块C205。
[0090] S204:处理模块C205接收视觉增强模块C101发送的视觉增强反馈图形后，向机器 视觉模块C201发送识别物理设备的对象识别模块A401的指示信息。
[0091] S205 :若机器视觉模块C201识别到物理设备的对象识别模块A401，则处理模块 C205将所述视觉增强反馈图形以及对象识别模块A401识别的物理设备标识(例如表征位置 信息的）发送给图像显示模块C202。若机器视觉模块C201未识别到物理设备的对象识别模 ±夬八401，则处理模块C205将所述视觉增强反馈图形发送给图像显示模块C202。
[0092] S206:图像显示模块C202呈现所述视觉增强反馈图形。
[0093]本发明实施例中，图像显示模块C202对显示图形进行颜色、形状和透明度的处理， 以形成对应所述视觉增强反馈图形的显示图形。
[0094]进一步的，本发明实施例中若图像显示模块C202接收到对象识别模块A401识别的 物理设备标识，则在所述物理设备标识的位置处呈现所述视觉增强反馈图形。
[0095] 本发明实施例中实现听觉增强反馈、触觉增强反馈以及嗅觉增强反馈的实施过 程，与实现视觉增强反馈的过程类似，不同之处就在于具体进行增强反馈时所应用的设备 不同，例如实现听觉增强反馈时，需要从声音库文件中调用声觉增强反馈音频文件，并通过 现有的诸如听筒和扬声器等音频设备播放所述调用的音频文件，再例如，实现触觉增强反 馈时，无需调用文件，而是通过控制加热设备的温度匹配触觉增强反馈，进行触觉增强反 馈。实现嗅觉增强反馈时，也无需调用文件，而是通过控制气味散发设备散发气味，进行嗅 觉增强反馈。
[0096] 本发明实施例中进行增强现实反馈时所用设备，若增强现实设备中配备了能够实 现相应功能的设备，则利用现有已配备的设备，例如进行声觉增强反馈时，现有已配备有听 筒，则可利用现有听筒进行声音播放。若增强现实设备中未配备相应功能的设备，则可新增 具有相应功能的设备，例如进行触觉增强反馈时，可新增诸如电阻丝等能够发热的设备，进 行触觉反馈。
[0097] 本发明实施例中增强现实设备进行对获取到的设备状态数据进行增强现实感官 反馈可以包括多维度的感官反馈，例如对于温度状态数据，进行增强现实感官反馈时，可以 包括如图10所示的进行火焰显示的视觉增强反馈，还可以包括发出蜂鸣声或者噼啪火花声 的声觉增强反馈。又例如对于漏水状态数据，进行增强现实感官反馈时，可以包括如图11所 示的流水效果显示的视觉增强反馈，还可以包括有流水声效的声觉增强反馈，所述声觉增 强反馈还可以根据漏水状态数据所属级别具有小溪、瀑布、大海等不同的声效，或者还可以 根据用户与物理设备之间的距离体现不同音量的声效（距离远则声音小，距离近则声音 大）。再例如对于吞吐量状态数据，进行增强现实感官反馈时，可以包括如图12所示的显示 设备形状臃肿以及颜色变得苍白的显示效果，还可以包括发出嗡鸣声的声觉增强反馈。
[0098] 需要说明的是，本发明实施例图10、图11和图12所示的效果图仅是进行示意性说 明，并不引以为限，例如对于图10而言，本发明实施例中可根据温度状态数据的级别呈现不 同的视觉增强反馈图形，例如较低级别时呈现火花效果，较高级别时呈现熔岩喷出等图形。
[0099]本发明实施例中增强现实设备通过视觉增强反馈、触觉增强反馈、听觉增强反馈 和嗅觉增强反馈等进行增强现实感官反馈，反馈方式多样丰富，并能够基于获取的设备状 态数据对设备状态进行更形象的反馈，方便用户快速直观的获知设备状态。
[0100]上述主要对本发明实施例提供的增强现实反馈方法进行了介绍。可以理解的是， 用于实现上述增强现实反馈方法的增强现实反馈设备包含了执行各个功能相应的硬件结 构和/或软件模块。结合本发明中所公开的实施例描述的各示例的单元及算法步骤，本发明 实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算 机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术 人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认 为超出本发明实施例的技术方案的范围。
[0101] 本发明实施例可以根据上述方法示例对实现上述增强现实反馈方法的增强现实 反馈设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个 或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现， 也可以采用软件功能单元的形式实现。需要说明的是，本发明实施例中对单元的划分是示 意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0102] 在采用集成的单元的情况下，图13A示出了本发明实施例提供的一种可能的增强 现实反馈设备的结构示意图。本发明实施例提供的增强现实反馈设备1〇〇包括获取单元101 和处理单元102,其中，所述获取单元101用于获取物理设备的设备状态数据。所述处理单元 102用于根据预设规则以及获取的所述设备状态数据，进行增强现实感官反馈，例如，所述 处理单元102用于支持所述增强现实反馈设备执行图2中的过程S102,图8中的过程S1021至 过程S1023,和/或用于本文所描述的技术的其它过程。
[0103] 其中，处理单元102可以是处理器或控制器，例如可以是中央处理器（Central Processing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)， 专用集成电路(Application-Specif ic Integrated Circuit，ASIC)，现场可编程门阵列 (Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬 件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻 辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处 理器组合，DSP和微处理器的组合等等。获取单元101可以是通信接口、收发器、收发电路等， 其中，通信接口是统称，可以包括一个或多个接口。
[0104] 所述增强现实反馈设备还可包括存储单元103,用于存储所述增强现实反馈设备 100的程序代码和数据，如图13B所示。
[0105] 具体实施过程中，所述增强现实反馈设备100还可包括图像显示装置104、音频设 备105、加热设备106和气味散发设备107中的一种或多种。图13C为本发明实施例提供的增 强现实反馈设备100包括上述图像显示装置104、音频设备105、加热设备106和气味散发设 备107的结构示意图。
[0106] 其中，所述处理单元102确定的对应获取的设备状态数据所属类型以及所属级别 的增强现实感官反馈中包括视觉增强反馈情况下，所述处理单元102,可从预设的图形库中 调用匹配确定的设备状态数据所属类型以及所属级别的视觉增强反馈图形，通过所述图像 显示装置104呈现调用的所述视觉增强反馈图形，对获取的所述设备状态数据进行视觉增 强反馈。
[0107] 所述处理单元102确定的对应获取的设备状态数据所属类型以及所属级别的增强 现实感官反馈中包括听觉增强反馈情况下，所述处理单元102,可从预设的声音库文件中调 用匹配确定的设备状态数据所属类型以及所属级别的声觉增强反馈音频文件，通过所述音 频设备105播放调用的所述音频文件，对获取的所述设备状态数据进行声觉增强反馈。
[0108] 所述处理单元102确定的对应获取的设备状态数据所属类型以及所属级别的增强 现实感官反馈中包括触觉增强反馈的情况下，所述处理单元102,可控制所述加热设备106 的温度为匹配确定的设备状态数据所属类型以及所属级别的触觉增强反馈的温度，对获取 的所述设备状态数据进行触觉增强反馈。
[0109] 所述处理单元102确定的对应获取的所述设备状态数据所属类型以及所属级别的 增强现实感官反馈中包括嗅觉增强反馈的情况下，所述处理单元102,可控制所述气味散发 设备107散发匹配确定的设备状态数据所属类型以及所属级别的嗅觉增强反馈的气味，对 获取的所述设备状态数据进行嗅觉增强反馈。
[0110]本发明实施例上述集成的单元采用硬件的形式实现时，处理单元102为处理器，获 取单元101为通信接口，所述存储单元103为存储器，本发明实施例所涉及的增强现实反馈 设备可以为图13D所示的增强现实反馈设备。
[0111] 参阅图13D所示，该增强现实反馈设备1000包括:处理器1001、通信接口 1002、存储 器1003。可选的，增强现实反馈设备1000还可以包括总线1004。其中，通信接口 1002、处理器 1001以及存储器1003可以通过总线1004相互连接；总线1004可以是外设部件互连标准 (Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构（Extended Industry Standard Architecture，简称EISA)总线等。所述总线1004可以分为地址总线、 数据总线、控制总线等。为便于表示，图13C中仅用一条粗线表示，但并不表示仅有一根总线 或一种类型的总线。
[0112] 本发明实施例中所述增强现实反馈设备可以是上述实施例中涉及的增强现实设 备，用于实现上述方法实施例中涉及的增强现实反馈方法的所有功能，其具体实现过程可 以参照上述方法实施例的相关描述，此处不再赘述。
[0113] 本发明实施例还提供一种计算机存储介质，用于储存为上述增强现实反馈设备所 用的计算机软件指令，其包含用于执行上述方面增强现实反馈设备所涉及的程序。
[0114] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精 神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围 之内，则本发明也意图包含这些改动和变型在内。
【主权项】
1. 一种增强现实反馈方法，其特征在于，所述方法包括： 获取物理设备的设备状态数据； 根据预设规则以及获取的所述设备状态数据，进行增强现实感官反馈； 其中，所述增强现实感官反馈包括视觉增强反馈、触觉增强反馈、听觉增强反馈和嗅觉 增强反馈中的至少一种。2. 如权利要求1所述的方法，其特征在于，所述根据预设规则以及获取的所述设备状态 数据，进行增强现实感官反馈，包括： 根据所述获取的设备状态数据，确定获取的所述设备状态数据所属类型以及所属级 别； 根据确定的设备状态数据所属类型以及所属级别查找预设规则，确定对应获取的所述 设备状态数据所属类型以及所属级别的增强现实感官反馈，所述预设规则中包括设备状态 数据类型、设备状态数据级别和增强现实感官反馈之间的对应关系，其中，每一设备状态数 据类型对应设备状态数据的至少两个级别，设备状态数据的每一级别对应固定的增强现实 感官反馈； 对获取的所述设备状态数据进行对应确定的设备状态数据所属类型以及所属级别的 增强现实感官反馈。3. 如权利要求2所述的方法，其特征在于，确定的对应获取的设备状态数据所属类型以 及所属级别的增强现实感官反馈中包括视觉增强反馈； 对获取的所述设备状态数据进行对应确定的设备状态数据所属类型以及所属级别的 增强现实感官反馈，包括： 从预设的图形库中调用匹配确定的设备状态数据所属类型以及所属级别的视觉增强 反馈图形； 通过图像显示装置呈现调用的所述视觉增强反馈图形，对获取的所述设备状态数据进 行视觉增强反馈。4. 如权利要求2所述的方法，其特征在于，确定的对应获取的设备状态数据所属类型以 及所属级别的增强现实感官反馈中包括听觉增强反馈； 对获取的所述设备状态数据进行对应确定的设备状态数据所属类型以及所属级别的 增强现实感官反馈，包括： 从预设的声音库文件中调用匹配确定的设备状态数据所属类型以及所属级别的声觉 增强反馈音频文件； 通过音频设备播放调用的所述音频文件，对获取的所述设备状态数据进行声觉增强反 馈。5. 如权利要求2所述的方法，其特征在于，确定的对应获取的设备状态数据所属类型以 及所属级别的增强现实感官反馈中包括触觉增强反馈； 对获取的所述设备状态数据进行对应确定的设备状态数据所属类型以及所属级别的 增强现实感官反馈，包括： 控制加热设备的温度为匹配确定的设备状态数据所属类型以及所属级别的触觉增强 反馈的温度，对获取的所述设备状态数据进行触觉增强反馈。6. 如权利要求2所述的方法，其特征在于，确定的对应获取的所述设备状态数据所属类 型以及所属级别的增强现实感官反馈中包括嗅觉增强反馈； 对获取的所述设备状态数据进行对应确定的设备状态数据所属类型以及所属级别的 增强现实感官反馈，包括： 控制气味散发设备散发匹配确定的设备状态数据所属类型以及所属级别的嗅觉增强 反馈的气味，对获取的所述设备状态数据进行嗅觉增强反馈。7. 如权利要求1至6任一项所述的方法，其特征在于，获取的所述设备状态数据包括吞 吐量状态数据、网络连接状态数据、温度状态数据、湿度状态数据、压力状态数据和电力状 态数据中的至少一种。8. -种增强现实反馈设备，其特征在于，所述增强现实反馈设备包括： 获取单元，用于获取物理设备的设备状态数据； 处理单元，用于根据预设规则以及获取的所述设备状态数据，进行增强现实感官反馈； 其中，所述增强现实感官反馈包括视觉增强反馈、触觉增强反馈、听觉增强反馈和嗅觉 增强反馈中的至少一种。9. 如权利要求8所述的增强现实反馈设备，其特征在于，所述处理单元具体采用如下方 式根据预设规则以及获取的所述设备状态数据，进行增强现实感官反馈： 根据所述获取的设备状态数据，确定获取的所述设备状态数据所属类型以及所属级 别； 根据确定的设备状态数据所属类型以及所属级别查找预设规则，确定对应获取的所述 设备状态数据所属类型以及所属级别的增强现实感官反馈，所述预设规则中包括设备状态 数据类型、设备状态数据级别和增强现实感官反馈之间的对应关系，其中，每一设备状态数 据类型对应设备状态数据的至少两个级别，设备状态数据的每一级别对应固定的增强现实 感官反馈； 对获取的所述设备状态数据进行对应确定的设备状态数据所属类型以及所属级别的 增强现实感官反馈。10. 如权利要求9所述的增强现实反馈设备，其特征在于，所述处理单元确定的对应获 取的设备状态数据所属类型以及所属级别的增强现实感官反馈中包括视觉增强反馈； 所述增强现实反馈设备还包括图像显示装置； 所述处理单元，具体采用如下方式对获取的所述设备状态数据进行对应确定的设备状 态数据所属类型以及所属级别的增强现实感官反馈： 从预设的图形库中调用匹配确定的设备状态数据所属类型以及所属级别的视觉增强 反馈图形； 通过所述图像显示装置呈现调用的所述视觉增强反馈图形，对获取的所述设备状态数 据进行视觉增强反馈。11. 如权利要求9所述的增强现实反馈设备，其特征在于，所述处理单元确定的对应获 取的设备状态数据所属类型以及所属级别的增强现实感官反馈中包括听觉增强反馈； 所述增强现实反馈设备还包括音频设备； 所述处理单元，具体采用如下方式对获取的所述设备状态数据进行对应确定的设备状 态数据所属类型以及所属级别的增强现实感官反馈： 从预设的声音库文件中调用匹配确定的设备状态数据所属类型以及所属级别的声觉 增强反馈音频文件； 通过所述音频设备播放调用的所述音频文件，对获取的所述设备状态数据进行声觉增 强反馈。12. 如权利要求9所述的增强现实反馈设备，其特征在于，所述处理单元确定的对应获 取的设备状态数据所属类型以及所属级别的增强现实感官反馈中包括触觉增强反馈； 所述增强现实反馈设备还包括加热设备； 所述处理单元，具体采用如下方式对获取的所述设备状态数据进行对应确定的设备状 态数据所属类型以及所属级别的增强现实感官反馈： 控制所述加热设备的温度为匹配确定的设备状态数据所属类型以及所属级别的触觉 增强反馈的温度，对获取的所述设备状态数据进行触觉增强反馈。13. 如权利要求9所述的增强现实反馈设备，其特征在于，所述处理单元确定的对应获 取的所述设备状态数据所属类型以及所属级别的增强现实感官反馈中包括嗅觉增强反馈； 所述增强现实反馈设备还包括气味散发设备； 所述处理单元，具体采用如下方式对获取的所述设备状态数据进行对应确定的设备状 态数据所属类型以及所属级别的增强现实感官反馈： 控制所述气味散发设备散发匹配确定的设备状态数据所属类型以及所属级别的嗅觉 增强反馈的气味，对获取的所述设备状态数据进行嗅觉增强反馈。14. 如权利要求9至13任一项所述的增强现实反馈设备，其特征在于，所述获取单元，具 体用于按如下方式获取物理设备的设备状态数据： 获取物理设备的吞吐量状态数据、网络连接状态数据、温度状态数据、湿度状态数据、 压力状态数据和电力状态数据中的至少一种。
【文档编号】G06F3/01GK106095108SQ201610458015
【公开日】2016年11月9日
【申请日】2016年6月22日
【发明人】黄雪妍, 郑维希, 孙喆
【申请人】华为技术有限公司