增强现实设备及系统的制作方法

增强现实设备及系统的制作方法
【专利摘要】本实用新型公开了一种增强现实设备及系统，属于可穿戴设备领域。所述设备包括：设备主体和通信模块；所述设备主体内侧设置有脸部图像采集组件，所述设备主体被用户佩戴时，所述脸部图像采集组件朝向用户脸部，且与所述用户脸部存在预设距离，所述脸部图像采集组件用于采集所述用户的脸部图像；所述通信模块与所述脸部图像采集组件连接，用于向增强现实服务器发送所述脸部图像。本实用新型提供的增强现实设备能够采集用户的脸部图像，因此丰富了增强现实设备所采集的图像的种类，解决了相关技术中增强现实设备采集的图像较为单一的问题。本实用新型用于增强现实系统。
【专利说明】
増强现实设备及系统
技术领域
[0001] 本实用新型设及可穿戴设备领域，特别设及一种增强现实设备及系统。
【背景技术】
[0002] 增强现实技术(英文:Augmented Reality;简称:AR)是一种基于虚拟现实（英文： Virtual Reality;简称:VR)技术的改进技术。其中，VR技术是一种利用计算机图形系统和 各种接口设备，在计算机上生成可交互的Ξ维环境（即虚拟场景），并通过该Ξ维环境为用 户提供沉浸感的技术，而AR技术则能够将现实场景与虚拟场景进行实时叠加，为用户提供 更加逼真的增强现实场景，进一步增强了用户的沉浸感。其中，沉浸感是指当用户把增强现 实中的场景当做真实场景来感知时，在空间意义上置身于该增强现实场景中的感觉。
[0003] 相关技术中，用户可W通过佩戴增强现实设备，体验增强现实场景。该增强现实设 备能够通过设置在设备上的摄像头实时获取该用户周围环境的图像，并发送至增强现实服 务器中，W便增强现实服务器能够将该用户周围环境的图像与计算机图形系统产生的虚拟 场景进行处理和叠加，生成增强现实场景，再通过增强现实设备中的显示装置将该增强现 实场景呈现给用户。如果同一个现实场景中存在多个佩戴有增强现实设备的用户，则每个 增强现实设备所采集的用户周围的环境图像中，还可W包括其他用户的人像。
[0004] 但是，相关技术中，增强现实设备只能通过设置在设备外侧的摄像头采集用户周 围环境的图像，该增强现实设备所采集的图像较为单一。 【实用新型内容】
[0005] 为了解决相关技术中增强现实设备所采集的图像较为单一的问题，本实用新型提 供了一种增强现实设备及系统。所述技术方案如下：
[0006] 第一方面，本实用新型实施例提供了一种增强现实设备，所述设备包括：
[0007] 设备主体和通信模块；
[000引所述设备主体内侧设置有脸部图像采集组件，所述设备主体被用户佩戴时，所述 脸部图像采集组件朝向用户脸部，且与所述用户脸部存在预设距离，所述脸部图像采集组 件用于采集所述用户的脸部图像；
[0009] 所述通信模块与所述脸部图像采集组件连接，用于向增强现实服务器发送所述脸 部图像。
[0010] 可选的，所述设备还包括：
[00川标定装置；
[0012] 所述标定装置设置在所述设备主体的外侧，所述标定装置用于发出标定信号，所 述标定信号用于指示所述增强现实设备。
[0013] 可选的，所述设备还包括：
[0014] 环境图像采集组件，所述环境图像采集组件设置在所述设备主体的外侧，所述环 境图像采集组件用于采集所述用户周围环境的图像；
[0015] 所述通信模块与所述环境图像采集组件连接，还用于向所述增强现实服务器发送 所述用户周围环境的图像。
[0016] 可选的，所述环境图像采集组件还用于在采集所述用户周围环境的图像时，检测 其他增强现实设备发出的标定信号，并根据检测到的所述标定信号，确定所述其他增强现 实设备的标识，并获取所述其他增强现实设备在所述用户周围环境的图像中的位置信息；
[0017] 所述通信模块，还用于向所述增强现实服务器发送所述位置信息W及所述位置信 息对应的所述其他增强现实设备的标识。
[001引可选的，所述设备还包括：
[0019] 运动传感器，用于获取所述用户头部的运动状态数据；
[0020] 所述通信模块与所述运动传感器连接，还用于将所述运动状态数据发送至增强现 实服务器。
[0021 ]可选的，所述设备主体上设置有用于指示所述增强现实设备的标记图案。
[0022] 可选的，所述脸部图像采集组件为广角摄像头。
[0023] 可选的，所述标定装置为红外发射器。
[0024] 可选的，所述运动传感器为六轴传感器。
[0025] 可选的，所述设备主体为眼镜或者头盎。
[00%]第二方面，本实用新型实施例提供了一种增强现实系统，所述系统包括：
[0027] 增强现实服务器和至少两个增强现实设备，所述至少两个增强现实设备包括第一 方面任一所述的增强现实设备。
[0028] 本实用新型实施例提供的技术方案带来的有益效果是：
[0029] 本实用新型实施例提供了一种增强现实设备及系统，该增强现实设备包括:设备 主体和通信模块;该设备主体内侧设置有脸部图像采集组件，该增强现实设备能够通过该 脸部图像采集组件采集该用户的脸部图像，因此该第一增强现实所能够采集设备除了可W 采集用户周围环境的图像，还可W采集用户的脸部图像，丰富了该增强现实设备所能够采 集的图像的类型，增强了该增强现实设备的使用灵活性。
【附图说明】
[0030] 为了更清楚地说明本实用新型实施例中的技术方案，下面将对实施例描述中所需 要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实 施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可W根据运些附图 获得其他的附图。
[0031] 图1是本实用新型实施例提供的一种增强现实系统的结构示意图；
[0032] 图2-1是本实用新型实施例提供的一种增强现实设备内侧的结构框图；
[0033] 图2-2是本实用新型实施例提供的一种增强现实设备外侧的结构框图
[0034] 图3是本实用新型实施例提供的一种图像处理方法的流程图；
[0035] 图4-1是本实用新型实施例提供的另一种图像处理方法的流程图；
[0036] 图4-2是本实用新型实施例提供的一种第一增强现实设备所采集的第一用户的脸 部图像的示意图；
[0037] 图4-3是本实用新型实施例提供的一种第二增强现实设备所采集的第二用户周围 环境的图像的示意图；
[0038] 图4-4是本实用新型实施例提供的一种增强现实服务器检测是否存在第一增强现 实设备的图像的方法流程图；
[0039] 图4-5是本实用新型实施例提供的另一种增强现实服务器检测是否存在第一增强 现实设备的图像的方法流程图；
[0040] 图4-6是本实用新型实施例提供的一种增强现实处理后的第二用户周围环境的图 像的示意图；
[0041] 图5-1是本实用新型实施例提供的一种图像处理装置的结构示意图；
[0042] 图5-2是本实用新型实施例提供的另一种图像处理装置的结构示意图；
[0043] 图5-3是本实用新型实施例提供的一种处理模块的结构示意图。
【具体实施方式】
[0044] 为使本实用新型的目的、技术方案和优点更加清楚，下面将结合附图对本实用新 型实施方式作进一步地详细描述。
[0045] 图1是本实用新型实施例提供的一种增强现实系统的结构示意图，参见图1，该系 统可W包括：
[0046] 增强现实服务器10和至少两个增强现实设备，该至少两个增强现实设备可W包括 第一增强现实设备20和第二增强现实设备30。
[0047] 该第一增强现实设备20,用于采集第一用户的脸部图像，并向该增强现实服务器 10发送该第一用户的脸部图像。
[0048] 该第二增强现实设备30,用于采集第二用户周围环境的图像，并向该增强现实服 务器10发送该第二用户周围环境的图像，该第一用户和该第二用户位于同一现实场景中。
[0049] 该增强现实服务器10,用于接收该第一用户的脸部图像和该第二用户周围环境的 图像，根据该第一用户的脸部图像，对该第二用户周围环境的图像进行增强现实处理，并将 处理后的该第二用户周围环境的图像发送至该第二增强现实设备30。
[0050] 综上所述，本实用新型实施例提供了一种增强现实系统，该系统包括:增强现实服 务器和至少两个增强现实设备，该至少两个增强现实设备包括第一增强现实设备和第二增 强现实设备，其中，该第一增强现实设备除了可W采集第一用户周围环境的图像之外，还可 W采集第一用户的脸部图像，该增强现实服务器能够接收该第一用户的脸部图像，并根据 该第一用户的脸部图像，对第二增强现实设备所发送的第二用户周围环境的图像进行增强 现实处理，因此丰富了该第一增强现实设备的功能，并提高了增强现实服务器对图像进行 增强现实处理时的处理灵活性。
[0051] 图2-1是本实用新型实施例提供的一种增强现实设备内侧的结构框图，该增强现 实设备可W应用于如图1所示的增强现实系统中，如图2-1所示，该增强现实设备可W包括：
[0052] 设备主体20和通信模块21;
[0053] 该设备主体20内侧设置有脸部图像采集组件201，该设备主体被用户佩戴时，该脸 部图像采集组件201朝向用户脸部，且与该用户脸部存在预设距离(也即是不直接与用户的 脸部接触），该脸部图像采集组件201用于采集该用户的脸部图像。
[0054] 该通信模块21与该脸部图像采集组件201连接，用于向增强现实服务器发送该脸 部图像。
[0055] 综上所述，本实用新型实施例提供了一种增强现实设备，该增强现实设备的设备 主体内侧设置有脸部图像采集组件，该脸部图像采集组件能够采集用户的脸部图像，使得 该增强现实设备能够通过通信模块将该脸部图像发送至增强现实服务器，因此增加了增强 现实设备所能够采集的图像的种类，丰富了增强现实设备的功能，提高了增强现实设备的 使用灵活性。
[0056] 需要说明的是，在本实用新型实施例中，该设备主体20可W为眼镜或者头盎，W便 于用户的佩戴;该脸部图像采集组件201可W为广角摄像头，广角摄像头的视角范围较大， 当该广角摄像头与用户脸部的距离较近时，也能有效采集用户的脸部图像;该通信模块21 可W为蓝牙模块、无线保真(英文:Wireless Fidelity;简称:WiFi)模块或者网络接口，该 通信模块可W通过该增强现实设备中的处理器与该脸部图像采集组件连接，也可W直接与 该脸部图像采集组件电连接，本实用新型实施例对此不做限定。
[0057] 图2-2是本实用新型实施例提供的一种增强现实设备外侧的结构框图，如图2-2所 示，该增强现实设备还可W包括:标定装置202;
[0058] 该标定装置202设置在该设备主体20的外侧，该标定装置202用于发出标定信号， 该标定信号用于指示该增强现实设备。
[0059] 在本实用新型实施例中，该标定装置202可W为红外发射器，该设备主体20的外侧 可W设置有多个标定装置，该多个标定装置可W沿设备主体的外部轮廓排布，W便通过每 个标定装置发出的标定信号，向其他增强现实设备指示该增强现实设备W及该增强现实设 备的位置。示例的，如图2-2所示，该设备主体20的外侧可W设置有4个红外发射器202,该四 个红外发射器202分别设置在设备主体20的四角，该四个红外发射器202可W发出标定信号 (即红外信号），该红外信号中可W调制有该增强现实设备的标识，当其他增强现实设备通 过环境图像采集组件（例如摄像头)检测到该红外信号后，即可确定该增强现实设备的方 位，并能够对该红外信号进行解调，进而确定该增强现实设备的标识。
[0060] 进一步的，如图2-2所示，该设备还可W包括：
[0061] 环境图像采集组件203,该环境图像采集组件203设置在该设备主体20的外侧，该 环境图像采集组件203用于采集该用户周围环境的图像;该通信模块21与该环境图像采集 组件203连接，还用于向该增强现实服务器发送该用户周围环境的图像。示例的，在本实用 新型实施例中，该环境图像采集组件203可W为摄像头，该设备主体20的外侧可W对称设置 有两个摄像头，且该两个摄像头可W设置在设备主体外侧对应于用户人眼的位置，W便更 加真实的模拟人眼视觉。
[0062] 此外，该环境图像采集组件203还用于在采集该用户周围环境的图像时，检测其他 增强现实设备发出的标定信号，并根据检测到的该标定信号，确定该其他增强现实设备的 标识，并获取该其他增强现实设备在该用户周围环境的图像中的位置信息;该通信模块21， 还用于向该增强现实服务器发送该位置信息W及该位置信息对应的该其他增强现实设备 的标识。
[0063] 在本实用新型实施例中，该其他增强现实设备在该用户周围环境的图像中的位置 信息可W为该标定信号发射点在该用户周围环境的图像中的坐标，若某个增强现实设备发 出的标定信号包括多个，则该环境图像采集组件可W分别获取每个标定信号发射点在该用 户周围环境的图像中的坐标，若该用户周围环境的图像中包括多个其他增强现实设备发出 的标定信号，则该环境图像采集组件可W根据每个标定信号所指示的增强现实设备，建立 位置信息与增强现实设备的标识的对应关系。
[0064] 可选的，如图2-2所述，该设备还可W包括：
[0065] 运动传感器204,用于获取该用户头部的运动状态数据;通信模块21与该运动传感 器204连接，还用于将该运动状态数据发送至增强现实服务器。其中，该运动传感器204可W 为六轴传感器，该六轴传感器包括Ξ轴加速器和Ξ轴巧螺仪，其中Ξ轴加速器能够检测增 强现实设备的水平方向的加速度，Ξ轴巧螺仪能够检测增强现实设备旋转的角度。该六轴 传感器可W实时获取用户头部的运动状态数据，该运动状态数据可W包括用户的头部在预 设的基准坐标系中的偏转角度，该预设的基准坐标系可W为该运动传感器的基准坐标系。 通过通信模块将该运动状态数据发送至增强现实服务器后，该增强现实服务器可W根据该 用户的头部在预设的基准坐标系中的偏转角度，对增强现实图像进行处理，提高了该增强 现实图像处理的灵活性。
[0066] 可选的，如图2-2所示，该设备主体20上还可W设置有用于指示该增强现实设备的 标记图案205。该标记图案可W是由特定的几何图形按照预设规律所形成的图案，例如二维 码或者图形码等。该标记图案能够唯一标识该增强现实设备，当其他增强现实设备采集的 用户周围环境的图像中包括该标记图案，并将该用户周围环境的图像发送至增强现实服务 器后，增强现实服务器可W根据该标记图案，确定该标记图案所对应的增强现实设备。
[0067] 综上所述，本实用新型实施例提供了一种增强现实设备，该增强现实设备的设备 主体内侧设置有脸部图像采集组件，该脸部图像采集组件能够采集用户的脸部图像，使得 该增强现实设备能够通过通信模块将该脸部图像发送至增强现实服务器，因此增加了该增 强现实设备所能够采集的图像的种类，丰富了增强现实设备的功能，提高了增强现实设备 的使用灵活性。
[0068] 图3是本实用新型实施例提供的一种图像处理方法的流程图，该方法可W应用于 图1所示的增强现实服务器中，如图3所示，该方法可W包括：
[0069] 步骤301、接收第一增强现实设备发送的第一用户的脸部图像。
[0070] 步骤302、接收第二增强现实设备发送的第二用户周围环境的图像，该第一用户和 该第二用户位于同一现实场景中。
[0071] 步骤303、根据该第一用户的脸部图像，对该第二用户周围环境的图像进行增强现 实处理。
[0072] 步骤304、将处理后的该第二用户周围环境的图像发送至该第二增强现实设备。
[0073] 综上所述，本实用新型实施例提供了一种图像处理方法，增强现实服务器能够接 收第一增强现实设备发送的第一用户的脸部图像，并根据该第一用户的脸部图像，对第二 增强现实设备所发送的第二用户周围环境的图像进行增强现实处理，因此提高了该增强现 实服务器对图像进行增强现实处理时的灵活性。
[0074] 图4-1是本实用新型实施例提供的另一种图像处理方法的流程图，该方法可W应 用于图1所示的增强现实系统中，如图4-1所示，该方法可W包括：
[0075] 步骤401、第一增强现实设备向增强现实服务器发送第一用户的脸部图像。
[0076] 在本实用新型实施例中，参考图2-1，该第一增强现实设备的设备主体内侧可W设 置有脸部图像采集组件，该设备主体被该第一用户佩戴时，该脸部图像采集组件朝向第一 用户脸部，且与该第一用户脸部存在预设距离，该脸部图像采集组件能够采集该第一用户 的脸部图像;该第一增强现实设备还包括通信模块，第一增强现实设备可W通过该通信模 块将该第一用户的脸部图像发送至该增强现实服务器中。示例的，该第一增强现实设备的 设备主体内侧设置的图像采集组件可W为广角摄像头，该第一增强现实设备通过该广角摄 像头采集的第一用户的脸部图像400可W如图4-2所示。
[0077] 步骤402、第二增强现实设备向增强现实服务器发送第二用户周围环境的图像。
[0078] 第二用户周围环境的图像为第二增强现实设备采集的，且该第一用户和该第二用 户位于同一现实场景中。在本实用新型实施例中，该第二增强现实设备的设备主体外侧可 W设置有环境图像采集组件(例如摄像头），该环境图像采集组件能够采集该第二用户周围 环境的图像;该第二增强现实设备中还可W设置有通信模块，第二增强现实设备可W通过 该通信模块将该第二用户周围环境的图像发送至该增强现实服务器中。示例的，如图4-3所 示，假设该第二用户（图4-3中未示出）正在会议室中与第一用户41、第Ξ用户43和第四用户 44进行虚拟会议，其中每个用户均佩戴有增强现实设备，且该各个增强现实设备均与同一 个增强现实服务器建立连接，则该第二用户佩戴的第二增强现实设备所采集的该第二用户 周围环境的图像即可如图4-3所示。
[0079] 步骤403、增强现实服务器检测该第二用户周围环境的图像中，是否存在第一增强 现实设备的图像。
[0080] 增强现实服务器接收到第一用户的脸部图像W及第二用户周围环境的图像后，为 了根据该第一用户的脸部图像对该第二用户周围环境的图像进行处理，可W先检测该第二 用户周围环境的图像中，是否存在第一增强现实设备的图像。该检测第一增强现实设备的 图像的过程可W通过两种方式实现：
[0081] 在第一中可实现方式中，如图4-4所示，该增强现实服务器检测该第二用户周围环 境的图像中，是否存在第一增强现实设备的图像的方法可W包括：
[0082] 步骤4031a、增强现实服务器接收第二增强现实设备发送的位置信息W及该位置 信息对应的第一增强现实设备的标识。
[0083] 该位置信息用于指示该第一增强现实设备在该第二用户周围环境的图像中的位 置。该第二增强现实设备通过环境图像采集组件采集该第二用户周围环境的图像时，还可 W检测其他增强现实设备(例如第一增强现实设备)发出的标定信号，该标定信号用于指示 该其他增强现实设备，例如该标定信号中调可W制有该其他增强现实设备的标识，因此该 第二增强现实设备可W根据检测到的该标定信号，获取该其他增强现实设备在该第二用户 周围环境的图像中的位置信息，并能够对该标定进行进行解调，进而确定该位置信息对应 的该其他增强现实设备的标识。当该第二增强现实设备检测到第一增强现实设备的标定信 号时，可W将获取到的该第一增强现实设备在该第二用户周围环境的图像中的位置信息， W及该位置信息对应的第一增强现实设备的标识发送至增强现实服务器。示例的，假设图 4-3中的第一用户41佩戴有该第一增强现实设备，且该第一增强现实设备上设置有两个标 定装置，第二增强现实设备根据该两个标定装置发出的标定信号，获取到的第一增强现实 设备在该第二用户周围环境的图像中位置信息为该两个标定信号发射点的坐标，则该位置 信息可W为：（1.5,0.8)和（1.65,0.86)，且该第二增强现实设备还可W根据该两个标定信 号获取到该第一增强现实设备的标识:001;进一步的，由于该第Ξ用户43所佩戴的第Ξ增 强现实设备也可W发出标定信号，则该第二增强设备也可W获取到该第Ξ用户设备在该第 二用户周围环境的图像中的位置信息：（1.3,0.85); (1.5,0.92)，W及该位置信息对应的第 Ξ增强现实设备的标识:〇〇3。因此，该第二增强现实设备可W向增强现实服务器发送如表1 所示的位置信息与增强现实设备的标识的对应关系。
[0084] 表 1
[0085]
[0086] 步骤4032a、检测该第二用户周围环境的图像中，该位置信息指示的位置是否存在 增强现实设备的图像。
[0087] 增强现实服务器根据该位置信息确定了该第一增强现实设备在该第二用户周围 环境的图像中的位置后，可W检测该位置是否存在增强现实设备的图像。具体的，该增强现 实服务器中可W存储有设备图案模板，该增强现实服务器可W获取该位置信息指示的位置 处的图像，并将该图像与设备图案模板进行对比，当该位置信息指示的位置处的图像与设 备图案模板匹配时，增强现实服务器可W确定该位置信息指示的位置存在增强现实设备的 图像。示例的，假设第二用户周围环境的图像如图4-3所示，增强现实服务器获取到的位置 信息与增强现实设备的标识的对应关系如表1所示，则对于第一增强现实设备001所对应的 位置信息：（1.5，0.8)，（ 1.65，0.86)，增强现实服务器可W将该两个坐标点作为矩形对角线 的端点，并将该矩形所包围区域内的图像410与设备图案模板进行对比，若该矩形所包围区 域内的图像410与设备图案模板，则确定该位置信息指示的位置存在增强现实设备的图像。
[0088] 步骤4033a、当该第二用户周围环境的图像中，该位置信息指示的位置存在增强现 实设备的图像时，根据该第一增强现实设备的标识，确定该位置信息指示的位置的增强现 实设备的图像为该第一增强现实设备的图像。
[0089] 由于该位置信息所对应的增强现实设备的标识为第一增强现实设备的标识，因此 当该第二用户周围环境的图像中，该位置信息指示的位置存在增强现实设备的图像时，增 强现实服务器可W确定该位置信息指示的位置的增强现实设备的图像为该第一增强现实 设备的图像。示例的，增强现实服务器可W确定位置信息：（1.5,0.8) ,(1.65,0.86)指示的 位置的增强现实设备的图像410为该第一增强现实设备的图像。
[0090] 在第二种可实现方式中，该第一增强现实设备的设备主体上可W设置有用于指示 该第一增强现实设备的标记图案，该标记图案可W唯一指示该第一增强现实设备，如图4-5 所示，该增强现实服务器检测该第二用户周围环境的图像中，是否存在第一增强现实设备 的图像的方法可W包括：
[0091] 步骤4031b、检测该第二用户周围环境的图像中，是否存在增强现实设备的图像。
[0092] 增强现实服务器中接收到第二用户周围环境的图像后，还可W对该第二用户周围 环境的图像进行检测，判断该图像中是否存在与设备图案模板匹配的增强现实设备的图 像。示例的，假设增强现实服务器中接收到的第二用户周围环境的图像如图4-3所示，则增 强现实服务器对该图像进行检测后，可W确定该第二用户周围环境的图像中存在两个增强 现实设备的图像410和430,其中410为第一用户41所佩戴的第一增强现实设备的图像，430 为第Ξ用户43所佩戴的第Ξ增强现实设备的图像。
[0093] 步骤4032b、当该第二用户周围环境的图像中，存在增强现实设备的图像时，检测 该增强现实设备的图像中，是否存在该标记图案。
[0094] 在本实用新型实施例中，该增强现实服务器中可W存储有增强现实设备的标识与 标记图案的对应关系，当该第二用户周围环境的图像中，存在增强现实设备的图像时，增强 现实服务器可W根据该增强现实设备与标记图案的对应关系，确定第一增强现实设备对应 的标记图案，并检测该增强现实设备的图像中，是否存在该第一增强现实设备对应的标记 图案;或者该标记图案中可W编译有增强现实设备的标识，增强现实服务器检测到第二用 户周围环境的图像中存在标记图案时，可W对该标记图案进行解码，并获取到该标记图案 对应的增强现实设备的标识，进而再判断该标记图案对应的增强现实设备的标识是否为第 一增强现实设备的标识。
[00%]示例的，假设增强现实服务器中存储的第一增强现实设备的标识001所对应的标 记图案为图2-2中的标记图案205,则当该增强现实服务器从第二用户周围环境的图像中检 测出增强现实设备的图像410和430后，可W继续检测该两个增强现实设备的图像中，是否 存在图2-2中所示的标记图案205;或者，该增强现实服务器还可W直接对该两个增强现实 设备的图像410和430进行检测，当在任一增强现实设备的图像中检测到标记图案时，对该 标记图案进行解码，获取到该标记图案对应的增强现实设备的标识，从而可W确定该标记 图案是否为第一增强现实设备对应的标记图案。
[0096] 步骤4033b、当该增强现实设备的图像中，存在该标记图案时，确定该增强现实设 备的图像为该第一增强现实设备的图像。
[0097] 示例的，当增强现实服务器在增强现实设备的图像410中检测出第一增强现实设 备所对应的标记图案205时，该增强现实服务器即可确定该增强现实设备的图像410为该第 一增强现实设备的图像。
[0098] 步骤404、当该第二用户周围环境的图像中存在第一增强现实设备的图像时，增强 现实服务器用该第一用户的脸部图像替换该第一增强现实设备的图像。
[0099] 增强现实服务器在对该第二用户周围环境的图像进行增强现实处理的过程中，如 果检测到该第二用户周围环境的图像中存在第一增强现实设备的图像，则可W用该第一用 户的脸部图像替换该第一增强现实设备的图像，也即是，根据预设的图像叠加算法，将该第 一用户的脸部图像叠加在该第一增强现实设备的图像上。其中，根据预设的图像叠加算法 进行脸部图像的叠加的具体实现过程可W参考相关技术，本实用新型实施例对此不做寶 述。
[0100] 示例的，当增强现实服务器在图4-3所示的第二用户周围环境的图像中检测到该 第一增强现实设备的图像410时，该增强现实服务器可W用如图4-2所示的该第一用户的脸 部图像400替换该图4-3中的第一增强现实设备的图像410;同样的，在图4-3中，该第Ξ用户 43所佩戴的第Ξ增强现实设备也可W将采集到的第Ξ用户43的脸部图像发送至该增强现 实服务器，W便该增强现实服务器可W用该第Ξ用户43的脸部图像，替换该第二用户周围 环境的图像中该第Ξ增强现实设备的图像430。增强现实服务器根据接收到的脸部图像对 该第二用户周围环境的图像进行处理后的效果图可W如图4-6所示，从4-6中可W看出，处 理后的该第二用户周围环境的图像中，第一用户41和第Ξ用户43的脸部图像得W完整显 示，而没有被增强现实设备所遮挡，该增强现实图像的处理显示效果较好，提高了用户在增 强现实场景中的沉浸感。
[0101] 步骤405、增强现实服务器将处理后的该第二用户周围环境的图像发送至该第二 增强现实设备。
[0102] 在本实用新型实施例中，增强现实服务器根据第一用户的脸部图像对第二用户周 围环境的图像处理完成后，还可W将该处理后的第二用户周围环境的图像与图形系统产生 的虚拟场景进行处理和叠加，得到增强现实图像，并将该增强现实图像发送至该第二增强 现实设备中，该第二增强现实设备的内侧可W设置有显示装置，第二用户可W通过该显示 装置观看该增强现实图像。
[0103] 步骤406、第一增强现实设备向增强现实服务器发送第一用户的头部的第一运动 状态数据。
[0104] 在本实用新型实施例中，该第一增强现实设备中还可W设置有运动传感器，第一 增强现实设备可W通过该运动传感器实时采集第一用户的头部的第一运动状态数据，并将 采集到的第一运动状态数据实时发送至该增强现实服务器。其中，该第一运动状态数据可 W包括该第一用户的头部在预设的基准坐标系中的偏转角度，该预设的基准坐标系可W为 该运动传感器的基准坐标系。
[0105] 步骤407、第二增强现实设备向增强现实服务器发送第二用户的第二头部的运动 状态数据。
[0106] 同样的，该第二增强现实设备中也设置有运动传感器，该第二增强现实设备也可 W向增强现实服务器实时发送该第二用户的头部的第二运动状态数据，该第二运动状态数 据中可W包括第二用户的头部在预设的基准坐标系中的偏转角度。
[0107] 需要说明的是，在实际应用中，若多个增强现实设备位于同一个增强现实系统中， 则该多个增强现实设备中的运动传感器在采集运动状态数据时，所依据的坐标系可W均为 同一个预设的基准坐标系，W便于增强现实服务器对各个增强现实设备所发送的运动状态 数据进行处理。
[0108] 步骤408、增强现实服务器根据该第一运动状态数据和第二运动状态数据，调整该 第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。
[0109] 在本实用新型实施例中，该增强现实服务器可W根据第一用户的头部在预设的基 准坐标系中的第一偏转角度，W及第二用户的头部在该预设的基准坐标系中的第二偏转角 度，确定该第一用户和第二用户之间的相对位置，之后，该增强现实服务器可W根据该相对 位置，实时调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。因此 当第一用户或者第二用户的头部转动，使得该第二用户周围环境的图像发生变化时，该第 一用户的脸部图像也可W根据两个用户之间的相对位置实时变化，使得第二用户所看到的 增强现实图像更接近真实环境，提高了用户的沉浸感。其中，根据据第一用户与第二用户的 相对位置，调整第一用户的脸部图像在该第二用户周围环境的图像中的设置角度的具体过 程可W参考相关技术中的图像叠加算法，本实用新型实施例对此不做寶述。
[0110] 需要说明的是，本实用新型实施例提供的图像处理方法的步骤的先后顺序可W进 行适当调整，步骤也可W根据情况进行相应增减。任何熟悉本技术领域的技术人员在本实 用新型掲露的技术范围内，可轻易想到变化的方法，都应涵盖在本实用新型的保护范围之 内，因此不再寶述。
[0111] 综上所述，本实用新型实施例提供了一种图像处理方法，增强现实服务器能够接 收第一增强现实设备发送的第一用户的脸部图像，并根据该第一用户的脸部图像，对第二 增强现实设备所发送的第二用户周围环境的图像进行增强现实处理，因此该增强现实服务 器对图像进行增强现实处理时的灵活性较高，并且处理效果较好，改善了用户体验，提高了 用户的沉浸感。
[0112] 图5-1是本实用新型实施例提供的一种图像处理装置的结构示意图，该图像处理 装置可W用于增强现实服务器中，如图5-1所示，该装置包括：
[0113] 第一接收模块501，用于接收第一增强现实设备发送的第一用户的脸部图像。
[0114] 第二接收模块502,用于接收第二增强现实设备发送的第二用户周围环境的图像， 该第一用户和该第二用户位于同一现实场景中。
[0115] 处理模块503,用于根据该第一用户的脸部图像，对该第二用户周围环境的图像进 行增强现实处理。
[0116] 发送模块504,用于将处理后的该第二用户周围环境的图像发送至该第二增强现 实设备。
[0117] 综上所述，本实用新型实施例提供了一种图像处理装置，该图像处理装置位于增 强现实服务器中，增强现实服务器能够通过发送模块接收第一增强现实设备发送的第一用 户的脸部图像，并根据该第一用户的脸部图像，通过处理模块对第二增强现实设备所发送 的第二用户周围环境的图像进行增强现实处理，该图像处理装置对图像进行增强现实处理 时的灵活性较高，处理效果较好。
[0118] 图5-2是本实用新型实施例提供的另一种图像处理装置的结构示意图，该图像处 理装置可W用于增强现实服务器中，如图5-2所示，该装置包括：
[0119] 第一接收模块501，用于接收第一增强现实设备发送的第一用户的脸部图像。
[0120] 第二接收模块502,用于接收第二增强现实设备发送的第二用户周围环境的图像， 该第一用户和该第二用户位于同一现实场景中。
[0121] 处理模块503,用于根据该第一用户的脸部图像，对该第二用户周围环境的图像进 行增强现实处理。
[0122] 发送模块504,用于将处理后的该第二用户周围环境的图像发送至该第二增强现 实设备。
[0123] 第Ξ接收模块505,用于接收该第二增强现实设备发送的位置信息W及该位置信 息对应的第一增强现实设备的标识，该位置信息用于指示该第一增强现实设备在该第二用 户周围环境的图像中的位置。
[0124] 第四接收模块506,用于接收该第一增强现实设备发送的该第一用户的头部的第 一运动状态数据。
[0125] 第五接收模块507,用于接收该第二增强现实设备发送的该第二用户的头部的第 二运动状态数据。
[0126] 调整模块508，用于根据该第一运动状态数据和第二运动状态数据，调整该第一用 户的脸部图像在该第二用户周围环境的图像中的设置角度。
[0127] 图5-3是本实用新型实施例提供的一种处理模块的结构示意图，如图5-3所示，该 处理模块503可W包括：
[0128] 检测子模块5031，用于检测该第二用户周围环境的图像中，是否存在第一增强现 实设备的图像。
[0129] 替换子模块5032,用于当该第二用户周围环境的图像中存在第一增强现实设备的 图像时，用该第一用户的脸部图像替换该第一增强现实设备的图像。
[0130] 该检测子模块5031，还用于：
[0131] 检测该第二用户周围环境的图像中，该位置信息指示的位置是否存在增强现实设 备的图像；
[0132] 当该第二用户周围环境的图像中，该位置信息指示的位置存在增强现实设备的图 像时，根据该第一增强现实设备的标识，确定该位置信息指示的位置的增强现实设备的图 像为该第一增强现实设备的图像。
[0133] 可选的，该第一增强现实设备的设备主体上设置有用于指示该第一增强现实设备 的标记图案;该检测子模块5031，还用于：
[0134] 检测该第二用户周围环境的图像中，是否存在增强现实设备的图像；
[0135] 当该第二用户周围环境的图像中，存在增强现实设备的图像时，检测该增强现实 设备的图像中，是否存在该标记图案；
[0136] 当该增强现实设备的图像中，存在该标记图案时，确定该增强现实设备的图像为 该第一增强现实设备的图像。
[0137] 可选的，该运动状态数据包括该第二用户的头部在预设的基准坐标系中的偏转角 度;该调整模块507,还用于：
[0138] 根据该偏转角度，调整该第一用户的脸部图像在该第二用户周围环境的图像中的 设置角度。
[0139] 综上所述，本实用新型实施例提供了一种图像处理装置，该图像处理装置位于增 强现实服务器中，增强现实服务器能够通过发送模块接收第一增强现实设备发送的第一用 户的脸部图像，并根据该第一用户的脸部图像，通过处理模块对第二增强现实设备所发送 的第二用户周围环境的图像进行增强现实处理，该图像处理装置对图像进行增强现实处理 时的灵活性较高，处理效果较好。
[0140] 本实用新型实施例提供了另一种增强现实系统，如图1所示，该系统可W包括:增 强现实服务器10和至少两个增强现实设备，该至少两个增强现实设备可W包括第一增强现 实设备20和第二增强现实设备30,且该第一增强现实设备20和第二增强现实设备30可W为 如图2-1或图2-2所示的增强现实设备。
[0141] 该第一增强现实设备30,用于采集第一用户的脸部图像，并向该增强现实服务器 发送该第一用户的脸部图像，即该第一增强现实设备可W用于实现上述步骤401中所示的 功能。
[0142] 该第二增强现实设备30,用于采集第二用户周围环境的图像，并向该增强现实服 务器发送该第二用户周围环境的图像，该第一用户和该第二用户位于同一现实场景中，即 该第二增强现实设备30可W用于实现上述步骤402中所示的功能。
[0143] 该增强现实服务器10,用于接收该第一用户的脸部图像和该第二用户周围环境的 图像，根据该第一用户的脸部图像，对该第二用户周围环境的图像进行增强现实处理，并将 处理后的该第二用户周围环境的图像发送至该第二增强现实设备30,即该增强现实服务器 10可W用于实现上述步骤403至步骤405中所示的功能。
[0144] 可选的，参考上述步骤403和步骤404，该增强现实服务器10，具体用于:检测该第 二用户周围环境的图像中，是否存在第一增强现实设备的图像；当该第二用户周围环境的 图像中存在第一增强现实设备的图像时，用该第一用户的脸部图像替换该第一增强现实设 备的图像。
[0145] 可选的，该第一增强现实设备20,还用于发出标定信号，该标定信号用于指示该第 一增强现实设备。
[0146] 参考图2-2可知，该第一增强现实设备的设备主体外侧可W设置有标定装置(例如 红外发射器），该第一增强现实设备通过该标定装置发出的标定信号中可W调制有该第一 增强现实设备的标识，W便其他增强现实设备可W根据该标定信号，识别出该第一增强现 实设备。
[0147] 该第二增强现实设备30,还用于在检测到该标定信号时，根据该标定信号，获取该 第一增强现实设备在该第二用户周围环境的图像中的位置信息，并向该增强现实服务器发 送该位置信息W及该位置信息对应的该第一增强现实设备的标识，即该第二强现实设备30 具体用于实现上述步骤4031a中所示的功能。
[0148] 该增强现实服务器10，具体用于：
[0149] 检测该第二用户周围环境的图像中，该位置信息指示的位置是否存在增强现实设 备的图像；当该第二用户周围环境的图像中，该位置信息指示的位置存在增强现实设备的 图像时，根据该第一增强现实设备的标识，确定该位置信息指示的位置的增强现实设备的 图像为该第一增强现实设备的图像，即该增强现实服务器具体用于实现上述步骤403?和 步骤4033a所示的功能。
[0150] 可选的，如图2-2所示，该第一增强现实设备20的设备主体上还可W设置有用于指 示该第一增强现实设备20的标记图案。
[0151] 该增强现实服务器10,具体用于:检测该第二用户周围环境的图像中，是否存在增 强现实设备的图像;当该第二用户周围环境的图像中，存在增强现实设备的图像时，检测该 增强现实设备的图像中，是否存在该标记图案；当该增强现实设备的图像中，存在该标记图 案时，确定该增强现实设备的图像为该第一增强现实设备的图像，即该增强现实服务器还 可W用于实现上述步骤403化至步骤4033b中所示的功能。
[0152] 可选的，该第一增强现实设备20,还用于获取该第一用户头部的第一运动状态数 据，并向该增强现实服务器发送该第一运动状态数据，即该第一增强现实设备还可W用于 实现上述步骤406中所示的功能。
[0153] 该第二增强现实设备30,还用于获取该第二用户头部的第二运动状态数据，并向 该增强现实服务器发送该第二运动状态数据，即该第二增强现实设备还可W用于实现上述 步骤40 7中所示的功能。
[0154] 该增强现实服务器10,还用于根据该第一运动状态数据和该第二运动状态数据， 调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度，即该增强现实服 务器还可W用于实现上述步骤408中所示的功能。
[0155] 可选的，该第一运动状态数据包括该第一用户头部在预设的基准坐标系中的第一 偏转角度，该第二运动状态数据包括该第二用户头部在该预设的基准坐标系中的第二偏转 角度；
[0156] 该增强现实服务器，具体用于:根据该第一偏转角度和该第二偏转角度，调整该第 一用户的脸部图像在该第二用户周围环境的图像中的设置角度。
[0157] 综上所述，本实用新型实施例提供了一种增强现实系统，该系统包括:增强现实服 务器和至少两个增强现实设备，该至少两个增强现实设备包括第一增强现实设备和第二增 强现实设备，其中，该第一增强现实设备除了可W采集第一用户周围环境的图像之外，还可 W采集第一用户的脸部图像，该增强现实服务器能够接收该第一用户的脸部图像，并根据 该第一用户的脸部图像，对第二增强现实设备所发送的第二用户周围环境的图像进行增强 现实处理，因此丰富了该第一增强现实设备的功能，并提高了增强现实服务器对图像进行 增强现实处理时的处理灵活性。
[0158] 所属领域的技术人员可W清楚地了解到，为描述的方便和简洁，上述描述的系统、 装置和模块的具体工作过程，可W参考前述方法实施例中的对应过程，在此不再寶述。
[0159] W上所述仅为本实用新型的较佳实施例，并不用W限制本实用新型，凡在本实用 新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保 护范围之内。
【主权项】
1. 一种增强现实设备，其特征在于，所述设备包括： 设备主体和通信模块； 所述设备主体内侧设置有脸部图像采集组件，所述设备主体被用户佩戴时，所述脸部 图像采集组件朝向用户脸部，且与所述用户脸部存在预设距离，所述脸部图像采集组件用 于采集所述用户的脸部图像； 所述通信模块与所述脸部图像采集组件连接，用于向增强现实服务器发送所述脸部图 像。2. 根据权利要求1所述的设备，其特征在于，所述设备还包括： 标定装置； 所述标定装置设置在所述设备主体的外侧，所述标定装置用于发出标定信号，所述标 定信号用于指示所述增强现实设备。3. 根据权利要求1所述的设备，其特征在于，所述设备还包括： 环境图像采集组件，所述环境图像采集组件设置在所述设备主体的外侧，所述环境图 像采集组件用于采集所述用户周围环境的图像； 所述通信模块与所述环境图像采集组件连接，还用于向所述增强现实服务器发送所述 用户周围环境的图像。4. 根据权利要求3所述的设备，其特征在于， 所述环境图像采集组件还用于在采集所述用户周围环境的图像时，检测其他增强现实 设备发出的标定信号，并根据检测到的所述标定信号，确定所述其他增强现实设备的标识， 并获取所述其他增强现实设备在所述用户周围环境的图像中的位置信息； 所述通信模块，还用于向所述增强现实服务器发送所述位置信息以及所述位置信息对 应的所述其他增强现实设备的标识。5. 根据权利要求1所述的设备，其特征在于，所述设备还包括： 运动传感器，用于获取所述用户头部的运动状态数据； 所述通信模块与所述运动传感器连接，还用于将所述运动状态数据发送至增强现实服 务器。6. 根据权利要求1至5任一所述的设备，其特征在于， 所述设备主体上设置有用于指示所述增强现实设备的标记图案。7. 根据权利要求1至5任一所述的设备，其特征在于， 所述脸部图像采集组件为广角摄像头。8. 根据权利要求2所述的设备，其特征在于， 所述标定装置为红外发射器。9. 根据权利要求5所述的设备，其特征在于， 所述运动传感器为六轴传感器。10. 根据权利要求1至5任一所述的设备，其特征在于， 所述设备主体为眼镜或者头盔。11. 一种增强现实系统，其特征在于，所述系统包括： 增强现实服务器和至少两个增强现实设备，所述至少两个增强现实设备包括权利要求 1至10任一所述的增强现实设备。
【文档编号】H04N5/265GK205430495SQ201620241034
【公开日】2016年8月3日
【申请日】2016年3月25日
【发明人】武乃福
【申请人】京东方科技集团股份有限公司