一种机器人及其混合视频流生成方法
【技术领域】
[0001]本发明涉及机器人技术领域，尤其涉及一种机器人及其混合视频流生成方法。
【背景技术】
[0002]机器人领域中，有一种机器人用于采集视频并发送至终端，可以根据所述终端的控制采集其活动区域内能够观测到的视频。
[0003]现有技术中的这种机器人，一般只包括摄像机、接收模块、发送模块、处理器、电机驱动器、电机和轮子，这种机器人能够根据所述接收模块接收到的移动指令实现动态的视频采集，并将采集到的视频通过所述发送模块发送至所述终端。
[0004]但是现有技术中的这种机器人不能将虚拟的物体添加到其发送的视频(现实世界)中，也即未能实现增强现实(Augmented Reality，简称AR)的功能。
【发明内容】
[0005]有鉴于此，本发明提供了一种机器人及其混合视频流生成方法，以解决现有技术中未能实现增强现实的功能的问题。
[0006]一种机器人，包括:
[0007]摄像机，用于采集视频并生成视频流数据；
[0008]测距传感器，用于测量所述机器人所处环境的360°深度信息并生成环境深度数据；
[0009]与所述摄像机及所述测距传感器相连的增强现实引擎，用于接收所述视频流数据及所述环境深度数据，并根据所述环境深度数据进行同步地图构建与定位，获得所述机器人的位置与姿态，再根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，生成混合视频流。
[0010]优选的，所述增强现实引擎用于根据所述环境深度数据进行同步地图构建与定位，获得所述机器人的位置与姿态时，包括:
[0011]所述增强现实引擎，用于在所述机器人的移动过程中，根据多次接收到的不同环境深度数据中的地图特征进行定位，获得所述机器人的位置和姿态，再根据所述机器人的位置，进行增量式的地图构建。
[0012]优选的，当所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，所述视频流数据中的现实场景对所述虚拟三维物体存在遮挡或者部分遮挡时，还包括:
[0013]所述增强现实引擎用于:根据构建的地图创建障碍物掩膜，根据所述障碍物掩膜将所述视频流数据与所述虚拟三维物体进行叠加。
[0014]优选的，当所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，所述视频流数据中的现实场景对所述虚拟三维物体存在遮挡或者部分遮挡时，还包括:
[0015]所述增强现实引擎用于:根据构建的地图创建障碍物掩膜，对遮挡或者部分遮挡所述虚拟三维物体的遮挡物进行分割，改变所述遮挡物的位置或者移除所述遮挡物，根据对所述虚拟三维物体的观测，将所述视频流数据与所述虚拟三维物体进行叠加。
[0016]优选的，还包括:与所述增强现实引擎相连的辅助传感器，用于测量所述机器人环境中所述测距传感器未能测量的信息，生成辅助测量数据至所述增强现实引擎，使所述增强现实引擎根据所述环境深度数据和所述辅助测量数据进行同步地图构建与定位。
[0017]优选的，还包括:连接于所述测距传感器及所述增强现实引擎之间的预处理模块，用于对所述环境深度数据进行滤波后输出至所述增强现实引擎。
[0018]一种机器人的混合视频流生成方法，包括:
[0019]摄像机采集视频并生成视频流数据；
[0020]测距传感器测量所述机器人所处环境的360°深度信息并生成环境深度数据；
[0021]增强现实引擎接收所述视频流数据及所述环境深度数据，并根据所述环境深度数据进行同步地图构建与定位；
[0022]所述增强现实引擎获得所述机器人的位置与姿态；
[0023]所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，生成混合视频流。
[0024]优选的，所述增强现实引擎根据所述环境深度数据进行同步地图构建与定位，获得所述机器人的位置与姿态的步骤包括:
[0025]在所述机器人的移动过程中，所述增强现实引擎根据多次接收到的不同环境深度数据中的地图特征进行定位，获得所述机器人的位置和姿态，再根据所述机器人的位置，进行增量式的地图构建。
[0026]优选的，还包括:
[0027]当所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，所述视频流数据中的现实场景对所述虚拟三维物体存在遮挡或者部分遮挡时，所述增强现实引擎根据构建的地图创建障碍物掩膜，根据所述障碍物掩膜将所述视频流数据与所述虚拟三维物体进行叠加。
[0028]优选的，还包括:
[0029]当所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，所述视频流数据中的现实场景对所述虚拟三维物体存在遮挡或者部分遮挡时，所述增强现实引擎根据构建的地图创建障碍物掩膜，对遮挡或者部分遮挡所述虚拟三维物体的遮挡物进行分割，改变所述遮挡物的位置或者移除所述遮挡物，根据对所述虚拟三维物体的观测，将所述视频流数据与所述虚拟三维物体进行叠加。
[0030]本发明公开的机器人，通过摄像机采集视频并生成视频流数据；通过测距传感器测量所述机器人所处环境的360°深度信息并生成环境深度数据；再通过增强现实引擎接收所述视频流数据及所述环境深度数据，并根据所述环境深度数据进行同步地图构建与定位，获得所述机器人的位置与姿态，再根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，生成混合视频流，实现了增强现实的功能。
【附图说明】
[0031]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032]图1为本发明实施例公开的机器人的硬件结构示意图；
[0033]图2为本发明另一实施例公开的另一机器人的硬件结构示意图；
[0034]图3为本发明另一实施例公开的另一机器人的硬件结构示意图；
[0035]图4为本发明另一实施例公开的另一机器人的硬件结构示意图；
[0036]图5为本发明另一实施例公开的机器人的混合视频流生成方法流程图。
【具体实施方式】
[0037]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]本发明提供了一种机器人，以解决现有技术中未能实现增强现实的功能的问题。
[0039]具体的，如图1所示，所述机器人包括:
[0040]摄像机101、测距传感器102，及与摄像机101及测距传感器102相连的增强现实引擎103。
[0041]具体的工作原理为:
[0042]摄像机101采集视频并生成视频流数据；
[0043]测距传感器102测量所述机器人所处环境的360°深度信息并生成环境深度数据；
[0044]增强现实引擎103接收所述视频流数据及所述环境深度数据，并根据所述环境深度数据进行同步地图构建与定位，获得所述机器人的位置与姿态，再根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，生成混合视频流，进而实现了增强现实的功能。
[0045]所述预设的虚拟三维物体可以是根据应用需求进行预设并存储在存储器中的，此处不做具体限定。
[0046]值得说明的是，所述机器人可以根据终端的控制，通过电机驱动器的驱动，由电机控制轮子使所述机器人实现移动；在所述机器人的移动过程中，摄像机101通过多次的采集和输出，使得增强现实引擎103可以根据多次接收到的不同环境深度数据中的地图特征进行定位，获得所述机器人的位置和姿态，再根据所述机器人的位置，进行增量式的地图构建。
[0047]另外，当增强现实引擎103根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加时，所述视频流数据中的现实场景可能会对所述虚拟三维物体存在遮挡或者部分遮挡，此时，增强现实引擎103还可以根据构建的地图创建障碍物掩膜，根据所述障碍物掩膜将所述视频流数据与所述虚拟三维物体进行叠加；或者，增强现实引擎103还可以在根据构建的地图创建障碍物掩膜之后，对遮挡或者部分遮挡所述虚拟三维物体的遮挡物进行分割，改变所述遮挡物的位置或者移除所述遮挡物，根据对所述虚拟三维物体的观测，将所述视频流数据与所述虚拟三维物体进行叠加。
[0048]优选的，如图2所示，所述机器人还包括:与增强现实引擎103相连的辅助传感器104。
[0049]在具体的应用中，测距传感器102可以采用激光雷达、相控阵雷达、RGB-D(RGB-Depth)摄像头或者多目摄像机，此处不做具体限定，只要能够测量所述机