一种融合现实互动系统和方法与流程

文档序号:26703007发布日期:2021-09-18 03:06阅读:来源:国知局

技术特征:
1.一种融合现实互动系统,其特征在于,包括:裸眼3d显示设备,用于获取并显示融合现实图像;互动设备,用于采集实体对象的实体图像、和/或所述实体对象的互动输入数据;处理设备,用于分别获取虚拟图像、实体图像、和/或互动输入数据,并根据所述互动输入数据,将调整后的所述虚拟图像和实体图像映射至融合坐标系中,以形成所述融合现实图像,提供给所述裸眼3d显示设备。2.根据权利要求1所述的系统,其特征在于,所述裸眼3d显示设备还用于根据所述处理设备的渲染控制指令,对获取到的所述融合现实图像进行渲染后进行显示。3.根据权利要求1所述的系统,其特征在于,所述互动设备包括非接触式采集设备;所述非接触式采集设备包括摄像头,还包括下述至少一种:红外传感器、麦克风、超声传感器和3d传感器。4.根据权利要求1所述的系统,其特征在于,所述互动输入数据包括下述至少一种:所述实际对象的整体移动轨迹、所述实际对象的设定部位的移动轨迹、所述实际对象的手势、姿态、表情、所述实际对象的音频、和/或所述实际对象操作输入设备产生的输入事件。5.根据权利要求1所述的系统,其特征在于,互动设备还包括:人体跟踪传感器,用于对所述裸眼3d显示设备的观看范围内的人体进行位置跟踪;相应的,所述处理设备,与所述人体跟踪传感器相交互,还用于根据人体跟踪位置,调整所述融合现实图像,以使所述融合现实图像在所述人体跟踪位置处呈现3d显示效果。6.根据权利要求1所述的系统,其特征在于,所述裸眼3d显示设备的数量为一个或多个;所述处理设备,分别与各裸眼3d显示设备相交互,还用于根据所述融合现实图像确定相同或不同的分屏现实图像,分别提供给各所述裸眼3d显示设备进行显示。7.根据权利要求1或2所述的系统,其特征在于,所述处理设备包括:虚拟图像转换单元,用于获取虚拟图像,并将所述虚拟图像按照虚拟融合转换关系,从虚拟坐标系转换至融合坐标系;实体图像转换单元,用于获取实体图像,并将所述实体图像按照实体融合转换关系,从实体坐标系转换至融合坐标系;图像融合单元,用于在所述融合坐标系下,将转换后的虚拟图像和实体图像进行叠加,以形成所述融合现实图像;互动调整单元,用于根据互动设备采集的互动输入数据和预设的互动策略,确定虚拟图像的调整策略,并根据所述调整策略调整所述虚拟图像,将调整后的虚拟图像提供给所述虚拟图像转换单元。8.根据权利要求1所述的系统,其特征在于,所述处理设备还包括:远程接收单元,用于接收远程传输的互动输入数据或融合现实图像;远程推送单元,用于将所述互动设备采集的互动输入数据,或本地产生的所述融合现实图像,基于远程传输方式提供给另一融合现实互动系统的处理设备。9.一种融合现实互动方法,其特征在于,由权利要求1

8任一所述的融合现实互动系统的处理设备来执行,所述方法包括:分别获取虚拟图像、实体图像和互动输入数据,并根据所述互动输入数据,将调整后的所述虚拟图像和实体图像映射至融合坐标系中,以形成所述融合现实图像;
将所述融合现实图像提供给所述裸眼3d显示设备。10.根据权利要求9所述的方法,其特征在于,还包括:根据所述融合现实图像产生渲染控制指令,发送给所述裸眼3d显示设备,以控制所述裸眼3d显示设备对获取到的所述融合现实图像进行渲染后进行显示。11.根据权利要求9所述的方法,其特征在于,分别获取虚拟图像、实体图像和互动输入数据,并根据所述互动输入数据,将调整后的所述虚拟图像和实体图像映射至融合坐标系中,以形成所述融合现实图像包括:获取虚拟图像,根据互动设备采集的互动输入数据和预设的互动策略,确定虚拟图像的调整策略,并根据所述调整策略调整所述虚拟图像;将调整后的所述虚拟图像按照虚拟融合转换关系,从虚拟坐标系转换至融合坐标系;获取实体图像,并将所述实体图像按照实体融合转换关系,从实体坐标系转换至融合坐标系;在所述融合坐标系下,将转换后的虚拟图像和实体图像进行叠加,以形成所述融合现实图像。12.根据权利要求9所述的方法,其特征在于,将所述融合现实图像提供给所述裸眼3d显示设备之前,还包括:根据采集到的人体跟踪位置,调整所述融合现实图像,以使所述融合现实图像在所述人体跟踪位置处呈现3d显示效果;或根据所述融合现实图像产生多个位置的融合现实图像,以在所述裸眼3d显示设备观看范围内的多个位置分别呈现3d显示效果。13.根据权利要求9所述的方法,其特征在于,还包括:接收远程传输的互动输入数据或融合现实图像;或将所述互动设备采集的互动输入数据,或本地产生的所述融合现实图像,基于远程传输方式提供给另一融合现实互动系统的处理设备。

技术总结
本发明实施例公开了一种融合现实互动系统和方法。该系统包括:裸眼3D显示设备,用于获取并显示融合现实图像;互动设备,用于采集实体对象的实体图像、和/或所述实体对象的互动输入数据;处理设备,用于分别获取虚拟图像、实体图像、和/或互动输入数据,并根据所述互动输入数据,将调整后的所述虚拟图像和实体图像映射至融合坐标系中,以形成所述融合现实图像,提供给所述裸眼3D显示设备。该系统解决了用户在体验过程中需穿戴设备而导致的活动与视野受限,并且不能直接观看现实目标的问题。并且不能直接观看现实目标的问题。并且不能直接观看现实目标的问题。


技术研发人员:汪洋
受保护的技术使用者:纵深视觉科技(南京)有限责任公司
技术研发日:2021.06.17
技术公布日:2021/9/17
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1