基于深度信息的三维场景增强现实的方法及系统的制作方法
【技术领域】
[0001] 本发明涉及计算机图像技术领域，尤其涉及一种基于深度信息的三维场景增强现 实的方法及系统。
【背景技术】
[0002] 增强现实是指将计算机生成虚拟物体、场景或者系统提示信息与真实场景进行叠 加，实现对现实的"增强"。增强现实借助计算机图形技术和可视化技术生成现实环境中不 存在的虚拟对象，并通过图像识别定位技术将虚拟对象准确"放置"在真实环境中，借助显 示设备将虚拟对象与真实环境融为一体，并呈现给使用者一个真实的视觉感受。增强现实 技术利用标识物建立虚拟三维空间，标识物在虚拟空间与现实空间之间起到连接的作用。 根据标识物类别目前分为有标识增强现实技术和无标识增强现实技术两类。增强现实能够 将虚拟场景与真实场景进行相互的融合，其强大的视觉冲击力正在获得广泛的关注。随着 3D技术的突飞猛进，双目立体摄像机可以间接获得三维场景的深度信息，自由立体显示技 术则无需用户佩戴任何的辅助设备，裸眼即可感知立体效果。
[0003] 立体相机是指记录立体图像的数码相机，由两套相同规格的数码相机组成，两数 码相机的调焦、变焦、感光等参数由一套控制电路实施控制。虚拟多视点是指将三维场景表 达为"视频+深度"的数据格式，利用虚拟视点生成技术渲染出多个虚拟视点位置的图像， 可为自由立体显示器提供同一场景的多视点图像和视频。
[0004] 现有的二维虚拟现实系统，为了使虚拟空间具有同样的透视关系以及正确的遮挡 关系，实现虚实空间的融合，需要从静态景物如道路、阶梯、障碍物等，动态景物如行人、车 辆等提出约束条件，计算量较大，并且不够准确，同时摄像机视角与虚拟场景的视角的准确 匹配需要对摄像机进行实时校准，因此其应用范围受限。
【发明内容】
[0005] 针对现有技术中的缺陷，本发明提供一种基于深度信息的三维场景增强现实的方 法及系统，能够有效的减低计算的复杂度，使得场景融合更加的真实，效果增强，应用范围 广泛。
[0006] 第一方面，本发明提供了一种基于深度信息的三维场景增强现实的方法，包括：
[0007] 摄像机采集当前现实场景，并将所述当前现实场景发送给中央服务器；
[0008] 所述中央服务器根据预设的虚拟场景和所述当前现实场景，确定融合的混合场 景；
[0009] 所述中央服务器将所述融合的混合场景发送给显示器，以使所述显示器显示所述 融合的混合场景。
[0010] 进一步地，在所述摄像机采集当前现实场景步骤之前，还包括：
[0011] 所述中央服务器获取所述预设的虚拟场景的俯仰角，并将所述预设的虚拟场景的 俯仰角发送给所述摄像机；
[0012] 所述摄像机根据所述预设的虚拟场景的俯仰角采集所述当前现实场景。
[0013] 进一步地，所述中央服务器获取所述预设的虚拟场景的俯仰角，包括：
[0014] 所述中央服务器根据所述预设的虚拟场景的深度图的消失线斜率，采用第一公 式，确定所述虚拟场景的俯仰角；
[0015] 所述预设的虚拟场景包括图像信息和深度信息；
[0016] 其中，所述第一公式为：
[0017] k=cos0
[0018] k为消失线斜率，0为虚拟场景的俯仰角。
[0019] 进一步地，所述中央服务器根据预设的虚拟场景和所述当前现实场景，确定融合 的混合场景，包括：
[0020] 所述中央服务器获取所述当前现实场景中的前景与背景相交点的深度变化率和 所述虚拟场景中的背景与所述当前现实场景中的前景相交点的深度变化率；
[0021] 若所述当前现实场景中的前景与背景相交点的深度变化率与所述虚拟场景中的 背景与所述当前现实场景中的前景相交点的深度变化率相同时，则所述中央服务器获取所 述预设的虚拟场景的深度和所述当前现实场景的深度；
[0022] 若所述预设的虚拟场景的深度与所述当前现实场景的深度相交等于零，则所述预 设的虚拟场景遮挡所述当前现实场景或者所述当前现实场景遮挡所述预设的虚拟场景，进 而确定融合的混合场景。
[0023] 进一步地，所述中央服务器根据预设的虚拟场景和所述当前现实场景，确定融合 的混合场景，包括：
[0024] 若所述预设的虚拟场景的深度与所述当前现实场景的深度相交不等于零，则所述 预设的虚拟场景与所述当前现实场景具有重叠；
[0025] 所述中央服务器将所述预设的虚拟场景与所述当前现实场景具有重叠部分移除， 则进而确定融合的混合场景。
[0026] 进一步地，所述方法还包括：
[0027] 若所述当前现实场景中的前景与背景相交点的深度变化率与所述虚拟场景中的 背景与所述当前现实场景中的前景相交点的深度变化率不相同时，则调整所述预设的现实 场景的俯仰角。
[0028] 所述摄像机根据所述调整预设的虚拟场景的俯仰角采集所述当前现实场景，使得 当前现实场景中的前景与背景相交点的深度变化率与所述虚拟场景中的背景与所述当前 现实场景中的前景相交点的深度变化率相同。
[0029] 进一步地，所述方法还包括：
[0030] 若所述预设的当前现实场景中的前景与背景相交点的深度变化率与所述虚拟场 景中的背景与所述当前现实场景中的前景相交点的深度变化率不相同时，则调整所述当前 现实场景的尺寸，以使当前现实场景中的前景与背景相交点的深度变化率与所述虚拟场景 中的背景与所述当前现实场景中的前景相交点的深度变化率不相同。
[0031] 进一步地，所述中央服务器将所述融合的混合场景发送给显示器，包括：
[0032] 所述中央服务器根据所述融合的混合场景，确定多视点的图像序列；
[0033] 所述中央服务器将所述多视点的图像序列发送给所述显示器。
[0034] 第二方面，本发明提供一种基于深度信息的三维场景增强现实的系统，所述系统 包括摄像机，中央服务器和显示器；
[0035] 所述摄像机与所述中央服务器通信连接；
[0036] 所述中央服务器与所述显示器通信连接。
[0037] 由上述技术方案可知，通过本发明提供的基于深度信息的三维场景增强现实的方 法及系统，其中，方法包括：摄像机采集当前现实场景，并将所述当前现实场景发送给中央 服务器；所述中央服务器根据预设的虚拟场景和所述当前现实场景，确定融合的混合场景； 所述中央服务器将所述融合的混合场景发送给显示器，以使所述显示器显示所述融合的混 合场景。通过本发明提供的基于深度信息的三维场景增强现实的方法及系统，能够有效的 减低计算的复杂度，使得场景融合更加的真实，效果增强，应用范围广泛。
【附图说明】
[0038] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有 技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他的附图。
[0039] 图1为本发明实施例提供的一种基于深度信息的三维场景增强现实的方法流程 示意图；
[0040] 图2为本发明实施例提供的另一种基于深度信息的三维场景增强现实的方法流 程不意图；
[0041] 图3为本发明实施例提供的一种基于深度信息的三维场景增强现实的方法中当 前现实场景摄像效果示意图；
[0042] 图4为本发明实施例提供的一种基于深度信息的三维场景增强现实的方法中遮 挡与重叠关系的效果示意图；
[0043] 图5为本发明实施例提供的一种基于深度信息的三维场景增强现实的系统结构 示意图。
【具体实施方式】
[0044] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅 仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人 员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。
[0045] 图1为本发明实施例提供的一种基于深度信息的三维场景增强现实的方法流程 示意图，如图1所示，本实施例的基于深度信息的三维场景增强现实的方法如下所述。
[0046]101、摄像机采集当前现实场景，并将所述当前现实场景发送给中央服务器。
[0047] 应理解的是，摄像机采集当前现实场景，同时将采集到的当前现实场景发送给中 央服务器。
[0048] 这里的摄像机采用的是立体摄像机。立体摄像机为：摄像机可以为两个视点的立 体相机，拍摄到的为两个视点图，深度图像由两个视点图进行匹配计算获到。摄像机的图 像传感器（Charge Coupled Device，简称CCD)分辨率一般大于1920*1080。用普通摄像机 和深度摄像机进行摄像也可以实现图像的采集。
[0049] 102、所述中央服务器根据预设的虚拟场景和所述当前现实场景，确定融合的混合 场景。
[0050] 应理解的是，中央服务器接收摄像机发送的当前现实场景，同时根据中央服务器 中预设的虚拟场景，进行增强现实，从而确定融合的混合场景。
[0051] 103、所述中央服务器将所述融合的混合场景发送给显示器，以使所述显示器显示 所述融合的混合场景。
[0052] 应理解的是，中央服务器将确定的融合的混合场景发送给显示器，显示器接收中 央服务器发送的融合的混合场景，并显示融合的混合场景。
[0053] 通过本实施例提供的基于深度信息的三维场景增强现实的方法，能够有效的减低 计算的复杂度，使得场景融合更加的真实，效果增强，应用范围广泛。
[0054] 图2为本发明实施例提供的另一种基于深度信息的三维场景增强现实的方法流 程示意图，图3为本发明实施例提供的一种基于深度信息的三维场景增强现实的方法中当 前现实场景摄像效果示意图，图4为本发明实施例提供的一种基于深度信息的三维场景增 强现实的方法中遮挡与重叠关系的效果示意图，如图2至4所示，本实施例的基