一种增强现实拍摄系统及方法

一种增强现实拍摄系统及方法
【专利摘要】本申请公开一种增强现实拍摄系统及方法。一种增强现实系统，所述系统包括：实景拍摄单元，用于拍摄在拍摄场地内的用户的用户图像；动作捕捉单元，用于捕捉用户在拍摄场地内的动作数据；虚拟场景编辑单元，用于接收所述实景拍摄单元和所述动作捕捉单元发送的用户图像和动作数据，基于所述用户图像和所述动作数据选择虚拟场景；虚实融合单元，用于将所述用户图像和动作数据与虚拟场景融合，以生成合成三维图像。本申请通过在增强现实系统加入动作捕捉单元，捕捉用户动作数据，并通过计算用户空间位置坐标来保证虚实融合三维图像中用户与虚拟物体之间的正确遮挡关系；进一步的，通过虚拟场景编辑单元的编辑功能，实现用户的自定义编辑功能。
【专利说明】
一种増强现实拍摄系统及方法
技术领域
[0001] 本公开一般涉及拍摄领域，尤其涉及一种增强现实拍摄系统和增强现实拍摄方 法。
【背景技术】
[0002] 增强现实技术(Augmented Reality Technique，简称AR)是一种现实信息与虚拟 信息相叠加的技术。首先计算机系统处理现实信息，根据现实信息生成匹配且包含虚拟物 体、声音或文字等形式的虚拟信息，然后将虚拟信息叠加到显示现实信息的人机交互界面 中，从而增加用户对现实世界的感知效率。利用该技术，可以模拟真实的现场景观，使用者 不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的"身临其境"的逼真性，而且 能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。
[0003] 现有增强现实拍摄系统存在以下不足;首先，现有技术中虚拟场景的用户设置选 项不多，一般只包含简单的虚拟背景替换功能，而且用户只能配合虚拟场景来决定自己的 拍照姿势，系统灵活度欠佳。其次，现有拍照系统没有动作捕捉设备，无法确定用户与虚拟 物体的位置关系，只能在二维空间对用户图像进行平移、缩放等操作，再将用户图像贴合到 虚拟场景中，虚拟场景有时甚至仅为简单的图片背景。该方法无法判断用户与虚拟物体的 遮挡关系，显示效果不够真实。

【发明内容】

[0004] 鉴于现有技术中的上述缺陷或不足，期望提供一种增强现实拍摄系统和增强现实 拍摄方法。
[0005] 第一方面，提供一种增强现实拍摄系统，所述系统包括：
[0006] 实景拍摄单元，用于拍摄在拍摄场地内的用户的用户图像；
[0007] 动作捕捉单元，用于捕捉用户在拍摄场地内的动作数据；
[0008] 虚拟场景编辑单元，用于接收所述实景拍摄单元和所述动作捕捉单元发送的用户 图像和动作数据，基于所述用户图像和所述动作数据选择虚拟场景；
[0009] 虚实融合单元，用于将所述用户图像、所述动作数据与所述虚拟场景融合，以生成 合成三维图像。
[0010] 第二方面，一种增强现实拍摄方法，所述方法包括：
[0011] 拍摄在拍摄场地内的用户的用户图像；
[0012] 捕捉所述用户在拍摄场地内的动作数据；
[0013] 接收所述用户图像和所述动作数据，基于所述用户图像和所述动作数据选择虚拟 场景；
[0014] 将所述用户图像、所述动作数据与所述虚拟场景融合生成合成三维图像。
[0015] 根据本申请实施例提供的技术方案，通过在增强现实系统加入动作捕捉单元，捕 捉用户动作数据，并通过计算用户空间位置坐标来保证虚实融合三维图像中用户与虚拟物 体之间的正确遮挡关系;进一步的，通过虚拟场景编辑单元的编辑功能，实现用户的自定义 编辑功能。
【附图说明】
[0016] 通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它 特征、目的和优点将会变得更明显：
[0017] 图1为根据本发明实施例的一种增强现实拍摄系统示意图图。
[0018] 图2为根据本发明实施例的动作捕捉单元的示意图。
[0019] 图3为根据本发明图2的标识模块空间三维坐标的计算示意图。
[0020] 图4为根据本发明另一实施例的动作捕捉单元的示意图。
[0021 ]图5为根据本发明实施例的虚拟场景编辑单元的示意图。
[0022] 图6为根据本发明实施例的获得虚实融合三维图像的示意图。
[0023] 图7为根据本发明实施例反映虚拟物体和用户位置的遮挡关系的实时渲染示意 图。
[0024] 图8为根据本发明实施例的一种增强现实拍摄方法流程图。
【具体实施方式】
[0025] 下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描 述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了 便于描述，附图中仅示出了与发明相关的部分。
[0026] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相 互组合。下面将参考附图并结合实施例来详细说明本申请。
[0027] 请参考图1，给出本实施例的一种增强现实拍摄系统的框图，如图本系统由实景拍 摄单元、动作捕捉单元、虚拟场景编辑单元和虚实融合单元四部分构成，它们各自的硬件构 成与数据交换方式如图1所示。其中，实景拍摄单元可由若干高清摄像机构成，摄像机数量 根据拍摄场地的大小决定，保证在拍摄场地各处均能拍摄到用户图像;动作捕捉单元可由 深度相机、跟踪相机和标识模块构成，用于捕捉用户在场景内的动作数据;虚拟场景编辑单 元包含场景、动作素材库，在接收到前两个单元发送的用户图像和动作数据后，将所述用户 图像和动作数据与用户选择的虚拟场景融合，以生成合成三维图像。
[0028] 下面结合图2至图6,详细说明各部分的具体实现方案。
[0029]动作捕捉单元请参考图2和图4,本申请对该单元提供两种获取用户动作数据的方 式。
[0030]第一种方式使用标识模块和跟踪相机，动作捕捉单元的结构如图2所示，用户的每 个活动关节处均贴有标识模块，因此标识模块的空间位置可反映当前用户的身体动作。利 用跟踪相机识别位于拍摄场地内的用户，获取用户上的标识模块坐标，再利用三角测量原 理计算每个标识模块的空间三维坐标。标识模块的空间坐标计算如图3所示，设空间中某一 标识模块的三维坐标为X w = [ X，y，ζ ]τ，其在不同摄像机中对应的坐标为X i = [ u，v ]T，i = 1， 2,3. . .，m代表摄像机的编号，图3给出两个摄像机的情况。根据投影成像原理，乂^^与^的关系 满足以下公式：
[0031] (!)
[0032] 其中倉ζ. |1_摩，笔>=为坐标的齐次描述形式，Pi为第i台摄像机的投 影矩阵可通过摄像机初始标定获得。每组Xw-xdi应点可由公式（1)获得关于Xw的两个独立 方程，当Xw被N台摄像机拍到时，总共可以获得2N个关于x w的方程.由于xw只有三个未知数， 因此当N多2时，可以通过求解超定线性方程组的方法求出X w。
[0033] 另一种获取用户动作的方式请参考图4,该方式使用深度相机。深度相机可以获得 场景内所有实物的三维点云数据，其三维位置计算原理与多摄像机构成的动作跟踪系统类 似，区别在于深度相机一般只包含两个摄像机，其构成简单。通过深度相机提取用户人体对 应的三维点云，可以直接计算用户的空间三维坐标。
[0034]图2中还给出虚实融合显示器，其用于用户观看增强现实系统输出的虚实融合三 维图像，以便调整用户的拍摄动作、位置和场景。虚实融合三维图像的处理部分详见图6的 说明部分。
[0035] 从上述实景拍摄单元和动作捕捉单元获取的用户图像和动作数据发送给虚拟场 景编辑单元，虚拟场景编辑单元的构成请参考图5。该虚拟场景编辑单元包括三维场景素材 库，用于向用户提供编辑场景的各种素材，如天气、背景、建筑。另外，还包含动作素材库，用 于根据用户的动作编辑动作素材，如击打、拾取、移动。
[0036] 实际应用中，用户使用身体动作或者触屏显示器对虚拟场景中的物体进行自定义 编辑，所有编辑过程为选项模式，例如:选择虚拟物体的颜色、选择场景天气、选择背景画面 和建筑物等来编辑场景。用户还可以与虚拟场景内的物体进行交互，例如用户可以"拾取" 和"击打"场景中的虚拟皮球，给场景中的虚拟小鸟"喂食"等。所有场景编辑选项和交互动 作均在场景软件编辑单元中预先定义，用户只需根据自己的喜好选择相应的组合即可。实 现了用户与虚拟物体的交互功能，大大提高了用户的使用乐趣。
[0037]用户完成场景编辑后，摆好拍摄姿势，等待系统提取用户实景拍摄图像并生成最 后的虚实融合三维图像。用户可在虚实融合三维图像显示器中看到实时图像融合效果，并 以此为反馈调整身体姿势、位置或编辑场景，得到理想的虚实融合三维图像。虚实融合三维 图像的处理流程请参考图6。融合三维图像由虚拟场景、实景人物和交互判断经图像处理获 得，其中，经实景拍摄单元获取的实景图像经剔除背景处理后作为实景人物保存，经动作捕 捉单元获取的跟踪图像经动作提取处理后作为交互判定保存，经虚拟场景编辑单元选择的 三维场景和动作经三维场景编辑处理后作为虚拟场景保存，最后由虚实融合单元将三部分 融合到一起，并输出虚实融合的合成三维图像。
[0038]本实施例中，结合图7给出反映虚拟物体和用户的遮挡关系的实时渲染效果。
[0039]在上述过程中计算得到的用户身上标识模块在场景中的三维坐标，确定了用户在 三维场景中的位置。在本实施例中虚实融合单元将虚拟场景和照拍摄场地按照相同比例建 模，并计算用户在虚拟场景中与虚拟物体之间的相对位置坐标，实现拍照过程中的正确虚 实遮挡。具体地，根据用户在场景中的移动位置，实时计算反映虚拟物体和用户位置的遮挡 关系的三维图像数据，如图7示出几种用户与虚拟物体的实时渲染结果，用户位置A、用户位 置B和用户位置C分别代表用户与立方体、三角体的不同的遮挡关系。
[0040]另外，由于本申请加入了动作捕捉功能，本系统还可以满足一些特殊需求。例如， 传统增强现实(AR)照相方法只能让用户配合虚拟人物的姿势拍照而不能让虚拟人物摆出 特定的姿势与用户合影。本系统可以在场景中摆放一个人体模型，由用户手动调整人体模 型姿势，人体模型上安放有标识模块，可以被跟踪相机识别。将捕捉到的模型姿态赋予虚拟 场景中的人物即可实现虚拟人物姿态的精确控制。该方法可由用户直接操作人物模型，其 姿态调整直观、简洁，使拍摄的效率大大提高。
[0041] 本申请的实施例在不进行实物布景条件下，通过提取用户实景图像和动作姿态在 虚拟场景中生成虚实融合的拍摄图像。本申请虚拟场景内容可以由用户通过动作或者场景 选项编辑的方式进行自定义编辑，弥补了现有AR拍摄技术中虚拟场景无法用户自定义编 辑、使用不灵活的缺陷。本申请具有动作捕捉功能，可实现用户与虚拟场景中物体的交互， 丰富了 AR拍摄系统的表现形式。动作捕捉单元可以获取用户在场景中的三维坐标，具有该 功能的AR拍摄系统就可以判断虚拟物体与用户之间的先后位置，因此在生成虚实融合三维 图像时保证了虚拟物体与用户图像之间遮挡关系的正确性。本申请的实施例可应用于娱 乐、视频传媒、文化旅游等领域。
[0042] 另一方面，本申请的实施例提供一种增强现实的拍摄方法，请参考图8,该方法包 括：
[0043] 拍摄在拍摄场地内的用户图像(步骤S11);
[0044] 捕捉所述用户在拍摄场地内的动作数据(步骤S12);
[0045] 在一些可选的实现方式中，该捕捉用户在拍摄场地内的动作数据包括，利用至少 一个跟踪相机识别用户身上的标识模块坐标。可选地，所述标识模块设置在该用户的活动 关节处。因此标识模块的空间位置就能反映当前用户的身体动作。利用跟踪相机识别位于 拍摄场地内的用户，可获取用户上的标识模块坐标。
[0046]在一些可选的实现方式中，利用三角测量原理，通过所述坐标计算每个标识模块 的空间三维坐标，详见图3的说明部分，这里不再赘述。
[0047] 在一些可选的实现方式中，该捕捉用户在拍摄场地内的动作数据包括，使用深度 相机获得拍摄场地内用户人体的三维点云数据。
[0048] 接收所述用户图像和所述动作数据，基于用户图像和动作数据选择虚拟场景（步 骤S13)。虚拟场景包括场景和动作，该动作为用于根据用户动作编辑的动作素材，如击打、 拾取、移动。
[0049]在一些可选的实现方式中，步骤S13包括三维场景素材库和动作素材库，三维场景 素材库用于向用户提供编辑场景的各种素材，如场景天气、背景画面、建筑物;动作素材库 用于根据用户的动作编辑动作素材，如击打、拾取、移动。以便提升用户的拍摄体验。
[0050] 将所述用户图像、所述动作数据与所述虚拟场景融合生成合成三维图像（步骤 S14)〇
[0051] 应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求 或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期 望的结果。相反，流程图中描绘的步骤可以改变执行顺序。例如，步骤S12也可以放在步骤 S11前执行。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或 将一个步骤分解为多个步骤执行。例如，步骤S13可以分解为场景编辑步骤、动作编辑步骤。 [0052]在一些可选的实现方式中，步骤14通过实时渲染过程确定用户位置与场景中物体 的遮挡关系。具体地，根据用户在场景中的移动位置，实时计算反映虚拟物体和用户的遮挡 关系的三维图像数据。
[0053]在一些可选的实现方式中，使用至少一个设置有标识模块的人体模型做出各种姿 势，以便满足用户特定需求的合影拍摄传统增强现实(AR)照相方法只能让用户配合虚拟人 物的姿势拍照而不能让虚拟人物摆出特定的姿势与用户合影。本方法可以在场景中摆放一 个人体模型，由用户手动调整人体模型姿势，人体模型上安放有标识模块，可以被跟踪相机 识别。将捕捉到的模型姿态赋予虚拟场景中的人物即可实现虚拟人物姿态的精确控制。该 方法可由用户直接操作人物模型，其姿态调整直观、简洁，使拍摄的效率大大提高。
[0054]可选地，使用图像显示器显示所述合成三维图像，便于用户调整姿势、位置或编辑 内容。
[0055]以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人 员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术 方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行 任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功 能的技术特征进行互相替换而形成的技术方案。
【主权项】
1. 一种增强现实拍摄系统，其特征在于，所述系统包括： 实景拍摄单元，用于拍摄在拍摄场地内的用户的用户图像； 动作捕捉单元，用于捕捉用户在拍摄场地内的动作数据； 虚拟场景编辑单元，用于接收所述实景拍摄单元和所述动作捕捉单元发送的用户图像 和动作数据，基于所述用户图像和所述动作数据选择虚拟场景； 虚实融合单元，用于将所述用户图像、所述动作数据与所述虚拟场景融合，以生成合成 三维图像。2. 根据权利要求1所述的系统，其特征在于，所述动作捕捉单元包括标识模块和至少一 个跟踪相机，所述标识模块设置在所述用户上，所述跟踪相机用于识别所述用户上的标识 模块坐标。3. 根据权利要求2所述的系统，其特征在于，所述标识模块设置在所述用户的活动关节 处。4. 根据权利要求2或3所述的系统，其特征在于，利用三角测量原理，通过所述坐标计算 每个标识模块的空间三维坐标。5. 根据权利要求1所述的系统，其特征在于，所述动作捕捉单元包括深度相机，以获得 拍摄场地内用户的三维点云数据。6. 根据权利要求1所述的系统，其特征在于，所述虚拟场景编辑单元内设置有三维场景 素材库。7. 根据权利要求1所述的系统，其特征在于，所述虚拟场景编辑单元内设置有动作素材 库。8. 根据权利要求1所述的系统，其特征在于，所述虚实融合单元包含实时渲染单元，通 过实时渲染过程确定用户位置与场景中物体的遮挡关系。9. 根据权利要求1所述的系统，其特征在于，还包括至少一个人体模型，该人体模型上 设置有标识模块。10. 根据权利要求1-8任一项所述的系统，其特征在于，还包括图像显示器，用于显示所 述合成三维图像，以便用户调整姿势、位置或编辑场景。11. 一种增强现实拍摄方法，其特征在于，所述方法包括： 拍摄在拍摄场地内的用户的用户图像； 捕捉所述用户在拍摄场地内的动作数据； 接收所述用户图像和所述动作数据，基于用户图像和动作数据选择虚拟场景； 将所述用户图像、所述动作数据与所述虚拟场景融合生成合成三维图像。12. 根据权利要求11所述的方法，其特征在于，所述捕捉用户在拍摄场地内的动作数据 包括，利用至少一个跟踪相机识别用户上的标识模块坐标。13. 根据权利要求12所述的方法，其特征在于，所述标识模块设置在所述用户的活动关 节处。14. 根据权利要求12或13所述的方法，其特征在于，利用三角测量原理，通过所述坐标 计算每个标识模块的空间三维坐标。15. 根据权利要求11所述的方法，其特征在于，所述捕捉用户在拍摄场地内的动作数据 包括，利用深度相机获得拍摄场地内用户的三维点云数据。16. 根据权利要求11所述的方法，其特征在于，接收所述用户图像和所述动作数据，基 于用户图像和动作数据选择虚拟场景包括，利用三维场景素材库向用户提供编辑三维场景 的各种素材。17. 根据权利要求11所述的方法，其特征在于，接收所述用户图像和所述动作数据，基 于用户图像和动作数据选择虚拟场景包含，利用动作素材库根据用户的动作编辑动作素 材。18. 根据权利要求11所述的系统，其特征在于，所述将所述用户图像、所述动作数据与 虚拟场景融合生成合成三维图像包含，通过实时渲染过程确定用户位置与场景中物体的遮 挡关系。19. 根据权利要求11所述的方法，其特征在于，利用至少一个设置有标识模块的人体模 型做出各种姿势，以满足用户特定需求的合影拍摄。20. 根据权利要求11-19任一项所述的方法，其特征在于，利用图像显示器显示所述合 成的三维图像，以便用户调整姿势、位置或编辑场景。
【文档编号】G06T19/00GK106097435SQ201610397530
【公开日】2016年11月9日
【申请日】2016年6月7日
【发明人】李冬
【申请人】北京圣威特科技有限公司