生成光雕投影内容的方法、设备和系统的制作方法

生成光雕投影内容的方法、设备和系统的制作方法
【专利摘要】提供了一种生成光雕投影内容的方法、设备和系统。所述方法包括：获取光雕投影设备的位置改变后、利用该光雕投影设备拍摄的被投影实物的图像；确定位置改变之前的原光雕投影内容中的遮罩层中对应于被投影实物的轮廓的各轮廓点；通过立体视觉匹配确定所述各轮廓点在所获取的被投影实物的图像中的对应点，并基于所述对应点的集合形成新的遮罩层；以及利用新的遮罩层生成光雕投影设备的位置改变后的新光雕投影内容。通过所述光雕投影内容生成技术，在投影设备的位置发生变化时，能够利用立体视觉技术自动形成新的遮罩层，从而能够快速、简便地形成新的光雕投影内容，由此解决光雕投影内容偏移和漏光的问题。
【专利说明】
生成光雕投影内容的方法、设备和系统
技术领域
[0001] 本发明总体涉及增强现实，具体涉及生成光雕投影内容的方法、设备和系统。
【背景技术】
[0002] 光雕投影也叫做视频投影或者空间增强现实，是一种投影技术，用于将实物，尤其 是形状不规则的实物，变成视频/图像投影的显示介质。目前光雕投影主要有两种类型，即 静态光雕投影和动态光雕投影。对于一件静态光雕投影作品来说，被投影实物和投影仪之 间的相对位置固定；而对于一件动态光雕投影作品来说，被投影实物相对于投影仪在移动。 图1(a)例示了静态光雕投影作品的一些示例；图1(b)例示了动态光雕投影作品的一些示 例。
[0003] 为了创作一件静态光雕投影作品，创作者通常需要固定好被投影实物和投影仪之 间的相对位置，然后利用诸如Video Jockey(VJ)等软件进行光雕投影内容的创作。但是， 一旦投影仪的位置发生了变化，例如不小心被碰到，那么整个光雕投影内容将发生偏移，造 成漏光现象。图2示意性地示出了当投影仪的位置发生变化时光雕投影发生漏光的一个示 例情形。具体的，图2的左图示出了光雕投影内容准确投影到被投影实物（即图中所示的 三个矩形物体）上的情形；而右图则示出了由于例如投影仪的位置发生变化而导致的光雕 投影发生漏光的示例情形。如图中所示，由于例如投影仪的位置发生了变化，导致整个光雕 投影内容发生偏移，从而未能准确的投影到被投影实物上，因此产生了漏光。漏光会大大影 响光雕投影作品的效果，因此当这种情况发生时，需要调整光雕投影内容，以便准确投影到 被投影实物上。
[0004] 对于这一问题，目前本领域中常用的方法是重新手动生成光雕投影内容，更明确 的说，是重新手动生成光雕投影内容中的遮罩层。然而，如前所述，光雕投影中的被投影实 物通常是形状不规则的实物，因此在重新手动生成光雕投影内容中的遮罩层时，创作者无 法通过软件等自动形成与形状不规则的实物的边缘轮廓精确匹配的物体轮廓，而需要在该 遮罩层中手动描绘物体轮廓，这是一个非常费时且复杂的过程。

【发明内容】

[0005] 本公开的目的在于至少解决上述问题。具体而言，本公开的目的在于提出一种生 成光雕投影内容的技术，通过该技术，对于一件已调试完成的静态光雕投影作品，在投影仪 的位置发生变化时，能够自动地重新生成光雕投影内容以解决光雕投影内容偏移和漏光问 题，而不需要创作者手动重新生成光雕投影内容。
[0006] 根据本发明的实施例，提供了一种生成光雕投影内容的方法，包括：获取光雕投影 设备的位置改变后、利用该光雕投影设备拍摄的被投影实物的图像；确定位置改变之前的 原光雕投影内容中的遮罩层中对应于被投影实物的轮廓的各轮廓点；通过立体视觉匹配确 定所述各轮廓点在所获取的被投影实物的图像中的对应点，并基于所述对应点的集合形成 新的遮罩层；以及利用新的遮罩层生成光雕投影设备的位置改变后的新光雕投影内容。
[0007] 根据本发明的另一实施例，提供了一种生成光雕投影内容的设备，包括：图像获取 部件，配置为获取光雕投影设备的位置改变后、利用该光雕投影设备拍摄的被投影实物的 图像；轮廓确定部件，配置为确定位置改变之前的原光雕投影内容中的遮罩层中对应于被 投影实物的轮廓的各轮廓点；遮罩层生成部件，配置为通过立体视觉匹配确定所述各轮廓 点在所获取的被投影实物的图像中的对应点，并基于所述对应点的集合形成新的遮罩层； 投影内容生成部件，配置为利用新的遮罩层生成光雕投影设备的位置改变后的新光雕投影 内容。
[0008] 根据本发明的另一实施例，提供了一种生成光雕投影内容的系统，包括：投影装 置，配置为投影光雕投影内容；摄影装置，与所述投影装置集成在一起，配置为拍摄被投影 实物的图像；传感器装置，与所述投影装置集成在一起，配置为监控投影装置的位置变化； 处理装置，配置为获取投影装置的位置改变后、利用所述摄影装置拍摄的被投影实物的图 像；确定位置改变之前的原光雕投影内容中的遮罩层中对应于被投影实物的轮廓的各轮廓 点；通过立体视觉匹配确定所述各轮廓点在所获取的被投影实物的图像中的对应点，并基 于所述对应点的集合形成新的遮罩层；以及利用新的遮罩层生成投影装置的位置改变后的 新光雕投影内容。
[0009] 根据本发明实施例的生成光雕投影内容的技术，在投影仪的位置发生变化时，利 用立体视觉技术在遮罩层中自动形成与被投影实物的边缘轮廓精确匹配的物体轮廓，而不 需创作者手动描绘物体轮廓。由此，能够快速、简便地形成新的光雕投影内容，解决光雕投 影内容偏移和漏光问题。
【附图说明】
[0010] 图I (a)例示了静态光雕投影作品的一些示例；图I (b)例示了动态光雕投影作品 的一些示例。
[0011] 图2示意性地示出了当投影仪的位置发生变化时光雕投影发生漏光的一个示例 情形。
[0012] 图3(a)例示了示意性的光雕投影作品；图3(b)例示了被投影实物；图3(c)例示 了光雕投影内容中的内容层；图3(d)例示了光雕投影内容中的遮罩层；图3(e)例示了内 容层与遮罩层融合而成的光雕投影内容。
[0013] 图4示出了根据本发明实施例的生成光雕投影内容的方法的流程图。
[0014] 图5例示了应用根据本发明实施例的光雕投影内容生成技术的示例情形。
[0015] 图6例示了根据本发明实施例的生成光雕投影内容的方法中通过立体视觉匹配 确定各轮廓点在所获取的被投影实物的图像中的对应点、并基于对应点的集合形成新的遮 罩层的处理的流程图。
[0016] 图7示意性地示出了本领域中用于获取投影部件的内参、摄影部件的内参以及投 影部件相对于摄影部件的外参的方法的流程图。
[0017] 图8(a)例示了在初始位置处进行光雕投影时采用的原遮罩层；图8(b)例示了原 遮罩层中对应于被投影实物的轮廓的各轮廓点；图8(c)例示了图8(b)中所示的各轮廓点 从投影图像坐标系转换到摄像图像坐标系的结果；图8(d)例示了在改变后的位置处拍摄 得到的被投影实物的图像；8(e)例示了对被投影实物的图像进行边缘检测的结果；图8(f) 例示了所生成的新的遮罩层。
[0018] 图9例示了根据本发明实施例的生成光雕投影内容的设备的功能配置框图。
[0019] 图10例示了根据本发明实施例的生成光雕投影内容的系统的总体硬件框图。
【具体实施方式】
[0020] 为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。
[0021 ] 首先对本公开中涉及的技术术语进行简单的介绍。
[0022] 如前所述，光雕投影是一种投影技术，用于将实物变成视频投影的显示介质。其 中，利用电脑等工具制作的视频/图像等称为光雕投影内容，作为投影的显示介质的实物 称为被投影实物，而将光雕投影内容投影到被投影实物后得到的整体结果称为光雕投影的 作品。光雕投影内容通常是由内容层和遮罩层融合而成，其中内容层是背景，其通常是视 频、图像、动画等具体内容，而遮罩层是前景，其用于标定被投影实物的位置。更明确的说， 遮罩层类似于一个掩膜，其在对应于被投影实物的位置处置为透明，使得作为背景的内容 层能通过该遮罩层投影到被投影实物上，而在其他位置则置黑，从而阻止内容层通过该遮 罩层投影到被投影实物以外的地方。例如，对于如图3(a)_(e)所示的光雕投影，图3(a)所 示为光雕投影作品，图3(b)所示的三个矩形物体为被投影实物，图3(c)所示的图像为内容 层，图3 (d)所示的图像为遮罩层，而图3 (e)所示为内容层与遮罩层融合而成的光雕投影内 容。
[0023] 相机内参是用于确定从相机三维坐标空间到二维图像的投影关系的参数。具体 的，在从相机坐标系到像平面坐标系进行转换时，由于像平面坐标系是用像素单位来表示 的，而相机坐标系则是以毫米为单位来表示，因此要完成转换就需要先得到像平面的像素 单位与毫米单位之间的线性关系，也就是相机的内参。相机外参是用于确定相机坐标与世 界坐标系之间的相对位置关系的参数，其通常采用旋转矩阵和平移向量来表示。类似的，投 影仪内参是用于确定从投影仪三维坐标空间到二维图像的投影关系的参数，投影仪外参是 用于确定投影仪坐标与世界坐标系之间的相对位置关系的参数。相机内参、相机外参、投影 仪内参、投影仪外参具体用哪些参数来表示，以及如何计算均是本领域中公知的。
[0024] 下面将结合附图对本发明的示例实现方式进行详细说明。
[0025] 图4示出了根据本发明实施例的生成光雕投影内容的方法的流程图。
[0026] 如图4所示，在步骤S401，获取光雕投影设备的位置改变后、利用该光雕投影设备 拍摄的被投影实物的图像。
[0027] 本实施例中采用的光雕投影设备同时具有投影功能、拍摄功能，其可以通过集成 有投影部件和摄影部件的单个设备来实现，也可以通过将投影部件和摄影部件固定在一起 来实现。
[0028] 如前所述，在光雕投影设备的位置改变后，被投影实物和光雕投影设备之间的相 对位置发生变化。在该步骤中，获取利用位置改变后的光雕投影设备拍摄的被投影实物的 图像。
[0029] 例如，图5例示了应用根据本发明实施例的光雕投影内容生成技术的一个示例情 形。如图5所示，01为光雕投影设备的初始位置，Imagel为在该位置处拍摄的被摄影实物的 图像，遮罩层1为在该位置处采用的遮罩层；02为光雕投影设备位置改变后的位置，Image2 为光雕投影设备在该改变后的位置处拍摄的被投影实物的图像。
[0030] 在步骤S402,确定位置改变之前的原光雕投影内容中的遮罩层中对应于被投影实 物的轮廓的各轮廓点。
[0031] 如前所述，遮罩层类似于一个掩膜，其将希望投影内容层中的具体内容的位置、即 对应于被投影实物的位置处置为透明，而将其他位置置黑。因此，遮罩层中透明与黑色之间 的边界像素点即对应于被投影实物的轮廓的轮廓点。由于位置改变之前的原光雕投影内容 中的遮罩层是已知的，因此在该步骤中能够通过直接从中提取出对应于被投影实物的轮廓 的各轮廓点。
[0032] 在步骤S403,通过立体视觉匹配确定所述各轮廓点在所获取的被投影实物的图像 中的对应点，并基于所述对应点的集合形成新的遮罩层。
[0033] 观察如图5所例示的生成光雕投影内容的示例情形，本发明人认识到该示例情形 实际构成了一个立体视觉系统，其中01和02分别对应于两个摄像机所放置的位置，Imagel 为左视图，Image2为右视图，而Image则为通过左视图和右视图形成的空间立体视图。因 此，本发明所要解决的技术问题可以转化为在已知左视图、右视图以及左视图中的物体边 缘（原遮罩层）的情况下，预测右视图中的物体边缘（新的遮罩层）。基于这一认识，本发 明提出利用立体视觉技术来形成新的遮罩层，进而形成新的投影内容。具体的，在本步骤 中，通过立体视觉匹配来形成新的遮罩层。下面，将参考图6对该步骤中的处理进行详细的 描述。
[0034] 图6例示了根据本发明实施例的生成光雕投影内容的方法中通过立体视觉匹配 确定各轮廓点在所获取的被投影实物的图像中的对应点、并基于对应点的集合形成新的 遮罩层的处理的流程图。
[0035] 如图6所示，在步骤S4031中，将所述各轮廓点的坐标从光雕投影设备的投影图像 坐标系转换到摄像图像坐标系。
[0036] 由于所述各轮廓点是从投影内容中的遮罩层中获取的，因此其坐标为投影图像坐 标系下的坐标。为了应用立体视觉匹配确定各轮廓点在所获取的被投影实物的图像中的对 应点，需要先将轮廓点的坐标转换至摄像图像坐标系。这一转换可以通过本领域中任何已 有的方式来实现。例如，一种常用的方式是利用光雕投影设备中的投影部件的内参、摄影部 件的内参、投影部件相对于摄影部件的外参，通过如下的衷汰式（1)来讲行转换：
[0037]
[0038] g转换至摄像图像 坐标系下的齐次坐标，Kp为投影部件的内参，Kc为摄影部件的内参，Rpc和Tpc分别表示投 影部件和摄影部件之间的旋转矩阵和平移向量，即投影部件相对于摄影部件的外参。
[0039] 如何获取投影部件的内参、摄影部件的内参以及投影部件相对于摄影部件的外参 是本领域中公知的，并且也不是本发明的关键。此处仅仅是为了描述的完整性，对一种常用 的获取过程进行简单的介绍。图7示意性地示出了本领域中用于获取投影部件的内参、摄 影部件的内参以及投影部件相对于摄影部件的外参的方法的流程图。
[0040] 如图7所示，在步骤S701，通过投影部件将一组结构光投影到棋盘格图案上，并通 过摄影部件拍摄得到对应的一组标定图像。
[0041] 在步骤S702,改变棋盘格图案的姿态，并且对于每种改变后的姿态，通过投影部件 将所述一组结构光投影到棋盘格图案上，并通过摄影部件拍摄得到对应的一组标定图像。
[0042] 在步骤S703,在通过步骤S701和S702拍摄得到的每一幅标定图像中检测棋盘格 角点，并利用各幅标定图像中检测到的棋盘格角点之间的对应关系获取摄影部件的内参。
[0043] 在步骤S704,对于每一幅标定图像中的每一个棋盘格角点，利用其对应的局部单 应性矩阵将该棋盘格角点的坐标从摄像图像坐标系转换到投影图像坐标系。
[0044] 在步骤S705,利用坐标转换后的各棋盘格角点之间的对应关系确定投影部件的内 参。
[0045] 在步骤S706，根据各棋盘格角点在摄像图像坐标系的坐标和在投影图像坐标系的 对应坐标、以及摄影部件和投影部件的内参，计算投影部件和摄影部件之间的旋转矩阵和 平移向量，作为投影部件相对于摄影部件的外参。
[0046] 回到图6,在步骤S4032中，通过立体视觉匹配，确定转换为摄像图像坐标系的所 述各轮廓点在所获取的被投影实物的图像中的对应点。
[0047] 立体视觉匹配是计算机视觉中的一个重要的问题，它的目标是从不同视点的图像 中找到匹配的对应点。关于立体视觉匹配，目前本领域中已经提出了许多具体的匹配方法。 此处可以采用任何适当的立体视觉匹配方法。
[0048] 例如，作为一种示例，在该步骤中可以通过以下处理来进行立体视觉匹配以确定 所述轮廓点的对应点=(Sl)检测各轮廓点的边缘强度和边缘梯度；(S2)检测所拍摄的被投 影实物的图像的边缘强度和边缘梯度；（S3)对于每个所述轮廓点，计算其与所获取的被投 影实物的图像中各点的边缘强度和边缘梯度的差方和，并将被投影实物的图像中与最小差 方和对应的点作为该轮廓点的对应点。
[0049] 在上述处理（S3)中，对于每个轮廓点，一种基本的处理方法是计算其与被投影实 物的图像中检测得到的投影实物的各候选边缘点的差方和，以确定对应点。可选的，为了提 高匹配的精确度，对于每个轮廓点，也可以计算其与被投影实物的图像中每个点的边缘强 度和边缘梯度的差方和，以确定对应点。或者，为了减少计算量，可选的，对于每个轮廓点， 可以仅计算其与对应的对极几何线上各点的差方和，以确定对应点。下面对这一方式进行 简要描述。
[0050] 具体的，按照这一方式，所述处理（S3)进一步包括以下子处理：
[0051] (S31)基于表示光雕投影设备的位置改变的旋转矩阵和平移向量计算本征矩阵。
[0052] 可以通过任何适当的方式来获取表示光雕投影设备的位置改变的旋转矩阵和平 移向量。在本实施例中，利用光雕投影设备中的传感器部件来实现。与投影部件和拍摄部 件类似，该传感器部件可以集成在单个光雕投影设备中，也可以是独立的部件并与投影部 件和摄影部件固定在一起以形成组合的光雕投影设备。
[0053] 具体的，传感器部件检测光雕投影设备在位置改变前后在X、Y和Z方向上的角度 变化以及在位置改变过程中的实时加速度。所述传感器部件可以是惯性传感器，也可以是 其他适当的传感器。在通过传感器部件获得角度变化和实时加速度后，可以例如根据如下 的表达式⑵和（3)来计算旋转矩阵和平移向量1。
[0054]
[0055] cX|Y|Z=cos(9 X|Y|Z) sx|Y|z= sin(0 χ|γ|ζ)…⑵
[0056] 其中，θχ，θγ，θζ分别为光雕投影设备在位置改变前后在Χ、Υ和Z方向上的变化 角度。
[0057]
[0058]
[0059] 其中，Accx，AccY，Accz分别为光雕投影设备在位置改变过程中在X、Y和Z方向上 的实时加速度。
[0060] 基于所获得的上述旋转矩阵1^^和平移向量，可以如表达式（4)所示计算得 到本征矩阵E。
[0061] …Η)
[0062] (S32)基于所述本征矩阵确定每一个所述轮廓点在被投影实物的图像中的对极几 何线。
[0063] 在该子处理中，可以如表达式（5)所示基于所述本征矩阵E计算得到对极几何线。
[0064] F = (Kc1) tEKc1
[0065] P11Fp2= 0 ... (5)
[0066] 其中，Kc是拍摄部件的内参，F是基础矩阵，P1表示一个轮廓点，ρ 2表示轮廓点ρ 1 在被投影实物的图像中的对极几何线。
[0067] (S33)对于每个所述轮廓点，基于其与对应的对极几何线上各点的边缘强度和边 缘梯度的差方和，确定对应点。
[0068] 以上描述了通过立体视觉匹配确定各轮廓点在被投影实物的图像中的对应点的 处理过程。能够理解，如上确定的各个对应点是利用立体视觉技术推测出的、从改变后的位 置〇2处观看的被投影实物的轮廓。
[0069] 回到图6,在步骤S4033中，将所述各个对应点的坐标从光雕投影设备的摄像图像 坐标系转换到投影图像坐标系。
[0070] 在步骤S4032中确定的各个对应点是从所拍摄的被投影实物的图像中提取的，因 此其坐标为摄像图像坐标系下的坐标。在该步骤中，可以通过本领域中任何已有的方式来 将该坐标为转换投影图像坐标系下的坐标。例如，可以与步骤S4031类似地通过表达式（1) 进行这一转换，此处不再赘述。
[0071] 在步骤S4034中，利用转换为投影图像坐标系的所述各个对应点形成新的遮罩 层。
[0072] 如前所述，所述各个对应点对应于被投影实物的轮廓，也就是遮罩层中置为透明 与置为黑色之间的边界像素点。在该步骤，可以通过将边界像素点外部的部分置黑、将其内 部的部分置为透明，来形成新的遮罩层。
[0073] 以上已经详细描述了通过立体视觉匹配确定各轮廓点在被投影实物的图像中的 对应点、并基于对应点的集合形成新的遮罩层的具体处理。图8(a)_8(g)例示了对于如图5 所示的情形通过上述处理形成的示例性的新遮罩层。其中，在初始位置01处进行光雕投影 时采用的原遮罩层如图8(a)所示，该遮罩层中对应于被投影实物的轮廓的各轮廓点如图 8(b)所示，将各轮廓点的坐标从投影图像坐标系转换到摄像图像坐标系的结果如图8(c) 所示；在改变后的位置02处拍摄得到的被投影实物的图像如图8 (d)所示，对该被投影实物 的图像进行边缘检测的结果如图8(e)所示，通过对图8(c)中所示的各轮廓点和图8(e)所 示的边缘检测结果进行立体视觉匹配得到的新的遮罩层如图8(f)所示。
[0074] 回到图4,在步骤S404,利用新的遮罩层生成光雕投影设备的位置改变后的新光 雕投影内容。
[0075] 在该步骤中，通过将所述新的遮罩层与原光雕投影内容中的内容层融合，生成新 的光雕投影内容。
[0076] 以上详细描述了根据本发明实施例的生成光雕投影内容的方法。在该实施例中， 当投影部件的位置发生变化时，基于从原遮罩层中提取的被投影实物的边缘轮廓，利用立 体视觉匹配预测新的遮罩层中的被投影实物的边缘轮廓，而不需创作者手动描绘物体轮 廓。由此，能够快速、简便地形成新的光雕投影内容，从而解决光雕投影内容偏移和漏光的 问题。
[0077] 〈生成光雕投影内容的设备的总体配置〉
[0078] 图9例示了根据本发明实施例的生成光雕投影内容的设备900的功能配置框图。
[0079] 如图9所示，生成光雕投影内容的设备900可以包括：图像获取部件910,配置为 获取光雕投影设备的位置改变后、利用该光雕投影设备拍摄的被投影实物的图像；轮廓确 定部件920,配置为确定位置改变之前的原光雕投影内容中的遮罩层中对应于被投影实物 的轮廓的各轮廓点；遮罩层生成部件930,配置为通过立体视觉匹配确定所述各轮廓点在 所获取的被投影实物的图像中的对应点，并基于所述对应点的集合形成新的遮罩层；投影 内容生成部件940,配置为利用新的遮罩层生成光雕投影设备的位置改变后的新光雕投影 内容。
[0080] 所述遮罩层生成部件930进一步包括：第一转换部件9301，配置为将所述各轮廓 点的坐标从光雕投影设备的投影图像坐标系转换到摄像图像坐标系；匹配部件9302,配置 为通过立体视觉匹配，确定转换为摄像图像坐标系的所述各轮廓点在所获取的被投影实物 的图像中的对应点；第二转换部件9303,配置为将所述各个对应点的坐标从光雕投影设备 的摄像图像坐标系转换到投影图像坐标系；生成部件9304,配置为利用转换为投影图像坐 标系的所述各个对应点形成新的遮罩层。
[0081] 上述图像获取部件910、轮廓确定部件920、遮罩层生成部件930、投影内容生成部 件940、第一转换部件9301、匹配部件9302、第二转换部件9303和生成部件9304的具体功 能和操作可以参考上述图4到图8的相关描述，此处不再重复描述。
[0082]〈生成光雕投影内容的系统的硬件配置〉
[0083] 图10例示了根据本发明实施例的生成光雕投影内容的系统1000的总体硬件框 图。如图10所示，生成光雕投影内容的系统1000可以包括：投影装置1010,配置为投影光 雕投影内容；摄影装置1020,与所述投影装置集成在一起，配置为拍摄被投影实物的图像； 传感器装置1030,与所述投影装置集成在一起，配置为监控投影装置的位置变化；处理装 置1040,配置为获取投影装置的位置改变后、利用所述摄影装置拍摄的被投影实物的图像； 确定位置改变之前的原光雕投影内容中的遮罩层中对应于被投影实物的轮廓的各轮廓点； 通过立体视觉匹配确定所述各轮廓点在所获取的被投影实物的图像中的对应点，并基于所 述对应点的集合形成新的遮罩层；以及利用新的遮罩层生成投影装置的位置改变后的新光 雕投影内容。该处理装置1040可以是能够实现上述功能的任何具有处理能力的装置，例如 其可以是设计用于进行在此所述的功能的通用处理器、数字信号处理器（DSP)、ASIC、场可 编程门阵列信号（FPGA)或其他可编程逻辑器件（PLD)、离散门或晶体管逻辑、离散的硬件 组件或者其任意组合。
[0084] 以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本公开中 提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的 各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作 用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
[0085] 本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图 要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到 的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如"包括"、"包含"、"具 有"等等的词语是开放性词汇，指"包括但不限于"，且可与其互换使用。这里所使用的词汇 "或"和"和"指词汇"和/或"，且可与其互换使用，除非上下文明确指示不是如此。这里所 使用的词汇"诸如"指词组"诸如但不限于"，且可与其互换使用。
[0086] 本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求 或暗示必须按照给出的顺序进行各个实施例的步骤，某些步骤可以并行、彼此独立或按照 其他适当的顺序执行。另外，诸如"其后"、"然后"、"接下来"等等的词语不意图限制步骤的 顺序；这些词语仅用于引导读者通读这些方法的描述。
[0087] 另外，如在此使用的，在以"至少一个"开始的项的列举中使用的"或"指示分离的 列举，以便例如"A、B或C的至少一个"的列举意味着A或B或C，或AB或AC或BC，或ABC (即 A和B和C)。此外，措辞"示例的"不意味着描述的例子是优选的或者比其他例子更好。 [0088] 还需要指出的是，在本发明的装置和方法中，各部件或各步骤是可以分解和/或 重新组合的。这些分解和/或重新组合应视为本发明的等效方案。
[0089] 对本领域的普通技术人员而言，能够理解本公开的方法和装置的全部或者任何部 分，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固 件、软件或者它们的组合加以实现。所述硬件可以是利用被设计用于进行在此所述的功能 的通用处理器、数字信号处理器（DSP)、ASIC、场可编程门阵列信号（FPGA)或其他可编程逻 辑器件（PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合。通用处理器可以是 微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器 或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处 理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。所述软件可以存在于 任何形式的计算机可读的有形存储介质中。通过例子而不是限制，这样的计算机可读的有 形存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储 器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机 访问的任何其他有形介质。如在此使用的，盘包括紧凑盘（CD)、激光盘、光盘、数字通用盘 (DVD)、软盘和蓝光盘。
[0090] 本发明公开的智能控制技术还可以通过在任何计算装置上运行一个程序或者一 组程序来实现。所述计算装置可以是公知的通用装置。本发明所公开的智能技术也可以仅 仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现，或者通过存储有这 样的程序产品的任意存储介质来实现。
[0091] 可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种 改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事 件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的 功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组 成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事 件的组成、手段、方法或动作。
[0092] 提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本 发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义 的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在 此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0093] 为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实 施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技 术人员将认识到其某些变型、修改、改变、添加和子组合。
【主权项】
1. 一种生成光雕投影内容的方法，包括： 获取光雕投影设备的位置改变后、利用该光雕投影设备拍摄的被投影实物的图像； 确定位置改变之前的原光雕投影内容中的遮罩层中对应于被投影实物的轮廓的各轮 廓点； 通过立体视觉匹配确定所述各轮廓点在所获取的被投影实物的图像中的对应点，并基 于所述对应点的集合形成新的遮罩层；以及 利用新的遮罩层生成光雕投影设备的位置改变后的新光雕投影内容。2. 如权利要求1所述的生成光雕投影内容的方法，其中所述通过立体视觉匹配确定所 述各轮廓点在所获取的被投影实物的图像中的对应点，并基于所述对应点的集合形成新的 遮罩层进一步包括： 将所述各轮廓点的坐标从光雕投影设备的投影图像坐标系转换到摄像图像坐标系； 通过立体视觉匹配，确定转换为摄像图像坐标系的所述各轮廓点在所获取的被投影实 物的图像中的对应点； 将所述各个对应点的坐标从光雕投影设备的摄像图像坐标系转换到投影图像坐标 系； 利用转换为投影图像坐标系的所述各个对应点形成新的遮罩层。3. 如权利要求2所述的生成光雕投影内容的方法，其中将所述各轮廓点的坐标从光雕 投影设备的投影图像坐标系转换到摄像图像坐标系进一步包括： 确定光雕投影设备中的投影部件的内参、摄影部件的内参、以及投影部件相对于摄影 部件的外参； 利用所述投影部件和摄影部件的内参、以及投影部件相对于摄影部件的外参，将所述 各轮廓点的坐标从投影部件的投影图像坐标系转换到摄影部件的摄像图像坐标系。4. 如权利要求3所述的生成光雕投影内容的方法，其中确定光雕投影设备中的投影部 件的内参、摄影部件的内参、以及投影部件相对于摄影部件的外参包括： 通过投影部件将一组结构光投影到棋盘格图案上，并通过摄影部件拍摄得到对应的一 组标定图像； 改变棋盘格图案的姿态，并且对于每种改变后的姿态，通过投影部件将所述一组结构 光投影到棋盘格图案上，并通过摄影部件拍摄得到对应的一组标定图像； 在每一幅标定图像中检测棋盘格角点，并利用各幅标定图像中检测到的棋盘格角点之 间的对应关系获取摄影部件的内参； 对于每一幅标定图像中的每一个棋盘格角点，利用其对应的局部单应性矩阵将该棋盘 格角点的坐标从摄像图像坐标系转换到投影图像坐标系； 利用坐标转换后的各棋盘格角点之间的对应关系确定投影部件的内参； 根据各棋盘格角点在摄像图像坐标系的坐标和在投影图像坐标系的对应坐标、以及摄 影部件和投影部件的内参，计算投影部件和摄影部件之间的旋转矩阵和平移向量，作为投 影部件相对于摄影部件的外参。5. 如权利要求2所述的生成光雕投影内容的方法，其中所述通过立体视觉匹配，确定 转换为摄像图像坐标系的所述各轮廓点在所获取的被投影实物的图像中的对应点包括： 检测所述各轮廓点的边缘强度和边缘梯度； 检测所拍摄的被投影实物的图像的边缘强度和边缘梯度； 对于每个所述轮廓点，计算其与所获取的被投影实物的图像中各点的边缘强度和边缘 梯度的差方和，并将被投影实物的图像中与最小差方和对应的点作为该轮廓点的对应点。6. 如权利要求5所述的生成光雕投影内容的方法，进一步包括： 利用光雕投影设备中的传感器部件检测光雕投影设备在位置改变前后在X、Y和Z方向 上的角度变化以及在位置改变过程中的实时加速度； 基于所述角度变化和实时加速度计算用于表示光雕投影设备的位置改变的旋转矩阵 和平移向量。7. 如权利要求6所述的生成光雕投影内容的方法，其中对于每个所述轮廓点，计算其 与所获取的被投影实物的图像中各点的边缘强度和边缘梯度的差方和，并将被投影实物的 图像中与最小差方和对应的点作为该轮廓点的对应点进一步包括： 基于所述表示位置改变的旋转矩阵和平移向量计算本征矩阵； 基于所述本征矩阵确定每一个所述轮廓点在被投影实物的图像中的对极几何线； 对于每个所述轮廓点，基于其与对应的对极几何线上各点的边缘强度和边缘梯度的差 方和，确定对应点。8. 如权利要求1所述的生成光雕投影内容的方法，其中所述利用新的遮罩层生成光雕 投影设备的位置改变后的新光雕投影内容进一步包括： 将所述新的遮罩层与原光雕投影内容中的内容层融合，生成新的光雕投影内容。9. 一种生成光雕投影内容的设备，包括： 图像获取部件，配置为获取光雕投影设备的位置改变后、利用该光雕投影设备拍摄的 被投影实物的图像； 轮廓确定部件，配置为确定位置改变之前的原光雕投影内容中的遮罩层中对应于被投 影实物的轮廓的各轮廓点； 遮罩层生成部件，配置为通过立体视觉匹配确定所述各轮廓点在所获取的被投影实物 的图像中的对应点，并基于所述对应点的集合形成新的遮罩层； 投影内容生成部件，配置为利用新的遮罩层生成光雕投影设备的位置改变后的新光雕 投影内容。10. -种生成光雕投影内容的系统，包括： 投影装置，配置为投影光雕投影内容； 摄影装置，与所述投影装置集成在一起，配置为拍摄被投影实物的图像； 传感器装置，与所述投影装置集成在一起，配置为监控投影装置的位置变化； 处理装置，配置为获取投影装置的位置改变后、利用所述摄影装置拍摄的被投影实物 的图像；确定位置改变之前的原光雕投影内容中的遮罩层中对应于被投影实物的轮廓的各 轮廓点；通过立体视觉匹配确定所述各轮廓点在所获取的被投影实物的图像中的对应点， 并基于所述对应点的集合形成新的遮罩层；以及利用新的遮罩层生成投影装置的位置改变 后的新光雕投影内容。
【文档编号】H04N9/31GK106034213SQ201510109191
【公开日】2016年10月19日
【申请日】2015年3月12日
【发明人】伊红, 宫卫涛, 王炜
【申请人】株式会社理光