一种投影式增强现实图像生成方法及系统与流程

本发明涉及一种投影式增强现实图像生成方法及系统，属于增强现实技术领域。

背景技术：

投影式增强现实系统将计算机产生的三维图形利用投影仪直接投影并叠加到真实场景中，从而使操作人员看到一个虚实融合的场景。投影式增强现实系统在工业生产、游戏、娱乐等领域具有应用前景。在投影式增强现实系统中，通常还需要利用摄像机采集真实场景的图像，用于识别、跟踪或者监测，此时摄像机还会采集到投影图像，这给图像特征提取、物体识别等造成困难。

技术实现要素：

为了解决上述现有技术中存在的问题，本发明提一种投影式增强现实图像生成方法及系统，供该系统能够只采集真实环境图像，不采集投影图像。

本发明的技术方案如下：

技术方案一：

一种投影式增强现实图像生成方法，包括以下步骤：

开始采集，处理单元开始采集摄影单元拍摄的现实场景影像，同时向所述投影单元发送全黑色图片，使所述投影单元不发光；

通过拍摄的现实场景影像，在处理单元中生成虚拟场景，将投影图片转换为3d模型放置在虚拟场景中；

投影变换，通过3d模型生成增强现实图像并发送至投影单元，投影单元投影该增强现实图像叠加到现实场景中。

上述技术方案一具有如下有益效果：

1、在采集过程时发送黑色图像给投影单元，使投影单元不发光，不影响图像采集的过程；

2、结构简单、成本低。

计算方案二：

一种投影式增强现实图像生成方法，包括以下步骤：

准备采集，处理单元发送开始采集指令至控制单元，所述控制单元接收到指令后控制开关单元关闭，遮挡投影单元发射的图像；

采集现实场景，所述控制单元控制所述开关单元关闭关闭的同时，所述控制单元发送反馈信号至所述处理单元，所述处理单元接收到反馈信号后，开始采集摄像单元拍摄的现实场景影像；

完成采集，所述处理单元发送控制指令给所述控制单元，所述控制单元控制所述开关单元打开，开放所述投影单元；

通过拍摄的现实场景影像，在处理单元中生成虚拟场景，将投影图片转换为3d模型放置在虚拟场景中；

投影变换，通过3d模型生成增强现实图像并发送至投影单元，投影单元投影该增强现实图像叠加到现实场景中。

上述技术方案二具有如下有益效果：

1、在要采集图像前通过开关单元提前关闭投影单元，使投影单元投影的图像不叠加到现实场景中影响图像采集；

2、通过高频率的开关单元、摄影单元的图像高采集帧率和人类视觉的暂留特性，图像采集过程中人员并不会感觉到开关单元关闭打开瞬间的闪烁。

技术方案三：

根据上述技术方案一或技术方案二，所述投影变换的步骤具体为：

建立摄影单元坐标系(xc-yc-zc)与投影平面坐标系(xw-yw-zw)，并获取将摄影单元坐标系转换为投影平面坐标系的变换矩阵r；

利用摄影单元捕获操作人员头部骨骼点在摄影单元坐标系中的位置(xc,yc,zc)；

利用变换矩阵r，将头部骨骼点在摄影单元坐标系中的位置转换到投影平面坐标系中，用(xw,yw,zw)表示；

处理单元生成坐标系与投影平面坐标系一致的虚拟场景，将投影图片转换为3d模型放置在虚拟场景中，将虚拟场景的视点放置在(xw,yw,zw)处，视线指向3d模型中心，生成该视角下的增强现实图像，视点为虚拟场景的观察点，视线为从视点发射出的射线，通过视点和视线形成观察视角，将所述增强现实图像发送至投影单元，投影单元投影该增强现实图像至投影平面。

上述技术方案三的有益效果是：在投影式增强现实系统中，投影场景能够随操作者位置的变化而变换虚拟视角。

技术方案四：

一种投影式增强现实图像生成系统，包括计算机、摄像机和投影仪；所述摄像机与所述计算机连接，用于采集现实场景内的图像信息并发送至所述计算机内；所述投影仪与所述计算机连接，其用于投射图案至现实场景内，所述计算机执行以下步骤：

开始采集，所述计算机开始采集各所述摄像机拍摄的现实场景影像，同时向所述投影仪发送全黑色图片，使所述投影仪不发光；

通过拍摄的现实场景影像，在计算机中生成虚拟场景，将投影图片转换为3d模型放置在虚拟场景中；

投影变换，通过3d模型生成增强现实图像并发送至投影仪，投影仪投影该增强现实图像叠加到现实场景中。

进一步的，所述摄像机为rgb-d摄像机。

上述技术方案四具有如下有益效果：

1、在采集过程时发送黑色图像给投影仪，使投影仪不发光，不影响图像采集的过程；

2、结构简单、成本低。

技术方案五：

一种投影式增强现实图像生成系统，包括计算机、摄像机和投影仪、控制器和投影开关部；所述摄像机与所述计算机连接，用于采集现实场景内的图像信息并发送至所述计算机内；所述投影仪与所述计算机连接，其用于投射图案至现实场景内；所述控制器与所述计算机连接，接收计算机发出的指令；所述投影开关部安装与所述投影仪镜头前端并与所述控制器通信；所述投影开关部为机械快门或电子快门，所述计算机执行以下步骤：

准备采集，所述计算机发送开始采集指令至所述控制器，所述控制器接收到指令后控制所述投影开关部关闭，遮挡所述投影仪镜头；

采集现实场景，所述控制器控制所述投影开关部关闭的同时，所述控制器发送反馈信号至所述计算机，所述计算机接收到反馈信号后，开始采集各所述摄像机拍摄的现实场景影像；

完成采集，所述计算机发送控制指令给所述控制器，所述控制器控制所述投影开关部打开，开放所述投影仪的镜头；

通过拍摄的现实场景影像，在计算机中生成虚拟场景，将投影图片转换为3d模型放置在虚拟场景中；

投影变换，通过3d模型生成增强现实图像并发送至投影仪，投影仪投影该增强现实图像叠加到现实场景中。

进一步的，所述摄像机为rgb-d摄像机。

进一步的，所述投影开关部为电子快门，其包括顺着所述投影仪投影方向依次设置的起偏器、旋光器和检偏器；所述旋光器与所述控制器连接。

上述技术方案五具有如下有益效果：

1、在要采集图像前提前关闭投影开关部，使投影仪投影图像不叠加到现实场景中影响图像采集；

2、由于投影开关部的开关频率高、摄像机的图像采集帧率高和人类视觉的暂留特性，图像采集过程中人员并不会感觉到投影开关部关闭打开瞬间的闪烁。

技术方案六：

根据上述技术方案四或技术方案五，所述投影变换的步骤具体为：

建立摄像机坐标系(xc-yc-zc)与投影平面坐标系(xw-yw-zw)，并获取将摄像机坐标系转换为投影平面坐标系的变换矩阵r；

利用rgb-d相机及其api接口函数捕获操作人员头部骨骼点在rgb-d摄像机坐标系中的位置(xc,yc,zc)；

利用变换矩阵r，将头部骨骼点在摄像机坐标系中的位置转换到投影平面坐标系中，用(xw,yw,zw)表示；

计算机生成坐标系与投影平面坐标系一致的虚拟场景，将投影图片转换为3d模型放置在虚拟场景中，将虚拟场景的视点放置在(xw,yw,zw)处，视线指向3d模型中心，生成该视角下的增强现实图像，视点为虚拟场景的观察点，视线为从视点发射出的射线，通过视点和视线形成观察视角，将所述增强现实图像发送至投影仪，投影仪投影该增强现实图像至投影平面。

附图说明

图1为实施例一的控制方案图；

图2为实施例二的控制方案图；

图3为实施例三的控制方案图；

图4为实施例四的结构示意图；

图5为实施例五的结构示意图；

图6为投影开关部的结构示意图；

图7为实施例五的控制方案流程图；

图8为实施例六的方案示意图；

图9为在虚拟场景中通过视点观察3d模型的示意图。

图中附图标记表示为：

10、处理单元；20、摄影单元；30、投影单元；40、控制单元；50、开关单元；1、计算机；2、摄像机；3、投影仪；4、控制器；5、投影开关部；51、起偏器；52、旋光器；53、检偏器。

具体实施方式

下面结合附图和具体实施例来对本发明进行详细的说明。

实施例一：

一种投影式增强现实图像生成方法，包括以下步骤：

开始采集，处理单元10开始采集摄影单元20拍摄的现实场景影像，同时向所述投影单元30发送全黑色图片，使所述投影单元30不发光；

通过拍摄的现实场景影像，在处理单元10中生成虚拟场景，将投影图片转换为3d模型放置在虚拟场景中；

投影变换，通过3d模型生成增强现实图像并发送至投影单元30，投影单元30投影该增强现实图像叠加到现实场景中。

本实施例通过一简单实用的方法使采集过程中不显示投影的图像。

实施例二：

一种投影式增强现实图像生成方法，包括以下步骤：

准备采集，处理单元10发送开始采集指令至控制单元40，所述控制单元40接收到指令后控制开关单元50关闭，遮挡投影单元30发射的图像；

采集现实场景，所述控制单元40控制所述开关单元5关闭关闭的同时，所述控制单元40发送反馈信号至所述处理单元10，所述处理单元10接收到反馈信号后，开始采集摄像单元20拍摄的现实场景影像；

完成采集，所述处理单元10发送控制指令给所述控制单元40，所述控制单元40控制所述开关单元5打开，开放所述投影单元30；

通过拍摄的现实场景影像，在处理单元10中生成虚拟场景，将投影图片转换为3d模型放置在虚拟场景中；

投影变换，通过3d模型生成增强现实图像并发送至投影单元30，投影单元30投影该增强现实图像叠加到现实场景中。

实施例三：

本实施例基于上述实施例一或实施例二提出了一种投影变换的具体方法，使得投影场景能够随操作者位置的变化而变换虚拟视角，所述投影变换的步骤具体为：

建立摄影单元坐标系(xc-yc-zc)与投影平面坐标系(xw-yw-zw)，并获取将摄影单元坐标系转换为投影平面坐标系的变换矩阵r，变换矩阵r定义了两个坐标系之间的方位变换关系，获取的方法有很多，比如采用标识卡的方式，将标识卡的坐标系与投影平面坐标系重合，即可通过现有的计算机视觉处理算法获得矩阵r；

利用摄影单元20捕获操作人员头部骨骼点在摄影单元坐标系中的位置(xc,yc,zc)；

利用变换矩阵r，将头部骨骼点在摄影单元坐标系中的位置转换到投影平面坐标系中，用(xw,yw,zw)表示；

在处理单元10生成坐标系与投影平面坐标系一致的虚拟场景，将投影图片转换为3d模型放置在虚拟场景中，将虚拟场景的视点放置在(xw,yw,zw)处，视线指向3d模型中心，生成该视角下的增强现实图像，视点为虚拟场景的观察点，视线为从视点发射出的射线，通过视点和视线形成观察视角，将所述增强现实图像发送至投影单元30，投影单元30投影该增强现实图像至投影平面。

实施例四：

一种投影式增强现实图像生成系统，包括计算机1、摄像机2和投影仪3；所述摄像机2与所述计算机1连接，用于采集现实场景内的图像信息并发送至所述计算机1内；所述投影仪3与所述计算机1连接，其用于投射图案至现实场景内，所述计算机1执行以下步骤：

开始采集，所述计算机1开始采集各所述摄像机2拍摄的现实场景影像，同时向所述投影仪3发送全黑色图片，使所述投影仪3不发光；

通过拍摄的现实场景影像，在计算机1中生成虚拟场景，将投影图片转换为3d模型放置在虚拟场景中；

投影变换，通过3d模型生成增强现实图像并发送至投影仪3，投影仪3投影该增强现实图像叠加到现实场景中。

进一步的，所述摄像机2为rgb-d摄像机。

本实施例通过简单的装置及方法实现了摄像机2在采集过程中投影仪3不显示投影的图像。

实施例五：

一种投影式增强现实图像生成系统，包括计算机1、摄像机2和投影仪3、控制器4和投影开关部5；所述摄像机2与所述计算机1连接，用于采集现实场景内的图像信息并发送至所述计算机1内；所述投影仪3与所述计算机1连接，其用于投射图案至现实场景内；所述控制器4与所述计算机1连接，接收计算机1发出的指令；所述投影开关部5安装与所述投影仪3镜头前端并与所述控制器4通信；所述投影开关部5为机械快门或电子快门，所述计算机执行以下步骤：

准备采集，所述计算机1发送开始采集指令至所述控制器4，所述控制器4接收到指令后控制所述投影开关部5关闭，遮挡所述投影仪3镜头；

采集现实场景，所述控制器4控制所述投影开关部5关闭的同时，所述控制器4发送反馈信号至所述计算机1，所述计算机1接收到反馈信号后，开始采集各所述摄像机2拍摄的现实场景影像；

完成采集，所述计算机1发送控制指令给所述控制器4，所述控制器4控制所述投影开关部5打开，开放所述投影仪3的镜头；

通过拍摄的现实场景影像，在计算机1中生成虚拟场景，将投影图片转换为3d模型放置在虚拟场景中；

投影变换，通过3d模型生成增强现实图像并发送至投影仪3，投影仪3投影该增强现实图像叠加到现实场景中。

进一步的，所述摄像机2为rgb-d摄像机。

进一步的，所述投影开关部5为电子快门，其包括顺着所述投影仪3投影方向依次设置的起偏器51、旋光器52和检偏器53；所述旋光器52与所述控制器4连接；其中旋光器52可以选用液晶器件、磁光效应器件或者电光效应器件；当旋光器52没有接收到控制器4发送的控制信号时，起偏器51产生线偏振光，经过旋光器52没有发生偏转，光束无法通过检偏器53，投影开关部5关闭；当旋光器52接收到控制器4发送的控制信号时，起偏器51产生线偏振光，经过旋光器52发生90度偏转，光束通过检偏器53，投影开关部5打开。

本实施例与上述实施例四的不同之处在于，通过投影开关部5实现控制投影仪3在摄像机2采集图像时不会投影图像到现实场景中，确保采集的准确度。

实施例六：

本实施例基于上述实施例四或实施例五提出了一种投影变换的具体方法，使得投影场景能够随操作者位置的变化而变换虚拟视角，所述投影变换的步骤具体为：

建立摄像机坐标系(xc-yc-zc)与投影平面坐标系(xw-yw-zw)，并获取将摄像机坐标系转换为投影平面坐标系的变换矩阵r，变换矩阵r定义了两个坐标系之间的方位变换关系，获取的方法有很多，比如采用标识卡的方式，将标识卡的坐标系与投影平面坐标系重合，即可通过现有的计算机视觉处理算法获得矩阵r；

利用rgb-d相机（如kinect相机）及其api接口函数捕获操作人员头部骨骼点在rgb-d摄像机坐标系中的位置(xc,yc,zc)，捕获操作人员头部骨骼点为rgb-d相机自带软件的功能；

利用变换矩阵r，将头部骨骼点在摄像机坐标系中的位置转换到投影平面坐标系中，用(xw,yw,zw)表示；

在计算机生成坐标系与投影平面坐标系一致的虚拟场景，将投影图片转换为3d模型放置在虚拟场景中，将虚拟场景的视点放置在(xw,yw,zw)处，视线指向3d模型中心，生成该视角下的增强现实图像，视点为虚拟场景的观察点，视线为从视点发射出的射线，通过视点和视线形成观察视角，将所述增强现实图像发送至投影仪3，投影仪3投影该增强现实图像至投影平面。

本实施例实现的具体效果是，当操作人员移动时，头部骨骼点坐标(xc,yc,zc)发生改变，根据变换矩阵r，得到新的头部骨骼点在投影平面坐标系的坐标(xw,yw,zw)，投影时，投影视点为(xw,yw,zw)；即投影的视点，是根据操作人员的移动而改变的，例如，当操作人员在投影平面的正面时，投射的投影图像为正视状态的增强显示图像，当操作人员移动到投影平面的侧面时，则投影图像变换为侧视状态的增强显示图像。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。