一种多RGBD深度传感器的自动校准桌面道具互动系统的实现方法与流程

一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法
[0001]
技术领域：本发明涉及互动投影识别技术领域，具体涉及一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法。
[0002]


背景技术：
：opencv(open source computer vision library)是一个基于bsd许可（开源）发行的跨平台计算机视觉库，实现了图像处理和计算机视觉方面的很多通用算法，包括形态学变换，阈值化，轮廓查找以及格雷码结构光等算法。其中二进制格雷码是一种无权码，其反射特性和循环特性的单步自补码消除了随机取数时出现重大错误的可能，属于一种可靠性编码和错误最小化的编码方式，在测量技术中具有广泛的应用。
[0003]
rgbd深度传感器是在rgb普通摄像头上增加了深度测量功能的图像传感器，目前有双目、结构光和飞行时间（tof）等几种主流技术方案。其中rgb双目采用rgb图像特征点匹配和三角测量算法计算深度，因此需要被测场景具有良好的光照条件和纹理特性。结构光方案采用主动投射已知编码图案，提升特征匹配效果，近距离能够达到较高的测量精度，且分辨率较高。飞行时间（tof）方案根据光的飞行时间直接测量，识别距离较远，测量精度较高，但分辨率较低。
[0004]
在桌面道具互动系统中，实时、准确并且稳定的道具识别和跟踪能给用户带来良好的交互体验。基于其丰富的应用场景，桌面道具互动系统得到了研究者的广泛关注，其算法主要包括识别与投影坐标映射，道具位置识别和跟踪，道具类型识别等方面。通过将识别分类结果与互动投影技术相结合，可以展现出一种增强体验的互动艺术效果。
[0005]
现有技术中，采用单rgbd深度传感器进行互动识别时，由于深度识别范围的视角较小，无法覆盖大面积的互动投影空间。同时，采用深度图像进行手动校准道具和投影位置时，存在着校准调试复杂和输出位置有一定偏差的问题，影响互动效果的体验感受。针对以上技术缺陷，提出了一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方案，利用基于结构光或飞行时间（tof）技术方案的深度传感器，通过融合多rgbd深度传感器的深度数据实现大场景下的互动识别，并采用基于格雷码结构光的彩色图像自动校准算法以及深度图像和彩色图像的坐标映射关系实现互动道具位置的准确识别。
[0006]


技术实现要素：
：本发明公开了一种多rgbd深度传感器的自动校准桌面道具互动系统，其由多个rgbd深度传感器、多台投影仪、电脑主机、矩形桌面和不同形状道具构成；多个rgbd深度传感器和多台投影仪通过数据线缆与电脑主机对应usb接口和显卡视频输出接口相连，其中多个rgbd深度传感器安装在桌面上方的可调角度和高度的挂架上，使其高度保持一致并与桌面长边平行，多台投影仪显示画面通过第三方投影融合软件进行投影融合；采用基于格雷码结构光的彩色图像自动校准算法以及深度图像与彩色图像坐标映射关系，实现对多个rgbd深度传感器的互动位置校准；通过采集多个rgbd深度传感器与桌面之间的深度环境背景图像后，计算实时深度图像与深度环境背景图像的差值图像，以定位桌面不同形状道具在融
合深度图像内的坐标和投影桌面坐标并识别其长宽高值；对桌面不同形状道具的识别数据与道具信息库的数据进行对比，确定所有道具的形状类别。最后，通过osc通信协议将道具类型和桌面坐标发送到互动投影效果软件，实现增强体验的互动投影效果。
[0007]
优选的，所述投影仪和rgbd深度传感器的数量以电脑主机的硬件配置和操作系统支持的最大数量为上限。
[0008]
优选的，采用的基于tcp/ip通信协议的服务端和客户端模型，将局域网内节点电脑主机连接的rgbd深度传感器虚拟为投影电脑主机的本地设备，以实现基于多rgbd深度传感器进行大场景互动识别的方案。
[0009]
为了实现上述基本构思，本发明提供了一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法，其包括步骤：s1，将多台投影仪通过视频传输线缆与电脑主机的显卡输出接口相连，采用吊装方式向桌面空间投影画面，并通过第三方投影融合软件将投影画面融合起来；s2，将多个rgbd深度传感器通过数据线缆与电脑主机usb接口相连，并安装在桌面上方与投影仪位置相对应的可调角度和高度的挂架上，使其高度保持一致并与桌面长边平行；s3，互动投影识别软件实时采集每个rgbd深度传感器的深度数据和彩色数据，并根据其排列位置进行深度图像拼接；s4，在桌面未放置道具的情况下，互动投影识别软件采集多个rgbd深度传感器与桌面之间的深度环境背景图像，并进行背景图像保存；s5，根据每个rgbd深度传感器位置向桌面相应区域投射基于格雷码结构光算法生成的多帧条纹图像，并用其彩色摄像头采集每帧条纹图像数据，以获取条纹投影区域与彩色图像之间的坐标映射关系；s6，根据每个rgbd深度传感器内的深度图像与彩色图像之间的坐标映射关系，获取条纹投影区域与其对应深度图像之间的坐标映射关系；s7，根据多个rgbd深度传感器深度环境背景图像与实时深度图像的差值以及识别范围阈值参数，获取道具与桌面环境分离的道具识别图像；s8，基于opencv视觉库的形态学变换、轮廓查找以及凸缺陷检测算法，获取道具识别图像的道具中心点坐标以及长宽和凸缺陷等几何信息，并结合深度信息获取道具的高度值；s9，将道具长宽高和凸缺陷等几何信息与道具信息库的数据进行对比，获取道具的类型；s10，根据道具在深度图像内中心点坐标以及深度图像坐标与投影坐标之间的映射关系，获取对应的道具投影坐标位置；s11，采用osc协议将道具的类型参数和投影坐标等信息发送到互动投影效果软件，实现基于道具类型的精准互动投影效果。
[0010]
优选的，所述互动投影识别软件实时采集每个rgbd深度传感器的深度数据和彩色数据，并根据其排列位置进行深度图像拼接，其图像拼接方法为根据水平方向和垂直方向摄像头排列数量( ,)和图像分辨率(,)，初始化一个拼接图像，其水平和垂方向的分辨率为(,)，并根据每个图像传感器的水平和垂直方向排列位置(,)将其设置到拼接图像的感兴趣（roi）区域内，实现对所有图像的拼接操作，其中()。
[0011]
优选的，所述深度环境背景图像是在桌面未摆放任何道具的状态下，每个rgbd深度传感器采集多帧深度图像数据，并基于多帧深度数据的对应坐标深度中间值算法，获取中间值深度环境背景图像，以提升深度环境背景图像的稳定性。
[0012]
优选的，所述基于格雷码结构光算法生成的多帧条纹图像，其为包括水平和垂直方向排列的亮暗等距相间的多帧条纹编码图像，则每个rgbd深度传感器对应的格雷码结构光图像的宽高()为：
ꢀꢀ
(1)
ꢀꢀ
(2)其中，为投影屏幕水平分辨率，为投影屏幕垂直分辨率。其多帧条纹编码图像在投影屏幕上的显示位置(，)为：
ꢀꢀ
(3)
ꢀꢀ
(4)通过每隔一秒的频率逐帧刷新并在投影画面对应位置上显示结构光图像，对应rgbd深度传感器的彩色摄像头采集每一帧结构光图像并基于格雷码结构光投影和图像坐标映射算法，如公式(5)所示，
ꢀꢀ
(5)其中，为彩色图像像素坐标，为格雷码结构光投影区域图像坐标。根据rgbd深度传感器的深度图像与彩色图像坐标对齐映射关系，如公式(6)所示，
ꢀꢀ
(6)可获取深度图像坐标与格雷码结构光投影区域图像坐标之间的映射关系，如公式(7)所示，
ꢀꢀ
(7)则根据以上坐标转换及映射关系，可获取对应投影分辨率坐标与rgbd深度传感器深度图像坐标之间的映射关系，如公式(8)所示，
ꢀꢀ
(8)其中，为索引值为的rgbd深度传感器深度图像的像素坐标，为其图像像素坐标映射到的投影分辨率坐标。
[0013]
优选的，所述道具与桌面环境分离的道具识别图像，其计算方法如公式（9）所示，
ꢀꢀ
(9)其中，为索引值为id的道具识别图像，为实时深度图像数据，，为深度环境背景图像数据与实时深度图像数据差值的取值范围，其中，，。
[0014]
本发明的有益效果是：本发明通过一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法，解决了多rgbd深度传感器进行大场景下的桌面道具互动投影位置校准复杂且存在位置偏差的问题，并基于道具类型信息为桌面互动系统提供了一种增强互动体验的解决方案。
[0015]
附图说明：
图1是本发明中格雷码结构光示意图；图2是一种多rgbd深度传感器的自动校准桌面道具互动系统的识别软件流程图；图3是一种多rgbd深度传感器的自动校准桌面道具互动系统的结构示意图。
具体实施方式
[0016]
实施例1本实施例以2台投影仪，2个rgbd深度传感器构成的系统为例。
[0017]
本发明公开了一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法，该系统由多个rgbd深度传感器，多台投影仪，电脑主机，矩形桌面，不同形状道具等部分构成。多个rgbd深度传感器和多台投影仪通过数据线缆与电脑主机对应usb接口和显卡视频输出接口相连，其中多个rgbd深度传感器安装在桌面上方的可调角度和高度的挂架上，使其高度保持一致并与桌面长边平行，多台投影仪显示画面通过第三方投影融合软件进行投影融合。采用基于格雷码结构光的彩色图像自动校准算法以及深度图像与彩色图像坐标映射关系，实现对多个rgbd深度传感器的互动位置校准。通过采集多个rgbd深度传感器与桌面之间的深度环境背景图像后，计算实时深度图像与深度环境背景图像的差值图像，以定位桌面不同形状道具在融合深度图像内的坐标和投影桌面坐标并识别其长宽高值；对桌面不同形状道具的识别数据与道具信息库的数据进行对比，确定所有道具的形状类别。最后，通过osc通信协议将道具类型和桌面坐标发送到互动投影效果软件，实现增强体验的互动投影效果。
[0018]
为了实现上述基本构思，本发明设计了一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法，包括步骤：s1，将多台投影仪通过视频传输线缆与电脑主机的显卡输出接口相连，采用吊装方式向桌面空间投影画面，并通过第三方投影融合软件将投影画面融合起来；s2，将多个rgbd深度传感器通过数据线缆与电脑主机usb接口相连，并安装在桌面上方与投影仪位置相对应的可调角度和高度的挂架上，使其高度保持一致并与桌面长边平行；s3，互动投影识别软件实时采集每个rgbd深度传感器的深度数据和彩色数据，并根据其排列位置进行深度图像拼接；s4，在桌面未放置道具的情况下，互动投影识别软件采集多个rgbd深度传感器与桌面之间的深度环境背景图像，并进行背景图像保存；s5，根据每个rgbd深度传感器位置向桌面相应区域投射基于格雷码结构光算法生成的多帧条纹图像，并用其彩色摄像头采集每帧条纹图像数据，以获取条纹投影区域与彩色图像之间的坐标映射关系；s6，根据每个rgbd深度传感器内的深度图像与彩色图像之间的坐标映射关系，获取条纹投影区域与其对应深度图像之间的坐标映射关系；s7，根据多个rgbd深度传感器深度环境背景图像与实时深度图像的差值以及识别范围阈值参数，获取道具与桌面环境分离的道具识别图像；s8，基于opencv视觉库的形态学变换、轮廓查找以及凸缺陷检测算法，获取道具识别图像的道具中心点坐标以及长宽和凸缺陷等几何信息，并结合深度信息获取道具的高度值；s9，将道具长宽高和凸缺陷等几何信息与道具信息库的数据进行对比，获取道具的类
型；s10，根据道具在深度图像内中心点坐标以及深度图像坐标与投影坐标之间的映射关系，获取对应的道具投影坐标位置；s11，采用osc协议将道具的类型参数和投影坐标等信息发送到互动投影效果软件，实现基于道具类型的精准互动投影效果。
[0019]
本实施例中，所述2台投影仪按照水平排列方向进行吊装。
[0020]
本实施例中，所述2台rgbd深度传感器采用奥比中光公司生产的astra传感器，其深度图像分辨率为640*480@30fps，彩色图像分辨率为640*480@30fps。
[0021]
本发明可广泛应用于各种桌面道具互动投影场景中。
[0022]
所述互动投影识别软件实时采集每个rgbd深度传感器的深度数据和彩色数据，并根据其排列位置进行深度图像拼接，其图像拼接方法为根据水平方向和垂直方向摄像头排列数量(,)和图像分辨率(,)，初始化一个拼接图像，其水平和垂方向的分辨率为(,)，并根据每个图像传感器的水平和垂直方向排列位置(,)将其设置到拼接图像的感兴趣（roi）区域内，实现对所有图像的拼接操作，其中()。
[0023]
所述深度环境背景图像是在桌面未摆放任何道具的状态下，每个rgbd深度传感器采集多帧深度图像数据，并基于多帧深度数据的对应坐标深度中间值算法，获取中间值深度环境背景图像，以提升深度环境背景图像的稳定性。
[0024]
所述基于格雷码结构光算法生成的多帧条纹图像，其为包括水平和垂直方向排列的亮暗等距相间的多帧条纹编码图像，则每个rgbd深度传感器对应的格雷码结构光图像的宽高()为：
ꢀꢀ
(1)
ꢀꢀ
(2)其中，为投影屏幕水平分辨率，为投影屏幕垂直分辨率。其多帧条纹编码图像在投影屏幕上的显示位置(，)为：
ꢀꢀ
(3)
ꢀꢀ
(4)通过每隔一秒的频率逐帧刷新并在投影画面对应位置上显示结构光图像，对应rgbd深度传感器的彩色摄像头采集每一帧结构光图像并基于格雷码结构光投影和图像坐标映射算法，如公式(5)所示，
ꢀꢀ
(5)其中，为彩色图像像素坐标，为格雷码结构光投影区域图像坐标。根据rgbd深度传感器的深度图像与彩色图像坐标对齐映射关系，如公式(6)所示，
ꢀꢀ
(6)可获取深度图像坐标与格雷码结构光投影区域图像坐标之间的映射关系，如公式(7)所示，
ꢀꢀ
(7)则根据以上坐标转换及映射关系，可获取对应投影分辨率坐标与rgbd深度传感器深度
图像坐标之间的映射关系，如公式(8)所示，
ꢀꢀ
(8)其中，为索引值为的rgbd深度传感器深度图像的像素坐标，为其图像像素坐标映射到的投影分辨率坐标。
[0025]
所述道具与桌面环境分离的道具识别图像，其计算方法如公式（9）所示，
ꢀꢀ
(9)其中，为索引值为id的道具识别图像，为实时深度图像数据，，为深度环境背景图像数据与实时深度图像数据差值的取值范围，其中，，。
[0026]
实施例2当采用的rgbd深度传感器的数据接口为usb3.0,且电脑主机只支持连接一个rgbd深度传感器时，可搭建基于多主机的局域网络实现多rgbd深度传感器数据的传输和处理任务。
[0027]
该系统由多个rgbd深度传感器，多台投影仪，与rgbd深度传感器数量相同的多台电脑主机，矩形桌面，不同形状道具等部分构成。多台投影仪通过视频传输线缆与其中的投影主机显卡接口相连，多个rgbd深度传感器分别与一台投影电脑主机与多台节点电脑主机的usb3.0接口相连，其中多个rgbd深度传感器安装在桌面上方的可调角度和高度的挂架上，使其高度保持一致并与桌面长边平行，多台投影仪显示画面通过第三方投影融合软件进行投影融合。多台节点电脑主机向投影电脑主机发送原始深度数据，彩色数据以及深度和彩色坐标映射数据，以实现投影电脑主机将局域网内rgbd深度传感器虚拟为本地设备的目的。采用基于格雷码结构光的彩色图像自动校准算法以及深度图像与彩色图像坐标映射关系，实现对多个rgbd深度传感器的互动位置校准。通过采集多个rgbd深度传感器与桌面之间的深度环境背景图像后，计算实时深度图像与深度环境背景图像的差值图像，以定位桌面不同形状道具在融合深度图像内的坐标和投影桌面坐标并识别其长宽高值；对桌面不同形状道具的识别数据与道具信息库的数据进行对比，确定所有道具的形状类别。最后，通过osc通信协议将道具类型和桌面坐标发送到互动投影效果软件，实现增强体验的互动投影效果。
[0028]
为了实现上述基本构思，本发明设计了一种多rgbd深度传感器的自动校准桌面道具互动系统的替代实现方法，包括步骤：s1，将多台投影仪通过视频传输线缆与投影电脑主机的显卡相连，采用吊装方式向桌面空间投影画面，并通过第三方投影融合软件将投影画面融合起来；s2，将多个rgbd深度传感器通过数据线缆与一台投影电脑主机和多台节点电脑主机usb3.0接口相连，并安装在桌面上方与投影仪位置相对应的可调角度和高度的挂架上，使其高度保持一致并与桌面长边平行；s3，多台节点电脑主机采集rgbd深度摄像头的深度数据，彩色数据以及深度和彩色坐标映射数据，并基于tcp/ip协议将相应数据实时传输到投影电脑主机。
[0029]
s4，投影电脑主机的互动投影识别软件实时采集本地rgbd深度传感器的深度数据和彩色数据，并接收局域网内节点电脑主机的rgbd深度传感器的深度数据和彩色数据以及深度和彩色坐标映射数据，同时根据rgbd深度传感器的排列位置进行深度图像拼接；
s5，在桌面未放置道具的情况下，互动投影识别软件采集多个rgbd深度传感器与桌面之间的深度环境背景图像，并进行背景图像保存；s6，根据每个rgbd深度传感器位置向桌面相应区域投射基于格雷码结构光算法生成的多帧条纹图像，并用其彩色摄像头采集每帧条纹图像数据，以获取投影区域与彩色图像之间的坐标映射关系；s7，根据每个rgbd深度传感器内的深度图像与彩色图像之间的坐标映射关系，获取投影区域与深度图像之间的坐标映射关系；s8，根据多个rgbd深度传感器深度环境背景图像与实时深度图像的差值以及识别范围阈值参数，获取道具与桌面环境分离的道具识别图像；s9，基于opencv视觉库的形态学变换、轮廓查找以及凸缺陷检测算法，获取道具识别图像的道具中心点坐标以及长宽和凸缺陷等几何信息，并结合深度信息获取道具的高度值；s10，将道具长宽高和凸缺陷等几何信息与道具信息库的数据进行对比，获取道具的类型；s11，根据道具在深度图像内中心点坐标以及深度图像坐标与投影坐标之间的映射关系，获取对应的道具投影坐标位置；s12，采用osc协议将道具的类型参数和投影坐标等信息发送到互动投影效果软件，实现基于道具类型的精准互动投影效果。
[0030]
所述互动投影识别软件实时采集每个rgbd深度传感器的深度数据和彩色数据，并根据其排列位置进行深度图像拼接，其图像拼接方法为根据水平方向和垂直方向摄像头排列数量(,)和图像分辨率(,)，初始化一个拼接图像，其水平和垂方向的分辨率为(,)，并根据每个图像传感器的水平和垂直方向排列位置(,)将其设置到拼接图像的感兴趣（roi）区域内，实现对所有图像的拼接操作，其中()。
[0031]
所述深度环境背景图像是在桌面未摆放任何道具的状态下，每个rgbd深度传感器采集多帧深度图像数据，并基于多帧深度数据的对应坐标深度中间值算法，获取中间值深度环境背景图像，以提升深度环境背景图像的稳定性。
[0032]
所述基于格雷码结构光算法生成的多帧条纹图像，其为包括水平和垂直方向排列的亮暗等距相间的多帧条纹编码图像，则每个rgbd深度传感器对应的格雷码结构光图像的宽高()为：
ꢀꢀ
(1)
ꢀꢀ
(2)其中，为投影屏幕水平分辨率，为投影屏幕垂直分辨率。其多帧条纹编码图像在投影屏幕上的显示位置(，)为：
ꢀꢀ
(3)
ꢀꢀ
(4)通过每隔一秒的频率逐帧刷新并在投影画面对应位置上显示结构光图像，对应rgbd深度传感器的彩色摄像头采集每一帧结构光图像并基于格雷码结构光投影和图像坐标映射
算法，如公式(5)所示，
ꢀꢀ
(5)其中，为彩色图像像素坐标，为格雷码结构光投影区域图像坐标。根据rgbd深度传感器的深度图像与彩色图像坐标对齐映射关系，如公式(6)所示，
ꢀꢀ
(6)可获取深度图像坐标与格雷码结构光投影区域图像坐标之间的映射关系，如公式(7)所示，
ꢀꢀ
(7)则根据以上坐标转换及映射关系，可获取对应投影分辨率坐标与rgbd深度传感器深度图像坐标之间的映射关系，如公式(8)所示，
ꢀꢀ
(8)其中，为索引值为的rgbd深度传感器深度图像的像素坐标，为其图像像素坐标映射到的投影分辨率坐标。
[0033]
所述道具与桌面环境分离的道具识别图像，其计算方法如公式（9）所示，
ꢀꢀ
(9)其中，为索引值为id的道具识别图像，为实时深度图像数据，，为深度环境背景图像数据与实时深度图像数据差值的取值范围，其中，，。
[0034]
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。