一种多RGBD深度传感器的自动校准桌面道具互动系统的实现方法与流程

文档序号:24121542发布日期:2021-03-02 11:44阅读:来源:国知局

技术特征:
1.一种多rgbd深度传感器的自动校准桌面道具互动系统,其特征在于,是由若干个rgbd深度传感器、若干台投影仪、电脑主机、矩形桌面和不同形状道具构成,若干个rgbd深度传感器和若干台投影仪通过数据线缆与电脑主机对应usb接口和显卡视频输出接口相连,其中若干个rgbd深度传感器安装在桌面上方的可调角度和高度的挂架上,使其高度保持一致并与桌面长边平行,若干台投影仪显示画面通过第三方投影融合软件进行投影融合;采用基于格雷码结构光的彩色图像自动校准算法以及深度图像与彩色图像坐标映射关系,实现对若干个rgbd深度传感器的互动位置校准;通过采集若干个rgbd深度传感器与桌面之间的深度环境背景图像后,计算实时深度图像与深度环境背景图像的差值图像,以定位桌面不同形状道具在融合深度图像内的坐标和投影桌面坐标并识别其长宽高值;对桌面不同形状道具的识别数据与道具信息库的数据进行对比,确定所有道具的形状类别;最后,通过osc通信协议将道具类型和桌面坐标发送到互动投影效果软件,实现增强体验的互动投影效果。2.根据权利要求1所述的一种多rgbd深度传感器的自动校准桌面道具互动系统,其特征在于,所述投影仪和rgbd深度传感器的数量以电脑主机的硬件配置和操作系统支持的最大数量为上限。3.根据权利要求1所述的一种多rgbd深度传感器的自动校准桌面道具互动系统,其特征在于,采用的基于tcp/ip通信协议的服务端和客户端模型,将局域网内节点电脑主机连接的rgbd深度传感器虚拟为投影电脑主机的本地设备,以实现基于多rgbd深度传感器进行大场景互动识别的方案。4.根据权利要求1所述的一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法,包括以下步骤:s1,将若干台投影仪通过视频传输线缆与电脑主机的显卡输出接口相连,采用吊装方式向桌面空间投影画面,并通过第三方投影融合软件将投影画面融合起来;s2,将多个rgbd深度传感器通过数据线缆与电脑主机usb接口相连,并安装在桌面上方与投影仪位置相对应的可调角度和高度的挂架上,使其高度保持一致并与桌面长边平行;s3,互动投影识别软件实时采集每个rgbd深度传感器的深度数据和彩色数据,并根据其排列位置进行深度图像拼接;s4,在桌面未放置道具的情况下,互动投影识别软件采集若干个rgbd深度传感器与桌面之间的深度环境背景图像,并进行背景图像保存;s5,根据每个rgbd深度传感器位置向桌面相应区域投射基于格雷码结构光算法生成的多帧条纹图像,并用其彩色摄像头采集每帧条纹图像数据,以获取条纹投影区域与彩色图像之间的坐标映射关系;s6,根据每个rgbd深度传感器内的深度图像与彩色图像之间的坐标映射关系,获取条纹投影区域与其对应深度图像之间的坐标映射关系;s7,根据多个rgbd深度传感器深度环境背景图像与实时深度图像的差值以及识别范围阈值参数,获取道具与桌面环境分离的道具识别图像;s8,基于opencv视觉库的形态学变换、轮廓查找以及凸缺陷检测算法,获取道具识别图像的道具中心点坐标以及长宽和凸缺陷等几何信息,并结合深度信息获取道具的高度值;s9,将道具长宽高和凸缺陷等几何信息与道具信息库的数据进行对比,获取道具的类
型;s10,根据道具在深度图像内中心点坐标以及深度图像坐标与投影坐标之间的映射关系,获取对应的道具投影坐标位置;s11,采用osc协议将道具的类型参数和投影坐标等信息发送到互动投影效果软件,实现基于道具类型的精准互动投影效果。5.根据权利要求4所述的一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法,其特征在于,所述互动投影识别软件实时采集每个rgbd深度传感器的深度数据和彩色数据,并根据其排列位置进行深度图像拼接,其图像拼接方法为根据水平方向和垂直方向摄像头排列数量(,)和图像分辨率(,),初始化一个拼接图像,其水平和垂方向的分辨率为(,),并根据每个图像传感器的水平和垂直方向排列位置(,)将其设置到拼接图像的感兴趣(roi)区域内,实现对所有图像的拼接操作,其中()。6.根据权利要求4所述的一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法,其特征在于,所述深度环境背景图像是在桌面未摆放任何道具的状态下,每个rgbd深度传感器采集多帧深度图像数据,并基于多帧深度数据的对应坐标深度中间值算法,获取中间值深度环境背景图像,以提升深度环境背景图像的稳定性。7.根据权利要求4所述的一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法,其特征在于,所述基于格雷码结构光算法生成的多帧条纹图像,其为包括水平和垂直方向排列的亮暗等距相间的多帧条纹编码图像,则每个rgbd深度传感器对应的格雷码结构光图像的宽高()为:
ꢀꢀ
(1)
ꢀꢀ
(2)其中,为投影屏幕水平分辨率,为投影屏幕垂直分辨率。8.其多帧条纹编码图像在投影屏幕上的显示位置(,)为:
ꢀꢀ
(3)
ꢀꢀ
(4)通过每隔一秒的频率逐帧刷新并在投影画面对应位置上显示结构光图像,对应rgbd深度传感器的彩色摄像头采集每一帧结构光图像并基于格雷码结构光投影和图像坐标映射算法,如公式(5)所示,
ꢀꢀ
(5)其中,为彩色图像像素坐标,为格雷码结构光投影区域图像坐标。9.根据rgbd深度传感器的深度图像与彩色图像坐标对齐映射关系,如公式(6)所示,
ꢀꢀ
(6)可获取深度图像坐标与格雷码结构光投影区域图像坐标之间的映射关系,如公式(7)所示,
ꢀꢀ
(7)则根据以上坐标转换及映射关系,可获取对应投影分辨率坐标与rgbd深度传感器深度
图像坐标之间的映射关系,如公式(8)所示,
ꢀꢀ
(8)其中,为索引值为的rgbd深度传感器深度图像的像素坐标,为其图像像素坐标映射到的投影分辨率坐标。10.根据权利要求4所述的一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法,其特征在于,所述道具与桌面环境分离的道具识别图像,其计算方法如公式(9)所示,
ꢀꢀ
(9)其中,为索引值为id的道具识别图像,为实时深度图像数据,,为深度环境背景图像数据与实时深度图像数据差值的取值范围,其中,,。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1