一种基于投影机和摄相机的手势识别方法和装置与流程

文档序号:15492983发布日期:2018-09-21 21:01阅读:218来源:国知局

本发明涉及计算机视觉技术领域,特别是涉及一种基于投影机和摄相机的手势识别方法和装置。



背景技术:

随着立体视觉的技术的日趋成熟,由其衍生出的各种应用解决方案也被越来越多的设计出来和采用。其中,对于如何将现实目标对象完成精准采集,并以虚拟方式呈现在屏幕中,成为立体视觉领域普及应用范围最广大技术之一。例如,在家庭应用场景中,实现手掌的动作识别,并呈现为电视屏幕中的虚拟对象;在会场应用场景中实现,基于用户的手势动作,呈现为投影屏幕中相应的虚拟对象。

其中,对于家庭的应用场景来说,由于用户的手掌操作位置,相对于电视机的采集端来说,距离并不太远。因此,其精准度相对可以保证。而对于上述使用投影机的会场应用场景来说,同样的采集设备便无法保证对现实目标对象的精准采集了,尤其是其所处位置和轮廓的信息的采集,会因为采集设备(通常采集设备和呈现设备会被设置在一起,其目的是方便设备的安装和精度的控制)和现实目标对象之间的距离造成精准度的下降,这个问题成为当前制约投影机实现精准目标采集和虚拟对象生成的主要技术瓶颈。

鉴于此,克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。



技术实现要素:

本发明要解决的技术问题是解决现有技术中使用投影机的会场应用场景来说,对现实目标对象的采集精准度的下降,尤其是其所处位置和轮廓的信息的采集,会因为采集设备(通常为一摄像机)和现实目标对象之间的距离造成精准度的下降问题。

本发明采用如下技术方案:

第一方面,本发明提供了一种基于投影机和摄相机的手势识别方法,投影机和摄像机之间按照预设位置放置,所述方法包括:

摄像机采集投影机投影画面内包含目标对象的图像内容,并反馈给处理器,以便处理器根据所述图像内容解析出所述目标对象所在第一位置和/或轮廓信息;

所述处理器根据所述第一位置生成目标对象标定内容,通过所述投影机将所述目标对象标定内容向投影屏所在位置投射;其中,所述位置标定内容是根据目标对象所在第一位置和/或轮廓信息生成;

若处理器确定摄像机在投影屏幕中采集到有关所述目标对象标定内容的信息,则根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息。

优选的,所述标定内容具体为:由处理器根据所述目标对象所在第一位置和/或轮廓信息生成的,并通过投影机镜头视角投放到投影屏中的图像信息;并且,所述投影机将所述标定内容投射出去后,在目标对象所在第一位置和/或轮廓信息精确度达到预设要求时,相对于投影屏幕,所述标定内容被所述目标对象全遮挡。

优选的,所述根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息,具体包括:

采集结果中包括有x轴方向、y轴方向上投射到屏幕中的部分标定内容,其中,投射到屏幕中的部分标定内容为标定内容的溢出;

若发生标定内容在目标对象的左侧溢出,则根据所述左侧溢出值,减小所述第一位置和/或轮廓信息中x轴方向上坐标值;

若发生标定内容在目标对象的右侧溢出,则根据所述右侧溢出值,增大所述第一位置和/或轮廓信息中x轴方向上坐标值;

若发生标定内容在目标对象的上方溢出,则根据所述上方溢出值,增大所述第一位置和/或轮廓信息中y轴方向上坐标值;

若发生标定内容在目标对象的下方溢出,则根据所述下方溢出值,减小所述第一位置和/或轮廓信息中y轴方向上坐标值;

其中,x轴的正方向向右,y轴的正方向向上。

优选的,所述根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息,还包括:

若发生标定内容在目标对象的左侧和右侧均溢出,则根据所述左侧和右侧溢出值,缩小所述标定内容尺寸,并继续完成针对左侧溢出或者右侧溢出的校对过程;

若发生标定内容在目标对象的上方和下方均溢出,则根据所述上方和下方溢出值,缩小所述标定内容尺寸,并继续完成针对上方溢出或者下方溢出的校对过程。

优选的,根据校对完成的目标对象的第一位置和/或轮廓信息,生成目标对象的三维模型;其中,所述目标对象的三围模型用于供所述投影机组合到投影内容中共同呈现。

优选的,所述目标对象为操作人员的手掌、器材和桌椅中的一种或者多种。

优选的,所述预设位置为摄像机的镜头和投影机的镜头之间距离为小于10cm,摄像机镜头可完整采集投影机镜头所投影的投影画面信息。

第二方面,本发明还提供了一种基于投影机和摄相机的手势识别装置,包括存储器和处理器,其中,所述存储器和处理器通过数据总线连接,所述存储器存储有可被所述至少一个处理器执行的指令程序,所述处理器具体用于:

获取投影机投影画面内包含目标对象的图像内容,根据所述图像内容解析出所述目标对象所在第一位置和/或轮廓信息;

根据所述第一位置生成目标对象标定内容,并控制投影机将所述目标对象标定内容向投影屏所在位置投射;其中,所述位置标定内容是根据目标对象所在第一位置和/或轮廓信息生成;

根据摄像机反馈的图像内容,若在投影屏幕中采集到有关所述目标对象标定内容的信息,则校对目标对象的第一位置和/或轮廓信息。

优选的,所述标定内容具体为:

由处理器根据所述目标对象所在第一位置和/或轮廓信息生成的,并通过投影机镜头视角投放到投影屏中的图像信息;并且,所述投影机将所述标定内容投射出去后,在目标对象所在第一位置和/或轮廓信息精确度达到预设要求时,相对于投影屏幕,所述标定内容被所述目标对象全遮挡。

优选的,所述装置还包括投影单元和摄像单元:

所述投影单元用于向投影屏幕投放正常的图像信息,以及由所述处理器生成的对应于目标对象的标定信息;

所述摄像单元用于采集现实中目标对象的第一位置和/或轮廓信息,还用于采集投影屏幕中溢出的标定信息。

第三方面,本发明实施例还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,用于完成第一方面所述的基于投影机和摄相机的手势识别方法。

本发明中摄像机用于采集目标对象(例如:手掌),投影机不仅需要完成正常的投影内容的投放,还要完成处理器给它的标定内容的投放。现实场景中,摄像机拍到目标对象之后,计算了一个大概位置,然后,通过投影机投放标定内容,投放到对应位置上去,如果全部目标对象遮挡,并且没有标定内容溢出到投影屏幕,则确定目标对象的定位和/或轮廓信息是准确的;否则,如果摄像机此时在屏幕上采集到了标定内容,那么就表明此时确定目标对象的定位和/或轮廓信息是有误差的,从而需要根据采集结果重新校准。

相比较现有技术中的精准度不足的问题,本发明所提出的解决方案可以达到较高的精确度。而且,可以避免因为设备自身精准度不足带来的误差;因为,通过采集标定内容,可以实现自身设备误差的校准。

【附图说明】

为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于投影机和摄相机的手势识别装置的结构示意图;

图2是本发明实施例提供的一种基于投影机和摄相机的手势识别方法的流程示意图;

图3是本发明实施例提供的一种标定内容被现实目标对象完全遮挡的效果示意图;

图4是本发明实施例提供的一种标定内容发生左侧溢出的效果示意图;

图5是本发明实施例提供的一种标定内容发生右侧溢出的效果示意图;

图6是本发明实施例提供的一种基于投影机和摄相机的手势识别装置的结构示意图。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

在本发明的描述中,术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作,因此不应当理解为对本发明的限制。

此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例1:

本发明实施例1提供了一种基于投影机和摄相机的手势识别方法,如图1所示,投影机11和摄像机12之间按照预设位置放置,例如:所述预设位置为摄像机12的镜头和投影机11的镜头之间距离为小于10cm。如图2所示,所述方法包括:

在步骤201中,摄像机12采集投影机11投影画面内包含目标对象的图像内容,并反馈给处理器,以便处理器根据所述图像内容解析出所述目标对象所在第一位置和/或轮廓信息。

在步骤202中,所述处理器根据所述第一位置生成目标对象标定内容,通过所述投影机11将所述目标对象标定内容向投影屏所在位置投射;其中,所述位置标定内容是根据目标对象所在第一位置和/或轮廓信息生成。

在步骤203中,若处理器确定摄像机12在投影屏幕中采集到有关所述目标对象标定内容的信息,则根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息。

本发明中摄像机12用于采集目标对象(例如:手掌),投影机11不仅需要完成正常的投影内容的投放,还要完成处理器给它的标定内容的投放。现实场景中,摄像机12拍到目标对象之后,计算了一个大概位置,然后,通过投影机11投放标定内容,投放到对应位置上去,如果全部目标对象遮挡,并且没有标定内容溢出到投影屏幕,则确定目标对象的定位和/或轮廓信息是准确的;否则,如果摄像机12此时在屏幕上采集到了标定内容,那么就表明此时确定目标对象的定位和/或轮廓信息是有误差的,从而需要根据采集结果重新校准。

相比较现有技术中的精准度不足的问题,本发明所提出的解决方案可以达到较高的精确度。而且,可以避免因为设备自身精准度不足带来的误差;因为,通过采集标定内容,可以实现自身设备误差的校准。

在本发明实施例中,对于所述标定内容还给予了一种较为容易理解的描述,具体为:由处理器根据所述目标对象所在第一位置和/或轮廓信息生成的,并通过投影机11镜头视角投放到投影屏中的图像信息;并且,所述投影机11将所述标定内容投射出去后,在目标对象所在第一位置和/或轮廓信息精确度达到预设要求时,相对于投影屏幕,所述标定内容被所述目标对象全遮挡。因此,所述标定内容可以是由所述处理器在获取到待投影机显示的图片或者视频内容后,通过图像处理的方式将标定内容加载到待投影机显示的图片或者视频上,其中,具体加载的位置和加载的标定内容大小是根据所述目标对象所在第一位置和/或轮廓信息生成的。除了可以采用图像处理的方式将标定内容加载到待投影机显示的图片或者视频上以外,还可以采用将标定内容生成单独的一帧图片,并利用高速切换的方式的,将所述携带标定内容的视频帧/图片帧夹杂在正常的视频帧/图片中,并配合以摄像机的同步采集完成所述标定对象是否存在溢出的检测。

在本发明实施例中,对于步骤203中所涉及的,所述根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息,提供了一种优选的实现方案,具体包括:

采集结果中包括有x轴方向、y轴方向上投射到屏幕中的部分标定内容,其中,投射到屏幕中的部分标定内容为标定内容的溢出;如图3所示,为标定内容完全被现实中目标对象遮挡的效果示意图,此时,投影屏幕中是不会有标定内容出现的(即本发明实施例中所描述的溢出)。

若发生标定内容在目标对象的左侧溢出,则根据所述左侧溢出值,减小所述第一位置和/或轮廓信息中x轴方向上坐标值;如图4所示,为标定内容在目标对象的左侧溢出的效果示意图,而所述左侧溢出值,即图4中显示的呈现在投影屏幕上的标定内容的宽度。在实际情况中,考虑到显示中目标对象不一定在屏幕正中间,即由于现实中目标对象与投影屏幕之间存在的距离,以及其相对于投影屏幕中心的偏移,会带来溢出值的放大;此时,便需要先计算出现实中目标对象到投影屏幕的距离,然后通过相似三角形变换求解得到实际的溢出值。相应的计算过程,可以参考在先专利201210204994.x,专利名称为一种定位交互方法及系统,在此不再赘述。

若发生标定内容在目标对象的右侧溢出,则根据所述右侧溢出值,增大所述第一位置和/或轮廓信息中x轴方向上坐标值,如图5所示。

若发生标定内容在目标对象的上方溢出,则根据所述上方溢出值,增大所述第一位置和/或轮廓信息中y轴方向上坐标值。

若发生标定内容在目标对象的下方溢出,则根据所述下方溢出值,减小所述第一位置和/或轮廓信息中y轴方向上坐标值。

其中,x轴的正方向向右,y轴的正方向向上。

优选的,所述根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息,还包括:

若发生标定内容在目标对象的左侧和右侧均溢出,则根据所述左侧和右侧溢出值,缩小所述标定内容尺寸,并继续完成针对左侧溢出或者右侧溢出的校对过程;

若发生标定内容在目标对象的上方和下方均溢出,则根据所述上方和下方溢出值,缩小所述标定内容尺寸,并继续完成针对上方溢出或者下方溢出的校对过程。

在本发明实施例中,在通过所述标定内容获取了目标对象的第一位置和/或轮廓信息后,存在一应用途径便是,根据校对完成的目标对象的第一位置和/或轮廓信息,生成目标对象的三维模型;其中,所述目标对象的三围模型用于供所述投影机11组合到投影内容中共同呈现。

其中,所述目标对象为操作人员的手掌、器材和桌椅中的一种或者多种。

实施例2:

本发明还提供了一种基于投影机和摄相机的手势识别装置,如图6所示,包括存储器22和处理器21,其中,所述存储器22和处理器21通过数据总线连接,所述存储器22存储有可被所述至少一个处理器21执行的指令程序,所述处理器21具体用于:

获取投影机11投影画面内包含目标对象的图像内容,根据所述图像内容解析出所述目标对象所在第一位置和/或轮廓信息;

根据所述第一位置生成目标对象标定内容,并控制投影机11将所述目标对象标定内容向投影屏所在位置投射;其中,所述位置标定内容是根据目标对象所在第一位置和/或轮廓信息生成;

根据摄像机12反馈的图像内容,若在投影屏幕中采集到有关所述目标对象标定内容的信息,则校对目标对象的第一位置和/或轮廓信息。

本发明中摄像机12用于采集目标对象(例如:手掌),投影机11不仅需要完成正常的投影内容的投放,还要完成处理器给它的标定内容的投放。现实场景中,摄像机12拍到目标对象之后,计算了一个大概位置,然后,通过投影机11投放标定内容,投放到对应位置上去,如果全部目标对象遮挡,并且没有标定内容溢出到投影屏幕,则确定目标对象的定位和/或轮廓信息是准确的;否则,如果摄像机12此时在屏幕上采集到了标定内容,那么就表明此时确定目标对象的定位和/或轮廓信息是有误差的,从而需要根据采集结果重新校准。

相比较现有技术中的精准度不足的问题,本发明所提出的解决方案可以达到较高的精确度。而且,可以避免因为设备自身精准度不足带来的误差;因为,通过采集标定内容,可以实现自身设备误差的校准。

在本发明实施例中,所述标定内容存在一种优选的实现方式,具体为:

由处理器21根据所述目标对象所在第一位置和/或轮廓信息生成的,并通过投影机11镜头视角投放到投影屏中的图像信息;并且,所述投影机11将所述标定内容投射出去后,在目标对象所在第一位置和/或轮廓信息精确度达到预设要求时,相对于投影屏幕,所述标定内容被所述目标对象全遮挡。作为可选的方案,所述标定内容还可以是通过

在本发明实施例中,所述装置除了可以借用外部的投影机和摄像机来实现相关功能以外,还可以通过其装置自身携带相应投影单元和摄像单元,,所述装置还包括投影单元和摄像单元:

所述投影单元用于向投影屏幕投放正常的图像信息,以及由所述处理器21生成的对应于目标对象的标定信息;

所述摄像单元用于采集现实中目标对象的第一位置和/或轮廓信息,还用于采集投影屏幕中溢出的标定信息。

值得说明的是,上述装置内的模块、单元之间的信息交互、执行过程等内容,由于与本发明的处理方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。

本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(rom,readonlymemory)、随机存取存储器(ram,randomaccessmemory)、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1