本发明涉及智能遥控技术领域,尤其涉及一种手势操作控制方法、装置及智能显示终端。
背景技术:
随着全球电视数字化的日益推进,出现了越来越多的消费类电子设备,例如Pad、DVD、数字电视机、音响以及空调等;而针对各种电子设备,也出现了各种各样的智能遥控系统,如电视智能遥控器,空调遥控器,手机作为遥控器,IPAD作为遥控系统等。
目前,对电视进行远程遥控的模式主要有:红外电视远程遥控器、类似鼠标的遥控器输入、采用手写板的遥控器手写输入等,但是以上控制模式都需要用户操作外部设备来实现对电视的控制。为了提高生活品质以及增加智能系统的人性化,让用户更加方便的控制智能终端,目前出现了手势控制技术。
手势控制技术的特点是通过操作者的手部动作(例如挥手)来控制电视等终端设备,例如,切换电视频道、调节音量等,从而省去了寻找遥控器,操作遥控器的过程,将用户从对遥控器的依赖中解放出来,挥挥手即可实现对电视的控制。
但是,目前的手势控制技术在用户进行手势动作时,电视终端无法提醒用户与电视之间保持有效的距离。比如,家里的小孩或者家人,若没有提醒他当前的手势控制的距离是否正确,则容易出现用户手势操作时距离电视过近,由此造成以下两个问题:
第一、造成手势识别系统识别不正确,例如:用户离摄像头太近,摄像头无法获取到用户的手势图片,造成系统无法正确识别用户的手势;
第二、用户的手会触及到电视,造成手受伤;例如:电视放在客厅的柜子上,小朋友看见爸妈做手势动作,自己去模仿,由于小朋友离电视很近,用手挥动时会拍打在电视上,造成手受伤等。
技术实现要素:
本发明的主要目的在于提供一种手势操作控制方法、装置及智能显示终端,旨在提升手势控制系统对手势动作的识别精度,避免用户造成操作伤害。
为了达到上述目的,本发明提出一种手势操作控制方法,包括:
采集操作者图像信息;
根据所述操作者图像信息识别操作者的身份,获取操作者的身份信息;
根据所述操作者的身份信息查找预设的距离匹配表,获取操作者相对终端的有效手势操作距离并提醒操作者。
优选地,所述采集操作者图像信息的步骤之后还包括:
对所述操作者图像信息进行尺寸截取、色彩转换和/或去噪处理。
优选地,所述根据操作者图像信息识别操作者的身份信息的步骤包括:
从所述操作者图像信息中获取操作者的头像信息;
根据所述操作者的头像信息查找预设的图像库,获取操作者的身份信息。
优选地,所述采集操作者图像信息的步骤之后还包括:
根据所述操作者图像信息判断操作者当前手势动作是否为操作者的操作指令;若是,则执行步骤根据所述操作者图像信息识别操作者的身份信息;否则,不作处理。
优选地,所述根据操作者图像信息判断操作者当前手势动作是否为操作者的操作指令的步骤包括:
采用多目标跟踪的方式构建人体模型;
基于所述人体模型对所述操作者图像信息进行轨迹判别和动态手势识别;
若当前操作者图像信息为操作者的手势特征数据,则判定当前手势动作为操作者的操作指令;否则,为操作者的误操作。
优选地,所述获取操作者相对终端的有效手势操作距离并提醒操作者的步骤之后还包括:
根据操作者图像信息查找预设的手势识别功能表,根据查找结果对应调整终端相应的功能。
优选地,所述采集操作者图像信息的步骤之前还包括:
配置所述距离匹配表及手势识别功能表。
本发明还提出一种手势操作控制装置,包括:
采集模块,用于采集操作者图像信息;
识别模块,用于根据所述操作者图像信息识别操作者的身份,获取操作者的身份信息;
获取提醒模块,用于根据所述操作者的身份信息查找预设的距离匹配表,获取操作者相对终端的有效手势操作距离并提醒操作者。
优选地,该装置还包括:
处理模块,用于对所述操作者图像信息进行尺寸截取、色彩转换和/或去噪处理。
优选地,所述识别模块还用于从所述操作者图像信息中获取操作者的头像信息;根据所述操作者的头像信息查找预设的图像库,获取操作者的身份信息。
优选地,该装置还包括:
判断模块,用于根据所述操作者图像信息判断操作者当前手势动作是否为操作者的操作指令;若是,则由所述识别模块根据所述操作者图像信息识别操作者的身份信息;否则,不作处理。
优选地,所述判断模块还用于采用多目标跟踪的方式构建人体模型;基于所述人体模型对所述操作者图像信息进行轨迹判别和动态手势识别;若当前操作者图像信息为操作者的手势特征数据,则判定当前手势动作为操作者的操作指令;否则,为操作者的误操作。
优选地,该装置还包括:
执行模块,用于根据操作者图像信息查找预设的手势识别功能表,根据查找结果对应调整终端相应的功能。
优选地,该装置还包括:
配置模块,用于配置所述距离匹配表及手势识别功能表。
本发明还提出一种智能显示终端,包括如上所述的装置。
本发明提出的一种手势操作控制方法、装置及智能显示终端,通过采集操作者图像信息;根据操作者图像信息识别操作者的身份获取操作者的身份信息;根据操作者的身份信息查找预设的距离匹配表,获取操作者相对终端的有效手势操作距离并提醒操作者,使得手势控制系统可自动提醒操作者相对智能显示终端的有效距离,不仅提升了手势控制系统对操作者手势动作识别的精度,而且避免操作者造成操作伤害。
附图说明
图1是本发明手势操作控制方法第一实施例的流程示意图;
图2是本发明手势操作控制方法第二实施例的流程示意图;
图3是本发明手势操作控制方法第三实施例的流程示意图;
图4是本发明手势操作控制方法第四实施例的流程示意图;
图5是本发明手势操作控制方法第五实施例的流程示意图;
图6是本发明手势操作控制装置第一实施例的结构示意图;
图7是本发明手势操作控制装置第二实施例的结构示意图;
图8是本发明手势操作控制装置第三实施例的结构示意图;
图9是本发明手势操作控制装置第四实施例的结构示意图;
图10是本发明手势操作控制装置第五实施例的结构示意图。
为了使本发明的技术方案更加清楚、明了,下面将结合附图作进一步详述。
具体实施方式
如图1所示,本发明第一实施例提出一种手势操作控制方法,包括:
步骤S101,采集操作者图像信息;
本实施例方法运行环境涉及智能显示终端的手势控制系统,其中所述的智能显示终端可以为智能电视等显示设备,本实施例以电视举例说明。
上述手势控制系统的运行软件可以安装在电视上,用来识别手势操作的操作者面对电视的距离状态,并进行相应分析以提醒操作者调整相对电视的正确距离,即有效距离,从而实现对电视相关功能的手势控制。
首先采集操作者图像信息。操作者可以在电视前挥手进行手势操作,向电视系统发送遥控操作指令,以控制电视进行相应的功能调节,比如,调节电视音量的大小等。
电视手势控制系统可以通过安装在电视上的摄像头捕获操作者的手势操作,并获取操作者的图像信息,该操作者图像信息可以包括操作者的头、肩部以及手臂部分的图像信息,由此可以捕获到用户的手势动作。
步骤S102,根据所述操作者图像信息识别操作者的身份,获取操作者的身份信息;
电视手势控制系统在捕获到操作者的操作者图像信息后,从中获取操作者的头部信息,将此头部信息与预设的图像库进行匹配,以获取操作者的身份信息。该预设的图像库中根据不同的操作者身份存储有相应的头部信息,比如,爷爷、奶奶、爸爸和妈妈、小孩等的头部信息,因此根据捕获到的操作者当前的头部信息查找上述预设的图像库即可匹配识别到操作者的身份信息。
步骤S103,根据所述操作者的身份信息查找预设的距离匹配表,获取操作者相对终端的有效手势操作距离并提醒操作者。
本实施例预先为不同身份的操作者设定有各自相对电视的有效操作距离,比如,爷爷需要站在1-2米距离进行手势操作,等等,并将操作者身份信息与各自有效距离之间的对应关系存储在一距离匹配表中,如下表1所示。
表1
在使用时,操作者可以在进行手势操作前,根据系统设定选项,自行配置相应的距离值,也可以采用系统默认的推荐参考值,完成配置后将数据存储至上述距离匹配表中。
当操作者进行手势操作并识别到操作者的身份后,根据所述操作者的身份信息去查找该预设的距离匹配表,从中匹配获取操作者相对终端的有效手势操作距离,并将该距离值显示给操作者,由此可以提醒操作者相对于电视的正确的手势操作距离,操作者看到电视屏幕上显示的距离值后,若当前距离不符合显示距离要求,即可调整自己相对于电视屏幕的有效距离。比如,设定爷爷需要站在1-2米距离进行手势操作,若爷爷站在2米之外,则看到屏幕显示的有效距离后,爷爷调整该距离在1-2米的有效范围,以提高手势操作动作的识别准确率。又比如,设定儿子的有效距离为1米,儿子在进行手势操作时,则可以根据电视屏幕提醒信息保持与电视屏幕之间的有效距离,不仅提高手势操作动作的识别准确率,而且避免了离电视过近使手触及到电视而造成手受伤。
本实施例通过上述方案,采集操作者的操作者图像信息;根据操作者图像信息识别操作者的身份,获取操作者的身份信息;根据操作者的身份信息查找预设的距离匹配表,获取操作者相对终端的有效手势操作距离并显示给操作者,使得手势控制系统可自动提醒操作者相对智能显示终端的有效距离,不仅提升了手势控制系统对操作者手势动作识别的精度,而且避免操作者造成操作伤害。
如图2所示,本发明第二实施例提出一种手势操作控制方法,在上述第一实施例的基础上,在上述步骤S101之后还包括:
步骤S104,对所述操作者图像信息进行尺寸截取、色彩转换和/或去噪处理。
本实施例与上述第一实施例的区别在于,本实施例手势控制系统在捕获到操作者图像信息后,还需对该操作者图像信息进行相应的处理。
具体地,在捕获到操作者的操作信息后,需要对该信息进行分析,比如将操作者的头部和肩部数据进行处理,设定操作者影像的大小为适合的演算大小;对该操作者影像进行色彩转换,比如将RGB 24bit处理为8bit 灰阶;同时,对该影像数据进行去噪处理,以去除干扰。其中,去噪的方法可以选用低通滤波器来实现。
本实施例通过上述方案,可以提高操作者图像信息数据的准确性,从而为后续手势操作识别提供更准确的数据源,进一步提升了手势控制系统对操作者手势动作识别的精度。
如图3所示,本发明第三实施例提出一种手势操作控制方法,在上述第二实施例的基础上,在上述步骤S104之后还包括:
步骤S105,根据所述操作者图像信息判断操作者当前手势动作是否为操作者的操作指令;若是,则进入步骤S102,否则,不作处理,退出流程。
本实施例与上述第二实施例的区别在于,本实施例手势控制系统在采集到操作者的操作者图像信息并进行相应处理后,还需要对该信息是否为操作者的手势操作指令进行判断。
具体地,在判断时,可以采用以下方式:
首先采用多目标跟踪的方式构建人体模型;
其中,多目跟踪方法可以使用联合概率数据关联滤波器(JPDAF)、多假设跟踪(MHT)算法以及动态多位分配算法等等,上述各种算法可以采用现有成熟方案,在此不再赘述。
使用多目标跟踪方法,为这些手势运动对象找到各自所对应的目标,并根据这些轨迹符号为操作者人体部位手特征的有效目标建立人体模型。
在多目标的人体模型中,每一个有效目标都对应有相应的时空轨迹,有效目标都具有连续性的特点,且不同目标分别具有各自不同的表现形式。例如手势目标表现出运动的跨度。
然后基于所述人体模型对所述操作者图像信息进行轨迹判别和动态手势识别;若当前操作者图像信息为操作者的手势特征数据,则当前手势动作为操作者的操作指令;否则,为操作者的误操作。
本实施例通过上述方案,可以准确的识别操作者的手势操作是否为操作者需要进行的操作指令,由此可以有效排除操作者的误操作,进一步提升了手势控制系统对操作者手势动作识别的精度。
如图4所示,本发明第四实施例提出一种手势操作控制方法,在上述第三实施例的基础上,在上述步骤S103之后还包括:
步骤S106,根据操作者图像信息查找预设的手势识别功能表,根据查找结果对应调整终端相应的功能。
本实施例与上述第三实施例的区别在于,本实施例还包括系统根据操作者的手势操作调整相应的功能的方案。
具体地,本实施例预先根据操作者不同的手势操作匹配有对应的终端调节功能,并以此对应关系建立有一手势识别功能表,比如水平方向挥手表示调节电视音量大小,同时设定向左挥手表示增加音量,向右挥手表示减少音量,比如当手势从左向右运动20cm后,为音量调整增加一个单位,等等。
电视手势控制系统在识别出操作者的手势操作为正常的操作指令时,进行相应功能的调用,首先会根据获取的操作者操作者图像信息去查找预设的手势识别功能表,根据查找结果对应调整终端相应的功能。从而实现通过操作者手势操作控制电视功能的目的。
如图5所示,本发明第五实施例提出一种手势操作控制方法,在上述第四实施例的基础上,在上述步骤S101之前还包括:
步骤S100,配置所述距离匹配表及手势识别功能表。
本实施例与上述第四实施例的区别在于,本实施例还包括配置所述距离匹配表及手势识别功能表的方案。
具体地,操作者可以根据系统设定选项来配置距离匹配表及手势识别功能表,比如电视手势控制系统可以设置手势操作提示菜单,通过手势操作提示菜单的方式提醒操作者正确的距离范围以及手势对应的功能选项。
本实施例通过上述方案,配置距离匹配表及手势识别功能表,并采集操作者图像信息;根据操作者图像信息识别操作者的身份,获取操作者的身份信息;根据操作者的身份信息查找距离匹配表,获取操作者相对终端的有效手势操作距离并显示给操作者,使得手势控制系统可自动提醒操作者相对智能显示终端的有效距离,不仅提升了手势控制系统对操作者手势动作识别的精度,而且避免操作者造成操作伤害;此外还根据获取的操作者操作者图像信息去查找手势识别功能表,根据查找结果对应调整终端相应的功能,实现通过操作者手势操作控制电视功能的目的。
如图6所示,本发明第一实施例提出一种手势操作控制装置,包括:采集模块201、识别模块202以及获取提醒模块203,其中:
采集模块201,用于采集操作者图像信息;
识别模块202,用于根据所述操作者图像信息识别操作者的身份,获取操作者的身份信息;
获取显示模块203,用于根据所述操作者的身份信息查找预设的距离匹配表,获取操作者相对终端的有效手势操作距离并提醒操作者。
本实施例手势操作控制装置可以设置在智能显示终端上,作为该智能显示终端的手势控制系统,用来识别手势操作的操作者面对电视的距离状态,并进行相应分析以提醒操作者调整相对电视的正确距离,即有效距离,从而实现对电视相关功能的手势控制。
其中所述的智能显示终端可以为智能电视等显示设备,本实施例以电视举例说明。
首先采集模块201采集操作者图像信息。操作者可以在电视前挥手进行手势操作,向电视系统发送遥控操作指令,以控制电视进行相应的功能调节,比如,调节电视音量的大小等。
电视手势控制系统可以通过安装在电视上的摄像头捕获操作者的手势操作,并获取操作者的图像信息,该图像信息可以包括操作者的头、肩部以及手臂部分的图像信息。
电视手势控制系统在捕获到操作者图像信息后,通过识别模块202从中获取操作者的头部信息,将此头部信息与预设的图像库进行匹配,以获取操作者的身份信息。该预设的图像库中根据不同的操作者身份存储有相应的头部信息,比如,爷爷、奶奶、爸爸和妈妈、小孩等的头部信息,因此根据捕获到的操作者当前的头部信息查找上述预设的图像库即可匹配识别到操作者的身份信息。
本实施例预先为不同身份的操作者设定有各自相对电视的有效操作距离,比如,爷爷需要站在1-2米距离进行手势操作,等等,并将操作者身份信息与各自有效距离之间的对应关系存储在一距离匹配表中,如上表1所示。
在使用时,操作者可以在进行手势操作前,根据系统设定选项,自行配置相应的距离值,也可以采用系统默认的推荐参考值,完成配置后将数据存储至上述距离匹配表中。
当操作者进行手势操作并识别到操作者的身份后,获取提醒模块203根据所述操作者的身份信息去查找该预设的距离匹配表,从中匹配获取操作者相对终端的有效手势操作距离,并将该距离值显示给操作者,由此可以提醒操作者相对于电视的正确的手势操作距离,操作者看到电视屏幕上显示的距离值后,若当前距离不符合显示距离要求,即可调整自己相对于电视屏幕的有效距离。比如,设定爷爷需要站在1-2米距离进行手势操作,若爷爷站在2米之外,则看到屏幕显示的有效距离后,爷爷调整该距离在1-2米的有效范围,以提高手势操作动作的识别准确率。又比如,设定儿子的有效距离为1米,儿子在进行手势操作时,则可以根据电视屏幕提醒信息保持与电视屏幕之间的有效距离,不仅提高手势操作动作的识别准确率,而且避免了离电视过近使手触及到电视而造成手受伤。
本实施例通过上述方案,采集操作者图像信息;根据操作者图像信息识别操作者的身份,获取操作者的身份信息;根据操作者的身份信息查找预设的距离匹配表,获取操作者相对终端的有效手势操作距离并显示给操作者,使得手势控制系统可自动提醒操作者相对智能显示终端的有效距离,不仅提升了手势控制系统对操作者手势动作识别的精度,而且避免操作者造成操作伤害。
如图7所示,本发明第二实施例提出一种手势操作控制装置,在上述第一实施例的基础上,还包括:
处理模块204,用于对所述操作者图像信息进行尺寸截取、色彩转换和/或去噪处理。
本实施例与上述第一实施例的区别在于,本实施例手势控制系统在捕获到操作者图像信息后,还需对该操作者图像信息进行相应的处理。
具体地,在捕获到操作者图像信息后,需要对该信息进行分析,比如将操作者的头部和肩部数据进行处理,设定操作者影像的大小为适合的演算大小;对该操作者影像进行色彩转换,比如将RGB 24bit处理为8bit 灰阶;同时,对该影像数据进行去噪处理,以去除干扰。其中,去噪的方法可以选用低通滤波器来实现。
本实施例通过上述方案,可以提高操作者图像信息数据的准确性,从而为后续手势操作识别提供更准确的数据源,进一步提升了手势控制系统对操作者手势动作识别的精度。
如图8所示,本发明第三实施例提出一种手势操作控制装置,在上述第二实施例的基础上,还包括:
判断模块205,用于根据所述操作者图像信息判断操作者当前手势动作是否为操作者的操作指令;若是,则由所述识别模块202根据所述操作者图像信息识别操作者的身份信息;否则,不作处理。
本实施例与上述第二实施例的区别在于,本实施例手势控制系统在采集到操作者图像信息并进行相应处理后,还需要对该信息是否为操作者的手势操作指令进行判断。
具体地,在判断时,可以采用以下方式:
首先采用多目标跟踪的方式构建人体模型;
其中,多目跟踪方法可以使用联合概率数据关联滤波器(JPDAF)、多假设跟踪(MHT)算法以及动态多位分配算法等等,上述各种算法可以采用现有成熟方案,在此不再赘述。
使用多目标跟踪方法,为这些手势运动对象找到各自所对应的目标,并根据这些轨迹符号为操作者人体部位手特征的有效目标建立人体模型。
在多目标的人体模型中,每一个有效目标都对应有相应的时空轨迹,有效目标都具有连续性的特点,且不同目标分别具有各自不同的表现形式。例如手势目标表现出运动的跨度。
然后基于所述人体模型对所述操作者图像信息进行轨迹判别和动态手势识别;若当前操作者图像信息为操作者的手势特征数据,则当前手势动作为操作者的操作指令;否则,为操作者的误操作。
本实施例通过上述方案,可以准确的识别操作者的手势操作是否为操作者需要进行的操作指令,由此可以有效排除操作者的误操作,进一步提升了手势控制系统对操作者手势动作识别的精度。
如图9所示,本发明第四实施例提出一种手势操作控制装置,在上述第三实施例的基础上,还包括:
执行模块206,用于根据操作者图像信息查找预设的手势识别功能表,根据查找结果对应调整终端相应的功能。
本实施例与上述第三实施例的区别在于,本实施例还包括系统根据操作者的手势操作调整相应的功能的方案。
具体地,本实施例预先根据操作者不同的手势操作匹配有对应的终端调节功能,并以此对应关系建立有一手势识别功能表,比如水平方向挥手表示调节电视音量大小,同时设定向左挥手表示增加音量,向右挥手表示减少音量,比如当手势从左向右运动20cm后,为音量调整增加一个单位,等等。
电视手势控制系统在识别出操作者的手势操作为正常的操作指令时,进行相应功能的调用,首先会根据获取的操作者操作者图像信息去查找预设的手势识别功能表,根据查找结果对应调整终端相应的功能。从而实现通过操作者手势操作控制电视功能的目的。
如图10所示,本发明第五实施例提出一种手势操作控制装置,在上述第四实施例的基础上,还包括:
配置模块200,用于配置所述距离匹配表及手势识别功能表。
本实施例与上述第四实施例的区别在于,本实施例还包括配置所述距离匹配表及手势识别功能表的方案。
具体地,操作者可以根据系统设定选项来配置距离匹配表及手势识别功能表,比如电视手势控制系统可以设置手势操作提示菜单,通过手势操作提示菜单的方式提醒操作者正确的距离范围以及手势对应的功能选项。
本实施例通过上述方案,配置距离匹配表及手势识别功能表,并采集操作者图像信息;根据操作者图像信息识别操作者的身份获取操作者的身份信息;根据操作者的身份信息查找距离匹配表,获取操作者相对终端的有效手势操作距离并显示给操作者,使得手势控制系统可自动提醒操作者相对智能显示终端的有效距离,不仅提升了手势控制系统对操作者手势动作识别的精度,而且避免操作者造成操作伤害;此外还根据获取的操作者图像信息去查找手势识别功能表,根据查找结果对应调整终端相应的功能,实现通过操作者手势操作控制电视功能的目的。
需要说明的是,上述各功能模块可以通过电视的CPU(微处理器)进行控制。
此外,本发明还提出一种智能显示终端,该智能显示终端包括上述任意实施例中所述的装置,其中,该智能显示终端可以为智能电视等显示设备。
本发明实施例手势操作控制方法、装置及智能显示终端,通过采集操作者图像信息;根据操作者图像信息识别操作者的身份获取操作者的身份信息;根据操作者的身份信息查找预设的距离匹配表,获取操作者相对终端的有效手势操作距离并显示给操作者,使得手势控制系统可自动提醒操作者相对智能显示终端的有效距离,不仅提升了手势控制系统对操作者手势动作识别的精度,而且避免操作者造成操作伤害;此外还根据获取的操作者图像信息去查找手势识别功能表,根据查找结果对应调整终端相应的功能,实现通过操作者手势操作控制电视功能的目的。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。