一种人体卧姿状态识别方法及装置与流程

文档序号:14911774发布日期:2018-07-10 23:36阅读:181来源:国知局

本发明涉及图像处理技术领域,特别涉及一种人体卧姿状态识别方法及装置。



背景技术:

随着科学技术的发展和人们生活水平的提高,人们对智能家电的要求越来越高。现已出现很多具有人体识别功能的智能家电,可根据用户运动状态,自动对自身的工作状态进行调整。

根据用户的姿态,可将用户状态区分为立姿(站立、坐立和蹲立)状态和卧姿(仰卧、俯卧和侧卧)状态。当用户处于立姿状态时,其运动状态一般是较大幅度的运动,例如用户所处位置的变动。现有的智能家电主要对用户处于立姿状态时的运动状态进行识别,以智能空调为例,当用户从位置A移动到位置B时,智能空调根据用户位置的移动,自动调整自身的风向。

而当用户处于卧姿状态时,其运动状态一般是小幅度的运动,例如腿部的伸展或者头部的转动,现有的智能家电难以对用户卧姿状态的运动状态进行识别,使得智能家电无法根据用户的卧姿状态对自身工作状态进行调整,导致智能家电对自身工作状态进行调整的合理性较差。



技术实现要素:

本发明实施例提供了一种人体卧姿状态识别方法及装置,能提高智能家电对自身工作状态进行调整的合理性。

第一方面,本发明实施例提供了一种人体卧姿状态识别方法,包括:

连续采集待识别区域中的至少两帧待识别图像;

循环执行A1至A3,直至每一帧所述待识别图像的动态区域均被确定;

A1:将当前待识别图像与其上一帧待识别图像进行对比,确定所述当前待识别图像中的至少一个运动碎图块;其中,每一个所述运动碎图块与其上一帧待识别图像中相对应的图像块的色彩和/或灰度不同;

A2:当所述至少一个运动碎图块的数量大于预设的数量阈值时,对各个所述运动碎图块进行集成,以确定所述当前待识别图像的所述动态区域;

A3:确定当前待识别图像是否为所述至少两帧待识别图像中的最后一帧,如果是,则执行A4,否则,将所述当前待识别图像的下一帧待识别图像作为所述当前待识别图像;

A4:根据确定的各个所述动态区域,确定所述待识别区域中的人体卧姿动态区域。

优选地,

在所述连续采集待识别区域中的至少两帧待识别图像之后,进一步包括:

从各帧所述待识别图像中确定人体立姿特征数据;

在所述当所述至少一个运动碎图块的数量大于预设的数量阈值时,对各个所述运动碎图块进行集成之前,进一步包括:

分别确定各个所述运动碎图块中是否存在所述人体立姿特征数据,如果否,将所述运动碎图块作为有效碎图块;

则,所述至少一个运动碎图块的数量大于预设的数量阈值为:所述有效碎图块的数量大于预设的所述数量阈值;

优选地,

所述连续采集待识别区域中的至少两帧待识别图像,包括:

利用摄像头采集所述待识别图像;

在所述当所述至少一个运动碎图块的数量大于预设的数量阈值时,对各个所述运动碎图块进行集成之前,进一步包括:

根据所述摄像头的像素分辨率,建立所述待识别区域对应的空间坐标系;其中,将所述摄像头的安装位置作为所述空间坐标系的原点,所述摄像头的水平分辨率作为所述空间坐标系的x轴,所述摄像头的垂直分辨率作为所述空间坐标系的y轴;

在所述空间坐标系中确定高度基准线,其中,所述高度基准线与所述空间坐标系的x轴相互平行;

确定每一个所述运动碎图块在所述空间坐标系中的位置坐标;

根据各个所述位置坐标,从各个所述运动碎图块中确定出至少一个有效碎图块;其中,每一个所述有效碎图块的y轴坐标大于所述高度基准线的y轴坐标;

则,所述至少一个运动碎图块的数量大于预设的数量阈值为:所述有效碎图块的数量大于预设的所述数量阈值。

优选地,

当建立有所述空间坐标系时,在所述根据各个所述位置坐标,从各个所述运动碎图块中确定出至少一个有效碎图块之后,进一步包括:

针对每一个所述有效碎图块,均执行:

确定所述有效碎图块的端点在所述空间坐标系中的端点位置坐标;

根据所述端点位置坐标,确定所述有效碎图块的像素宽度;

确定所述像素宽度是否大于预设的宽度阈值,如果是,将所述有效碎图块确定为目标有效碎图块;

则,所述有效碎图块的数量大于预设的所述数量阈值为:所述目标有效碎图块的数量大于预设的所述数量阈值。

优选地,

当建立有所述空间坐标系时,所述对各个所述运动碎图块进行集成,以确定所述当前待识别图像的所述动态区域,包括:

确定每一个所述有效碎图块的端点在所述空间坐标系中的端点位置坐标;

根据各个所述端点位置坐标,从各个端点中确定出x轴坐标和y轴坐标最小的最小端点,以及x轴坐标和y轴坐标最大的最大端点;

根据所述最小端点和所述最大端点,确定各个有效碎图块对应的集成矩形区域;其中,所述集成矩形区域的对角线端点为所述最小端点和最大端点,且所述集成矩形区域的长和宽分别平行于所述空间坐标系的x轴和y轴;

将所述集成矩形区域确定为所述动态区域。

优选地,

进一步包括:

获取所述待识别区域中的至少一张样本图像;

根据各张所述样本图像,确定所述待识别区域中的人体轮廓模型;其中,所述人体轮廓模型包括至少两个部位区域;

则,所述根据确定的各个所述动态区域,确定所述待识别区域中的人体卧姿动态区域,包括:

分别确定各个所述动态区域是否在所述人体轮廓模型对应的范围内,如果是,将所述动态区域确定为目标动态区域,并确定每一个所述目标动态区域对应的所述部位区域;

确定每一个所述部位区域中对应的所述目标动态区域的区域数量,并确定所述区域数量是否大于预设的区域数量阈值,如果是,将所述部位区域作为所述人体卧姿动态区域。

优选地,

在所述确定所述待识别区域中的人体卧姿动态区域之后,进一步包括:

将各帧所述待识别图像进行存储;

则,所述获取所述待识别区域中的至少一张样本图像,包括:

从存储的各帧所述待识别图像中,获取所述样本图像。

第二方面,本发明实施例提供了一种人体卧姿状态识别装置,包括:采集单元、碎图块确定单元、碎图块集成单元和卧姿动态区域确定单元;其中,

所述采集单元,用于连续采集待识别区域中的至少两帧待识别图像;

所述碎图块确定单元,用于将当前待识别图像与其上一帧待识别图像进行对比,确定所述当前待识别图像中的至少一个运动碎图块;其中,每一个所述运动碎图块与其上一帧待识别图像中相对应的图像块的色彩和/或灰度不同;

所述碎图块集成单元,用于当所述至少一个运动碎图块的数量大于预设的数量阈值时,对各个所述运动碎图块进行集成,以确定所述当前待识别图像的所述动态区域;并确定待识别图像是否为所述至少两帧待识别图像中的最后一帧,如果是,触发所述卧姿动态区域确定单元,否则,将所述当前待识别图像的下一帧待识别图像作为所述当前待识别图像,并触发所述碎图块确定单元;

所述卧姿动态区域确定单元,用于根据确定的各个所述动态区域,确定所述待识别区域中的人体卧姿动态区域。

优选地,

进一步包括:第一降噪单元;其中,

所述第一降噪单元,用于从各帧所述待识别图像中确定人体立姿特征数据;分别确定各个所述运动碎图块中是否存在所述人体立姿特征数据,如果否,将所述运动碎图块作为有效碎图块;

所述碎图块集成单元,用于当所述有效碎图块的数量大于预设的所述数量阈值时,执行所述对各个所述运动碎图块进行集成;

优选地,

进一步包括:坐标系建立单元和第二降噪单元;其中,

所述采集单元,用于利用摄像头采集所述待识别图像;

所述坐标系建立单元,用于根据所述摄像头的像素分辨率,建立所述待识别区域对应的空间坐标系;其中,将所述摄像头的安装位置作为所述空间坐标系的原点,所述摄像头的水平分辨率作为所述空间坐标系的x轴,所述摄像头的垂直分辨率作为所述空间坐标系的y轴;

所述第二降噪单元,用于在所述空间坐标系中确定高度基准线,其中,所述高度基准线与所述空间坐标系的x轴相互平行;确定每一个所述运动碎图块在所述空间坐标系中的位置坐标;根据各个所述位置坐标,从各个所述运动碎图块中确定出至少一个有效碎图块;其中,每一个所述有效碎图块的y轴坐标大于所述高度基准线的y轴坐标;

所述碎图块集成单元,用于当所述有效碎图块的数量大于预设的所述数量阈值时,执行所述对各个所述运动碎图块进行集成;

优选地,

进一步包括:模型确定单元;

所述卧姿动态区域确定单元包括:范围确定子单元和数量确定子单元;其中,

所述模型确定单元,用于获取所述待识别区域中的至少一张样本图像,并根据各张所述样本图像,确定所述待识别区域中的人体轮廓模型;其中,所述人体轮廓模型包括至少两个部位区域;

所述范围确定子单元,用于分别确定各个所述动态区域是否在所述人体轮廓模型对应的范围内,如果是,将所述动态区域确定为目标动态区域,并确定每一个所述目标动态区域对应的所述部位区域;

所述数量确定子单元,用于确定每一个所述部位区域中对应的所述目标动态区域的区域数量,并确定所述区域数量是否大于预设的区域数量阈值,如果是,将所述部位区域作为所述人体卧姿动态区域。

优选地,

当存在所述坐标系建立单元时,

所述碎图块集成单元包括:端点确定子单元和集成区域确定子单元;其中,

所述端点确定子单元,用于确定每一个所述有效碎图块的端点在所述空间坐标系中的端点位置坐标;根据各个所述端点位置坐标,从各个端点中确定出x轴坐标和y轴坐标最小的最小端点,以及x轴坐标和y轴坐标最大的最大端点;

所述集成区域确定子单元,用于根据所述最小端点和所述最大端点,确定各个有效碎图块对应的集成矩形区域;其中,所述集成矩形区域的对角线端点为所述最小端点和最大端点,且所述集成矩形区域的长和宽分别平行于所述空间坐标系的x轴和y轴;将所述集成矩形区域确定为所述动态区域。

优选地,

当存在所述模型确定单元时,

所述卧姿动态区域确定单元,进一步用于将各帧所述待识别图像进行存储;

所述模型确定子单元,用于从存储的各帧所述待识别图像中,获取所述样本图像。

本发明实施例提供了一种人体卧姿状态识别方法及装置,通过从连续采集的各帧待识别图像中确定出其与上一帧待识别图像色彩和/或灰度不同的运动碎图块,当确定出的运动碎图块的数量大于预设的数量阈值时,对这些运动碎图块进行集成,以此确定出每帧待识别图像中的动态区域,然后根据确定出的各个动态区域,确定人体卧姿动态区域。由此,通过确定小幅度动作带来的运动碎图块,然后对各个运动碎图块进行集成,以此确定出人体卧姿动态区域。并且,当运动碎图块的数量大于预设的数量阈值时,才对各个运动碎图块进行集成,以避免少量运动碎图块表征的运动信息较少所带来的人体卧姿动态区域确定不准确的问题,由此实现了对用户处于卧姿状态时的运动状态的识别,使得智能家电可以根据用户的卧姿状态对自身工作状态进行调整,从而提高了智能家电调整自身工作状态的合理性。。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的一种人体卧姿状态识别方法的流程图;

图2是本发明一个实施例提供的一种待识别区域对应的空间坐标系的示意图;

图3是本发明一个实施例提供的一种集成运动碎图块的示意图;

图4是本发明另一个实施例提供的一种人体卧姿状态识别方法的流程图;

图5是本发明一个实施例提供的一种人体卧姿状态识别装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。

如图1所示,本发明实施例提供了一种人体卧姿状态识别方法,该方法可以包括以下步骤:

步骤101:连续采集待识别区域中的至少两帧待识别图像;

步骤102:将当前待识别图像与其上一帧待识别图像进行对比,确定所述当前待识别图像中的至少一个运动碎图块;其中,每一个所述运动碎图块与其上一帧待识别图像中相对应的图像块的色彩和/或灰度不同;

步骤103:当所述至少一个运动碎图块的数量大于预设的数量阈值时,对各个所述运动碎图块进行集成,以确定所述当前待识别图像的所述动态区域;

步骤104:判断当前待识别图像是否为所述至少两帧待识别图像中的最后一帧,如果是,则执行步骤106,否则,执行步骤105;

步骤105:将所述当前待识别图像的下一帧待识别图像作为所述当前待识别图像,并执行步骤102;

步骤106:根据确定的各个所述动态区域,确定所述待识别区域中的人体卧姿动态区域。

上述实施例中,通过从连续采集的各帧待识别图像中确定出其与上一帧待识别图像色彩和/或灰度不同的运动碎图块,当确定出的运动碎图块的数量大于预设的数量阈值时,对这些运动碎图块进行集成,以此确定出每帧待识别图像中的动态区域,然后根据确定出的各个动态区域,确定人体卧姿动态区域。由此,通过确定小幅度动作带来的运动碎图块,然后对各个运动碎图块进行集成,以此确定出人体卧姿动态区域。并且,当运动碎图块的数量大于预设的数量阈值时,才对各个运动碎图块进行集成,以避免少量运动碎图块表征的运动信息较少所带来的人体卧姿动态区域确定不准确的问题,由此实现了对用户处于卧姿状态时的运动状态的识别,使得智能家电可以根据用户的卧姿状态对自身工作状态进行调整,从而提高了智能家电调整自身工作状态的合理性。

本发明一个实施例中,在步骤101之后,可以进一步包括:

从各帧所述待识别图像中确定人体立姿特征数据;

在步骤103之前,可以进一步包括:

分别确定各个所述运动碎图块中是否存在所述人体立姿特征数据,如果否,将所述运动碎图块作为有效碎图块;

则,步骤103中的所述至少一个运动碎图块的数量大于预设的数量阈值为:所述有效碎图块的数量大于预设的所述数量阈值。

在本实施例中,通过合适的算法,例如帧间差法对各帧待识别图像进行立姿人体检测,获取人体立姿特征数据。这些数据可能将会对人体卧姿动态区域的确定造成干扰,因此需从各个运动碎图块中消除包括人体立姿特征数据的无效运动碎图块,即将不包括人体立姿特征数据的运动碎图块确定为有效碎图块,当这些有效碎图块的数量大于预设的数量阈值时,对各个有效碎图块进行集成,以提高确定人体卧姿动态区域的准确性。

本发明一个实施例中,步骤101的具体实施方式,可以包括:

利用摄像头采集所述待识别图像;

在步骤103之前,可以进一步包括:

根据所述摄像头的像素分辨率,建立所述待识别区域对应的空间坐标系;其中,将所述摄像头的安装位置作为所述空间坐标系的原点,所述摄像头的水平分辨率作为所述空间坐标系的x轴,所述摄像头的垂直分辨率作为所述空间坐标系的y轴;

在所述空间坐标系中确定高度基准线,其中,所述高度基准线与所述空间坐标系的x轴相互平行;

确定每一个所述运动碎图块在所述空间坐标系中的位置坐标;

根据各个所述位置坐标,从各个所述运动碎图块中确定出至少一个有效碎图块;其中,每一个所述有效碎图块的y轴坐标大于所述高度基准线的y轴坐标;

则,步骤103中的所述至少一个运动碎图块的数量大于预设的数量阈值为:所述有效碎图块的数量大于预设的所述数量阈值。

在本实施例中,配置的摄像头可为像素分辨率为WMAX×HMAX,且可补光的红外摄像头模组及其驱动程序,及其运行所需的软硬件需求,例如处理器、主板、扩展板、存储器、永存性存储器、网络接口、Flash和图形处理器等。配置的摄像头可采集待识别区域中的待识别视频,然后可从采集的待识别视频中解析出连续的至少两个关键帧,针对解析出的每一帧在其时域上进行中值滤波处理后,对其进行色彩和灰度转换,即形成对应的各帧待识别图像。

对每相邻两帧待识别图像来说,将上一帧初始化处理后作为背景模型,当前帧与上一帧背景模型进行前景比较,以建立前景像素群并分类标识,由此确定出运动碎图块。然后,根据摄像头的像素分辨率建立待识别区域对应的空间坐标系,其中,x轴的最大值为WMAX,y轴的最大值为HMAX,一般情况下,一个空间中的摄像头安装在该空间的顶部,以便于对空间内图像的采集。因此建立的空间坐标系的y轴方向为由上至下,如图2所示。并且,人体处于卧姿状态时,其运动范围具有高度限制,因此在该空间坐标系中确定与x轴相互平行的高度基准线y=Hstd,以消除低于此高度基准线的无效运动碎图块。

具体地,确定每一个运动碎图块在该空间坐标系的位置坐标,由于一般情况下的运动碎图块为一矩形图块,为了便于确定其位置坐标时,可统一用同一端点坐标表征该运动碎图块的位置坐标。例如,统一用各个运动碎图块的左上方端点坐标表征该运动碎图块在空间坐标系中的位置坐标。当运动碎图块的y轴坐标小于Hstd时,说明该运动碎图块在靠近待识别空间顶部的区域中。以一个房间作为待识别区域为例,当运动碎图块的y轴坐标小于Hstd时,说明该运动碎图块在靠近该房间天花板的区域,而人体处于卧姿状态时,其运动范围具有高度限制,这说明该运动碎图块并非由人体卧姿运动引起,因此将其作为无效运动碎图块进行消除。换言之,将y轴坐标大于高度基准线的y轴坐标的碎图块确定为有效碎图块,当这些有效碎图块的数量大于预设的数量阈值时,对各个有效碎图块进行集成,以提高确定人体卧姿动态区域的准确性。

实现该技术算法的运行平台可以为一套运行图像传感器驱动模块及检测控制的嵌入式操作系统平台。例如,运行环境为ARM及类似处理器芯片下的Linux平台、WiFi数据交互模型、无线连接功能模块、通讯功能用设备及接口等。

本发明一个实施例中,当建立有所述空间坐标系时,在所述根据各个所述位置坐标,从各个所述运动碎图块中确定出至少一个有效碎图块之后,可以进一步包括:

针对每一个所述有效碎图块,均执行:

确定所述有效碎图块的端点在所述空间坐标系中的端点位置坐标;

根据所述端点位置坐标,确定所述有效碎图块的像素宽度;

确定所述像素宽度是否大于预设的宽度阈值,如果是,将所述有效碎图块确定为目标有效碎图块;

则,所述有效碎图块的数量大于预设的所述数量阈值为:所述目标有效碎图块的数量大于预设的所述数量阈值。

在各帧待识别图像中,可能会出现由于环境亮度突变或光线反射等因素造成的闪烁像素点,由于这些闪烁像素点的颜色或灰度也会与其上一帧待识别图像中对应的图像块有所不同,因此在确定运动碎图块时,也能将这些闪烁像素点确定出来。若直接将这些闪烁像素点作为有效碎图块,则显然会影响运动区域的准确性。因此,根据闪烁像素点的区域大小特性,即闪烁像素点的出现一般是小范围的少量像素点,其宽度比有效运动碎图块小得多,根据此特性,可从有效碎图块中消除这些闪烁像素点。

为了准确确定出的闪烁像素点,利用抑制领域更新方式确认前景。然后可根据有效碎图块的端点位置坐标,确定出有效碎图块的像素宽度,当其像素宽度小于预设的宽度阈值时,可确定其为闪烁像素点,将其进行消除,即将像素宽度大于宽度阈值的有效碎图块作为真正有效的目标有效碎图块,从而进一步提高确定人体卧姿运动区域的准确性。

值得一提的是,由于摄像头的图像采集特征,即随着距离的增加,其像素分辨率逐渐减小,因此在设置宽度阈值时,可根据待识别区域中各个位置与摄像头的距离,确定多个宽度阈值,其中与摄像头距离越远的位置,其宽度阈值越小。例如,距离摄像头1m处的宽度阈值为a,距离摄像头2m处的宽度阈值为b,其中a>b。具体的阈值大小可以在研发时统计场景中的干扰数据,对干扰数据进行分析后再优化确定。在对比各个有效碎图块的像素宽度与宽度阈值的大小时,可根据各个有效碎图块在空间坐标系中的位置,先确定出其对应的宽度阈值,在将其像素宽度与对应的距离阈值相比较,以更准确的确定该有效碎图块是否为闪烁像素点,从而有利于进一步提高确定人体卧姿运动区域的准确性。

本发明一个实施例中,当建立有所述空间坐标系时,步骤103的具体实施方式,可以包括:

确定每一个所述有效碎图块的端点在所述空间坐标系中的端点位置坐标;

根据各个所述端点位置坐标,从各个端点中确定出x轴坐标和y轴坐标最小的最小端点,以及x轴坐标和y轴坐标最大的最大端点;

根据所述最小端点和所述最大端点,确定各个有效碎图块对应的集成矩形区域;其中,所述集成矩形区域的对角线端点为所述最小端点和最大端点,且所述集成矩形区域的长和宽分别平行于所述空间坐标系的x轴和y轴;

将所述集成矩形区域确定为所述动态区域。

例如,如图3所示,确定出3个有效碎图块A、B和C,其中,A的四个端点位置坐标分别为(1,1)、(2,1)、(1,2)和(2,2),B的四个端点位置坐标分别为(3/2,3/2)、(4,3/2)、(3/2,4)和(4,4),C的四个端点位置坐标分别为(6,5)、(7,5)、(6,6)和(7,6)。则其中的最小端点为A的左上角的端点(1,1),最大端点为C的右下角的端点(7,6)。根据最小端点和最大端点,可确定出A、B和C对应的集成矩形区域D,且D即为这几个有效碎图块集成后对应的动态区域。由此,根据各个有效碎图块的端点位置坐标,准确确定出各帧待识别图像中的动态区域,有利于提高人体卧姿运动区域的准确性。

本发明一个实施例中,可以进一步包括:获取所述待识别区域中的至少一张样本图像;

根据各张所述样本图像,确定所述待识别区域中的人体轮廓模型;其中,所述人体轮廓模型包括至少两个部位区域;

则步骤106的具体实施方式,可以包括:

分别确定各个所述动态区域是否在所述人体轮廓模型对应的范围内,如果是,将所述动态区域确定为目标动态区域,并确定每一个所述目标动态区域对应的所述部位区域;

确定每一个所述部位区域中对应的所述目标动态区域的区域数量,并确定所述区域数量是否大于预设的区域数量阈值,如果是,将所述部位区域作为所述人体卧姿动态区域。

由于用户处于卧姿状态时,其位置一般不会发生较大范围的变动,即在一定时间段内,其人体轮廓在待识别区域中的位置是相对固定的。因此可通过前期采集的多张样本图像,确定出待识别区域中的人体轮廓模型,并且该人体轮廓模型对应有多个部位区域,例如,头部和四肢分别为不同的部位区域。在确定出每帧待识别图像的动态区域之后,先确定该动态区域是否在人体轮廓模型中,如果否,则说明该动态区域为除用户以外的其他物体的运动造成的,例如该其他物体为位于卧姿状态的用户旁边的扫地机器人,则不能将此动态区域确定为人体卧姿动态区域。

当动态区域位于人体轮廓模型对应的范围内时,将其作为目标动态区域,并进一步确定目标动态区域对应的部位区域。当确定出各帧待识别图像中的各个目标动态区域对应的部位区域之后,则可确定出每个部位区域对应的目标动态区域的区域数量。例如,头部区域对应的目标动态区域为10个,腿部区域对应的目标动态区域为1个。由于人体为活物,其处于卧姿状态的一定时间段内,必定会出现多次活动,而不能在一定时间段内保持绝对静止。因此当某个部位区域的区域数量小于预设的区域数量阈值时,说明该部位区域对应的动态区域可能是由于待识别区域中的某个物品的瞬时移动引起的,例如,用户脚边一个凳子移动一次后,其位置在一段时间内不再发生变化,从而造成用户腿部区域对应的目标动态区域为1个。当某个部位区域对应的区域数量大于区域数量阈值时,则将该部位区域确定为人体卧姿动态区域。例如,当头部区域对应的区域数量阈值为5个时,头部区域即为人体卧姿动态区域。由此根据人体轮廓模型以及每个部位区域对应的动态区域数量,准确确定出人体卧姿动态区域,进一步提高了人体卧姿动态区域的准确性。

本发明一个实施例中,在步骤106之后,可以进一步包括:

将各帧所述待识别图像进行存储;

则,所述获取所述待识别区域中的至少一张样本图像,可以包括:

从存储的各帧所述待识别图像中,获取所述样本图像。

摄像头对待识别区域的图像采集过程为连续过程,对每帧待识别图像进行识别后,将其进行存储,然后可将存储的多帧待识别图像作为样本图像,确定人体轮廓模型,由此实现待识别图像的循环迭代过程,即采集的当前待识别图像可根据前n帧待识别图像进行分析,随着摄像头的持续采集,当前待识别图像也可存储,以作为新采集的待识别图像的对比对象,有利于为信息管理系统提供更多的人体特征数据。

另外,还可根据用户的需求协议,将存储的待识别图像以及确定出的人体卧姿动态区域等信息发送给控制系统,以执行其它关联运作,例如对智能家电工作状态的控制等,以丰富常用的摄像头模块更多的检测模式,满足更多场景下(立姿和卧姿)的用户需求。

如图4所示,本发明实施例提供了一种人体卧姿状态识别方法,该方法可以包括以下步骤:

步骤401:利用摄像头采集待识别区域对应的待识别视频。

步骤402:依次从所述待识别视频中解析出至少两个关键帧,对每一个所述关键帧进行中值滤波处理,并进行色彩和/或灰度转换,形成至少两帧待识别图像。

步骤403:从各帧所述待识别图像中确定人体立姿特征数据。

步骤404:分别判断各个所述运动碎图块中是否存在所述人体立姿特征数据,如果是,执行步骤405,否则执行步骤406。

步骤405,消除所述运动碎图块,并结束当前流程。

步骤406:根据所述摄像头的像素分辨率,建立所述待识别区域对应的空间坐标系,并在所述空间坐标系中确定高度基准线。

在这里,将摄像头的安装位置作为所述空间坐标系的原点,所述摄像头的水平分辨率作为所述空间坐标系的x轴,所述摄像头的垂直分辨率作为所述空间坐标系的y轴。由于摄像头的一般设置在待识别区域的顶部,因此建立的空间坐标系的y轴方向为由上至下。并且,人体处于卧姿状态时,其运动范围具有高度限制,因此在该空间坐标系中确定与x轴相互平行的高度基准线y=Hstd,以消除低于此高度基准线的无效运动碎图块。

步骤407:确定每一个所述运动碎图块在所述空间坐标系中的位置坐标,并根据各个所述位置坐标,从各个所述运动碎图块中确定出至少一个有效碎图块。

其中,确定出的每一个所述有效碎图块的y轴坐标大于所述高度基准线的y轴坐标,以保证有效碎图块在卧姿状态下的活动范围内。

步骤408:针对每一个所述有效碎图块,均执行:确定所述有效碎图块的端点在所述空间坐标系中的端点位置坐标,并根据所述端点位置坐标,确定所述有效碎图块的像素宽度。

步骤409:判断所述像素宽度是否大于预设的宽度阈值,如果是,执行步骤410,否则,执行步骤405。

在各帧待识别图像中,可能会出现由于环境亮度突变或光线反射等因素造成的闪烁像素点,这些闪烁像素点的出现一般是小范围的少量像素点,其宽度比有效运动碎图块小得多,根据此特性,可从有效碎图块中消除这些闪烁像素点。

步骤410:确定每一个所述有效碎图块的端点在所述空间坐标系中的端点位置坐标,并根据各个所述端点位置坐标,从各个端点中确定出x轴坐标和y轴坐标最小的最小端点,以及x轴坐标和y轴坐标最大的最大端点。

步骤411:根据所述最小端点和所述最大端点,确定各个有效碎图块对应的动态区域。

其中,动态区域对角线端点为所述最小端点和最大端点,且动态区域的长和宽分别平行于所述空间坐标系的x轴和y轴。

步骤412:分别判断各个动态区域是否在预设的人体轮廓模型对应的范围内,如果是,执行步骤413,否则结束当前流程。

由于用户处于卧姿状态时,其位置一般不会发生较大范围的变动,即在一定时间段内,其人体轮廓在待识别区域中的位置是相对固定的。因此可通过前期采集的多张样本图像,确定出待识别区域中的人体轮廓模型。这些样本图像可为存储的前期采集的已识别图像,即对每帧待识别图像进行识别后,将其进行存储,然后将存储的多帧待识别图像作为样本图像,确定人体轮廓模型,由此实现待识别图像的循环迭代过程。

确定出的人体轮廓模型对应有多个部位区域,例如,头部和四肢分别为不同的部位区域。在确定出每帧待识别图像的动态区域之后,先确定该动态区域是否在人体轮廓模型中,如果否,则说明该动态区域为除用户以外的其他物体的运动造成的,例如该其他物体为位于卧姿状态的用户旁边的扫地机器人,则不能将此动态区域确定为人体卧姿动态区域。

步骤413:将所述动态区域确定为目标动态区域,并确定每一个所述目标动态区域对应的所述部位区域。

步骤414:确定每一个所述部位区域中对应的所述目标动态区域的区域数量。

步骤415:判断所述区域数量是否大于预设的区域数量阈值,如果是,执行步骤416,否则结束当前流程。

步骤416:将所述部位区域确定为人体卧姿动态区域。

例如,头部区域对应的目标动态区域为10个,腿部区域对应的目标动态区域为1个。由于人体为活物,其处于卧姿状态的一定时间段内,必定会出现多次活动,而不能在一定时间段内保持绝对静止。因此当某个部位区域的区域数量小于预设的区域数量阈值时,说明该部位区域对应的动态区域可能是由于待识别区域中的某个物品的瞬时移动引起的,例如,用户脚边一个凳子移动一次后,其位置在一段时间内不再发生变化,从而造成用户腿部区域对应的目标动态区域为1个。当某个部位区域对应的区域数量大于区域数量阈值时,则将该部位区域确定为人体卧姿动态区域。例如,当头部区域对应的区域数量阈值为5个时,头部区域即为人体卧姿动态区域。

如图5所示,本发明实施例提供了一种人体卧姿状态识别装置,该装置可以包括:采集单元501、碎图块确定单元502、碎图块集成单元503和卧姿动态区域确定单元504;其中,

所述采集单元501,用于连续采集待识别区域中的至少两帧待识别图像;

所述碎图块确定单元502,用于将当前待识别图像与其上一帧待识别图像进行对比,确定所述当前待识别图像中的至少一个运动碎图块;其中,每一个所述运动碎图块与其上一帧待识别图像中相对应的图像块的色彩和/或灰度不同;

所述碎图块集成单元503,用于当所述至少一个运动碎图块的数量大于预设的数量阈值时,对各个所述运动碎图块进行集成,以确定所述当前待识别图像的所述动态区域;并确定待识别图像是否为所述至少两帧待识别图像中的最后一帧,如果是,触发所述卧姿动态区域确定单元504,否则,将所述当前待识别图像的下一帧待识别图像作为所述当前待识别图像,并触发所述碎图块确定单元502;

所述卧姿动态区域确定单元504,用于根据确定的各个所述动态区域,确定所述待识别区域中的人体卧姿动态区域。

本发明一个实施例中,该装置可以进一步包括:第一降噪单元;其中,

所述第一降噪单元,用于从各帧所述待识别图像中确定人体立姿特征数据;分别确定各个所述运动碎图块中是否存在所述人体立姿特征数据,如果否,将所述运动碎图块作为有效碎图块;

所述碎图块集成单元503,用于当所述有效碎图块的数量大于预设的所述数量阈值时,执行所述对各个所述运动碎图块进行集成;

本发明一个实施例中,该装置可以进一步包括:坐标系建立单元和第二降噪单元;其中,

所述采集单元501,用于利用摄像头采集所述待识别图像;

所述坐标系建立单元,用于根据所述摄像头的像素分辨率,建立所述待识别区域对应的空间坐标系;其中,将所述摄像头的安装位置作为所述空间坐标系的原点,所述摄像头的水平分辨率作为所述空间坐标系的x轴,所述摄像头的垂直分辨率作为所述空间坐标系的y轴;

所述第二降噪单元,用于在所述空间坐标系中确定高度基准线,其中,所述高度基准线与所述空间坐标系的x轴相互平行;确定每一个所述运动碎图块在所述空间坐标系中的位置坐标;根据各个所述位置坐标,从各个所述运动碎图块中确定出至少一个有效碎图块;其中,每一个所述有效碎图块的y轴坐标大于所述高度基准线的y轴坐标;

所述碎图块集成单元503,用于当所述有效碎图块的数量大于预设的所述数量阈值时,执行所述对各个所述运动碎图块进行集成;

本发明一个实施例中,该装置可以进一步包括:模型确定单元;

所述卧姿动态区域确定单元504可以包括:范围确定子单元和数量确定子单元;其中,

所述模型确定单元,用于获取所述待识别区域中的至少一张样本图像,并根据各张所述样本图像,确定所述待识别区域中的人体轮廓模型;其中,所述人体轮廓模型包括至少两个部位区域;

所述范围确定子单元,用于分别确定各个所述动态区域是否在所述人体轮廓模型对应的范围内,如果是,将所述动态区域确定为目标动态区域,并确定每一个所述目标动态区域对应的所述部位区域;

所述数量确定子单元,用于确定每一个所述部位区域中对应的所述目标动态区域的区域数量,并确定所述区域数量是否大于预设的区域数量阈值,如果是,将所述部位区域作为所述人体卧姿动态区域。

本发明一个实施例中,当存在所述坐标系建立单元时,所述碎图块集成单元503可以包括:端点确定子单元和集成区域确定子单元;其中,

所述端点确定子单元,用于确定每一个所述有效碎图块的端点在所述空间坐标系中的端点位置坐标;根据各个所述端点位置坐标,从各个端点中确定出x轴坐标和y轴坐标最小的最小端点,以及x轴坐标和y轴坐标最大的最大端点;

所述集成区域确定子单元,用于根据所述最小端点和所述最大端点,确定各个有效碎图块对应的集成矩形区域;其中,所述集成矩形区域的对角线端点为所述最小端点和最大端点,且所述集成矩形区域的长和宽分别平行于所述空间坐标系的x轴和y轴;将所述集成矩形区域确定为所述动态区域。

本发明一个实施例中,当存在所述模型确定单元时,所述卧姿动态区域确定单元504,进一步用于将各帧所述待识别图像进行存储;

所述模型确定子单元,用于从存储的各帧所述待识别图像中,获取所述样本图像。

上述装置内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。

本发明实施例提供了一种可读介质,包括执行指令,当存储控制器的处理器执行所述执行指令时,所述存储控制器执行本发明上述任一实施例提供的视频处理方法。

本发明实施例提供了一种存储控制器,包括:处理器、存储器和总线;所述存储器用于存储执行指令,所述处理器与所述存储器通过所述总线连接,当所述存储控制器运行时,所述处理器执行所述存储器存储的所述执行指令,以使所述存储控制器执行本发明上述任一实施例提供的视频处理方法。

综上所述,本发明以上各个实施例至少具有如下有益效果:

1、在本发明实施例中,通过从连续采集的各帧待识别图像中确定出其与上一帧待识别图像色彩和/或灰度不同的运动碎图块,当确定出的运动碎图块的数量大于预设的数量阈值时,对这些运动碎图块进行集成,以此确定出每帧待识别图像中的动态区域,然后根据确定出的各个动态区域,确定人体卧姿动态区域。由此,通过确定小幅度动作带来的运动碎图块,然后对各个运动碎图块进行集成,以此确定出人体卧姿动态区域。并且,当运动碎图块的数量大于预设的数量阈值时,才对各个运动碎图块进行集成,以避免少量运动碎图块表征的运动信息较少所带来的人体卧姿动态区域确定不准确的问题,由此实现了对用户处于卧姿状态时的运动状态的识别,使得智能家电可以根据用户的卧姿状态对自身工作状态进行调整,从而提高了智能家电调整自身工作状态的合理性。

2、在本发明实施例中,从各帧待识别图像中确定人体立姿特征数据,并将不包括人体立姿特征数据的运动碎图块确定为有效碎图块。当有效碎图块的数量大于预设的数量阈值时,才对各个有效碎图块进行集成。由此提高了确定人体卧姿动态区域的准确性。

3、在本发明实施例中,根据摄像头的像素分辨率,建立待识别区域对应的空间坐标系,并根据建立的空间坐标系,将y轴坐标大于高度基准线的运动碎图块作为有效碎图块。当有效碎图块的数量大于预设的数量阈值时,才对各个有效碎图块进行集成。由此提高了确定人体卧姿动态区域的准确性。

4、在本发明实施例中,根据每一个运动碎图块的端点在空间坐标系中的端点位置坐标,确定每一个运动碎图块对应的像素宽度,并将像素宽度大于预设的宽度阈值的运动碎图块作为有效碎图块,以消除运动碎图块中的闪烁像素点,从而进一步提高确定人体卧姿运动区域的准确性。

5、在本发明实施例中,根据各个有效碎图块集成的运动区域以及确定出的人体轮廓模型,确定在人体轮廓模型对应的区域内的目标动态区域,以及人体轮廓模型中的部位区域对应的目标动态区域的区域数量,当区域数量大于预设的区域数量阈值时,将该部位区域确定为人体卧姿动态区域,由此进一步提高了人体卧姿动态区域的准确性。

需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个······”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1