一种视频画面的显示方法及装置与流程

文档序号:18213090发布日期:2019-07-19 22:27阅读:383来源:国知局
一种视频画面的显示方法及装置与流程

本发明涉及通信技术领域,尤其涉及一种视频画面的显示方法及装置。



背景技术:

随着通信技术的发展,目前可以在视频图像处理的基础上通过网络来实现视频图像的实时传输,从而达到视频会议的效果。在生成视频画面的过程中,摄像设备可以通过采集当前时刻的一帧图像,并从图像中提取所拍摄的至少一个焦点来构成焦点集合;之后将待输出的画面窗口划分为若干子画面,并将焦点集合中的每个焦点对应的子图像块分别填充至不同的子画面中;在子图像块完成填充过程之后,输出由若干子画面组成的多画面,以实现视频画面的显示。

当相邻两帧图像中显示的人物发生变化时,由于上述方案的处理过程仅考虑到当前一帧图像所呈现的内容,因此,这相邻两帧图像在视频画面的显示过程中,容易出现前一帧图像与后一帧图像所显示的人物不一致的情况,比如:增加了人物或是减少了人物,这样会造成视频画面的不稳定,导致显示的视频画面存在较大的跳跃感。为了减少跳跃感所带来的影响,可以通过设置时间阈值的方式,定时刷新显示的视频画面。然而,若在视屏画面的显示过程中,有人物离开当前场景,且刷新视频画面的时间还未达到时间阈值,则会使视频画面在显示过程中存在较明显的滞后,同样会影响视频画面的显示效果。



技术实现要素:

本发明实施例提供一种视频画面的显示方法及装置,能够在视频画面的显示过程中减少跳跃感、降低滞后性。

为达到上述目的,本发明实施例采用如下技术方案:

第一方面,本发明实施例提供一种视频画面的显示方法,所述方法包括:

采集当前时刻的视频图像;对所述视频图像进行人体检测,得到人体检测信息,所述人体检测信息包括人物窗口的标识和坐标;将所述人体检测信息存储至指定存储空间,所述指定存储空间用于存储不同时刻的人体检测信息;确定所述人物窗口中在一定时间内连续出现的次数大于或等于次数阈值的窗口为第一目标窗口,所述一定时间为以所述当前时刻为截止时刻的时间段;根据所述第一目标窗口在所述一定时间内的坐标,确定所述第一目标窗口的运动参数,所述运动参数用于表示在所述一定时间内所述第一目标窗口的运动情况是否稳定;确定所述第一目标窗口中所述运动情况稳定的窗口为有效人物窗口;在视频画面中,显示所述有效人物窗口。

通过确定人物窗口在一定时间内连续出现的次数,来确定人物窗口是否具备能够被显示的条件。这就意味着,本发明的操作不仅是针对当前时刻所采集的视频图像来完成视频画面的显示,还需要考虑一定时间内人物窗口所处的状态,这样能够减低视频画面在显示过程中的跳跃感。并且,可以采用人体检测结果有效判断第一目标窗口在一定时间内的运动情况是否稳定,之后将运动情况稳定的窗口显示在视频画面中。这样就可以充分考虑到在当前时刻之前人物窗口的运动情况与当前时刻人物窗口的运动情况之间的关系,并针对每一帧图像完成实时的显示更新过程。因此,能够在视频画面的显示过程中减少跳跃感、降低滞后性。

在一个可能的设计中,所述运动参数包括第一位移参数和第二位移参数,所述根据所述第一目标窗口在所述一定时间内的坐标,确定所述第一目标窗口的运动参数,包括:根据第一坐标和第二坐标,确定所述第一位移参数,所述第一坐标为所述第一目标窗口在所述一定时间的起始时刻的坐标,所述第二坐标为所述第一目标窗口在所述一定时间的截止时刻的坐标,所述第一位移参数为所述第二坐标的横坐标与所述第一坐标的横坐标的差值,以及所述第二坐标的纵坐标与所述第一坐标的纵坐标的差值之和;根据所述一定时间内每一帧图像中所述第一目标窗口的坐标,确定所述第二位移参数,所述第二位移参数为在所述一定时间内每两帧相邻图像中所述第一目标窗口的距离之和。

通过确定一定时间内第一目标窗口的坐标来准确判断第一目标窗口的运动情况,从而更加准确的确定运动情况较稳定的有效人物窗口。因此,采用上述方式进行处理后的视频画面中所显示的人物窗口为在一定时间内连续出现次数满足一定条件的人物窗口,且该人物窗口的运动情况相对较稳定,这样可以进一步减少视频画面显示过程中产生的跳跃感。

在一个可能的设计中,所述运动情况稳定的窗口包括所述第一位移参数小于第一阈值,且所述第二位移参数小于第二阈值的第一目标窗口;当所述一定时间内包括两帧图像时,所述运动情况稳定的窗口包括所述第一位移参数大于或等于第一阈值,且所述第二位移参数小于第二阈值的第一目标窗口。

结合第一阈值、第二阈值,可以准确筛选出不同情况下的运动情况稳定的窗口。

在一个可能的设计中,在所述采集当前时刻的视频图像之后,包括:对所述视频图像进行人脸检测,得到人脸检测信息,所述人脸检测信息包括所述人物窗口是否检测到人脸,以及当所述人物窗口检测到人脸时的人脸图像;将所述人脸检测信息存储至所述指定存储空间,所述指定存储空间还用于存储不同时刻的人脸检测信息;在所述在视频画面中,显示所述有效人物窗口之前,包括:确定所述运动情况稳定的第一目标窗口中的第二目标窗口,所述第二目标窗口为包括所述人脸图像的窗口;确定所述第二目标窗口为所述有效人物窗口。

通过人脸检测的方式对第一目标窗口进行筛选,从而减少非有效人物窗口的显示。也就意味着,在视频画面的显示过程中,仅将第一目标窗口中的有效人物窗口进行显示,从而提高视频画面在显示过程中的准确性,同时,减少非有效人物窗口的误显示。

在一个可能的设计中,所述在视频画面中,显示所述有效人物窗口,包括:确定与所述视频图像相邻的前一帧图像中的有效人物窗口;当所述当前时刻的人物头肩区域未超出所述前一帧图像中的有效人物窗口的显示范围时,在所述视频画面中,显示所述前一帧图像中的有效人物窗口。

当当前时刻的人物头肩区域未超出前一帧图像中的有效人物窗口的显示范围时,使相邻两帧视频画面中有效人物窗口相同。这样可以减少视频画面中各个有效人物窗口的变化,从而避免视频画面在显示过程中因人物小幅度晃动而造成的视频画面的改变。

在一个可能的设计中,所述在视频画面中,显示所述有效人物窗口,包括:根据所述有效人物窗口的标识,在所述视频画面中,按照从左到右或从右到左的顺序显示经过排列的所述有效人物窗口。

采用上述方式,可以使所有的有效人物窗口有序显示。

在一个可能的设计中,在所述采集当前时刻的视频图像之后,包括:对所述视频图像进行轮廓检测,得到轮廓检测信息,所述轮廓检测信息包括所述人物窗口是否检测到轮廓,以及当所述人物窗口检测到轮廓时的轮廓图像;将所述轮廓检测信息存储至所述指定存储空间,所述指定存储空间还用于存储不同时刻的轮廓检测信息;在所述在视频画面中,显示所述有效人物窗口之前,包括:确定所述有效人物窗口是否存在对应的轮廓检测信息;所述在视频画面中,显示所述有效人物窗口,包括:当所述有效人物窗口存在对应的轮廓检测信息时,模糊所述轮廓图像外的背景,并建立前景与所述背景之间的过渡带;在所述视频画面中,显示完成过渡带建立的有效人物窗口。

通过模糊背景图像,来减少有效人物窗口中因背景图像过于杂乱而对前景图像在显示过程中所造成的影响。也就意味着,本发明考虑到相对于背景图像而言,前景图像的清晰显示更为重要,因此,可以通过模糊背景的方式,将人物图像较为清晰的显示在视频画面中。

在一个可能的设计中,在所述在所述视频画面中,显示完成过渡带建立的有效人物窗口之前,包括:当所述有效人物窗口不存在对应的轮廓检测信息时,获取在所述当前时刻之前距所述当前时刻最近的时刻的目标视频图像;对所述目标视频图像进行轮廓检测,得到所述目标视频图像的轮廓检测信息;根据所述目标视频图像的轮廓检测信息,建立所述有效人物窗口的过渡带。

采用上述方式可以确保每个有效人物窗口均可以通过轮廓检测的方式来实现后续的背景模糊处理,从而向用户呈现更加清晰的视频画面。

10、一种视频画面的显示装置,其特征在于,所述装置包括:

采集模块,用于采集当前时刻的视频图像;

检测模块,用于对所述采集模块采集的所述视频图像进行人体检测,得到人体检测信息,所述人体检测信息包括人物窗口的标识和坐标;

存储模块,用于将所述检测模块得到的所述人体检测信息存储至指定存储空间,所述指定存储空间用于存储不同时刻的人体检测信息;

确定模块,用于确定所述存储模块存储的所述人物窗口中在一定时间内连续出现的次数大于或等于次数阈值的窗口为第一目标窗口,所述一定时间为以所述当前时刻为截止时刻的时间段;

所述确定模块,还用于根据所述第一目标窗口在所述一定时间内的坐标,确定所述第一目标窗口的运动参数,所述运动参数用于表示在所述一定时间内所述第一目标窗口的运动情况是否稳定;

所述确定模块,还用于确定所述第一目标窗口中所述运动情况稳定的窗口为有效人物窗口;

显示模块,用于在视频画面中,显示所述确定模块确定的所述有效人物窗口。

11、根据权利要求10所述的装置,其特征在于,所述运动参数包括第一位移参数和第二位移参数,所述确定模块,具体用于:

根据第一坐标和第二坐标,确定所述第一位移参数,所述第一坐标为所述第一目标窗口在所述一定时间的起始时刻的坐标,所述第二坐标为所述第一目标窗口在所述一定时间的截止时刻的坐标,所述第一位移参数为所述第二坐标的横坐标与所述第一坐标的横坐标的差值,以及所述第二坐标的纵坐标与所述第一坐标的纵坐标的差值之和;

根据所述一定时间内每一帧图像中所述第一目标窗口的坐标,确定所述第二位移参数,所述第二位移参数为在所述一定时间内每两帧相邻图像中所述第一目标窗口的距离之和。

12、根据权利要求11所述的装置,其特征在于,所述运动情况稳定的窗口包括所述第一位移参数小于第一阈值,且所述第二位移参数小于第二阈值的第一目标窗口。

13、根据权利要求11所述的装置,其特征在于,当所述一定时间内包括两帧图像时,所述运动情况稳定的窗口包括所述第一位移参数大于或等于第一阈值,且所述第二位移参数小于第二阈值的第一目标窗口。

14、根据权利要求10至13中任意一项所述的装置,其特征在于,所述检测模块,还用于对所述视频图像进行人脸检测,得到人脸检测信息,所述人脸检测信息包括所述人物窗口是否检测到人脸,以及当所述人物窗口检测到人脸时的人脸图像;

所述存储模块,还用于将所述检测模块得到的所述人脸检测信息存储至所述指定存储空间,所述指定存储空间还用于存储不同时刻的人脸检测信息;

所述确定模块,还用于确定所述运动情况稳定的第一目标窗口中的第二目标窗口,所述第二目标窗口为包括所述人脸图像的窗口;

所述确定模块,还用于确定所述第二目标窗口为所述有效人物窗口。

15、根据权利要求14所述的装置,其特征在于,所述显示模块,具体用于:

确定与所述视频图像相邻的前一帧图像中的有效人物窗口;

当所述当前时刻的人物头肩区域未超出所述前一帧图像中的有效人物窗口的显示范围时,在所述视频画面中,显示所述前一帧图像中的有效人物窗口。

16、根据权利要求14所述的装置,其特征在于,所述显示模块,具体用于:

根据所述有效人物窗口的标识,在所述视频画面中,按照从左到右或从右到左的顺序显示经过排列的所述有效人物窗口。

17、根据权利要求14所述的装置,其特征在于,所述检测模块,还用于对所述视频图像进行轮廓检测,得到轮廓检测信息,所述轮廓检测信息包括所述人物窗口是否检测到轮廓,以及当所述人物窗口检测到轮廓时的轮廓图像;

所述存储模块,还用于将所述检测模块得到的所述轮廓检测信息存储至所述指定存储空间,所述指定存储空间还用于存储不同时刻的轮廓检测信息;

所述确定模块,还用于确定所述有效人物窗口是否存在对应的轮廓检测信息;

所述显示模块,具体用于:

当所述有效人物窗口存在对应的轮廓检测信息时,模糊所述轮廓图像外的背景,并建立前景与所述背景之间的过渡带;

在所述视频画面中,显示完成过渡带建立的有效人物窗口。

18、根据权利要求17所述的装置,其特征在于,所述采集模块,还用于当所述有效人物窗口不存在对应的轮廓检测信息时,获取在所述当前时刻之前距所述当前时刻最近的时刻的目标视频图像;

所述检测模块,还用于对所述采集模块获取的所述目标视频图像进行轮廓检测,得到所述目标视频图像的轮廓检测信息;

建立模块,用于根据所述检测模块得到的所述目标视频图像的轮廓检测信息,建立所述有效人物窗口的过渡带。

本发明实施例提供的一种视频画面的显示方法及装置,对采集的当前时刻的视频图像进行人体检测,得到人物窗口的标识和坐标,并存储至指定存储空间,之后将人物窗口中在一定时间内连续出现的次数大于或等于次数阈值的窗口确定为第一目标窗口,并根据第一目标窗口在一定时间内的坐标,确定用于表示第一目标窗口在一定时间内的运动情况是否稳定的运动参数,之后将运动情况稳定的窗口确定为有效人物窗口,并在视频画面中,显示有效人物窗口。相比较于现有技术中为了减少视频画面的跳跃感所带来的影响,通过设置时间阈值的方式,定时刷新显示的视频画面,本发明可以通过确定人物窗口在一定时间内连续出现的次数,来确定人物窗口是否具备能够被显示的条件。这就意味着,本发明的操作不仅是针对当前时刻所采集的视频图像来完成视频画面的显示,还需要考虑一定时间内人物窗口所处的状态,这样能够减低视频画面在显示过程中的跳跃感。并且,可以采用人体检测结果有效判断第一目标窗口在一定时间内的运动情况是否稳定,之后将运动情况稳定的窗口显示在视频画面中。这样就可以充分考虑到在当前时刻之前人物窗口的运动情况与当前时刻人物窗口的运动情况之间的关系,并针对每一帧图像完成实时的显示更新过程。因此,能够在视频画面的显示过程中减少跳跃感、降低滞后性。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种视频画面的显示方法流程图;

图2为本发明实施例提供的连续多帧的人体检测结果的时间轴;

图3为本发明实施例提供的另一种视频画面的显示方法流程图;

图4为本发明实施例提供的连续5帧视频图像中同一窗口所处位置的示意图;

图5为本发明实施例提供的一种同一窗口在连续5帧视频图像中的运动情况示意图;

图6为本发明实施例提供的另一种同一窗口在连续5帧视频图像中的运动情况示意图;

图7为本发明实施例提供的另一种同一窗口在连续2帧视频图像中的运动情况示意图;

图8为本发明实施例提供的另一种同一窗口在连续5帧视频图像中的运动情况示意图;

图9为本发明实施例提供的另一种视频画面的显示方法流程图;

图10为本发明实施例提供的一种人体检测结果的示意图;

图11为本发明实施例提供的一种人脸检测结果的示意图;

图12为本发明实施例提供的连续多帧的人脸检测结果的时间轴;

图13为本发明实施例提供的另一种视频画面的显示方法流程图;

图14为本发明实施例提供的连续多帧的人物窗口示意图;

图15为本发明实施例提供的归一化后连续多帧的人物窗口示意图;

图16为本发明实施例提供的一种人物窗口的示意图;

图17为本发明实施例提供的另一种视频画面的显示方法流程图;

图18为本发明实施例提供的经过排列后的人物窗口的示意图;

图19为本发明实施例提供的另一种视频画面的显示方法流程图;

图20为本发明实施例提供的视频图像经轮廓检测得到的检测结果示意图;

图21为本发明实施例提供的连续多帧的轮廓检测结果的时间轴;

图22为本发明实施例提供的一种轮廓检测结果与实际窗口的对比图;

图23为本发明实施例提供的确定像素点与中心区域之间的最小距离时的人物窗口示意图;

图24为本发明实施例提供的另一种视频画面的显示方法流程图;

图25为本发明实施例提供的另一种轮廓检测结果与实际窗口的对比图;

图26为本发明实施例提供的连续多帧的视频图像的时间轴;

图27为本发明实施例提供的一种视频画面的显示装置结构示意图;

图28为本发明实施例提供的一种设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

本发明实施例所提供的技术方案可以用于一种具有摄像功能及图像处理功能的设备,该设备能够完成视频图像的采集、视频图像的预处理、人体检测、人脸检测、轮廓检测等功能。此外,由于该设备能够将经过人体检测、人脸计策、轮廓检测,以及采集到的视频图像进行存储,因此,该设备还具有存储功能。本发明实施例提供一种视频画面的显示方法,如图1所示,该方法可以由上述设备来执行,该方法流程可以包括:

101、采集当前时刻的视频图像。

采集视频流,并通过对视频流进行处理,来获取视频流中的每一帧图像。其中,对于当前时刻所需要呈现的视频画面,可以通过上述方式进行采集,即采集当前时刻的这一帧图像,也就是采集当前时刻的视频图像。

102、对视频图像进行人体检测,得到人体检测信息。

其中,人体检测信息包括人物窗口的标识和坐标。

需要说明的是,人物窗口可以按照该窗口生成的先后顺序进行标识,并且,每个人物窗口的标识不相同。对于在之前的某一段时间内的每一帧图像中都出现的人物,可以采用同一标识的人物窗口进行锁定;而对于间隔一段时间后,再次出现的人物与间隔一段时间前所出现的人物相同时,虽然人物相同,但为了避免窗口显示过程中出现混乱的情况,此时,需要为该人物重新设置一个新的人物窗口,且这个新的人物窗口的标识与间隔一段时间之前的人物窗口的标识不同。

103、将人体检测信息存储至指定存储空间。

其中,指定存储空间用于存储不同时刻的人体检测信息。

指定存储空间具体可以为动态的小型容器。也就意味着,这个小型容器可以存储当前时刻,以及历史时间内每一帧图像经过人体检测之后得到的人体检测信息。

需要说明的是,由于小型容器的存储空间有限,因此,当小型容器的存储空间已满时,按照先进先出的原则,可以将小型容器中存入时间最早的人体检测信息,替换为当前时刻所采集的视频图像经过人体检测后得到的人体检测信息。因此,小型容器可以被视为动态的存储容器,当小型容器第一次被存满后,每次获取到新的视频图像之后,都可以将新的视频图像经过人体检测后得到的信息存储至小型容器,同时,为了确保有足够的存储空间可以用于存储新的人体检测信息,可以将小型容器中最早存入的人体检测信息删除。

在本发明实施例中,当小型容器处于未存满的状态时,由于以存储的人体检测信息不足以作为确定当前视频画面的基础,因此,在小型容器未存满时,可以不采用本发明所提供的技术方案,而使采用现有技术中所提供的技术方案,来完成视频画面的显示。

如图2所示为历史检测结果队列的示意图。以根据当前时刻的视频图像得到的人体检测结果为历史人体检测结果队列的最后一项人体检测结果。当需要结果历史人体检测结果队列中的人体检测结果来确定需要显示的有效窗口时,可以直接从对应的存储区域内调取。

104、确定人物窗口中在一定时间内连续出现的次数大于或等于次数阈值的窗口为第一目标窗口。

其中,一定时间为以当前时刻为截止时刻的时间段。

例如:在这里,次数阈值可以具体设置为5次。也就意味着,当目标人物在连续5帧图像或是在大于5帧的图像中均出现时,可以将锁定该人物的人物窗口作为可能被显示的人物窗口。

在本发明实施例中,次数阈值可以具体根据历史经验值进行设定。对于视频会议这种应用场景而言,次数阈值的设定主要是为了用于区分与会者和诸如递送资料、文件的那些不属于与会者的其他人员。也就是说,在本发明实施例中,仅在视频画面中显示长时间处于视频会议中的与会者,为了减少视频画面中出现不必要的人物窗口,同时降低视频画面的跳跃感,对于穿梭在会议室中的不相干人员,则不必要显示在视频画面中。

105、根据第一目标窗口在一定时间内的坐标,确定第一目标窗口的运动参数。

其中,运动参数用于表示在一定时间内第一目标窗口的运动情况是否稳定。

106、确定第一目标窗口中运动情况稳定的窗口为有效人物窗口。

由于经过步骤105所确定的运动参数可以表示第一目标窗口的运动情况是否稳定,因此,在本发明实施例中,为了有效减少窗口在显示过程中的不稳定性,可以将运动情况稳定的窗口作为有效人物窗口进行显示。

107、在视频画面中,显示有效人物窗口。

本发明实施例提供的一种视频画面的显示方法,对采集的当前时刻的视频图像进行人体检测,得到人物窗口的标识和坐标,并存储至指定存储空间,之后将人物窗口中在一定时间内连续出现的次数大于或等于次数阈值的窗口确定为第一目标窗口,并根据第一目标窗口在一定时间内的坐标,确定用于表示第一目标窗口在一定时间内的运动情况是否稳定的运动参数,之后将运动情况稳定的窗口确定为有效人物窗口,并在视频画面中,显示有效人物窗口。相比较于现有技术中为了减少视频画面的跳跃感所带来的影响,通过设置时间阈值的方式,定时刷新显示的视频画面,本发明可以通过确定人物窗口在一定时间内连续出现的次数,来确定人物窗口是否具备能够被显示的条件。这就意味着,本发明的操作不仅是针对当前时刻所采集的视频图像来完成视频画面的显示,还需要考虑一定时间内人物窗口所处的状态,这样能够减低视频画面在显示过程中的跳跃感。并且,可以采用人体检测结果有效判断第一目标窗口在一定时间内的运动情况是否稳定,之后将运动情况稳定的窗口显示在视频画面中。这样就可以充分考虑到在当前时刻之前人物窗口的运动情况与当前时刻人物窗口的运动情况之间的关系,并针对每一帧图像完成实时的显示更新过程。因此,能够在视频画面的显示过程中减少跳跃感、降低滞后性。

为了准确掌握第一目标窗口的运动情况,在本发明实施例的一个实现方式中,运动参数包括第一位移参数和第二位移参数,可以通过确定第一位移参数和第二位移参数,来确定第一目标窗口在一定时间内的运动情况。因此,在如图1所示的实现方式的基础上,还可以实现为如图3所示的实现方式。其中,步骤105根据第一目标窗口在一定时间内的坐标,确定第一目标窗口的运动参数,可以具体实现为步骤1051和步骤1052:

1051、根据第一坐标和第二坐标,确定第一位移参数。

其中,第一坐标为第一目标窗口在一定时间的起始时刻的坐标,第二坐标为第一目标窗口在一定时间的截止时刻的坐标,第一位移参数为第二坐标的横坐标与第一坐标的横坐标的差值,以及第二坐标的纵坐标与第一坐标的纵坐标的差值之和。

如图4所示为标识相同的人物窗口在连续5帧图像中所处的位置的示意图。其中,在第1至第5帧图像中,人物窗口的坐标依次为(20,30)、(40,33)、(120,60)、(180,100)和(240,140)。如图5所示为根据如图4所示的人物窗口在连续5帧图像中所处的位置所绘出的人物窗口运动轨迹。在本发明实施例中,第一位移参数具体可以为如图5所示的所有虚线段之和。

1052、根据一定时间内每一帧图像中第一目标窗口的坐标,确定第二位移参数。

其中,第二位移参数为在一定时间内每两帧相邻图像中第一目标窗口的距离之和。

在本发明实施例中,第一位移参数具体可以为如图5所示的所有实线段之和。需要说明的是,运动情况稳定的窗口包括第一位移参数小于第一阈值,且第二位移参数小于第二阈值的第一目标窗口;当一定时间内仅包括两帧图像时,运动情况稳定的窗口包括第一位移参数大于或等于第一阈值,且第二位移参数小于第二阈值的第一目标窗口。

例如:在如图5所示的运动轨迹中,第一位移参数大于或等于第一阈值,且第二位移参数大于或等于第二阈值。这就意味着,该人物很可能是路过会议室的无关人员,或是正在进入会场的与会人员。因此,人物窗口属于不稳定的窗口,即在视频画面中不显示该人物窗口。

在如图6所示的运动轨迹中,第一位移参数小于第一阈值,且第二位移参数大于或等于第二阈值。这就意味着,该人物可能是正在采集视频图像的设备所能够采集到的区域内来回走动的人物。因此,人物窗口属于不稳定的窗口,即在视频画面中不显示该人物窗口。

在如图7所示的运动轨迹中,由于只包括2帧图像所采集到的同一标识的人物窗口,且第一位移参数大于或等于第一阈值,第二位移参数小于第二阈值。这就意味着,该人物可能正在从自己的座位径直走到白板前进行讲解的与会人员。因此,可以选择显示或不显示该人物窗口,并当显示该人物窗口时,使人物窗口随着人物的移动而移动,当不显示该人物窗口时,待人物移动到某一位置并停止移动后,重新显示该人物位置所对应的人物窗口。

在如图8所示的运动轨迹中,第一位移参数小于第一阈值,且第二位移参数小于第二阈值。这就意味着,该人物可能仅是在自己的座位上发生头部或身体某个部位晃动的人物。因此,人物窗口属于稳定的窗口,即在视频画面中显示该人物窗口,并当人物仅发生头部或身体等部位的晃动时,保证人物窗口不随着人物的晃动而移动,以确保视频画面的稳定性。

需要说明的是,在根据如图5至图8所示的运动轨迹来确定第一位移参数和第二位移参数时,可以根据公式d1=(x2-x1)+(y2-y1),以及公式进行计算,得到相邻两帧图像同一人物窗口的第一位移参数d1和第二位移参数d2。其中,在相邻两帧图像的前1帧图像中,人物窗口的坐标为(x1,y1),在相邻两帧图像的后1帧图像中,人物窗口的坐标为(x2,y2)。

本发明实施例提供的一种视频画面的显示方法,在确定第一目标窗口的运动情况的过程中,具体可以根据第一坐标和第二坐标,确定第一位移参数,并根据一定时间内每一帧图像中第一目标窗口的坐标,确定第二位移参数。之后通过比较第一位移参数与第一阈值的大小关系,以及比较第二位移参数与第二阈值的大小关系,来确定第一目标窗口在一定时间内的运动情况是否稳定。之后在视频画面中,显示运动情况稳定的有效人物窗口。相比较于现有技术中为了减少视频画面的跳跃感所带来的影响,通过设置时间阈值的方式,定时刷新显示的视频画面,本发明能够在减少视频画面显示过程中跳跃感、且降低滞后性的基础上,通过确定一定时间内第一目标窗口的坐标来准确判断第一目标窗口的运动情况,从而更加准确的确定运动情况较稳定的有效人物窗口。因此,采用上述方式进行处理后的视频画面中所显示的人物窗口为在一定时间内连续出现次数满足一定条件的人物窗口,且该人物窗口的运动情况相对较稳定,这样可以进一步减少视频画面显示过程中产生的跳跃感。

为了减少因人体检测有误而造成的人物窗口中并不包括人物图像的问题,在本发明实施例的一个实现方式中,可以在人体检测的基础上,通过人脸检测的方式对已有的人物窗口进行筛选。也就意味着,将人物窗口中存在人脸图像的窗口作为有效人物窗口进行显示,从而避免因人体检测有误而造成的非人物窗口显示的情况。因此,在如图1所示的实现方式的基础上,还可以实现为如图9所示的实现方式。其中,在执行完步骤101采集当前时刻的视频图像之后,可以执行步骤108和步骤109;在执行步骤107在视频画面中,显示有效人物窗口之前,可以执行步骤110和步骤111:

108、对视频图像进行人脸检测,得到人脸检测信息。

其中,人脸检测信息包括人物窗口是否检测到人脸,以及当人物窗口检测到人脸时的人脸图像。

由于当经过人体检测所得到的人物窗口中没有人物存在时,该窗口不会发生移动,也就意味着,无法通过对该窗口的运动情况进行识别来进行排除,且在人体检测过程中可能会出现误检测的情况,比如:如图10所示的情况,从而使最终确定的有效人物窗口中存在未包括人物的窗口,因此,为了减少上述问题的出现,在本发明实施例中,除了可以对视频图像进行人体检测,还可以同时对视频图像进行人脸检测,之后通过取人体检测结果和人脸检测结果的交集来确定最终的有效人物窗口。

其中,在如图10所示的画面中,标识为1、2、3的窗口为将视频图像经过人体检测后得到的人体检测结果。而在实际情况中,标识为2的窗口中并不存在人物,也就意味着,将同样的视频图像进行人脸检测后,仅能得到标识为1、3的窗口中所包括的人脸图像,如图11所示。

109、将人脸检测信息存储至指定存储空间。

其中,指定存储空间还用于存储不同时刻的人脸检测信息。

110、确定运动情况稳定的第一目标窗口中的第二目标窗口。

其中,第二目标窗口为包括人脸图像的窗口。

根据如图10和如图11所示的检测结果,可以确定标识为1、3的窗口为第二目标窗口。这样一来,对于那些通过人体监测没能成功过滤的窗口,可以直接通过人脸检测的方式进行过滤。并且,由于在进行第二目标窗口的确定过程中考虑到了预先存储在指定存储空间的人脸检测信息,因此,可以有效避免因为人物暂时扭头而导致的该人物通过人脸检测之后,无法得到有效的人脸检测信息,从而降低了人脸检测过程中的误检测情况的发生几率。在如图12所示的人脸检测结果示意图中,在当前时刻的所采集的视频图像经过人脸检测后未检测到人脸图像时,可以按照时间从当前时刻至历史时刻的顺序,通过从历史人脸检测结果队列结果中进行遍历,确定与当前时刻最接近的两个时刻的人脸检测结果仍为未检测到人脸图像,而在与当前时刻最接近的第三个时刻,以及更靠时间轴左侧的历史时刻之间能够找到匹配的人脸图像时,则可以认为在当前时刻以及最接近的两个时刻中,该人物处于暂时性扭头状态,即在这个时间段中无法成功检测到人脸检测信息。但是,考虑到在一定时间内,仍然可以检测到人物的人脸图像,因此,仍然可以认为该人物窗口中可以成功检测到人脸检测信息。

111、确定第二目标窗口为有效人物窗口。

本发明实施例提供的一种视频画面的显示方法,在显示有效人物窗口的过程中,可以在视频图像进行人体检测的基础上,通过人脸检测的方式来完成人物窗口的筛选,之后将运动情况稳定的第一目标窗口中包括人脸图像的窗口作为有效人物窗口进行显示。相比较于现有技术中为了减少视频画面的跳跃感所带来的影响,通过设置时间阈值的方式,定时刷新显示的视频画面,本发明能够在减少视频画面显示过程中跳跃感、且降低滞后性的基础上,通过人脸检测的方式对第一目标窗口进行筛选,从而减少非有效人物窗口的显示。也就意味着,在视频画面的显示过程中,仅将第一目标窗口中的有效人物窗口进行显示,从而提高视频画面在显示过程中的准确性,同时,减少非有效人物窗口的误显示。

为了降低视频画面在显示过程中的不稳定性,在本发明实施例的一个实现方式中,当当前时刻的人物头肩区域未超出前一帧图像中有效人物窗口的范围时,则当前时刻的有效人物窗口在显示过程中,与前一帧图像的有效人物窗口的长、宽,以及窗口的坐标均不发生变化。因此,在如图9所示的实现方式的基础上,还可以实现为如图13所示的实现方式。其中,步骤107在视频画面中,显示有效人物窗口,可以具体实现为步骤1071和步骤1072:

1071、确定与视频图像相邻的前一帧图像中的有效人物窗口。

1072、当当前时刻的人物头肩区域未超出前一帧图像中的有效人物窗口的显示范围时,在视频画面中,显示前一帧图像中的有效人物窗口。

如图14所示为一段时间内所采集到的连续几帧视频图像。由此可见,同一个标识的人物窗口,在每一帧图像中的长、宽及坐标可能不完全相同,且人物窗口中同一人物的大小也可能不同。为了确保在视频画面显示过程中,能提供给观看者较好的视觉感受,对于这种不必要的窗口大小及坐标的变化可以不实时呈现在视频画面中。

因此,在本发明实施例中,如图15所示,可以使每一帧视频图像中的人物窗口的显示大小都依赖于与其相邻的前一帧视频图像中的人物窗口。也就是在视频画面的播放过程中,通过将人物窗口进行归一化,以实现在一定时间内同一人物窗口的长、宽及坐标不发生变化。

需要说明的是,对于上述操作,需要确保当前时刻与会者的头肩区域未超出与其相邻时刻的前一帧视频图像中该与会者对应的人物窗口的显示范围。这就意味着,当与会者的运动幅度较小,即与会者在运动过程中一直处于人物窗口的范围内时,如图16所示,则可以使当前时刻显示的人物窗口的长、宽及坐标完全与前一时刻的人物窗口一致。

本发明实施例提供的一种视频画面的显示方法,在显示有效人物窗口的过程中,可以依据前一帧图像的有效人物窗口的长、宽,以及窗口的坐标,来确定当当前时刻的人物头肩区域未超出前一帧图像中的有效人物窗口的显示范围时,在视频画面中,显示前一帧图像中的有效人物窗口。相比较于现有技术中为了减少视频画面的跳跃感所带来的影响,通过设置时间阈值的方式,定时刷新显示的视频画面,本发明能够在减少视频画面显示过程中跳跃感、且降低滞后性的基础上,当当前时刻的人物头肩区域未超出前一帧图像中的有效人物窗口的显示范围时,使相邻两帧视频画面中有效人物窗口相同。这样可以减少视频画面中各个有效人物窗口的变化,从而避免视频画面在显示过程中因人物小幅度晃动而造成的视频画面的改变。

为了确保在视频画面中,有效人物窗口能够按照一定顺序来显示,在本发明实施例的一个实现方式中,可以将有效人物窗口按照标识进行有序排列,并进行显示。因此,在如图9所示的实现方式的基础上,还可以实现为如图17所示的实现方式。其中,步骤107在视频画面中,显示有效人物窗口,可以具体实现为步骤1073:

1073、根据有效人物窗口的标识,在视频画面中,按照从左到右或从右到左的顺序显示经过排列的有效人物窗口。

由于在视频图像的采集过程中,窗口的标识的格式具体可以为数字,并按照窗口的生成顺序递增。在本发明实施例中,为了确保视频画面在播放过程中,能够有序呈现给观看者,因此,可以按照从左到右或从右到左的顺序进行排列。

其中,排列过程中可以按照标识对应数字由大到小或由小到大的顺序进行排列,或者按照标识对应数字的单、双号进行排列。需要说明的是,在本发明实施例中,对于排列顺序的设置方式不作具体限定,可以根据观看者对视频画面显示的要求进行设置,比如:还可以将参与会议的与会者按照部门、工作年限、所处级别等信息进行排列。

例如:如图18所示为将各个有效人物窗口进行排列后的视频画面,在视频画面显示时,可以选择性显示窗口的标识和/或坐标,或者为了保持视频画面的整洁,仅将有效人物窗口及窗口内的人物图像进行显示。

本发明实施例提供的一种视频画面的显示方法,在显示有效人物窗口的过程中,可以按照有效人物窗口的标识对有效人物窗口进行重排,并按照重排后的顺序进行显示。相比较于现有技术中为了减少视频画面的跳跃感所带来的影响,通过设置时间阈值的方式,定时刷新显示的视频画面,本发明能够在减少视频画面显示过程中跳跃感、且降低滞后性的基础上,有序显示所有的有效人物窗口。

在视频画面的显示过程中,为了减少有效人物窗口中因背景图像过于杂乱而对前景图像的呈现时所造成的影响,在本发明实施例的一个实现方式中,可以通过对视频图像进行轮廓检测,之后将背景图像进行模糊处理,并通过建立前景与背景之间的过渡带而使有效人物窗口中的图像平滑显示。因此,在如图9所示的实现方式的基础上,还可以实现为如图19所示的实现方式。其中,在执行完步骤101采集当前时刻的视频图像之后,还可以执行步骤112和步骤113;在执行步骤107在视频画面中,显示有效人物窗口之前,还可以执行步骤114,且步骤107可以具体实现为步骤1074和步骤1075:

112、对视频图像进行轮廓检测,得到轮廓检测信息。

其中,轮廓检测信息包括人物窗口是否检测到轮廓,以及当人物窗口检测到轮廓时的轮廓图像。

例如:如图20所示为对视频图像进行轮廓检测之后,所能确定的3个人物轮廓。为了有效区分视频图像中的人物和背景,可以将视频图像中属于前景部分的图像显示为白色,将属于背景部分的图像显示为黑色。

113、将轮廓检测信息存储至指定存储空间。

其中,指定存储空间还用于存储不同时刻的轮廓检测信息。

需要说明的是,与历史人体检测结果队列、历史人脸检测结果队列类似,在本发明实施例中,可以将得到的轮廓检测信息以历史轮廓检测结果队列的方式进行统一的排列、存储,如图21所示。

114、确定有效人物窗口是否存在对应的轮廓检测信息。

1074、当有效人物窗口存在对应的轮廓检测信息时,模糊轮廓图像外的背景,并建立前景与背景之间的过渡带。

当有效人物窗口存在对应的轮廓检测信息时,也就是经过轮廓检测后,可以得到如图22所示的图像,也是理想情况下所得到的图像,这是可以根据图像中各点的像素值来建立前景与背景之间的过渡带。例如:在轮廓检测结果中,背景像素值为0,前景像素值则是为从1至255中的某一个数值,且前景像素值不一定完全相同。如图23所示,选取像素值大于指定阈值的区域为中心区域,计算有效人物窗口中其他像素与中心区域的最小距离,从而决定其他像素的归属。其中,指定阈值的设置主要是用于区分前景与背景,具体设置方式可以根据所采集的视频图像的对比度、亮度等能够影响前景与背景分离的参数,比如:可以将指定阈值设置为230。

在本发明实施例中,最小距离的计算过程具体可以为:先获取中心区域的边缘,其中,该边缘宽度仅为1像素,再计算有效人物窗口内非中心区域的像素点到边缘的距离。并且,从所有距离中选取最小距离。也就意味着,像素点与中心区域的边缘之间存在多个距离,其中,如图23所示的距离像素点与中心区域两者之间的最小距离。之后可以根据最小距离来判定该像素点的值。需要说明的是,距离中心区域越近的像素点的值越接近前景,距离中心区域越远的像素点的值越接近背景,直至属于背景。

1075、在视频画面中,显示完成过渡带建立的有效人物窗口。

需要说明的是,采用上述方式可以得到经过平缓过度的有效人物窗口的图像。在本发明实施例中,过渡带可以使用alpha融合技术进行建立,或是采用其他能够使前景与背景图像之间实现平滑过度的技术进行有效人物窗口的处理,在此,对于进行过渡带建立的方式不作具体限定。

本发明实施例提供的一种视频画面的显示方法,在显示有效人物窗口的过程中,可以通过对视频图像进行轮廓检测来区分前景与背景,并通过模糊背景、建立前景与背景之间的过渡带来实现对有效人物窗口的处理,之后在视频画面中,显示完成过渡带建立的有效人物窗口。相比较于现有技术中为了减少视频画面的跳跃感所带来的影响,通过设置时间阈值的方式,定时刷新显示的视频画面,本发明能够在减少视频画面显示过程中跳跃感、且降低滞后性的基础上,通过模糊背景图像,来减少有效人物窗口中因背景图像过于杂乱而对前景图像在显示过程中所造成的影响。也就意味着,本发明考虑到相对于背景图像而言,前景图像的清晰显示更为重要,因此,可以通过模糊背景的方式,将人物图像较为清晰的显示在视频画面中。

为了确保每个有效人物窗口均可以通过轮廓检测的方式,来实现后续的背景模糊处理,在本发明实施例的一个实现方式中,对于当前时刻所采集的视频图像无法经过轮廓检测得到轮廓检测信息时,可以根据当前时刻之前距当前时刻最近的时刻的目标视频图像,来确定轮廓检测信息,从而成功完成背景模糊的处理。因此,在如图19所示的实现方式的基础上,还可以实现为如图24所示的实现方式。其中,在执行步骤1075在视频画面中,显示完成过渡带建立的有效人物窗口之前,还可以执行步骤115至步骤117:

115、当有效人物窗口不存在对应的轮廓检测信息时,获取在当前时刻之前距当前时刻最近的时刻的目标视频图像。

当有效人物窗口存在对应的轮廓检测信息时,也就是经过轮廓检测后,还可能得到不太理想的图像,比如得到如图25所示的图像,即只有部分有效人物窗口可以检测出轮廓。

116、对目标视频图像进行轮廓检测,得到目标视频图像的轮廓检测信息。

为了确保能够成功得到每一帧视频图像的轮廓检测信息,在当前时刻未能成功确定每个有效人物窗口的轮廓检测信息时,同样可以依照曾经存储的视频图像进行轮廓检测,直到得到轮廓检测信息为止。比如:如图26所示,在当前帧无法得到轮廓检测信息时,按照时间轴的反向方向逐一进行查询,直到找到图中所示的可用帧之后,将可用帧对应的视频图像作为目标视频图像来完成轮廓检测,并得到轮廓检测信息。

117、根据目标视频图像的轮廓检测信息,建立有效人物窗口的过渡带。

本发明实施例提供的一种视频画面的显示方法,在显示有效人物窗口的过程中,若当前时刻所采集的视频图像无法经过轮廓检测来区分前景和背景,则可以通过对当前时刻之前距离当前时刻最近的时刻的目标视频图像进行轮廓检测,来成功区分目标视频图像的前景与背景,并通过模糊背景、建立前景与背景之间的过渡带来实现对有效人物窗口的处理,之后在视频画面中,显示完成过渡带建立的有效人物窗口。相比较于现有技术中为了减少视频画面的跳跃感所带来的影响,通过设置时间阈值的方式,定时刷新显示的视频画面,本发明能够在减少视频画面显示过程中跳跃感、且降低滞后性的基础上,确保每个有效人物窗口均可以通过轮廓检测的方式,来实现后续的背景模糊处理,从而向用户呈现更加清晰的视频画面。

本发明实施例提供一种视频画面的显示装置20,如图27所示,该装置20能够用于执行如图1、图3、图9、图13、图17、图19、图24所示的方法流程,该装置20包括:

采集模块21,用于采集当前时刻的视频图像。

检测模块22,用于对采集模块21采集的视频图像进行人体检测,得到人体检测信息,人体检测信息包括人物窗口的标识和坐标。

存储模块23,用于将检测模块22得到的人体检测信息存储至指定存储空间,指定存储空间用于存储不同时刻的人体检测信息。

确定模块24,用于确定存储模块23存储的人物窗口中在一定时间内连续出现的次数大于或等于次数阈值的窗口为第一目标窗口,一定时间为以当前时刻为截止时刻的时间段。

确定模块24,还用于根据第一目标窗口在一定时间内的坐标,确定第一目标窗口的运动参数,运动参数用于表示在一定时间内第一目标窗口的运动情况是否稳定。

确定模块24,还用于确定第一目标窗口中运动情况稳定的窗口为有效人物窗口。

显示模块25,用于在视频画面中,显示确定模块24确定的有效人物窗口。

在本发明实施例的一个实现方式中,运动参数包括第一位移参数和第二位移参数,确定模块24,具体用于:

根据第一坐标和第二坐标,确定第一位移参数,第一坐标为第一目标窗口在一定时间的起始时刻的坐标,第二坐标为第一目标窗口在一定时间的截止时刻的坐标,第一位移参数为第二坐标的横坐标与第一坐标的横坐标的差值,以及第二坐标的纵坐标与第一坐标的纵坐标的差值之和;

根据一定时间内每一帧图像中第一目标窗口的坐标,确定第二位移参数,第二位移参数为在一定时间内每两帧相邻图像中第一目标窗口的距离之和。

需要说明的是,运动情况稳定的窗口包括第一位移参数小于第一阈值,且第二位移参数小于第二阈值的第一目标窗口;当一定时间内包括两帧图像时,运动情况稳定的窗口包括第一位移参数大于或等于第一阈值,且第二位移参数小于第二阈值的第一目标窗口。

在本发明实施例的一个实现方式中,检测模块22,还用于对视频图像进行人脸检测,得到人脸检测信息,人脸检测信息包括人物窗口是否检测到人脸,以及当人物窗口检测到人脸时的人脸图像。

存储模块23,还用于将检测模块22得到的人脸检测信息存储至指定存储空间,指定存储空间还用于存储不同时刻的人脸检测信息。

确定模块24,还用于确定运动情况稳定的第一目标窗口中的第二目标窗口,第二目标窗口为包括人脸图像的窗口。

确定模块24,还用于确定第二目标窗口为有效人物窗口。

在本发明实施例的一个实现方式中,显示模块25,具体用于:

确定与视频图像相邻的前一帧图像中的有效人物窗口;

当当前时刻的人物头肩区域未超出前一帧图像中的有效人物窗口的显示范围时,在视频画面中,显示前一帧图像中的有效人物窗口。

在本发明实施例的一个实现方式中,显示模块25,具体用于:

根据有效人物窗口的标识,在视频画面中,按照从左到右或从右到左的顺序显示经过排列的有效人物窗口。

在本发明实施例的一个实现方式中,检测模块22,还用于对视频图像进行轮廓检测,得到轮廓检测信息,轮廓检测信息包括人物窗口是否检测到轮廓,以及当人物窗口检测到轮廓时的轮廓图像。

存储模块23,还用于将检测模块22得到的轮廓检测信息存储至指定存储空间,指定存储空间还用于存储不同时刻的轮廓检测信息。

确定模块24,还用于确定有效人物窗口是否存在对应的轮廓检测信息。

显示模块25,具体用于:

当有效人物窗口存在对应的轮廓检测信息时,模糊轮廓图像外的背景,并建立前景与背景之间的过渡带;

在视频画面中,显示完成过渡带建立的有效人物窗口。

在本发明实施例的一个实现方式中,采集模块21,还用于当有效人物窗口不存在对应的轮廓检测信息时,获取在当前时刻之前距当前时刻最近的时刻的目标视频图像。

检测模块22,还用于对采集模块21获取的目标视频图像进行轮廓检测,得到目标视频图像的轮廓检测信息。

建立模块26,用于根据检测模块22得到的目标视频图像的轮廓检测信息,建立有效人物窗口的过渡带。

本发明实施例提供的一种视频画面的显示装置,对采集的当前时刻的视频图像进行人体检测,得到人物窗口的标识和坐标,并存储至指定存储空间,之后将人物窗口中在一定时间内连续出现的次数大于或等于次数阈值的窗口确定为第一目标窗口,并根据第一目标窗口在一定时间内的坐标,确定用于表示第一目标窗口在一定时间内的运动情况是否稳定的运动参数,之后将运动情况稳定的窗口确定为有效人物窗口,并在视频画面中,显示有效人物窗口。相比较于现有技术中为了减少视频画面的跳跃感所带来的影响,通过设置时间阈值的方式,定时刷新显示的视频画面,本发明可以通过确定人物窗口在一定时间内连续出现的次数,来确定人物窗口是否具备能够被显示的条件。这就意味着,本发明的操作不仅是针对当前时刻所采集的视频图像来完成视频画面的显示,还需要考虑一定时间内人物窗口所处的状态,这样能够减低视频画面在显示过程中的跳跃感。并且,可以采用人体检测结果有效判断第一目标窗口在一定时间内的运动情况是否稳定,之后将运动情况稳定的窗口显示在视频画面中。这样就可以充分考虑到在当前时刻之前人物窗口的运动情况与当前时刻人物窗口的运动情况之间的关系,并针对每一帧图像完成实时的显示更新过程。因此,能够在视频画面的显示过程中减少跳跃感、降低滞后性。

本发明实施例提供一种设备30,如图28所示,该设备30能够用于执行如图1、图3、图9、图13、图17、图19、图24所示的方法流程,该设备30包括处理器31和接口电路32,图中还示出了存储器33和总线34,该处理器31、接口电路32和存储器33通过总线34连接并完成相互间的通信。

需要说明的是,这里的处理器31可以是一个处理元件,也可以是多个处理元件的统称。例如,该处理元件可以是中央处理器(英文:Central Processing Unit,简称:CPU),也可以是特定集成电路(英文:Application Specific Integrated Circuit,简称:ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路,例如:一个或多个微处理器(英文:digital singnal processor,简称:DSP),或,一个或者多个现场可编程门阵列(英文:Field Programmable Gate Array,简称:FPGA)。

存储器33可以是一个存储装置,也可以是多个存储元件的统称,且用于存储可执行程序代码或接入网管理设备运行所需要参数、数据等。且存储器33可以包括随机存储器(简称:RAM),也可以包括非易失性存储器(英文:non-volatile memory),例如磁盘存储器,闪存(英文:Flash)等。

总线34可以是工业标准体系结构(英文:Industry Standard Architecture,简称:ISA)总线、外部设备互连(英文:Peripheral Component,简称:PCI)总线或扩展工业标准体系结构(英文:Extended Industry Standard Architecture,简称:EISA)总线等。该总线34可以分为地址总线、数据总线、控制总线等。为便于表示,图28中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

该设备30还可以包括输入输出装置,连接于总线34,以通过总线34与处理器31等其它部分连接。

其中,处理器31调用存储器33中的程序代码,用于执行以上方法实施例中设备30执行的操作。例如,包括:

通过接口电路32采集当前时刻的视频图像。

通过处理器31对视频图像进行人体检测,得到人体检测信息,人体检测信息包括人物窗口的标识和坐标。

通过存储器33将人体检测信息存储至指定存储空间,指定存储空间用于存储不同时刻的人体检测信息。

通过处理器31确定人物窗口中在一定时间内连续出现的次数大于或等于次数阈值的窗口为第一目标窗口,一定时间为以当前时刻为截止时刻的时间段。

根据第一目标窗口在一定时间内的坐标,通过处理器31确定第一目标窗口的运动参数,运动参数用于表示在一定时间内第一目标窗口的运动情况是否稳定。

通过处理器31确定第一目标窗口中运动情况稳定的窗口为有效人物窗口。

通过接口电路32在视频画面中,显示有效人物窗口。

在本发明实施例的一个实现方式中,运动参数包括第一位移参数和第二位移参数,处理器31,具体用于:

根据第一坐标和第二坐标,确定第一位移参数,第一坐标为第一目标窗口在一定时间的起始时刻的坐标,第二坐标为第一目标窗口在一定时间的截止时刻的坐标,第一位移参数为第二坐标的横坐标与第一坐标的横坐标的差值,以及第二坐标的纵坐标与第一坐标的纵坐标的差值之和;

根据一定时间内每一帧图像中第一目标窗口的坐标,确定第二位移参数,第二位移参数为在一定时间内每两帧相邻图像中第一目标窗口的距离之和。

需要说明的是,运动情况稳定的窗口包括第一位移参数小于第一阈值,且第二位移参数小于第二阈值的第一目标窗口;当一定时间内包括两帧图像时,运动情况稳定的窗口包括第一位移参数大于或等于第一阈值,且第二位移参数小于第二阈值的第一目标窗口。

在本发明实施例的一个实现方式中,在采集当前时刻的视频图像之后,处理器31,还用于:

对视频图像进行人脸检测,得到人脸检测信息,人脸检测信息包括人物窗口是否检测到人脸,以及当人物窗口检测到人脸时的人脸图像;

将人脸检测信息存储至指定存储空间,指定存储空间还用于存储不同时刻的人脸检测信息。

在视频画面中,显示有效人物窗口之前,处理器31,还用于:

确定运动情况稳定的第一目标窗口中的第二目标窗口,第二目标窗口为包括人脸图像的窗口;

确定第二目标窗口为有效人物窗口。

在本发明实施例的一个实现方式中,接口电路32,具体用于:

确定与视频图像相邻的前一帧图像中的有效人物窗口;

当当前时刻的人物头肩区域未超出前一帧图像中的有效人物窗口的显示范围时,在视频画面中,显示前一帧图像中的有效人物窗口。

在本发明实施例的一个实现方式中,接口电路32,具体用于:

根据有效人物窗口的标识,在视频画面中,按照从左到右或从右到左的顺序显示经过排列的有效人物窗口。

在本发明实施例的一个实现方式中,在采集当前时刻的视频图像之后,处理器31,还用于:

对视频图像进行轮廓检测,得到轮廓检测信息,轮廓检测信息包括人物窗口是否检测到轮廓,以及当人物窗口检测到轮廓时的轮廓图像;

将轮廓检测信息存储至指定存储空间,指定存储空间还用于存储不同时刻的轮廓检测信息。

在视频画面中,显示有效人物窗口之前,处理器31,还用于:

确定有效人物窗口是否存在对应的轮廓检测信息。

接口电路32,具体用于:

当有效人物窗口存在对应的轮廓检测信息时,模糊轮廓图像外的背景,并建立前景与背景之间的过渡带;

在视频画面中,显示完成过渡带建立的有效人物窗口。

在本发明实施例的一个实现方式中,在视频画面中,显示完成过渡带建立的有效人物窗口之前,接口电路32,还用于:

当有效人物窗口不存在对应的轮廓检测信息时,获取在当前时刻之前距当前时刻最近的时刻的目标视频图像。

处理器31,还用于:

对目标视频图像进行轮廓检测,得到目标视频图像的轮廓检测信息;

根据目标视频图像的轮廓检测信息,建立有效人物窗口的过渡带。

本发明实施例提供的一种设备,对采集的当前时刻的视频图像进行人体检测,得到人物窗口的标识和坐标,并存储至指定存储空间,之后将人物窗口中在一定时间内连续出现的次数大于或等于次数阈值的窗口确定为第一目标窗口,并根据第一目标窗口在一定时间内的坐标,确定用于表示第一目标窗口在一定时间内的运动情况是否稳定的运动参数,之后将运动情况稳定的窗口确定为有效人物窗口,并在视频画面中,显示有效人物窗口。相比较于现有技术中为了减少视频画面的跳跃感所带来的影响,通过设置时间阈值的方式,定时刷新显示的视频画面,本发明可以通过确定人物窗口在一定时间内连续出现的次数,来确定人物窗口是否具备能够被显示的条件。这就意味着,本发明的操作不仅是针对当前时刻所采集的视频图像来完成视频画面的显示,还需要考虑一定时间内人物窗口所处的状态,这样能够减低视频画面在显示过程中的跳跃感。并且,可以采用人体检测结果有效判断第一目标窗口在一定时间内的运动情况是否稳定,之后将运动情况稳定的窗口显示在视频画面中。这样就可以充分考虑到在当前时刻之前人物窗口的运动情况与当前时刻人物窗口的运动情况之间的关系,并针对每一帧图像完成实时的显示更新过程。因此,能够在视频画面的显示过程中减少跳跃感、降低滞后性。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:Read-Only Memory,简称:ROM)或随机存储记忆体(英文:Random Access Memory,简称:RAM)等。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1