一种图像处理方法、装置及服务器与流程

文档序号:16036893发布日期:2018-11-24 10:09阅读:174来源:国知局
本申请涉及图像处理领域,尤其涉及一种图像处理方法、装置及服务器。
背景技术
在以图搜图等视频分析的应用中,较准确地获得目标的整体或其一部分的颜色值以提取特征或做相应的处理,是非常关键的技术。但目前用于确定目标的掩模(mask)尚未能完全准确框定目标的轮廓,mask中除了前景目标外,不可避免的会包含一部分背景图像。在一些情况下,这些背景图像对于确定前景目标的颜色会造成很大的噪声干扰。但目前的技术无法有效地去除mask中的背景图像,mask中都或多或少包含有除前景目标以外的背景图像。因此,在无法获得精准mask的情况下,在图像的增强处理中,mask中的背景图像不可避免地会对前景目标造成噪声干扰。技术实现要素:本发明实施例提供了一种图像处理方法、装置及服务器,能够降低mask中的背景图像对前景目标造成的干扰。本申请第一方面提供了一种图像处理方法,该方法包括以下步骤:将包含前景目标mask的边界框划分成多个小块,每个小块中包含至少一个像素;再确定所述mask占用的小块中的每个小块的色系;针对每种色系,确定该色系对应的缩放系数,将上述属于该色系的小块中的每个像素的亮度值乘以所述缩放系数,以对每种色系的小块进行分别处理。当前景目标和背景图像的颜色值差异很大时,背景图像对前景目标的干扰影响较大。本发明实施例中的图像处理方法基于上述原理,通过将包含前景目标的mask的边界框进行分块,即对mask进行了分块,之后,按照色系对分成的小块进行分类,从而区分出前景目标和背景图像中颜色值差异较大的小块,每一类的小块可采用不同的处理方式,同一类的小块采用相同的方式统一处理,以此实现在前景目标和背景图像的颜色值差异较大时,对前景目标和背景图像进行不同的处理,从而降低mask中背景图像对前景目标引起的干扰。可选的,每种色系对应的缩放系数具体可以是一个预先配置的缩放预设值,该缩放预设值为经过实验数据或数据模型训练得到的一个经验值。可选的,每种色系对应的缩放系数可以是根据该色系的小块的平均亮度值计算获得,具体计算过程为:先确定该色系对应的亮度预期值,计算属于该色系的小块所包含的像素的平均亮度值(第一平均亮度值);计算第一平均亮度值与亮度预期值之间的比值以得到该色系对应的缩放系数。可选的,确定mask占用的小块中的每个小块的色系的方法可以为:针对所述mask占用的小块中的每个小块,根据所述小块的背景亮度值、所述小块的目标部分的亮度值、所述小块的目标部分的饱和度值和所述小块的目标部分的色调值中的至少一个,确定所述小块的色系。其中,所述小块的背景亮度值是指所述边界框中除所述mask以外的多个像素的平均亮度值,所述小块的目标部分是指所述小块中属于所述mask的部分。具体的,根据小块的背景亮度值和小块的目标部分的亮度值确定所述小块的色系的方式为:先获取背景亮度值与光照系数的对应关系;根据该对应关系确定所述小块的背景亮度值对应的光照系数(第一目标光照系数),再将所述小块的目标部分的亮度值乘以第一目标光照系数以得到第一调整亮度值;再根据第一调整亮度值确定所述小块的色系。其中,根据第一调整亮度值确定该小块的色系具体为:通过判断第一调整亮度值是在哪个色系(黑暗色系、白亮色系或有色色系)对应的亮度值范围内来确定其所属的色系。具体的,根据小块的背景亮度值和小块的目标部分的亮度值确定所述小块的色系的方式为:先获取预置的背景亮度预设值;计算背景亮度预设值与小块的背景亮度值之间的比值以得到第二目标光照系数;将小块的目标部分的亮度值乘以第二目标光照系数以得到第二调整亮度值;根据第二调整亮度值确定所述小块的色系。其中,根据第二调整亮度值确定小块的色系的方法和上述根据第一调整亮度值确定小块的色系的方法可以相同。具体的,根据小块的目标部分的饱和度值和小块的目标部分的色调值确定所述小块的色系的方法为:判断该小块的目标部分的色调值是否在某个色系(第一色系)的色调阈值范围内;并判断该小块的目标部分的饱和度值是否在该第一色系的饱和度阈值范围内;若该小块的目标部分的色调值在第一色系的色调阈值范围内,且该小块的目标部分的饱和度值在第一色系的饱和度阈值范围内,则确定该小块的色系属于第一色系。需要说明的是,该方法可以结合其他方法一起对小块的色系进行判断。具体的,根据小块的背景亮度值、小块的目标部分的亮度值、小块的目标部分的饱和度值和小块的目标部分的色调值,确定该小块的色系包括:将该小块的背景亮度值、该小块的目标部分的亮度值、该小块的目标部分的饱和度值和该小块的目标部分的色调值输入参数模型中,以得到该小块的色系。可选的,确定参数模型的方法可以是:获取多组模型训练参数,每组模型训练参数包括色系确定参数和所述色系确定参数对应的色系值,其中色系确定参数包括背景图像的亮度值、选定前景目标的亮度值、选定前景目标的饱和度值和选定前景目标的色调值;将上述多组模型训练参数输入svm得到参数模型。第二方面,本发明实施例还提供一种图像处理装置,具体实现对应于上述第一方面提供的图像处理方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件程序实现。硬件和软件包括一个或多个与上述功能相对应的单元模块,所述单元模块可以是软件和/或硬件。一种可能的设计中,所述图像处理装置包括:小块划分单元,用于将边界框划分成多个小块,每个小块中包含至少一个像素,所述边界框中包含前景目标的掩膜mask;色系判断单元,用于确定所述mask占用的小块中的每个小块的色系;缩放系数确定单元,用于针对每种色系,确定所述色系对应的缩放系数;亮度调整单元,用于将属于所述色系的小块中的每个像素的亮度值乘以所述缩放系数。第三方面,本发明实施例提供了一种服务器,具体实现对应于上述第一方面提供的图像处理方法的功能。本发明实施例中的服务器可以包括:处理器、存储器及网络接口;其中,存储器用于存储程序代码,处理器调用所述存储器中的程序代码,以执行上述第一方面的图像处理方法中的全部或部分步骤。第四方面,本申请的提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的方法。本申请的又一方面提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的方法。从以上技术方案可以看出,因为只有当前景目标和背景图像的颜色值差异很大时,背景图像对前景目标的干扰影响较大,而mask中的前景目标和背景图像在一定程度上能够通过小块来区分。因此,在本发明实施例的图像处理过程中,先将边界框划分成多个小块,把mask占用的小块按照色系进行分类,以对前景目标和背景图像的颜色值差异较大的小块进行区分。进而针对每种色系,确定该色系对应的缩放系数,将属于该色系的小块中的每个像素的亮度值乘以所述缩放系数,以对同一类的小块采用相同的方式统一处理,且每一类的小块可以采用不同的处理方式,以此实现对mask中的前景目标和背景图像差异值较大的像素的不同处理。从而能够降低mask中背景图像对前景目标引起的干扰。附图说明图1a为本发明实施例中目标行人的边界框示意图;图1b为本发明实施例中图1a中的目标行人的mask示意图;图2为本发明实施例中的图像处理系统示意图;图3为本发明实施例中的图像处理方法流程图;图4为本发明实施例中的对图1b中的目标行人的mask的分块示意图;图5为本发明实施例中的判断色系时使用的一组帧图像;图6为本发明实施例中的图像处理装置的一种功能模块结构示意图;图7为本发明实施例中的服务器的硬件结构示意图。具体实施方式以下结合附图对本发明实施例进行进一步详细说明。mask中除了包含前景目标外,不可避免地包含背景噪声,背景噪声即为mask中除前景目标以外的背景图像。由于mask中包含背景噪声,并且很难有效地去除这些背景噪声。在一些情况下,例如:前景目标为黑色或者白色,而背景图像的亮度值与前景目标的亮度值差异较大时,这些背景噪声对于确定前景目标的颜色具有很大的干扰。如图1a为一帧图像中的目标行人(即前景目标)的边界框(boundingbox),其中,边界框是指包含前景目标的矩形框,一般来说,是包含前景目标的mask的最小矩形框。图1b为图1a中的目标行人的mask。从图1b中可以看出,mask中包含了行人两腿之间的背景和脚下的影子,这些背景图像不应该包含在mask中,这些背景图像会成为背景噪声,对确定目标行人的颜色造成干扰。例如,临近目标行人脚部的单个像素点的像素值为(0,0,1),如果mask中包含的背景地面(临近脚部附近)的像素点与行人临近脚部的像素点数量比例是1:3,那么这些像素点的平均像素值就可能为(48,47,50),这远远偏离的了目标行人脚部本应有的平均像素值(0,0,1),会导致很大的偏差。因此,本申请的目的是在mask不够准确,mask中包含有背景噪声的情况下,尽可能降低背景噪声对图像增强处理造成的干扰。当mask中的前景目标和背景图像的颜色值差异不大时,背景噪声对前景目标的影响会很有限,很可能不需要区分;只有当前景目标和背景图像的颜色值差异很大时,背景噪声对前景目标的干扰影响较大。因此,只需要对前景目标和背景图像的颜色值差异较大的像素进行区分,进行降噪处理,即可以避免背景图像对前景目标的干扰。本发明实施例中的图像处理方法基于上述原理,通过将mask中的像素进行分块,将其分成多个小块,把分块(即小块)按照色系进行分类,从而区分出前景目标和背景图像中颜色值差异较大的分块,每一类的分块可采用不同的处理方式,同一类的分块采用相同的方式统一处理,以此实现在前景目标和背景图像的颜色值差异较大时,对前景目标和背景图像进行不同的处理,从而降低mask中背景图像对前景目标引起的干扰。本发明实施例中的图像处理方法可以由网络设备执行,网络设备具体可以是各种形式的计算机设备,包括服务器、服务器集群、或是具有通信功能的终端设备。本发明实施例为了描述方便,以网络设备为服务器或服务器集群为例对本发明实施例中的方法进行说明。如图2所示,实现本发明实施例中实现图像处理方法的图像处理系统主要包括服务器和客户端设备两个网元。图2中的服务器可以是单个服务器,也可以是分布式部署的服务器集群。客户端设备可以为各种形式的计算机设备或用户设备,例如:手机、平板电脑、个人电脑(personalcomputer,pc)等终端设备。客户端设备通过网络与服务器进行通信,客户端设备向服务器发送图像处理请求。本发明实施例以图像处理请求为对视频中的图像处理为例进行说明,实际应用中,图像处理请求不一定是对视频中的图像进行处理,还可以是存储器中存储的单张或多张图像进行处理。服务器在进行视频图像处理时,通过视频内容管理程序执行客户端设备的图像处理请求,图像处理请求可以是图像增强处理,或光照处理等。之后,服务器将视频内容管理模块的图像处理结果返回给客户端设备。如图2所示,服务器中的视频内容管理程序包括管理模块和视频分析模块。其中,管理模块负责执行调度请求、资源管理和数据检索等功能。视频分析模块用于执行视频分析的功能,其包含图像预处理模块。图像预处理模块包含去除背景噪声模块及色系判断模块,去除背景噪声模块和色系判断模块具体用于执行本申请的方法实施例中的方法步骤。图像预处理模块将视频分析模块从存储模块读取的图像进行预处理并返回预处理的结果给视频分析模块中的核心分析模块,预处理的结果经由视频分析模块的核心分析模块进一步处理后,得到处理结果,最后服务器将处理结果返回给客户端设备。需要说明的是,图2所示的图像处理系统仅仅是一种示例,在实际应用中,图像处理系统的网元组成以及部署方式可以根据具体的应用场景而定。另外,图2中的视频内容管理程序中的功能模块划分也仅仅一种示例,仅为了说明视频图像处理的过程。下面结合图3对本发明实施例中的图像处理方法进行详细介绍。301、将包含前景目标的mask的边界框划分成多个小块,每个小块中包含至少一个像素;由于光照、前景目标的褶皱及遮挡,会导致前景目标的同一颜色的不同位置的像素点的像素值差异较大,基于像素点对色系进行判断及处理会导致很大的偏差,以致图像的明显失真。因此,基于多个像素点组成的小块为基本单位进行色系的判断比较合适。所以,本发明实施例将框定前景目标的边界框划分成n×m的小块,其中,可以是将边界框在水平方向上等分成n列,在竖直方向上等分成m行,以划分成n×m的小块。每个小块中包含至少一个像素。如此,边界框中的mask被划分成多个小块。mask中的有些小块全部属于前景目标;有些小块全部属于背景图像;有些小块一部分属于前景目标,一部分属于背景图像。以图1a所示的包含目标行人的边界框为例,图4是截取图1a中的目标行人的下半身的边界框,将下半身的边界框划分成多个小块。401所示的是边界框,402所示的轮廓为下半身的mask。下半身的mask中标记为h的是全部属于前景的每一小块;标记为g的是全部属于背景的每一小块;标记为s1的是一半及以上属于背景的每一小块;标记为s2的一半以上属于前景的每一小块;边界框中mask以外的其余未标记的小块均为全部属于背景的部分小块。通常,mask中标记为s1和s2的小块数量会远少于标记为h的小块数量。通过将边界框划分小块后,mask被划分成小块。需要说明的是,实际的步骤中不需要标记,图4中标记小块是属于前景还是属于背景,只是为了能够更好地理解mask中的前景部分(即前景目标)和背景部分(即背景图像)在一定程度上能够通过小块来区分。需要说明的是,因为本申请的目的是尽可能降低mask中的背景噪声对前景目标造成的干扰。因此,将边界框划分小块的实质是将mask划分成小块。因为边界框是规则的矩形,而mask是不规则的形状,因此,对包含mask的最小矩形框划分成小块比将mask划分成小块更合适。但在对边界框中的小块进行处理的过程中(即在步骤302和步骤303中),实际可以只对mask中涉及的小块进行处理,对边界框中mask中未涉及的小块可以不进行步骤302和步骤303中的处理,mask中未涉及的小块可以参阅如图4中mask以外,未被标记的属于背景图像的小块。此处mask中涉及的小块为mask占用的小块,即边界框中全部属于mask的小块,和一部分属于mask的小块。302、确定所述mask占用的小块中每个小块的色系;在将边界框划分成多个小块后,对边界框中mask占用的每一小块,分别判断其所属的色系。色系包括黑暗色系、有色色系、白亮色系中的一种。其中,黑暗色系是指黑、黑灰、藏青和藏黑等颜色及相近的颜色,它们的主要特点之一是图像在色调值(hue,h)保持不变或者变化很小,或者在光照强度不过度的情况下,亮度(value,v)分量的取值较小,v的取值范围也较小,例如v取值从0.02到0.18。有色色系指的是红、橙、黄、绿、青、蓝和紫等颜色及相近的颜色,它们的主要特点之一是图像在h值保持不变或者变化很小的情况下,v分量可以有很大的取值范围,并且v的取值可以较小也可以较大,例如从0.2到0.8。白亮色系是指白色或者相近的颜色,它们的主要特点之一是图像在h值保持不变或者变化很小的情况下,v分量的取值范围较小(相对有色色系而言),但v值较大,例如v取值从0.7到0.9。可选的,确定每一小块所属的色系的方法可以是:根据小块的背景亮度值、小块的目标部分的亮度值、小块的目标部分的饱和度值和小块的目标部分的色调值中的至少一个来确定小块的色系。其中,小块的目标部分是指该小块中属于前景目标的mask的部分,即属于mask中的像素。若对于某小块,整个小块都位于mask中,则该小块的目标部分为整个小块中的所有像素;若对于某小块,一部分位于mask中,一部分位于mask以外,则该小块的目标部分为位于mask中的那一部分像素。小块的目标部分的亮度值是指小块中属于mask中的像素的亮度平均值;小块的目标部分的饱和度值是指小块中属于mask中的像素的饱和度平均值;小块的目标部分的色调值是指小块中属于mask中的像素的色调平均值。小块的背景亮度值为边界框中除前景目标的mask以外多个像素的亮度平均值,具体可以是边界框中除mask以外的全部像素的平均亮度值,或是边界框中除mask以外的部分像素的平均亮度值,其中,部分像素可以是位于当前小块的临近区域的一部分像素。根据小块的背景亮度值、小块的目标部分的亮度值、小块的目标部分的饱和度值和小块的目标部分的色调值中的至少一个来确定小块的色系的具体方式包括:可以根据小块的背景亮度值和小块的目标部分的亮度值确定小块的色系;还可以直接根据小块的目标部分的亮度值确定小块的色系;还可以根据小块的前景目标的饱和度值和小块的前景目标的色调值,确定小块的色系。可选的,确定每一小块所属的色系的方法还可以是,通过将多组参数(每组参数包括色系值和用于确定该色系值的h、s和/或v值)输入机器学习模型进行训练得到参数模型,通过将某一小块的h、s和/或v值输入该参数模型中即可得到该小块的色系值。303、针对每种色系,确定该色系对应的缩放系数,将属于该色系的小块中的每个像素的亮度值乘以该缩放系数。在确定了mask占用的每一小块所属的色系后,将mask占用的所有小块按照色系进行分类,确定属于同一色系的所有小块。对于属于同一色系的每一个小块,对其进行“统一处理”。“统一处理”是为了抑制噪声,避免引起图像较大的失真以及明显的分块效应,降低前景目标的表观差异,例如降低不同光照下引起的表观差异,将边界框中的像素点的亮度值调整至正常光照环境下的亮度值。统一处理的方法为:针对每种色系,将属于该色系的小块中的每个像素的亮度值缩放同样的倍数,即乘以一个缩放系数。可选的,该缩放系数可以是预先配置的缩放预设值,该缩放预设值可以是根据实验数据或数据模型训练得到的一个经验值。例如:黑暗色系对应的缩放系数的取值范围可以在[0.5-5]区间,有色色系对应的缩放系数的取值范围可以在[0.625-2]区间,白亮色系对应的缩放系数的取值范围可以在[0.98-1.25]区间。可选的,该缩放系数可以是根据边界框中该色系的小块的亮度值计算获得。计算某一色系对应的缩放系数的步骤具体为:确定该色系对应的亮度预期值v0,计算属于该色系的小块包含的像素(即像素点)的平均亮度值(称第一平均亮度值)计算第一平均亮度值与亮度预期值之间的比值以得到在边界框中该色系对应的缩放系数。举例如下:例如,对某类小块计算得出根据各色系的亮度值的范围可知,这是黑暗色系的小块,并且其所处于光照较暗的环境,黑暗色系的亮度预期值v0=0.16,计算然后该类小块中的每一个像素点的亮度值都乘以4。每种色系中的小块,乘以该色系相对应的缩放系数后,得到的实际效果是将处于光照较暗环境的图像小块进行图像增强,使其与正常光照环境下的黑暗色系图像的亮度值更接近。这样就实现了黑暗色系、白亮色系和有色色系的像素点的独立处理。因为mask中的前景部分和背景部分在一定程度上能够通过小块来区分,因此,本发明实施例将边界框中的图像进行分块。在对图像进行分块后,把分块按照色系进行分类,因此能够对前景目标和背景图像的颜色值差异较大的像素进行区分。进而对同一类的分块采用相同的方式统一处理,每一类的分块可以采用不同的处理方式,以此实现对前景目标和背景图像差值较大的像素的不同处理,从而能够降低mask中背景图像对前景目标引起的干扰。下面详细介绍如何确定每一小块的色系。一、通过模糊区分法判断色系:在一些具体的实施例中,可以根据该小块的背景亮度值和该小块的目标部分的亮度值判断该小块的色系。具体判断方法为:获取预先设置的背景亮度值与光照系数的对应关系,该对应关系可以是通过大量的实验数据获得;然后根据背景亮度值与光照系数的对应关系,确定该小块的背景亮度值对应的目标光照系数(称为第一目标光照系数);将该小块的目标部分的亮度值乘以第一目标光照系数得到第一调整亮度值,以将该小块中属于mask的像素的亮度值调整至正常光照下的亮度值;再根据第一调整亮度值确定该小块的色系。其中,根据第一调整亮度值确定该小块的色系具体为,通过判断第一调整亮度值是在黑暗色系对应的v值范围,还是在有色色系对应的v值范围,还是在白亮色系分别对应的v值范围来确定其所属色系。当第一调整亮度值在黑暗色系对应的v值范围(可以设定为0.02-0.18)时,该小块的所属色系是黑暗色系;当第一调整亮度值v在有色色系对应的v值范围(可以设定为0.2-0.8)时,该小块的所属色系是有色色系;当第一调整亮度值v在白亮色系对应的v值范围(可以设定为0.7-0.9)时,该小块的所属色系是黑暗色系。进一步,若第一调整亮度值位于两个色系之间的临界值时(例如:0.18-0.2之间),无法确定当前小块的色系时,则可以结合临近的一个或多个小块的色系及其调整后的亮度值,判断当前小块的色系。在一些具体的实施例中,若某小块包含的像素全部位于前景目标的mask中,则可以根据该小块的目标部分的亮度值来确定该小块的色系。具体判断方法为:计算该小块中的像素的平均亮度值(称第二平均亮度值),根据第二平均亮度值确定该小块的色系。其中,根据第二平均亮度值确定该小块的色系的方法与所述根据第一调整亮度值确定小块的色系的方法相同:当第二平均亮度值v在黑暗色系对应的v值范围(可以设定为0.02-0.18)时,该小块的所属色系是黑暗色系;当第二平均亮度值v在有色色系对应的v值范围(可以设定为0.2-0.8)时,该小块的所属色系是有色色系;当第二平均亮度值v在白亮色系对应的v值范围(可以设定为0.7-0.9)时,该小块的所属色系是黑暗色系。下面以具体的数据进行举例:基于对待处理的多个样本(例如:5000个样本)数据的观察,获得背景亮度值与光照系数的对应关系,如表1所示,将背景亮度按照v值的大小,划分为暗、较暗、正常、较亮和亮五个范围,每个范围有对应的背景亮度v值和光照系数。表1背景v值背景明暗判断结果光照系数(本例取值)v<=0.3暗2.00.3<v<=0.44较暗1.40.44<v<=0.54正常1.10.54<v<=0.65较亮0.9v>0.65亮0.8光照系数用于调整不同光照的前景目标的v值,使其更接近正常光照情况下的v值。例如,如果当前小块的背景亮度的v值为0.4,根据表1中的背景v值范围和背景明暗判断结果,将背景亮度判断为较暗,其对应的光照系数为1.4。如果小块的目标部分的亮度为0.16,则将其调整为1.4*0.16=0.224,0.224属于有色色系的亮度值0.2-0.8的区间范围,因此,然后基于调整后的v值0.224判断该小块所属的色系为有色色系。下面以一组具体的图像数据进行本发明实施例中通过模糊区分法判断色系进行说明。一组具体的帧图像如图5示,该组图像帧中,每一帧图像是一个包含目标行人(前景目标为行人)的边界框,为了能够更直观地描述如何判断色系,本发明实施例以对边界框的分块为分成n×m=1×2=2个小块,将其划分为上半身和下半身两个小块为例进行说明。需要说明的是,在实际应用中,应将边界框划分成更多的小块,以使得更好的通过小块来区分mask中的前景部分和背景部分。图5示的一组帧图像(图像1至10)的图片名分别为0.001png、0.002png、0.003png……0.010png,计算每一帧图像的上半身的v值(v上)、下半身的v值(v下)以及背景v值(v背景),数值如下所示:其中,在图5所示举例中,上半身的v值(v上)是上半身对应的小块的目标部分的亮度值,即上半身的mask中的像素的平均亮度值;下半身的v值(v下)是下半身对应的小块的目标部分的亮度值,即下半身的mask中的像素的平均亮度值;在该举例中,认为上半身和下半身所处的光照比较平均,因此,v背景是上半身的小块的背景亮度值,也是下半身的小块的背景亮度值,该v背景值可以是取的上半身和下半身的mask以外的像素的亮度的平均值。根据表1中的背景v值与光照系数的对应关系,确定v背景对应的光照系数,将光照系数乘以对应的v上得到调整后的上半身的亮度值,将光照系数乘以对应的v下得到调整后的下半身的亮度值。各帧图像调整后的v上和v下如表2和表3所示:表2表3将预调整后的亮度值与0.18相比较,都小于0.18,因此可以判断出这10帧图像的下半身都属于黑暗色系;图像1、4、8、9和10的上半身为有色色系。而图像2、3、5、6和7的上半身亮度位于黑暗色系和有色色系的临界值:0.18-0.2的区间范围,因此,需要进一步通过其他方法判断图像2、3、5、6和7的上半身的色系。进一步,当通过调整后的亮度值无法确定上半身的色系时,可以结合临近的小块——即对应的下半身进行判断。因为上半身、下半身所处的光照环境大体相近,而下半身亮度值判断为黑暗色系,并且调整后的亮度值仍然很小,而上半身调整后的亮度值大于0.18,所以可以判断出图片2、3、5、6和7不是黑暗色,因此属于有色色系。进一步,如果结合下半身仍然无法确定其所属色系,为防止误判,可将其做二归类处理,即判断其既是黑暗色系也是有色色系,然后分别按两种色系进行处理,避免误判造成处理错误。二、通过hs的特定组合判断色系在一些具体的实施例中,可以根据小块的目标部分的hs的特定组合,直接确定该小块的所属色系,即根据小块的目标部分的饱和度值和该小块的目标部分的色调值,确定该小块的色系。该方法具体是:判断该小块的目标部分的色调值是否在某个色系(第一色系)的色调阈值范围内;并判断该小块的目标部分的饱和度值是否在该色系的饱和度阈值范围内;若该小块的目标部分的色调值在该色系的色调阈值范围内,且该小块的目标部分的饱和度值在该色系的饱和度阈值范围内,则确定该小块的色系属于该色系,即属于第一色系。其中,第一色系为黑暗色系、有色色系和白亮色系中的一种色系。某个色系的饱和度阈值范围与色调阈值范围是基于实验观察,得到的该色系对应的特定的饱和度范围和色调范围。例如:基于实验观察,有色色系中,红色的h和s有着特定的组合范围,当h在[0.9,1]区间,而相应地s也在[0.9,1]区间时,尽管v取值完全不同,可以确定该小块的颜色为红色,属于有色色系。需要说明的是,通过hs的特定组合判断色系的方法可以单独使用,也可以是结合其他色系判断方法一起使用。例如:下面的hsv数据为对如图5所示的上半身作为一个小块,计算得到的hsv数据为:图片名h上s上v上v背景0011.png0.9820.9360.0950.292通过本发明实施例中的模糊区分法无法确定所述图片0.011的色系,因为根据v背景及表1所示的背景亮度值与光照系数的对应关系,确定其光照系数为2.0,上半身的目标部分的亮度值v上乘以光照系数得到的调整后的v值为0.19,则刚好位于黑暗色系与有色色系的临界值区间(0.18-0.2),不好确定其色系。而结合hs的特定组合,该帧图像的h值和s值均位于[0.9,1]区间,可以确定该小块的颜色为红色,属于有色色系。三、通过综合评价法判断色系在一些具体的实施例中,还可以采用综合评价法确定小块的色系。综合评价法具体过程包括:获取预置的背景亮度预设值,其中,预置的背景亮度预设值可以是通过根据大量的图片的背景亮度值计算出的背景亮度平均值;再计算该背景亮度预设值与当前小块的背景亮度值之间的比值以得到第二目标光照系数;再针对每个小块,将该小块的前景目标亮度值乘以得到的第二目标光照系数得到第二调整亮度值,以将该小块的亮度值调整至正常光照下的亮度值,再根据该第二调整亮度值确定该小块的色系。其中,当前小块的背景亮度值是边界框中除mask以外的多个像素的平均亮度值,边界框中除mask以外的多个像素可以是边界框中除mask以外的全部像素,或是边界框中除mask以外的部分像素,其中,部分像素可以是位于当前小块的临近区域的一部分像素。其中,根据第二调整亮度值确定该小块的色系的方法与所述根据第一调整亮度值确定小块的色系的方法相同:即当第二调整亮度值v在黑暗色系对应的v值范围(可以设定为0.02-0.18)时,该小块的所属色系是黑暗色系;当第二调整亮度值v在有色色系对应的v值范围(可以设定为0.2-0.8)时,该小块的所属色系是有色色系;当第二调整亮度值v在白亮色系对应的v值范围(可以设定为0.7-0.9)时,该小块的所属色系是黑暗色系。下面以一组具体的图像数据进行本发明实施例中通过综合评价法判断色系进行说明。首先获取现有数据库中数百万张图片,计算这些图片的背景亮度的均值,若计算结果为0.491,将其设置为预置的背景亮度预设值。然后计算每一小块的背景亮度与0.491的比值,计算结果称为该小块的光照系数。将光照系数乘以该小块的目标部分的亮度值得到该小块的前景目标的调整亮度值,然后与设定的各色系的阈值进行比较,以确定该小块的所属色系。四、通过机器学习方法判断色系在一些具体的实施例中,还可以通过机器学习方法建立参数模型,通过将小块的相关参数输入参数模型得到小块的色系。具体的实现方法为:确定参数模型,针对每个小块,将该小块的背景亮度值和小块的目标部分的参数(小块的目标部分的h、s和v值)输入该参数模型,得到该小块的色系。确定参数模型的具体方法为:获取多组模型训练参数,每组模型训练参数包括色系确定参数和所述色系确定参数对应的色系值,所述色系确定参数包括背景图像的亮度值、选定前景目标的亮度值、所述选定前景目标的饱和度值和所述选定前景目标的色调值;将所述多组模型训练参数输入机器学习模型得到所述参数模型。具体的,进行模型训练的机器学习模型可以采用svm模型,可以使用matlab自带的svm模型进行训练。首先对数据进行标注,例如对黑暗色系、有色色系和白亮色系分别设置其标签值为-1,0和1。然后将选定的前景目标的h、s和v值和背景图像的v值,以及标注结果的标签值作为参数输入,进行训练。训练的结果是一个参数模型,将训练得到的参数模型用于未进行过人工标注的小块,输出结果是一个标签值。基于此标签值(黑暗色系、有色色系和白亮色系的标签值分别为-1,0和1)即可确该小块的色系。需要说明的是,本发明实施例中的各色系判断方法可以单独使用,当使用其中的一种方法不能够判断出某小块的色系时,可以结合其他方法一起判断。以上是对本发明实施例中的方法实施例的介绍,下面从功能模块角度以对本发明实施例中的图像处理装置进行介绍。如图6所示,该图像处理装置包括以下几个功能单元:小块划分单元601,用于将包含前景目标的mask的边界框划分成多个小块,每个小块中包含至少一个像素;色系判断单元602,用于确定mask占用的小块中的每个小块的色系;缩放系数确定单元603,用于针对每种色系,确定该色系对应的缩放系数;亮度调整单元604,用于将属于色系的小块中的每个像素的亮度值乘以缩放系数。可选的,在一些具体的实施例中,缩放系数确定单元603,具体用于确定色系对应的亮度预期值;计算属于色系的小块包含的像素的第一平均亮度值;计算第一平均亮度值与亮度预期值之间的比值以得到在边界框中色系对应的缩放系数。可选的,在一些具体的实施例中,色系判断单元602,具体用于针对mask占用的多个小块中的每个小块,根据该小块的背景亮度值、该小块的目标部分的亮度值、该小块的目标部分的饱和度值和该小块的目标部分的色调值中的至少一个,确定该小块的色系;其中,小块的背景亮度值包括边界框中除mask以外的多个像素的平均亮度值,小块的目标部分包括小块中属于mask的部分。可选的,在一些具体的实施例中,色系判断单元602,具体用于获取背景亮度值与光照系数的对应关系;根据背景亮度值与光照系数的对应关系,确定当前小块的背景亮度值对应的第一目标光照系数;将该小块的目标部分的亮度值乘以第一目标光照系数得到第一调整亮度值;根据第一调整亮度值确定该小块的色系。可选的,在一些具体的实施例中,色系判断单元602,具体用于获取预置的背景亮度预设值;计算背景亮度预设值与当前小块的背景亮度值之间的比值以得到第二目标光照系数;将该小块的目标部分的亮度值乘以第二目标光照系数得到第二调整亮度值;根据第二调整亮度值确定该小块的色系。可选的,在一些具体的实施例中,色系判断单元602,具体用于判断小块的目标部分的色调值是否在第一色系的色调阈值范围内;判断小块的目标部分的饱和度值是否在第一色系的饱和度阈值范围内;若小块的目标部分的色调值在第一色系的色调阈值范围内,且小块的目标部分的饱和度值在第一色系的饱和度阈值范围内,则确定该小块的色系属于第一色系。可选的,在一些具体的实施例中,色系判断单元602,具体用于将小块的背景亮度值、小块的目标部分的亮度值、小块的目标部分的饱和度值和小块的目标部分的色调值输入参数模型中,以得到小块的色系。可选的,该装置还包括:模型训练单元(图中未示出),用于获取多组模型训练参数,每组模型训练参数包括色系确定参数和色系确定参数对应的色系值,色系确定参数包括背景图像的亮度值、选定前景目标的亮度值、选定前景目标的饱和度值和选定前景目标的色调值;将多组模型训练参数输入支持向量机svm得到参数模型。以上图像处理装置中的各单元之间的信息交互可以参阅上述方法实施例(图1至图5所示的实施例),本申请不做赘述。图6所示的图像处理装置在实际应用中,可以通过专用集成电路(application-specificintegratedcircuit,asic)实现,或可编程逻辑器件(programmablelogicdevice,pld)实现。上述pld可以是复杂可编程逻辑器件(complexprogrammablelogicdevice,cpld),现场可编程门阵列(field-programmablegatearray,fpga),通用阵列逻辑(genericarraylogic,gal)或其任意组合。图6所示的图像处理装置在实际应用中,可以是服务器。图7是本发明实施例提供的一种服务器硬件结构示意图,该服务器可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessingunits,cpu)722、存储器730和一个或一个以上有线或无线网络接口750。其中,存储器730上存储有一个或一个以上应用程序742、数据744和一个或一个以上操作系统741,存储在存储器730的应用程序742可以包括一个或一个以上模块,每个模块可以包括一系列的指令操作。本发明实施例中,应用程序742中可以包括图2中所示的视频内容管理程序,处理器720运行存储器730中存储的视频内容管理程序,用于实现上述方法实施例(图1至图5所示的实施例)中的全部或部分步骤。存储器730中存储的数据744可以包括视频、图像以及可能的视频或图像摘要、索引等信息。此外,服务器还可以包括一个或一个以上电源726,一个或一个以上输入输出接口758。需要说明的是,图7所示的服务器可以为分布式部署的服务器集群,存储器730上的应用程序、数据744等可以分布式存储在服务器集群的各服务器中。图7所示的服务器对应图2所示的图像处理系统架构中的服务器,客户端设备与服务器之间进行交互,服务器通过视频内容管理模块执行客户端设备的请求并返回相应结果给客户端设备。需要说明的是,在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘(solidstatedisk,ssd))等。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1