图像显著性检测方法、装置以及电子设备与流程

文档序号:16211310发布日期:2018-12-08 07:46阅读:177来源:国知局
图像显著性检测方法、装置以及电子设备与流程

本申请涉及图像处理技术领域,具体涉及一种图像显著性检测方法。本申请同时涉及一种图像显著性检测装置,另一种图像显著性检测方法以及装置,两种电子设备,以及两种计算机可读介质。

背景技术

平面设计(layoutdesign)中的自动布局要求把画面当中的元素按照一定的规律和阅读习惯进行排列,从而得到符合审美要求的画面效果,而显著性检测(saliencydetection)正是这其中至关重要的一环,显著性检测是计算机模拟人类视觉系统理解图像场景的一种方式,而人眼观察图像时总是会不自觉地将注意力集中在最感兴趣的一部分区域上,显著性检测的任务就是找出图像中更容易成为人类视觉注意焦点的区域。图像显著性检测作为一个备受关注的课题,在自动目标定位与分割、图像信息检索和图像压缩等领域都有着广泛应用,得益于检测结果能够将计算资源集中在最有价值的信息上面。图像的显著性可采用显著性图(saliencymap)来表示,显著性图中像素灰度值表示图像对应区域的显著性程度,其亮度越大则意味着显著性越高。

目前图像显著性检测的主流方法是基于图像底层特征(颜色、边缘或纹理等)的自下向上的算法,基本思路包括特征提取、特征融合、显著性计算和显著性区域分割等。比如通过学习方式找到颜色空间分布、多尺度对比度和中心邻域直方图差异等显著性检测结果的最优组合权值的算法,这类算法的结果通常会在图像当中物体边缘附近产生更高的显著性值,而不是均匀的突出整个视觉上更为显著性物体,可能导致无法得到完整的显著性分割结果,例如在一些人工生成的图片当中,虽然图片当中的某些区域没有特征,但依旧会被错误地识别为显著性区域。可见,现有的图像显著性检测方法存在误检测的问题,导致图像显著性检测的准确度较低,通常需要辅以后期的人工干预处理来获得图像显著性检测的准确结果。



技术实现要素:

本申请提供一种图像显著性检测方法,以解决现有技术存在的图像显著性检测的准确度较低的问题。

本申请同时涉及一种图像显著性检测装置,另一种图像显著性检测方法以及装置,两种电子设备,以及两种计算机可读介质。

本申请提供一种图像显著性检测方法,包括:

对图像的像素特征块进行分割;

检测所述图像的边缘特征;

提取所分割的像素特征块中满足预设阈值的像素特征块;

基于所提取的像素特征块,确定所述图像的显著性特征;

将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

可选的,所述基于所提取的像素特征块,确定所述图像的显著性特征,采用如下方式实现:

针对所述图像的至少一个像素点,执行如下操作:计算所述像素点的显著性特征值;归一化所述像素点的显著性特征值;对归一化后所述显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点。

可选的,所述基于所提取的像素特征块,确定所述图像的显著性特征,采用如下方式实现:

计算所述图像的像素点的显著性特征值;

对所述像素点的显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点。

可选的,所述提取的像素特征块内的像素点的显著性特征值为所述显著性特征值的下限值。

可选的,所述图像边界像素点的显著性特征值的初始值为所述显著性特征值的下限值。

可选的,除所述图像边界像素点之外,其余像素点的显著性特征值的初始值为所述显著性特征值的上限值。

可选的,所述像素点的显著性特征值,基于所述像素点的显著性特征值的初始值,通过迭代计算更新所述像素点的显著性特征值,并根据迭代计算结果确定所述像素点的显著性特征值;

其中,若所述迭代计算的次数为奇数,则根据所述像素点左侧相邻像素点和上侧相邻像素的显著性特征值更新所述像素点的显著性特征值;

若所述迭代计算的次数为偶数,则根据所述像素点右侧相邻像素点和下侧相邻像素的显著性特征值更新所述像素点的显著性特征值。

可选的,所述像素点的显著性特征值迭代计算过程中采用光栅扫描的方式扫描所述像素点,并按照所述光栅扫描方式扫描所述像素点的顺序,依次对所述像素点的显著性特征值进行迭代计算。

可选的,若所述迭代计算的次数为奇数,采用所述光栅扫描的方式对所述像素点进行扫描时,按照正序扫描的方式依次从所述图像左上角第一个像素点依次扫描至右下角最后一个像素点;

若所述迭代计算的次数为偶数,采用所述光栅扫描的方式对所述像素点进行扫描时,按照倒序扫描的方式依次从所述图像右下角最后一个像素点依次扫描至左上角第一个像素点。

可选的,所述归一化所述像素点的显著性特征值,采用如下方式实现:

将所述像素点的显著性特征值归一化至所述像素点的灰度值。

可选的,所述对归一化后所述显著性特征值进行二值化分割,采用如下方式实现:

判断归一化后所述像素点的灰度值是否大于灰度阈值,若是,所述像素点为所述图像的显著性像素点;若否,所述像素点为所述图像的非显著性像素点。

可选的,所述对图像的像素特征块进行分割,采用如下方式实现:采用mean-shift图像分割算法对所述图像的像素特征块进行分割。

可选的,所述检测所述图像的边缘特征,采用如下方式实现:采用canny边缘检测算子检测所述图像的边缘特征,获得所述图像的像素点的边缘特征的灰度值。

可选的,所述提取所分割的像素特征块中满足预设阈值的像素特征块,采用如下方式实现:

计算所分割的像素特征块内的像素点数目,若所述像素特征块内的像素点数目超出像素点数目阈值,则提取所述像素特征块。

可选的,所述提取所分割的像素特征块中满足预设阈值的像素特征块,采用如下方式实现:

计算所分割的像素特征块的面积,若所述像素特征块的面积大于或者等于面积阈值,则提取所述像素特征块。

可选的,所述将所述边缘特征与所述显著性特征进行比对,采用如下方式实现:

根据检测获得的所述图像的像素点的边缘特征的灰度值,以及分析确定的所述像素点的显著性特征值,对所述像素点的边缘特征的灰度值与所述显著性特征值进行或运算,根据计算获得的所述图像的像素点的灰度值确定所述图像的显著性区域。

本申请还提供一种图像显著性检测装置,包括:

图像分割单元,用于对图像的像素特征块进行分割;

边缘检测单元,用于检测所述图像的边缘特征;

像素特征块提取单元,用于提取所分割的像素特征块中满足预设阈值的像素特征块;

显著性特征确定单元,用于基于所提取的像素特征块,确定所述图像的显著性特征;

显著性区域确定单元,用于将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

本申请另外提供一种图像显著性检测方法,包括:

检测图像的边缘特征;

识别所述图像中满足预设阈值的像素特征块;

基于所识别的像素特征块,确定所述图像的显著性特征;

将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

可选的,所述基于所识别的像素特征块,确定所述图像的显著性特征,采用如下方式实现:

针对所述图像的至少一个像素点,执行如下操作:

计算所述像素点的显著性特征值;

归一化所述像素点的显著性特征值;

对归一化后所述显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点。

可选的,所述将所述边缘特征与所述显著性特征进行比对,采用如下方式实现:

根据检测获得的所述图像的像素点的边缘特征的灰度值,以及分析确定的所述像素点的显著性特征值,对所述像素点的边缘特征的灰度值与所述显著性特征值进行或运算,根据计算获得的所述图像的像素点的灰度值确定所述图像的显著性区域。

本申请另外提供一种图像显著性检测装置,包括:

边缘检测单元,用于检测图像的边缘特征;

像素特征块识别单元,用于识别所述图像中满足预设阈值的像素特征块;

显著性特征确定单元,用于基于所识别的像素特征块,确定所述图像的显著性特征;

显著性区域确定单元,用于将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

本申请还提供一种电子设备,包括:

存储器,以及处理器;

所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:

对图像的像素特征块进行分割;

检测所述图像的边缘特征;

提取所分割的像素特征块中满足预设阈值的像素特征块;

基于所提取的像素特征块,确定所述图像的显著性特征;

将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

本申请另外提供一种电子设备,包括:

存储器,以及处理器;

所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:

检测图像的边缘特征;

识别所述图像中满足预设阈值的像素特征块;

基于所识别的像素特征块,确定所述图像的显著性特征;

将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

本申请还提供一种计算机可读介质,其上存储有指令,所述指令被执行以用于:

对图像的像素特征块进行分割;

检测所述图像的边缘特征;

提取所分割的像素特征块中满足预设阈值的像素特征块;

基于所提取的像素特征块,确定所述图像的显著性特征;

将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

本申请另外提供一种计算机可读介质,其上存储有指令,所述指令被执行以用于:

检测图像的边缘特征;

识别所述图像中满足预设阈值的像素特征块;

基于所识别的像素特征块,确定所述图像的显著性特征;

将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

本申请提供的所述图像显著性检测方法,包括:对图像的像素特征块进行分割;检测所述图像的边缘特征;提取所分割的像素特征块中满足预设阈值的像素特征块;基于所提取的像素特征块,确定所述图像的显著性特征;将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

所述图像显著性检测方法,通过联合图像的像素特征块的分割、图像边缘特的检测以及图像显著性特征的检测,首先对所述图像的像素特征块进行分割,根据分割获得的像素特征块中提取的像素特征块来确定所述图像的显著性特征;同时检测所述图像的边缘特征;最后对所述图像的显著性特征和所述图像的边缘特征进行比对,根据比对结果确定所述图像的显著性区域,该方法针对所述图像显著性区域的检测更加精确,提升了图像显著性检测的准确度。

附图说明

附图1是本申请提供的一种图像显著性检测方法实施例的示意图;

附图2是本申请提供的一种图像的示意图;

附图3是本申请提供的一种图像的像素特征块的示意图;

附图4是本申请提供的一种图像边缘特征的示意图;

附图5是本申请提供的一种归一化显著性图像的示意图;

附图6是本申请提供的一种二值化显著性图像的示意图;

附图7是本申请提供的一种显著性检测结果图像的示意图;

附图8是本申请提供的一种图像显著性检测装置实施例的示意图;

附图9是本申请提供的另一种图像显著性检测方法实施例的示意图;

附图10是本申请提供的另一种图像显著性检测装置实施例的示意图;

附图11是本申请提供的一种电子设备实施例的示意图;

附图12是本申请提供的另一种电子设备实施例的示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其他方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。

本申请提供一种图像显著性检测方法,本申请还提供一种图像显著性检测装置,另一种图像显著性检测方法以及装置,两种电子设备,以及两种计算机可读介质。以下分别结合本申请提供的实施例的附图逐一进行详细说明,并且对方法的各个步骤进行说明。

本申请提供的一种图像显著性检测方法实施例如下:

参照附图1,其示出了本申请提供的一种图像显著性检测方法实施例的示意图;参照附图2,其示出了本申请提供的一种图像的示意图;参照附图3,其示出了本申请提供的一种图像的像素特征块的示意图;参照附图4,其示出了本申请提供的一种图像边缘特征的示意图;参照附图5,其示出了本申请提供的一种归一化显著性图像的示意图;参照附图6,其示出了本申请提供的一种二值化显著性图像的示意图;参照附图7,其示出了本申请提供的一种显著性检测结果图像的示意图。

步骤s101,对图像的像素特征块进行分割。

在平面设计的自动布局过程中,最基本的要求是不能将元素(文字或者图像)粘贴到背景图像具有显著性特征的物体上,因此要求对输入的背景图像进行显著性检测,从而将背景图像的显著性区域提取出来作为平面设计自动布局时的约束条件:即背景图像的显著性区域为不可粘贴元素的区域,背景图像的非显著性区域为可粘贴元素的区域。本申请提供的所述图像显著性检测方法,通过联合显著性检测、图像分割和边缘检测,对背景图像的显著性区域和非显著性区域进行检测和分割,从而检测并获得背景图像可粘贴元素的显著性区域。

本申请实施例所述图像,是指平面设计自动布局过程中用于粘贴文字元素或者图像元素的背景图像,该图像可以是人工生成的图像,也可以是通过相机拍摄生成的图像。例如,如附图2所示的图像,一种可能的情形是图像中的彩瓶在电子商城中进行售卖,一般而言,售卖时不仅需要展示彩瓶自身的图像,往往还需要在图像中添加必要的文字元素或者图像元素作为彩瓶的描述信息,使用户能够直观获取到彩瓶尽可能多的信息。另一种可能的情形是附图2为背景图像,图像中的彩瓶是背景图像的一部分,但在背景图像(附图2)中添加文字元素或者图像元素时,考虑到背景图像(附图2)美观度,在添加文字元素或者图像元素时应尽可能的避开彩瓶所在区域(即显著性区域),在彩瓶所在区域(即显著性区域)之外的背景区域(非显著性区域)添加文字元素或者图像元素。

所述图像的像素特征块,是指所述图像包含的像素点连续且灰度值较为均匀一致的区域。所述图像的边缘特征,是指所述图像中物体边缘的图像特征。

本实施例在对所述图像的像素特征块进行分割时,采用mean-shift图像分割算法对所述图像的像素特征块进行分割,通过分割来获得所述图像各个像素特征块。mean-shift图像分割算法是一种基于非参数核函数的密度估计算法,其核函数概率密度沿密度梯度方向递增,最终收敛至附近的局部概率密度极大值点,通过mean-shift图像分割算法可将图像分成若干像素点连续且灰度值较为均匀一致的区域。例如,附图2所示的图像,在采用mean-shift图像分割算法进行分割之后,图像的各个像素特征块如附图3所示。

需要说明的是,在对所述图像的像素特征块进行分割时,除采用上述提供的mean-shift图像分割算法之外,还可以采用其他图像分割算法检测并分割所述图像的各个图像像素块,本实施例对此不做限定。

步骤s102,检测所述图像的边缘特征。

本申请提供的所述图像显著性检测方法还包括检测所述图像的边缘特征,同时,由于针对所述图像的像素特征块进行分割与检测所述图像的边缘特征二者是较为独立的处理过程,因此,检测所述图像的边缘特征的过程,可在步骤s101针对所述图像的像素特征块进行分割过程的执行过程中、执行之前或者执行之后进行执行。类似的,检测所述图像的边缘特征的过程,还可以在下述步骤s103和步骤s104的执行过程中、执行之前或者执行之后执行,但需确保在下述步骤s105执行之前执行检测所述图像的边缘特征的过程并获得所述图像的边缘特征检测结果。

本实施例中,采用canny边缘检测算子检测所述图像的边缘特征。canny边缘检测算子是图像高斯函数的一阶导数,是对信噪比与定位之乘积的最优化逼近算子,采用canny边缘检测算子完成对所述图像的检测后,获得所述图像的像素点的边缘特征的灰度值,所述像素点的边缘特征的灰度值对应的图像是一个二值图像,其中二值图像中非边缘像素点的灰度值均为0,边缘像素点的灰度值为255。例如,附图2所示的图像,采用canny边缘检测算子检测获得的图像的边缘特征如附图4所示。

需要说明的是,在检测所述图像的边缘特征时,除采用上述提供的canny边缘检测算子之外,还可以采用其他检测图像边缘特征的边缘检测算法检测所述图像,从而获得所述图像的边缘特征,本实施例对此不做限定。

步骤s103,提取所分割的像素特征块中满足预设阈值的像素特征块。

上述步骤s101对所述图像的像素特征块进行分割,获得了所述图像各个像素特征块;在此基础上,本步骤提取所述图像满足预设阈值的像素特征块。此处提取所述图像满足预设阈值的像素特征块的目的在于:如果将提取的这些像素特征块设置为背景特征,避免了显著性检测过程中将这些大块的无特征区域(满足预设阈值的像素特征块)检测为显著性区域,从而提升显著性检测的准确性。

在具体实施时,所述预设阈值可以是约束被提取像素块内像素点数目的像素点数目阈值,比如所述像素点数目阈值为10000,则提取所述图像的像素点数目超出10000的像素特征块。具体在提取所述图像满足预设阈值的像素特征块时,首先计算上述步骤分割获得的各个像素特征块内的像素点数目,在根据计算结果进行判断,若所述像素特征块内的像素点数目超出像素点数目阈值,则提取所述像素特征块;若所述像素特征块内的像素点数目未超出像素点数目阈值,不作处理即可。

此外,所述预设阈值还可以是约束被提取像素块面积大小的面积阈值,比如所述面积阈值为50*50,则提取所述图像面积大于50*50(像素块的长度和宽度方向的像素点数目同时大于50)的像素特征块。具体在提取所述图像满足预设阈值的像素特征块时,首先计算上述步骤分割获得的各个像素特征块的面积大小,根据计算结果进行判断,若所述像素特征块的面积大于或者等于面积阈值,则提取所述像素特征块;若所述像素特征块的面积小于面积阈值,不作处理即可。

步骤s104,基于所提取的像素特征块,确定所述图像的显著性特征。

本申请实施例所述图像的显著性特征,是指所述图像的像素点的显著性特征值。除此之外,所述图像的显著性特征还可以用所述显著性特征值之外的其他特征来表征,但无论采用哪种特征来表征所述图像的显著性特征,所述图像的显著性特征可参照下述提供的实现方式进行分析确定。

具体的,本步骤基于所提取的像素特征块,确定所述图像的显著性特征,采用如下方式实现:

针对所述图像的每一个像素点,执行如下操作:

1)计算所述像素点的显著性特征值;

如上所述,上述步骤s102提取所述图像满足预设阈值的像素特征块的目的在于将其设置为非显著性区域,因此,此处在分析计算所述图像的像素点的显著性特征值之前,将提取的像素特征块内的像素点的显著性特征值设置为所述显著性特征值的下限值(比如设置为0)。

本实施例所述图像的像素点的显著性特征值,通过多次迭代计算获得,因此要求所述像素点的显著性特征值具有一个初始值,从而在初始值的基础上通过迭代计算过程来更新所述像素点的显著性特征值,最终在迭代计算完成后,根据迭代计算结果确定所述像素点的显著性特征值。根据所述图像自身的特性,在具体实施时,可将所述图像边界像素点的显著性特征值的初始值设置为所述显著性特征值的下限值(比如设置为0);相应的,除所述图像边界像素点之外,其余像素点的显著性特征值的初始值可设置为所述显著性特征值的上限值(比如设置为+∞)。

具体的,在所述显著特征值的迭代计算过程中,若迭代计算的次数为奇数,则根据所述像素点左侧相邻像素点和上侧相邻像素的显著性特征值来更新所述像素点的显著性特征值;若迭代计算的次数为偶数,则根据所述像素点右侧相邻像素点和下侧相邻像素的显著性特征值来更新所述像素点的显著性特征值。

在此基础上,为了提高计算效率,加快所述显著性特征值的迭代计算的过程,实际应用中还可以在所述显著性特征值的迭代计算过程中采用光栅扫描的方式扫描所述图像的像素点,并按照所述像素点的扫描顺序,依次对所述像素点的显著性特征值进行迭代计算。

具体的,若迭代计算的次数为奇数,即第奇数次对所述像素点进行扫描时,按照正序扫描的方式依次从所述图像左上角第一个像素点依次扫描至右下角最后一个像素点,即:从左上角第一个像素点开始,向右扫一条水平线,扫描第一行所有像素点,然后回扫到左上角第一个像素点正下方的第二个像素点,向右扫第二条水平线,按照这种方式直至扫描所述图像下方的最后一行像素点,即完成对所述图像的扫描。并且,扫描过程中每扫描一个像素点,则根据所述像素点左侧相邻像素点和上侧相邻像素的显著性特征值更新所述像素点的显著性特征值。

与之相对应,若迭代计算的次数为偶数,即第偶数次对所述像素点进行扫描时,按照倒序扫描的方式(与上述正序扫描的方式的扫描路径相反的方式)依次从所述图像右下角最后一个像素点依次扫描至左上角第一个像素点。并且,扫描过程中每扫描一个像素点,则根据所述像素点右侧相邻像素点和下侧相邻像素的显著性特征值更新所述像素点的显著性特征值。

2)归一化所述像素点的显著性特征值;

本实施例对所述像素点的显著性特征值进行归一化,是指将所述像素点的显著性特征值归一化为所述像素点的灰度值,即:将上述迭代计算获得的所述像素点的显著性特征值转化为灰度值,通过灰度值可直观确定所述图像的像素点的显著性,以及所述图像的显著性。例如,如附图2所示的图像,结合从中提取出的像素点数目超出像素点数目阈值的像素特征块,经过多次迭代计算获得的像素点的显著性特征值,将像素点的显著性特征值归一化为灰度值之后,像素点的灰度值对应的图像如附图5所示。

3)对归一化后所述显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点。

为了更加直观的确定所述图像的显著性特征,可将上述步骤归一化获得的所述像素点的灰度值进行二值化,具体通过判断归一化之后所述像素点的灰度值是否大于灰度阈值,若是,所述像素点为显著性像素点;若否,所述像素点为非显著性像素点。例如,如附图5所示的归一化获得的像素点的灰度值对应的图像,对中像素点的灰度值进行二值化,灰度值大于100的像素点的灰度值设为255,灰度值小于或者等于100的像素点的灰度值设为0,二值化后图像的像素点的灰度值对应图像如附图6所示。

本实施例中,是针对所述图像的每一个像素点执行上述操作,但在实际应用中,为了节省计算资源,提高所述图像的处理效率,还可以选择所述图像的一部分像素点执行上述操作,比如按照所述图像的像素点的排列顺序,在针对其中一个像素点执行上述操作之后,下一个像素点不作处理,依次类推,对所述图像的剩余像素点也按照处理一个且下一步不处理的方式执行上述操作;此外,还可以通过随机算法选择所述图像的部分像素点执行上述操作。

在具体实施时,除上述实现方式之外,所述基于所提取的像素特征块,确定所述图像的显著性特征,还可以采用其他实现方式实现,比如:计算所述图像的像素点的显著性特征值;对所述像素点的显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点。

步骤s105,将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

本步骤根据上述步骤检测获得的所述图像的边缘特征,以及上述步骤分析获得的所述图像的显著性特征,通过对所述边缘特征和所述显著特征进行比对,根据比对结果确定所述图像的显著性区域。

在具体实施时,本步骤将所述图像的边缘特征与所述显著性特征进行比对,具体是根据检测获得的所述像素点的边缘特征的灰度值,以及分析确定的所述像素点的显著性特征值,对所述像素点的边缘特征的灰度值与所述显著性特征值进行或运算,根据计算获得的所述像素点的灰度值确定所述图像的显著性区域。例如,附图4所示的采用canny边缘检测算子检测获得的图像的边缘特征,以及附图6所示的二值化后图像的像素点的灰度值对应的图像,针对图像的每一个像素点,将像素点的边缘特征的灰度值与二值化后的灰度值进行或运算,计算结果作为像素点最终的灰度值;以此类推,图像的所有像素点完成或运算后,图像的像素点的灰度值对应的图像如附图7所示。

下面结合附图2所示的背景图像,对上述联合显著性检测、图像分割和边缘检测,从而对背景图像进行显著性检测的具体处理过程进行详细说明。

如附图2的背景图像,通过肉眼的视觉观察可得知,背景图像中包含的彩瓶是其中显著性比较高的元素,即彩瓶所在的区域是背景图像的显著性区域,而其中显著性比较低的区域是指彩瓶所在的区域之外的其他区域;此外,背景图像的物体之间相邻区域,显著性特征也比较高,如果在这些区域添加文字元素或者图像元素,可能会由于相邻区域的显著性而导致添加的文字元素或者图像元素在用户观察时受到影响,因此相邻区域也不应当作为非显著性区域来添加文字元素或者图像元素。

具体在检测背景图像的显著性区域的过程中,首先采用mean-shift图像分割算法对背景图像的像素特征块进行分割,分割获得的像素特征块如附图3所示,其中的像素特征块按照从左到右从上下的顺序依次为像素特征块301至310;特别要说明的是,由于背景图像中包含的彩瓶的构成要素较为复杂,因此,彩瓶所在的图像区域在经过mean-shift图像分割算法的分割之后,获得一系列由细小的像素特征块,观察附图3可以发现,这些细微的像素特征块共同构成彩瓶的基本轮廓形状,但由于彩瓶所在的图像区域的像素特征块的数量太多,在此不一一列举进行说明,仅以上述像素特征块301至310为例进行说明,彩瓶所在的图像区域的像素特征块在处理时和像素特征块301至310的处理一致,参照像素特征块301至310的说明即可。

通过对背景图像进行分割获得上述像素特征块301至310之后,针对像素特征块301至310,分别计算每一个像素特征块的像素点数目,通过计算获得的像素特征块301至310的像素点数目依次为n1至n10,进而判断像素特征块301至310的像素点数目n1至n10是否大于像素点数目阈值n0,判断结果为像素特征块306、307、308和310的像素点数目n6、n7、n8和n10大于像素点数目阈值n0,并提取像素特征块306、307、308和310。

提取出像素特征块306、307、308和310之后,将像素特征块306、307、308和310设置为背景图像中的背景区域,即非显著性区域;通过观察附图3可知,像素特征块306、307、308和310为背景图像中包含的比较大块的无特征区域,在平面设计的自动布局过程中,在像素特征块306、307、308和310所在的区域添加文字元素或者图像元素显然是合理的,可见,将像素特征块306、307、308和310设置为非显著性区域是符合逻辑的。

提取出像素特征块306、307、308和310之后,在上述将像素特征块306、307、308和310设置为非显著性区域的基础上,计算背景图像的每一个像素点的显著性距离(显著性距离的计算是在上述将像素特征块306、307、308和310设置为非显著性区域的基础上进行的),计算获得背景图像所有像素点的显著性距离之后,将像素点的显著性距离归一化为该像素点的灰度值,即:将像素点的显著性距离归一化至0-255这一区间内,归一化之后,每一个像素点都具有一个自身的灰度值,其对应的图像如附图5所示;

进一步,对归一化后像素点的灰度值进行二值化分割,其中灰度值大于100的像素点的灰度值设为255,灰度值小于或者等于100的像素点的灰度值设为0,则经过二值化分割之后,每一个像素点又具有一个新的灰度值(0或255),此时,像素点的灰度值对应图像如附图6所示,其中,像素点的灰度值较大(灰度值为255)的像素点参见附图6中白色像素点,即显著性像素点,这些显著性像素点共同构成显著性特征区域,可用于添加文字元素或者图像元素;相应的,像素点的灰度值较小(灰度值为0)的像素点参见附图6中黑色像素点,即非显著性像素点,这些非显著性像素点共同构成非显著性特征区域,不可用于添加文字元素或者图像元素,与上述采用肉眼视觉观察的结果保持一致。

在上述检测背景图像的显著性区域和非显著性区域的过程中,还需进行对背景图像边缘的检测,采具体用canny边缘检测算子检测背景图像的边缘特征,参见附图4所示的背景图像的边缘特征,其中,背景图像的边缘像素点的灰度值为255,非边缘像素点的灰度值为0,这些边缘像素点共同构成了背景图像的边缘轮廓。

最后,根据上述处理获得的显著性像素点和非显著性像素点,以及上述处理获得的边缘像素点和非边缘像素点,以像素点为单位计算像素点的灰度值,从而获得像素点最终的灰度值(0或255),这个灰度值就是背景图像的像素点经过上述处理最终的灰度值,像素点的灰度值对应的图像如附图7所示,这个灰度值是最终确定像素点为显著性像素点(灰度值为255)和非显著性像素点(灰度值为0)的依据,从而确定背景图像的显著性区域和非显著性区域。

通过上述分析可见,本申请提供的所述图像显著性检测方法,是在对背景图像进行图像分割的基础上,基于图像分割的结果确定约束条件,根据确定的约束条件进行显著性检测,获得显著性检测的结果,避免了背景图像中包含的繁杂细微的物体特征对显著性检测的干扰,同时也避免了显著性检测过程中将大块的无特征区域(非显著性区域)检测为显著性区域,对图像的处理更加精确,从而提升了图像显著性检测的准确度;同时,对背景图像进行边缘特征检测,确定背景图像的边缘特征;最后根据显著性检测的结果和边缘特征进行计算,最终根据计算获得的背景图像的像素点的灰度值来确定背景图像的显著性区域和非显著性区域,进一步提升图像显著性检测的准确度。由此可见,本申请提供的所述图像显著性检测方法,并非是图像分割、显著性检测和边缘检测特征检测这三种手段的简单组合,取得的效果也并非是这三种手段各自能够取得的技术效果的叠加。综上所述,本申请提供的所述图像显著性检测方法,通过联合图像的像素特征块的分割、图像边缘特的检测以及图像显著性特征的检测这三种手段,首先对所述图像的像素特征块进行分割,根据分割获得的像素特征块中提取的像素特征块来分析并确定所述图像的显著性特征;同时检测所述图像的边缘特征;最后对所述图像的显著性特征和所述图像的边缘特征进行比对,根据比对结果确定所述图像的显著性区域,所述图像显著性检测方法针对所述图像显著性区域的检测更加精确,提升了图像显著性检测的准确度。

本申请提供的一种图像显著性检测装置实施例如下:

在上述的实施例中,提供了一种图像显著性检测方法,与之相对应的,本申请还提供了一种图像显著性检测装置,下面结合附图进行说明。

参照附图8,其示出了本申请提供的一种图像显著性检测装置实施例的示意图。

由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。

本申请提供一种图像显著性检测装置,包括:

图像分割单元801,用于对图像的像素特征块进行分割;

边缘检测单元802,用于检测所述图像的边缘特征;

像素特征块提取单元803,用于提取所分割的像素特征块中满足预设阈值的像素特征块;

显著性特征确定单元804,用于基于所提取的像素特征块,确定所述图像的显著性特征;

显著性区域确定单元805,用于将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

可选的,所述显著性特征确定单元804,包括:

显著性特征值计算子单元,用于计算所述像素点的显著性特征值;

归一化子单元,用于归一化所述像素点的显著性特征值;

二值化分割子单元,用于对归一化后所述显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点;

并且针对所述图像的至少一个像素点,运行所述显著性特征值计算子单元、所述归一化子单元和所述二值化分割子单元。

可选的,所述显著性特征确定单元804,包括:

第一子单元,用于计算所述图像的像素点的显著性特征值;

第二子单元,用于对所述像素点的显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点。

可选的,所述提取的像素特征块内的像素点的显著性特征值为所述显著性特征值的下限值。

可选的,所述图像边界像素点的显著性特征值的初始值为所述显著性特征值的下限值。

可选的,除所述图像边界像素点之外,其余像素点的显著性特征值的初始值为所述显著性特征值的上限值。

可选的,所述像素点的显著性特征值,基于所述像素点的显著性特征值的初始值,通过迭代计算更新所述像素点的显著性特征值,并根据迭代计算结果确定所述像素点的显著性特征值;

其中,若所述迭代计算的次数为奇数,则根据所述像素点左侧相邻像素点和上侧相邻像素的显著性特征值更新所述像素点的显著性特征值;

若所述迭代计算的次数为偶数,则根据所述像素点右侧相邻像素点和下侧相邻像素的显著性特征值更新所述像素点的显著性特征值。

可选的,所述像素点的显著性特征值迭代计算过程中采用光栅扫描的方式扫描所述像素点,并按照所述光栅扫描方式扫描所述像素点的顺序,依次对所述像素点的显著性特征值进行迭代计算。

可选的,若所述迭代计算的次数为奇数,采用所述光栅扫描的方式对所述像素点进行扫描时,按照正序扫描的方式依次从所述图像左上角第一个像素点依次扫描至右下角最后一个像素点;

若所述迭代计算的次数为偶数,采用所述光栅扫描的方式对所述像素点进行扫描时,按照倒序扫描的方式依次从所述图像右下角最后一个像素点依次扫描至左上角第一个像素点。

可选的,所述归一化子单元,具体用于将所述像素点的显著性特征值归一化至所述像素点的灰度值。

可选的,所述二值化分割子单元,具体用于判断归一化后所述像素点的灰度值是否大于灰度阈值,若是,所述像素点为所述图像的显著性像素点;若否,所述像素点为所述图像的非显著性像素点。

可选的,所述图像分割单元801,包括:

图像分割子单元,用于采用mean-shift图像分割算法对所述图像的像素特征块进行分割。

可选的,所述边缘检测单元802,包括:

边缘检测子单元,用于采用canny边缘检测算子检测所述图像的边缘特征,获得所述图像的像素点的边缘特征的灰度值。

可选的,所述像素特征块提取单元803,包括:

第一提取子单元,用于计算所分割的像素特征块内的像素点数目,若所述像素特征块内的像素点数目超出像素点数目阈值,则提取所述像素特征块。

可选的,所述像素特征块提取单元803,包括:

第二提取子单元,用于计算所分割的像素特征块的面积,若所述像素特征块的面积大于或者等于面积阈值,则提取所述像素特征块。

可选的,所述显著性特征确定单元804,具体用于根据检测获得的所述图像的像素点的边缘特征的灰度值,以及分析确定的所述像素点的显著性特征值,对所述像素点的边缘特征的灰度值与所述显著性特征值进行或运算,根据计算获得的所述图像的像素点的灰度值确定所述图像的显著性区域。

本申请提供的另一种图像显著性检测方法实施例如下:

在上述的实施例中,提供了一种图像显著性检测方法,此外,本申请还提供了另一种图像显著性检测方法,下面结合附图进行说明。

参照附图9,其示出了本申请提供的一种图像显著性检测方法实施例的示意图;参照附图2,其示出了本申请提供的一种图像的示意图;参照附图3,其示出了本申请提供的一种图像的像素特征块的示意图;参照附图4,其示出了本申请提供的一种图像边缘特征的示意图;参照附图5,其示出了本申请提供的一种归一化显著性图像的示意图;参照附图6,其示出了本申请提供的一种二值化显著性图像的示意图;参照附图7,其示出了本申请提供的一种显著性检测结果图像的示意图。

由于当前方法实施例与上述方法实施例较为相似,所以描述得比较简单,相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的当前方法实施例仅仅是示意性的。具体的,当前方法实施例与上述提供的方法实施例的区别在于:本申请提供的上述方法实施例中,通过图像分割方式分割图像的像素特征块,基于所分割的像素特征块,从中提取满足预设阈值的像素特征块,并基于所提取的像素特征块确定所述图像的显著性特征;而当前方法实施例中,采用图像识别方式识别图像中满足预设阈值的像素特征块,并基于所识别的像素特征块确定所述图像的显著性特征。

步骤s901,检测图像的边缘特征;

本实施例中,采用canny边缘检测算子检测所述图像的边缘特征。canny边缘检测算子是图像高斯函数的一阶导数,是对信噪比与定位之乘积的最优化逼近算子,采用canny边缘检测算子完成对所述图像的检测后,获得所述图像的像素点的边缘特征的灰度值,所述像素点的边缘特征的灰度值对应的图像是一个二值图像,其中二值图像中非边缘像素点的灰度值均为0,边缘像素点的灰度值为255。例如,附图2所示的图像,采用canny边缘检测算子检测获得的图像的边缘特征如附图4所示。

需要说明的是,在检测所述图像的边缘特征时,除采用上述提供的canny边缘检测算子之外,还可以采用其他检测图像边缘特征的边缘检测算法检测所述图像,从而获得所述图像的边缘特征,本实施例对此不做限定。

步骤s902,识别所述图像中满足预设阈值的像素特征块;

在实际应用中,所述识别所述图像中满足预设阈值的像素特征块,可采用现有的图像识别算法来实现。具体的,在识别所述图像中满足预设阈值的像素特征块,可以首先采用图像识别算法来识别所述图像中的像素特征块,并进一步计算所识别的像素特征块内包含的像素点数目或者计算所识别的像素特征块的面积,最终确定所识别的像素特征块内包含的像素点数目或者面积满足预设阈值的像素特征块。除此之外,如果存在根据输入的条件(像素特征块内包含的像素点数目或者面积满足预设阈值)识别图像中满足预设阈值的像素特征块的图像识别算法,则直接根据该图像识别算法识别所述图像中满足预设阈值的像素特征块即可。

步骤s903,基于所识别的像素特征块,确定所述图像的显著性特征;

具体的,本步骤基于所识别的像素特征块,确定所述图像的显著性特征,采用如下方式实现:

针对所述图像的每一个像素点,执行如下操作:

1)计算所述像素点的显著性特征值;

识别所述图像满足预设阈值的像素特征块的目的在于将其设置为非显著性区域,因此,此处在计算所述像素点的显著性特征值之前,将识别的像素特征块内的像素点的显著性特征值设置为所述显著性特征值的下限值(比如设置为0)。

本实施例所述像素点的显著性特征值,通过多次迭代计算获得,因此要求所述像素点的显著性特征值具有一个初始值,从而在初始值的基础上通过迭代计算过程来更新所述像素点的显著性特征值,最终在迭代计算完成后,根据迭代计算结果确定所述像素点的显著性特征值。根据所述图像自身的特性,在具体实施时,可将所述图像边界像素点的显著性特征值的初始值设置为所述显著性特征值的下限值(比如设置为0);相应的,除所述图像边界像素点之外,其余像素点的显著性特征值的初始值可设置为所述显著性特征值的上限值(比如设置为+∞)。

具体的,在所述显著特征值的迭代计算过程中,若迭代计算的次数为奇数,则根据所述像素点左侧相邻像素点和上侧相邻像素的显著性特征值来更新所述像素点的显著性特征值;若迭代计算的次数为偶数,则根据所述像素点右侧相邻像素点和下侧相邻像素的显著性特征值来更新所述像素点的显著性特征值。

在此基础上,为了提高计算效率,加快所述显著性特征值的迭代计算的过程,实际应用中还可以在所述显著性特征值的迭代计算过程中采用光栅扫描的方式扫描所述图像的像素点,并按照所述像素点的扫描顺序,依次对所述像素点的显著性特征值进行迭代计算。

具体的,若迭代计算的次数为奇数,即第奇数次对所述像素点进行扫描时,按照正序扫描的方式依次从所述图像左上角第一个像素点依次扫描至右下角最后一个像素点,即:从左上角第一个像素点开始,向右扫一条水平线,扫描第一行所有像素点,然后回扫到左上角第一个像素点正下方的第二个像素点,向右扫第二条水平线,按照这种方式直至扫描所述图像下方的最后一行像素点,即完成对所述图像的扫描。并且,扫描过程中每扫描一个像素点,则根据所述像素点左侧相邻像素点和上侧相邻像素的显著性特征值更新所述像素点的显著性特征值。

与之相对应,若迭代计算的次数为偶数,即第偶数次对所述像素点进行扫描时,按照倒序扫描的方式(与上述正序扫描的方式的扫描路径相反的方式)依次从所述图像右下角最后一个像素点依次扫描至左上角第一个像素点。并且,扫描过程中每扫描一个像素点,则根据所述像素点右侧相邻像素点和下侧相邻像素的显著性特征值更新所述像素点的显著性特征值。

2)归一化所述像素点的显著性特征值;

本实施例对所述像素点的显著性特征值进行归一化,是指将所述像素点的显著性特征值归一化为所述像素点的灰度值,即:将上述迭代计算获得的所述像素点的显著性特征值转化为灰度值,通过灰度值可直观确定所述图像的像素点的显著性,以及所述图像的显著性。例如,如附图2所示的图像,基于所识别的满足预设阈值的像素特征块,经过多次迭代计算获得的像素点的显著性特征值,将像素点的显著性特征值归一化为灰度值之后,像素点的灰度值对应的图像如附图5所示。

3)对归一化后所述显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点。

为了更加直观的确定所述图像的显著性特征,可将上述步骤归一化获得的所述像素点的灰度值进行二值化,具体通过判断归一化之后所述像素点的灰度值是否大于灰度阈值,若是,所述像素点为显著性像素点;若否,所述像素点为非显著性像素点。例如,如附图5所示的归一化获得的像素点的灰度值对应的图像,对中像素点的灰度值进行二值化,灰度值大于100的像素点的灰度值设为255,灰度值小于或者等于100的像素点的灰度值设为0,二值化后图像的像素点的灰度值对应图像如附图6所示。

步骤s904,将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

在具体实施时,本步骤将所述边缘特征与所述显著性特征进行比对,具体是根据检测获得的所述像素点的边缘特征的灰度值,以及确定的所述像素点的显著性特征值,对所述像素点的边缘特征的灰度值与所述显著性特征值进行或运算,根据计算获得的所述像素点的灰度值确定所述图像的显著性区域。例如,附图4所示的采用canny边缘检测算子检测获得的图像的边缘特征,以及附图6所示的二值化后图像的像素点的灰度值对应的图像,针对图像的每一个像素点,将像素点的边缘特征的灰度值与二值化后的灰度值进行或运算,计算结果作为像素点最终的灰度值;以此类推,图像的所有像素点完成或运算后,图像的像素点的灰度值对应的图像如附图7所示。

本申请提供的一种图像显著性检测装置实施例如下:

在上述的实施例中,提供了一种图像显著性检测方法,与之相对应的,本申请还提供了一种图像显著性检测装置,下面结合附图进行说明。

参照附图10,其示出了本申请提供的一种图像显著性检测装置实施例的示意图。

由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。

本申请提供一种图像显著性检测装置,包括:

边缘检测单元10-01,用于检测图像的边缘特征;

像素特征块识别单元10-02,用于识别所述图像中满足预设阈值的像素特征块;

显著性特征确定单元10-03,用于基于所识别的像素特征块,确定所述图像的显著性特征;

显著性区域确定单元10-04,用于将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

可选的,所述显著性特征确定单元10-03,包括:

显著性特征值计算子单元,用于计算所述像素点的显著性特征值;

归一化子单元,用于归一化所述像素点的显著性特征值;

二值化分割子单元,用于对归一化后所述显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点;

并且针对所述图像的至少一个像素点,运行所述显著性特征值计算子单元、所述归一化子单元和所述二值化分割子单元。

可选的,所述显著性特征确定单元10-03,包括:

第一子单元,用于计算所述图像的像素点的显著性特征值;

第二子单元,用于对所述像素点的显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点。

可选的,所述识别的像素特征块内的像素点的显著性特征值为所述显著性特征值的下限值。

可选的,所述图像边界像素点的显著性特征值的初始值为所述显著性特征值的下限值。

可选的,除所述图像边界像素点之外,其余像素点的显著性特征值的初始值为所述显著性特征值的上限值。

可选的,所述像素点的显著性特征值,基于所述像素点的显著性特征值的初始值,通过迭代计算更新所述像素点的显著性特征值,并根据迭代计算结果确定所述像素点的显著性特征值;

其中,若所述迭代计算的次数为奇数,则根据所述像素点左侧相邻像素点和上侧相邻像素的显著性特征值更新所述像素点的显著性特征值;

若所述迭代计算的次数为偶数,则根据所述像素点右侧相邻像素点和下侧相邻像素的显著性特征值更新所述像素点的显著性特征值。

可选的,所述像素点的显著性特征值迭代计算过程中采用光栅扫描的方式扫描所述像素点,并按照所述光栅扫描方式扫描所述像素点的顺序,依次对所述像素点的显著性特征值进行迭代计算。

可选的,若所述迭代计算的次数为奇数,采用所述光栅扫描的方式对所述像素点进行扫描时,按照正序扫描的方式依次从所述图像左上角第一个像素点依次扫描至右下角最后一个像素点;

若所述迭代计算的次数为偶数,采用所述光栅扫描的方式对所述像素点进行扫描时,按照倒序扫描的方式依次从所述图像右下角最后一个像素点依次扫描至左上角第一个像素点。

可选的,所述归一化子单元,具体用于将所述像素点的显著性特征值归一化至所述像素点的灰度值。

可选的,所述二值化分割子单元,具体用于判断归一化后所述像素点的灰度值是否大于灰度阈值,若是,所述像素点为所述图像的显著性像素点;若否,所述像素点为所述图像的非显著性像素点。

可选的,所述边缘检测单元10-01,具体用于采用canny边缘检测算子检测所述图像的边缘特征,获得所述图像的像素点的边缘特征的灰度值。

可选的,所述显著性区域确定单元10-04,具体用于根据检测获得的所述图像的像素点的边缘特征的灰度值,以及分析确定的所述像素点的显著性特征值,对所述像素点的边缘特征的灰度值与所述显著性特征值进行或运算,根据计算获得的所述图像的像素点的灰度值确定所述图像的显著性区域。

本申请提供的一种电子设备实施例如下:

在上述的实施例中,提供了一种图像显著性检测方法,此外,本申请还提供了一种用于实现所述图像显著性检测方法的电子设备,下面结合附图进行说明。

参照附图11,其示出了本实施例提供的一种电子设备的示意图。

本申请提供的所述电子设备实施例描述得比较简单,相关的部分请参见上述提供的所述图像显著性检测方法实施例的对应说明即可。下述描述的实施例仅仅是示意性的。

本申请提供一种电子设备,包括:

存储器11-01,以及处理器11-02;

所述存储器11-01用于存储计算机可执行指令,所述处理器11-02用于执行所述计算机可执行指令:

对图像的像素特征块进行分割;

检测所述图像的边缘特征;

提取所分割的像素特征块中满足预设阈值的像素特征块;

基于所提取的像素特征块,确定所述图像的显著性特征;

将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

可选的,所述基于所提取的像素特征块,确定所述图像的显著性特征,采用如下方式实现:

针对所述图像的至少一个像素点,执行如下操作:计算所述像素点的显著性特征值;归一化所述像素点的显著性特征值;对归一化后所述显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点。

可选的,所述基于所提取的像素特征块,确定所述图像的显著性特征,采用如下方式实现:

计算所述图像的像素点的显著性特征值;

对所述像素点的显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点。

可选的,所述提取的像素特征块内的像素点的显著性特征值为所述显著性特征值的下限值。

可选的,所述图像边界像素点的显著性特征值的初始值为所述显著性特征值的下限值。

可选的,除所述图像边界像素点之外,其余像素点的显著性特征值的初始值为所述显著性特征值的上限值。

可选的,所述像素点的显著性特征值,基于所述像素点的显著性特征值的初始值,通过迭代计算更新所述像素点的显著性特征值,并根据迭代计算结果确定所述像素点的显著性特征值;

其中,若所述迭代计算的次数为奇数,则根据所述像素点左侧相邻像素点和上侧相邻像素的显著性特征值更新所述像素点的显著性特征值;

若所述迭代计算的次数为偶数,则根据所述像素点右侧相邻像素点和下侧相邻像素的显著性特征值更新所述像素点的显著性特征值。

可选的,所述像素点的显著性特征值迭代计算过程中采用光栅扫描的方式扫描所述像素点,并按照所述光栅扫描方式扫描所述像素点的顺序,依次对所述像素点的显著性特征值进行迭代计算。

可选的,若所述迭代计算的次数为奇数,采用所述光栅扫描的方式对所述像素点进行扫描时,按照正序扫描的方式依次从所述图像左上角第一个像素点依次扫描至右下角最后一个像素点;

若所述迭代计算的次数为偶数,采用所述光栅扫描的方式对所述像素点进行扫描时,按照倒序扫描的方式依次从所述图像右下角最后一个像素点依次扫描至左上角第一个像素点。

可选的,所述归一化所述像素点的显著性特征值,采用如下方式实现:

将所述像素点的显著性特征值归一化至所述像素点的灰度值。

可选的,所述对归一化后所述显著性特征值进行二值化分割,采用如下方式实现:

判断归一化后所述像素点的灰度值是否大于灰度阈值,若是,所述像素点为所述图像的显著性像素点;若否,所述像素点为所述图像的非显著性像素点。

可选的,所述对图像的像素特征块进行分割,采用如下方式实现:

采用mean-shift图像分割算法对所述图像的像素特征块进行分割。

可选的,所述检测所述图像的边缘特征,采用如下方式实现:

采用canny边缘检测算子检测所述图像的边缘特征,获得所述图像的像素点的边缘特征的灰度值。

可选的,所述提取所分割的像素特征块中满足预设阈值的像素特征块,采用如下方式实现:

计算所分割的像素特征块内的像素点数目,若所述像素特征块内的像素点数目超出像素点数目阈值,则提取所述像素特征块。

可选的,所述提取所分割的像素特征块中满足预设阈值的像素特征块,采用如下方式实现:

计算所分割的像素特征块的面积,若所述像素特征块的面积大于或者等于面积阈值,则提取所述像素特征块。

可选的,所述将所述边缘特征与所述显著性特征进行比对,采用如下方式实现:

根据检测获得的所述图像的像素点的边缘特征的灰度值,以及分析确定的所述像素点的显著性特征值,对所述像素点的边缘特征的灰度值与所述显著性特征值进行或运算,根据计算获得的所述图像的像素点的灰度值确定所述图像的显著性区域。

本申请提供的另一种电子设备实施例如下:

在上述的实施例中,提供了另一种图像显著性检测方法,此外,本申请还提供了一种用于实现所述另一种图像显著性检测方法的电子设备,下面结合附图进行说明。

参照附图12,其示出了本实施例提供的另一种电子设备的示意图。

本申请提供的所述电子设备实施例描述得比较简单,相关的部分请参见上述提供的所述另一种图像显著性检测方法实施例的对应说明即可。下述描述的实施例仅仅是示意性的。

本申请提供另一种电子设备,包括:

存储器12-01,以及处理器12-02;

所述存储器12-01用于存储计算机可执行指令,所述处理器12-02用于执行所述计算机可执行指令:

检测图像的边缘特征;

识别所述图像中满足预设阈值的像素特征块;

基于所识别的像素特征块,确定所述图像的显著性特征;

将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

可选的,所述基于所识别的像素特征块,确定所述图像的显著性特征,采用如下方式实现:

针对所述图像的至少一个像素点,执行如下操作:计算所述像素点的显著性特征值;归一化所述像素点的显著性特征值;对归一化后所述显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点。

可选的,所述基于所识别的像素特征块,确定所述图像的显著性特征,采用如下方式实现:

计算所述图像的像素点的显著性特征值;

对所述像素点的显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点。

可选的,所述识别的像素特征块内的像素点的显著性特征值为所述显著性特征值的下限值。

可选的,所述图像边界像素点的显著性特征值的初始值为所述显著性特征值的下限值。

可选的,除所述图像边界像素点之外,其余像素点的显著性特征值的初始值为所述显著性特征值的上限值。

可选的,所述像素点的显著性特征值,基于所述像素点的显著性特征值的初始值,通过迭代计算更新所述像素点的显著性特征值,并根据迭代计算结果确定所述像素点的显著性特征值;

其中,若所述迭代计算的次数为奇数,则根据所述像素点左侧相邻像素点和上侧相邻像素的显著性特征值更新所述像素点的显著性特征值;

若所述迭代计算的次数为偶数,则根据所述像素点右侧相邻像素点和下侧相邻像素的显著性特征值更新所述像素点的显著性特征值。

可选的,所述像素点的显著性特征值迭代计算过程中采用光栅扫描的方式扫描所述像素点,并按照所述光栅扫描方式扫描所述像素点的顺序,依次对所述像素点的显著性特征值进行迭代计算。

可选的,若所述迭代计算的次数为奇数,采用所述光栅扫描的方式对所述像素点进行扫描时,按照正序扫描的方式依次从所述图像左上角第一个像素点依次扫描至右下角最后一个像素点;

若所述迭代计算的次数为偶数,采用所述光栅扫描的方式对所述像素点进行扫描时,按照倒序扫描的方式依次从所述图像右下角最后一个像素点依次扫描至左上角第一个像素点。

可选的,所述归一化所述像素点的显著性特征值,采用如下方式实现:

将所述像素点的显著性特征值归一化至所述像素点的灰度值。

可选的,所述对归一化后所述显著性特征值进行二值化分割,采用如下方式实现:

判断归一化后所述像素点的灰度值是否大于灰度阈值,若是,所述像素点为所述图像的显著性像素点;若否,所述像素点为所述图像的非显著性像素点。

可选的,所述检测所述图像的边缘特征,采用如下方式实现:

采用canny边缘检测算子检测所述图像的边缘特征,获得所述图像的像素点的边缘特征的灰度值。

可选的,所述将所述边缘特征与所述显著性特征进行比对,采用如下方式实现:

根据检测获得的所述图像的像素点的边缘特征的灰度值,以及分析确定的所述像素点的显著性特征值,对所述像素点的边缘特征的灰度值与所述显著性特征值进行或运算,根据计算获得的所述图像的像素点的灰度值确定所述图像的显著性区域。

本申请提供的一种计算机可读介质实施例如下:

在上述的实施例中,提供了一种图像显著性检测方法,此外,本申请还提供了一种计算机可读介质,其上存储有指令,所述指令被执行时,执行本申请提供的所述图像显著性检测方法。

本申请提供一种计算机可读介质,其上存储有指令,所述指令被执行以用于:

对图像的像素特征块进行分割;

检测所述图像的边缘特征;

提取所分割的像素特征块中满足预设阈值的像素特征块;

基于所提取的像素特征块,确定所述图像的显著性特征;

将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

可选的,所述基于所提取的像素特征块,确定所述图像的显著性特征,采用如下方式实现:

针对所述图像的至少一个像素点,执行如下操作:

计算所述像素点的显著性特征值;

归一化所述像素点的显著性特征值;

对归一化后所述显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点。

可选的,所述基于所提取的像素特征块,确定所述图像的显著性特征,采用如下方式实现:

计算所述图像的像素点的显著性特征值;

对所述像素点的显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点。

可选的,所述提取的像素特征块内的像素点的显著性特征值为所述显著性特征值的下限值。

可选的,所述图像边界像素点的显著性特征值的初始值为所述显著性特征值的下限值。

可选的,除所述图像边界像素点之外,其余像素点的显著性特征值的初始值为所述显著性特征值的上限值。

可选的,所述像素点的显著性特征值,基于所述像素点的显著性特征值的初始值,通过迭代计算更新所述像素点的显著性特征值,并根据迭代计算结果确定所述像素点的显著性特征值;

其中,若所述迭代计算的次数为奇数,则根据所述像素点左侧相邻像素点和上侧相邻像素的显著性特征值更新所述像素点的显著性特征值;

若所述迭代计算的次数为偶数,则根据所述像素点右侧相邻像素点和下侧相邻像素的显著性特征值更新所述像素点的显著性特征值。

可选的,所述像素点的显著性特征值迭代计算过程中采用光栅扫描的方式扫描所述像素点,并按照所述光栅扫描方式扫描所述像素点的顺序,依次对所述像素点的显著性特征值进行迭代计算。

可选的,若所述迭代计算的次数为奇数,采用所述光栅扫描的方式对所述像素点进行扫描时,按照正序扫描的方式依次从所述图像左上角第一个像素点依次扫描至右下角最后一个像素点;

若所述迭代计算的次数为偶数,采用所述光栅扫描的方式对所述像素点进行扫描时,按照倒序扫描的方式依次从所述图像右下角最后一个像素点依次扫描至左上角第一个像素点。

可选的,所述归一化所述像素点的显著性特征值,采用如下方式实现:

将所述像素点的显著性特征值归一化至所述像素点的灰度值。

可选的,所述对归一化后所述显著性特征值进行二值化分割,采用如下方式实现:

判断归一化后所述像素点的灰度值是否大于灰度阈值,若是,所述像素点为所述图像的显著性像素点;若否,所述像素点为所述图像的非显著性像素点。

可选的,所述对图像的像素特征块进行分割,采用如下方式实现:

采用mean-shift图像分割算法对所述图像的像素特征块进行分割。

可选的,所述检测所述图像的边缘特征,采用如下方式实现:

采用canny边缘检测算子检测所述图像的边缘特征,获得所述图像的像素点的边缘特征的灰度值。

可选的,所述提取所分割的像素特征块中满足预设阈值的像素特征块,采用如下方式实现:

计算所分割的像素特征块内的像素点数目,若所述像素特征块内的像素点数目超出像素点数目阈值,则提取所述像素特征块。

可选的,所述提取所分割的像素特征块中满足预设阈值的像素特征块,采用如下方式实现:

计算所分割的像素特征块的面积,若所述像素特征块的面积大于或者等于面积阈值,则提取所述像素特征块。

可选的,所述将所述边缘特征与所述显著性特征进行比对,采用如下方式实现:

根据检测获得的所述图像的像素点的边缘特征的灰度值,以及分析确定的所述像素点的显著性特征值,对所述像素点的边缘特征的灰度值与所述显著性特征值进行或运算,根据计算获得的所述图像的像素点的灰度值确定所述图像的显著性区域。

本申请提供的另一种计算机可读介质实施例如下:

在上述的实施例中,提供了另一种图像显著性检测方法,此外,本申请还提供了一种计算机可读介质,其上存储有指令,所述指令被执行时,执行本申请提供的上述另一种图像显著性检测方法。

本申请提供另一种计算机可读介质,其上存储有指令,所述指令被执行以用于:

检测图像的边缘特征;

识别所述图像中满足预设阈值的像素特征块;

基于所识别的像素特征块,确定所述图像的显著性特征;

将所述边缘特征与所述显著性特征进行比对,确定所述图像的显著性区域。

可选的,所述基于所识别的像素特征块,确定所述图像的显著性特征,采用如下方式实现:

针对所述图像的至少一个像素点,执行如下操作:计算所述像素点的显著性特征值;归一化所述像素点的显著性特征值;对归一化后所述显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点。

可选的,所述基于所识别的像素特征块,确定所述图像的显著性特征,采用如下方式实现:

计算所述图像的像素点的显著性特征值;

对所述像素点的显著性特征值进行二值化分割,根据分割结果确定所述图像的显著性像素点和非显著性像素点。

可选的,所述识别的像素特征块内的像素点的显著性特征值为所述显著性特征值的下限值。

可选的,所述图像边界像素点的显著性特征值的初始值为所述显著性特征值的下限值。

可选的,除所述图像边界像素点之外,其余像素点的显著性特征值的初始值为所述显著性特征值的上限值。

可选的,所述像素点的显著性特征值,基于所述像素点的显著性特征值的初始值,通过迭代计算更新所述像素点的显著性特征值,并根据迭代计算结果确定所述像素点的显著性特征值;

其中,若所述迭代计算的次数为奇数,则根据所述像素点左侧相邻像素点和上侧相邻像素的显著性特征值更新所述像素点的显著性特征值;

若所述迭代计算的次数为偶数,则根据所述像素点右侧相邻像素点和下侧相邻像素的显著性特征值更新所述像素点的显著性特征值。

可选的,所述像素点的显著性特征值迭代计算过程中采用光栅扫描的方式扫描所述像素点,并按照所述光栅扫描方式扫描所述像素点的顺序,依次对所述像素点的显著性特征值进行迭代计算。

可选的,若所述迭代计算的次数为奇数,采用所述光栅扫描的方式对所述像素点进行扫描时,按照正序扫描的方式依次从所述图像左上角第一个像素点依次扫描至右下角最后一个像素点;

若所述迭代计算的次数为偶数,采用所述光栅扫描的方式对所述像素点进行扫描时,按照倒序扫描的方式依次从所述图像右下角最后一个像素点依次扫描至左上角第一个像素点。

可选的,所述归一化所述像素点的显著性特征值,采用如下方式实现:

将所述像素点的显著性特征值归一化至所述像素点的灰度值。

可选的,所述对归一化后所述显著性特征值进行二值化分割,采用如下方式实现:

判断归一化后所述像素点的灰度值是否大于灰度阈值,若是,所述像素点为所述图像的显著性像素点;若否,所述像素点为所述图像的非显著性像素点。

可选的,所述检测所述图像的边缘特征,采用如下方式实现:

采用canny边缘检测算子检测所述图像的边缘特征,获得所述图像的像素点的边缘特征的灰度值。

可选的,所述将所述边缘特征与所述显著性特征进行比对,采用如下方式实现:

根据检测获得的所述图像的像素点的边缘特征的灰度值,以及分析确定的所述像素点的显著性特征值,对所述像素点的边缘特征的灰度值与所述显著性特征值进行或运算,根据计算获得的所述图像的像素点的灰度值确定所述图像的显著性区域。

本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。

本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1