图像显著性检测方法、系统、设备及计算机可读存储介质与流程

文档序号:14995139发布日期:2018-07-24 09:33阅读:156来源:国知局
本发明涉及图像处理领域,特别涉及图像显著性检测方法、系统、设备及计算机可读存储介质。
背景技术
:随着人工智能的不断发展,计算机技术广泛应用于图像处理与分析领域,其中包括图像显著性检测、图像检索、目标定位等。图像显著性检测是指通过一定的方法检测出图像中吸引人注意的较为显著的区域。利用图像显著性检测技术,在对某个特定目标跟踪识别时,可以快速而准确地锁定目标对象的位置。因此,图像显著性检测技术已受到国内外心理学专家和计算机视觉研究者的广泛关注,在图像压缩和传输、高效存储、图像智能检索中也有了广泛应用。在计算机视觉和图像分析领域,通过图像显著性检测,可以快速而准确地定位感兴趣区域。在存储大量的图像时,可以只存储感兴趣的区域,而不是存储整张图像,可以节省大量的存储空间;在基于图像内容的检索中,可以利用已经检测到的显著区域,对图像进行遍历及匹配,而不需要对整张图像进行匹配,可以提高图像检索速度。在现有技术中,对图像进行显著性检测的方法分为两类,一类是人工提取特征方法,具体地,人工提取的特征是根据用户的先验知识得到的,很难保证是对测试样本来说最有效的特征,而且检测效率低。因而,开发了第二类技术方法,即随着深度学习的不断发展形成的基于卷积网络的图像显著性检测方法,基于卷积网络的显著性检测方法是让网络通过卷积自动地提取有效的特征,从而进行显著区域检测,因此基于卷积神经网络的图像显著性检测可以得到比人工提取特征方法更高的检测效果。但是基于卷积网络的图像显著性检测方法的检测精度仍然无法满足人们对更高图像显著性检测精度的需求。因此,如何提高图像显著性检测的精度是本领域技术人员亟待解决的问题。技术实现要素:有鉴于此,本发明的目的在于提供一种图像显著性检测方法、系统、设备及计算机可读存储介质,提高图像显著性检测的精度。其具体方案如下:一种图像显著性检测方法,包括:利用获取的训练样本,基于条件随机场,对利用全卷积网络构建的待训练模型进行迭代训练,得到目标检测模型;其中,所述训练样本包括图像数据和标注数据;利用所述目标检测模型检测待检测数据,得到相应的检测结果;基于显著性分割方法对所述检测结果进行优化,以提高图像显著性检测的精度。优选的,所述利用获取的训练样本,基于条件随机场,对利用全卷积网络构建的待训练模型进行迭代训练,得到目标检测模型的过程之前还包括:将所述训练样本相应的图像尺寸由原始尺寸调整为预设尺寸。优选的,所述利用所述目标检测模型检测待检测数据,得到相应的检测结果的过程之前还包括:将所述待检测数据相应的图像尺寸由原始尺寸调整为所述预设尺寸。优选的,所述利用所述目标检测模型检测待检测数据,得到相应的检测结果的过程之后还包括:将所述检测结果相应的图像尺寸由所述预设尺寸调整至所述检测结果相应的原始尺寸。优选的,调整图像尺寸的过程包括:利用MATLAB中的imresize函数调整图像尺寸。优选的,所述利用获取的训练样本,基于条件随机场,对利用全卷积网络构建的待训练模型进行迭代训练,得到目标检测模型的过程包括:利用获取的训练样本,基于条件随机场,对所述待训练模型进行N次迭代训练,得到所述目标检测模型;其中,N为大于或等于35000的整数。优选的,所述对所述待训练模型进行N次迭代训练的方式具体为:每次从所述训练样本相应的图像中挑选任意一张图像对所述待训练模型进行迭代训练。相应的,本发明提供一种图像显著性检测系统,包括:模型训练模块,用于利用获取的训练样本,基于条件随机场,对利用全卷积网络构建的待训练模型进行迭代训练,得到目标检测模型;其中,所述训练样本包括图像数据和标注数据;数据检测模块,用于利用所述目标检测模型检测待检测数据,得到相应的检测结果;结果优化模块,基于显著性分割方法对所述检测结果进行优化,以提高图像显著性检测的精度。相应的,本发明还提供一种图像显著性检测设备,所述图像显著性检测设备包括处理器及存储有图像显著性检测程序的存储器;其中,所述图像显著性检测程序配置为实现如上述的图像显著性检测方法的步骤。相应的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有单芯片图像显著性检测程序,所述图像显著性检测程序被处理器执行时实现如上述的图像显著性检测方法的步骤。本发明提供一种图像显著性检测方法,包括:利用获取的训练样本,基于条件随机场,对利用全卷积网络构建的待训练模型进行迭代训练,得到目标检测模型;其中,训练样本包括图像数据和标注数据;利用目标检测模型检测待检测数据,得到相应的检测结果;基于显著性分割方法对检测结果进行优化,以提高图像显著性检测的精度。可见,本发明提供的图像显著性检测方法,利用全卷积网络进行图像待训练模型的创建,原因是全卷积网络避免了使用像素块而带来的重复存储和计算卷积的问题,因而更加高效;并基于条件随机场,利用获取的训练样本对上述待训练模型进行迭代训练,尽可能提高检测精度,得到目标图像检测模型,与现有技术中利用深度学习构建的图像检测模型相比,提高图像显著性检测的精度;接着,利用目标检测模型检测待检测数据,得到相应的检测结果;并对检测结果利用显著性分割方法进行优化,进一步提高图像显著性检测的精度。相关检测结果表明:利用上述技术方案检测不同数据库中的待检测数据的检测精度显著高于利用深度学习构建的图像检测模型的检测精度。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。图1为本发明实施例提供的一种图像显著性检测方法的流程图;图2为本发明实施例提供的另外一种图像显著性检测方法的流程图;图3为本发明实施例提供的一种图像显著性检系统的结构示意图。具体实施方式下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。本发明实施例公开了一种图像显著性检测方法,如图1所示,包括:步骤S11:利用获取的训练样本,基于条件随机场,对利用全卷积网络构建的待训练模型进行迭代训练,得到目标检测模型;其中,训练样本包括图像数据和标注数据。需要进行说明的是,本步骤中的待训练模型基于全卷积网络的原因:全卷积网络具有以下优点:一是可以接受任意大小的输入图像,而不用要求所有的训练图像和测试图像具有同样的尺寸。二是更加高效,因为避免了由于使用像素块而带来的重复存储和计算卷积的问题。需要进行进一步说明的是,上述条件随机场(conditionalrandomfield,CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫随机场。上述步骤利用条件随机场可以根据上一组的训练结果,对待训练模型的参数进行迭代,使测试精度不断提高,不断逼近基于全卷积网络的图像显著性检测模型的测试精度极限,进而得到目标图像测试模型。步骤S12:利用目标检测模型检测待检测数据,得到相应的检测结果。需要进行说明的是,上述待检测数据通常为未知结果的待检测数据,当然,为了检测本实施例提供的图像显著性检测方法的检测精度,上述待检测数据也可以是已知标准结果的测试数据。步骤S13:基于显著性分割方法对检测结果进行优化,以提高图像显著性检测的精度。需要进行说明的是,利用显著性分割方法对检测结果进行优化,能够使检测结果对应图像的边缘更清晰,完整性更好,进而提高图像显著性检测的精度。可见,本发明实施例提供的图像显著性检测方法,利用全卷积网络进行图像待训练模型的创建,原因是全卷积网络避免了使用像素块而带来的重复存储和计算卷积的问题,因而更加高效;并基于条件随机场,利用获取的训练样本对上述待训练模型进行迭代训练,尽可能提高检测精度,得到目标图像检测模型,与现有技术中利用深度学习构建的图像检测模型相比,提高图像显著性检测的精度;接着,利用目标检测模型检测待检测数据,得到相应的检测结果;并对检测结果利用显著性分割方法进行优化,进一步提高图像显著性检测的精度。相关检测结果表明:利用上述技术方案检测不同数据库中的待检测数据的检测精度显著高于利用深度学习构建的图像检测模型的检测精度。本发明实施例还提供另外一种图像显著性检测方法,如图2所示,包括:步骤S21:将训练样本相应的图像尺寸由原始尺寸调整为预设尺寸。实施上述步骤的原因是:训练样本中包含的相应多个图像的尺寸是不相同的,将训练样本相应的图像尺寸由原始尺寸调整为统一的预设尺寸,这样,在利用待训练样本对待训练模型进行训练时,相应的图片尺寸设置只需要设置一次,因而更加方便。步骤S22:利用获取的训练样本,基于条件随机场,对利用全卷积网络构建的待训练模型进行迭代训练,得到目标检测模型;其中,训练样本包括图像数据和标注数据。本发明实施例中,步骤S22的具体实施过程可以是:利用获取的训练样本,基于条件随机场,对待训练模型进行N次迭代训练,得到目标检测模型;其中,N为大于或等于35000的整数。上述N通常取35000,原因是多次实验证明当N取35000时,上述目标检测模型的检测精度趋于稳定,考虑到检测效率,N通常取35000,当然也可以是大于35000的整数。需要进一步说明的是,对待训练模型进行N次迭代训练的方式具体可以为:每次从训练样本相应的图像中挑选任意一张图像对待训练模型进行迭代训练。需要说明的是,对待训练模型进行N次迭代训练的方式具体也可以是:每次从训练样本剩余的图像中挑选任意一张图像对待训练模型进行迭代训练,也就是说,当某一张图像A被挑选后,再进行下一次图像挑选时,图像A将不在被挑选范围之内;这种方法与每次从训练样本相应的图像中挑选任意一张图像对待训练模型进行迭代训练相比,实施过程复杂,工作量大,且不能提高本发明实施例提供的图像显著性检测方法的检测精度。所以,每次从训练样本相应的图像中挑选任意一张图像对待训练模型进行迭代训练,操作简单,工作量小,因而更高效。步骤S23:将待检测数据相应的图像尺寸由原始尺寸调整为预设尺寸。需要进行说明的是,步骤S23的实施顺序可以在步骤S21之前或步骤S22之前,具体根据用户的需求。步骤S23的实施原因与步骤S21相同,在此不再赘述。步骤S24:利用目标检测模型检测待检测数据,得到相应的检测结果。需要进行说明的是,上述待检测数据通常为未知结果的待检测数据,当然,为了检测本实施例提供的图像显著性检测方法的检测精度,上述待检测数据也可以是测试数据。步骤S25:基于显著性分割方法对检测结果进行优化,以提高图像显著性检测的精度。需要进行说明的是,利用显著性分割方法对检测结果进行优化,能够使检测结果对应图像的边缘更清晰,完整性更好,进而提高图像显著性检测的精度。步骤S26:将检测结果相应的图像尺寸由预设尺寸调整至检测结果相应的原始尺寸。步骤S26的实施是伴随步骤S23进行的,互为相反过程。需要特备说明的是:步骤S21、步骤S23、步骤S26中调整图片尺寸的方法通常是:利用MATLAB中的imresize函数调整图像尺寸。步骤S26的具体实施方式可以是,使用MATLAB中自带的imresize函数对步骤S25获得的相应的图像进行插值操作,得到与初始上述待检测数据相应的图像尺寸一致的全分辨率包含显著性信息的图像,即显著图。相应的,本发明实施例还提供了一种图像显著性检测方法的具体实施方式,包括:首先,使用MATLAB中自带的imresize函数对已标注的训练样本进行插值,使得训练样本中的每个图像样本的尺寸统一规格化到规定大小W*H,其中W为321,H为321。然后,训练样本经过预处理之后,将训练样本放入全卷积网络进行迭代训练,依次迭代35000次,每次从训练样本的10000张图像样本中随机挑选一张输入网络进行迭代训练并更新网络中每层卷积的权重参数,测到目标图像显著性测试模型。接着,原始待测试集中的图像样本大小基本都不相同,经过预处理之后,即可测试样本都规格化到同一尺寸。具体地,使用MATLAB中自带的imresize函数对测试集进行插值,使得测试集中的每个图像样本的尺寸统一规格化到规定大小W*H,其中W为321,H为321。接着,对每一张待测试集中的样本图像,利用训练出来的目标图像显著性检测模型进行测试,都可以得到对应的一张初始显著图,显著图的尺寸为W*H。接着,使用显著性分割方法对每一张初始显著图进行优化操作,得到效果与真实标注图更接近的显著图。最后,测试得到的显著图尺寸与原始测试集中的样本图片尺寸不同,所以使用MATLAB中自带的imresize函数对初始显著图进行插值操作,得到与初始测试集中的样本图片大小相同的全分辨率显著图。接下来,利用不同的数据库对得到的目标图像显著性模型进行测试,并与利用基于传统的图像显著性检测模型的测试结果对比,例如BSCA,HS,RC,HFT。需要说明的是,本发明实施例使用的训练样本的数据库为MSRA10K数据库,并在四个公开的数据库上进行了测试:CSSD、ECSSD、JianLi、SED2。具体地,MSRA10K数据库是微软亚洲研究院提出的数据库MSRA-A和MSRA-B中的一部分,它包含10000个训练样本;CSSD数据库共有200个测试样本;ECSSD数据库共有1000个测试样本;CSSD和ECSSD数据库是由论文“HierarchicalSaliencyDetection(HS)”的作者严琼等人提出的,其中ECSSD是CSSD的扩展数据集;JianLi数据库是由论文“VisualSaliencyBasedonScale-SpaceAnalysisintheFrequencyDomain(HFT)”的作者李健等人提出的,其共有235个测试样本;SED2数据库由论文“Imagesegmentationbyprobabilisticbottom-upaggregationandcueintegration”的作者S.Alpert等人提出,共有100个测试样本,该数据库中的图像均含有两个显著目标。这些数据库从多方面收集,都是领域内被广泛使用的数据库,因而测试结果具有普遍说明性。进一步的,请参阅表1~表4,为本发明方法和BSCA、HS、RC、HFT等传统方法分别在四个数据库CSSD、ECSSD、JianLi、SED2上的实验效果对比;并且,在数据库ECSSD中对比了本发明方法和DLS、TFCN、NLDF、DSS、ELD-Net等基于深度学习的显著性检测方法,对比数据列在表5中。通过使用普遍采用的四个评测指标,分别是平均检测精度、平均检测回执度、F-Measure和平均绝对错误MAE,比较本发明方法和对比方法(BSCA,HS,RC,HFT)的检测效果,并在F-Measure和MAE(MAE,MeanAbsoluteError,平均绝对误差)指标上对比了本发明方法和基于深度学习的显著性检测方法。需要进行补充说明的是,这四个评测指标中检测精度越大越好,检测回执度越大越好,F-Measure越大越好以及平均绝对错误越小越好。其中,检测精度(Precision)的计算方式为:检测回执度(Recall)的计算方式为:其中,M表示显著性算法得到的显著性图进行二值化后获得的二值图,G表示人工标注图。|M∩G|则表示M与G具有相同前景标签(前景标签的值为1,背景标签的值为0)的像素的个数,M与G分别是M与G中前景标签的像素数目。F-Measure的计算方式为:根据经验以及相关文献,本发明设置参数β2的值为0.3。F-Measure评测指标可以综合评估检测精度和检测回执度。MAE的计算方式为:该评估指标可以理解为是计算显著图和人工标注图的差异程度,其中,S表示显著性图,G表示对应的人工标注图,W和H分别代表S的宽度和高度,参与运算的S与对应的G具有相同的尺寸。表1.BSCA、HS、RC、HFT和本发明方法在数据库CSSD上的检测性能对比方法检测精度(%)检测回执度(%)F-Measure(%)MAE本发明方法94.5589.0593.220.0387BSCA82.6066.8378.330.1457HS79.8767.6276.660.1680RC83.0863.5477.570.1450HFT65.5737.8356.080.2564表2.BSCA、HS、RC、HFT和本发明方法在数据库ECSSD上的检测性能对比方法检测精度(%)检测回执度(%)F-Measure(%)MAE本发明方法92.4491.1192.130.0412BSCA73.6862.1870.660.1824HS69.3062.5967.630.2250RC72.9359.0669.180.1895HFT56.8635.8650.090.2771表3.BSCA、HS、RC、HFT和和本发明方法在数据库JianLi上的检测性能对比方法检测精度(%)检测回执度(%)F-Measure(%)MAE本发明方法80.4168.0077.160.0552BSCA46.7358.7649.050.1893HS51.3959.1953.000.2119RC50.5654.1651.350.1592HFT60.1248.7357.040.1538表4.BSCA、HS、RC、HFT和本发明方法在数据库SED2上的检测性能对比方法检测精度(%)检测回执度(%)F-Measure(%)MAE本发明方法93.0480.0789.690.0590BSCA79.2962.6874.720.1497HS73.2566.8171.660.1859RC76.8760.9072.480.1478HFT65.8935.3854.950.1990从表1至表4中的测试结果可以看出,本发明实施例提供的图像显著性检测方法,基于全卷积网络,在四个数据库上的检测效果均好于BSCA、HS、RC、HFT等传统方法。表5.本方法基于深度学习的对比显著性算法实验效果对比方法DLSTFCNNLDFDSSELD-Net本发明方法F-Measure0.76600.91100.90500.91500.90400.9237MAE0.09000.05600.06300.05200.07200.0412从表5中,本发明可以看出:本发明实施例提供的图像显著性检测方法在ECSSD数据库中的检测效果优于DLS、TFCN、NLDF、DSS、ELD-Net等基于深度学习的显著性检测方法。可见,本发明提供的图像显著性检测方法,利用全卷积网络进行图像待训练模型的创建,原因是全卷积网络避免了使用像素块而带来的重复存储和计算卷积的问题,因而更加高效;并基于条件随机场,利用获取的训练样本对上述待训练模型进行迭代训练,尽可能提高检测精度,得到目标图像检测模型,与现有技术中利用深度学习构建的图像检测模型相比,提高图像显著性检测的精度;接着,利用目标检测模型检测待检测数据,得到相应的检测结果;并对检测结果利用显著性分割方法进行优化,进一步提高图像显著性检测的精度。相关检测结果表明:利用上述技术方案检测不同数据库中的待检测数据的检测精度显著高于利用深度学习构建的图像检测模型的检测精度。相应的,本发明实施例还提供一种图像显著性检测系统,参见图3所示,包括:模型训练模块11,用于利用获取的训练样本,基于条件随机场,对利用全卷积网络构建的待训练模型进行迭代训练,得到目标检测模型;其中,训练样本包括图像数据和标注数据。数据检测模块12,用于利用目标检测模型检测待检测数据,得到相应的检测结果。结果优化模块13,基于显著性分割方法对检测结果进行优化,以提高图像显著性检测的精度。相应的,本发明实施例还提供一种图像显著性检测设备,图像显著性检测设备包括处理器及存储有图像显著性检测程序的存储器;其中,图像显著性检测程序配置为实现如上述的图像显著性检测方法的步骤。相应的,本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有单芯片图像显著性检测程序,图像显著性检测程序被处理器执行时实现如上述的图像显著性检测方法的步骤。最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。以上对本发明所提供的方法、系统、设备及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。当前第1页1 2 3 
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1