一种基于脉冲耦合神经网络的彩色图像分割方法及装置与流程
本发明涉及图像处理领域，更具体地，涉及一种基于脉冲耦合神经网络的彩色图像分割方法及装置。
背景技术：
图像分割是指给图像中的每个像素分配一个标签，以使相同标签的像素具有相似特征的过程。根据分割结果可以对场景中的目标和感兴趣区域进行识别，在机器视觉、图像理解和基于内容的检索中具有重要作用。随着计算机技术和图像传感器技术的发展，彩色图像处理成为了图像处理领域研究的热点。
由于彩色图像分割的算法复杂、计算量大，图像分割的早期研究主要针对灰度图像，忽略了图像的颜色信息。脉冲耦合神经网络(pulsecoupledneuralnetworks,pcnn)是一种第三代神经网络，是依据猫的大脑视觉皮层上的同步脉冲发放现象提出的。它是一个二维的平面晶格结构，与图像中的像素一一对应。像素所对应的脉冲耦合神经元的动态发放模式同时可以描述像素的自身属性(灰度或颜色)和其在图像中的空间结构属性，神经元间通过动态脉冲耦合实现信息的传播和交互。在图像分割中，具有相似特征的相邻像素对应的神经元在同一时刻激发，这些神经元具有相同的标记。
由于传统pcnn神经元的馈入单元只能接收标量形式的输入，不能接收向量的输入，因此只能进行灰度图像的分割，不能进行彩色图像的分割。
技术实现要素：
为克服上述pcnn模型不能用于彩色图像分割的问题，本发明提供了一种基于脉冲耦合神经网络的彩色图像分割方法及装置。
根据本发明的第一方面，提供一种基于脉冲耦合神经网络的彩色图像分割方法，包括：
s1，将第一彩色图像的颜色空间转换成lab颜色空间，生成第二彩色图像；
s2，使用改进的pcnn模型分别给所述第二彩色图像中的所有像素标记上对应的标签，所述改进的pcnn模型包括连接控制单元。
具体地，s2进一步包括：
s21，使用连接强度为初始值的所述改进的pcnn模型对所述第二彩色图像进行特征提取；
s22，增大所述改进的pcnn模型的连接强度，使用连接强度增大后的所述改进的pcnn模型对所述第二彩色图像进行特征提取，直到不满足所述第一预设条件和所述第二预设条件；或者，
当不满足所述第一预设条件和所述第二预设条件时，将最后一次迭代提取的所述第二彩色图像的特征对应的像素标记为相同标签；
其中，所述第一预设条件为增大后的连接强度小于第一预设阈值；
所述第二预设条件为计算该次迭代前后提取出的所述第二彩色图像的特征之间的距离，所述距离小于第二预设阈值，或此次迭代提取出的所述第二彩色图像的特征的个数小于第三预设阈值。
所述连接控制单元lcu的公式为：
其中，lcukl[n]表示第n次迭代中连接控制单元关于第kl个邻域的输出，(i，j)表示当前神经元的坐标，n(i，j)表示当前神经元的邻域，sfijc表示当前神经元的第c维频谱特征，sfklc表示当前神经元的邻域的第c维频谱特征。|sfijc-sfklc|表示当前神经元的频谱特征与当前神经元的邻域的频谱特征之间的距离，θ为第四预设阈值。
具体地，所述改进的pcnn模型的公式为：
fij[n]＝sij，
uij[n]＝fij[n](1+βnlij[n])，
其中，f表示馈入部分，l表示连接部分，u表示内部状态，y表示输出，p表示标签，t表示第五预设阈值，s表示所述第二彩色图像的l分量，n表示迭代次数，β表示连接强度，wt表示初始阈值，ω表示第六预设阈值。
具体地，
所述改进的pcnn模型的连接强度的初始值为：
其中，βini表示连接强度的初始值，inputseed表示种子的l值，diffmin表示种子与种子的邻域的最小距离。
具体地，在s2之后还包括：
统计具有相同标签的像素的个数；
若判断所述像素的个数小于第七预设阈值，则对所述像素的标签进行更改。
根据本发明的第二方面，提供一种基于脉冲耦合神经网络的彩色图像分割装置，包括：
转换单元，用于将第一彩色图像的颜色空间转换成lab颜色空间，生成第二彩色图像；
标记单元，用于使用改进的pcnn模型分别给所述第二彩色图像中的所有像素标记上对应的标签，所述改进的pcnn模型包括连接控制单元。
具体地，所述标记单元进一步包括：
提取子单元，用于使用连接强度为初始值的所述改进的pcnn模型对所述第二彩色图像进行特征提取；
增大子单元，用于增大所述改进的pcnn模型的连接强度，使用连接强度增大后的所述改进的pcnn模型对所述第二彩色图像进行特征提取，直到不满足所述第一预设条件和所述第二预设条件；或者，
当不满足所述第一预设条件和所述第二预设条件时，将最后一次迭代提取的所述第二彩色图像的特征对应的像素标记为相同标签；
其中，所述第一预设条件为增大后的连接强度小于第一预设阈值；
所述第二预设条件为计算该次迭代和前一次迭代提取出的所述第二彩色图像的特征之间的距离，所述距离小于第二预设阈值，或此次迭代提取出的所述第二彩色图像的特征的个数小于第三预设阈值。
根据本发明的第三方面，提供一种计算机程序产品，包括程序代码，所述程序代码用于执行上述所述的基于脉冲耦合神经网络的彩色图像分割方法。
根据本发明的第四方面，提供一种非暂态计算机可读存储介质，用于存储如前所述的计算机程序。
本发明通过对第一彩色图像进行空间转换，生成第二彩色图像，从所述第二彩色图像中没有被标记的像素中选取像素作为种子，根据所述种子，将所述第二彩色图像的频谱特征作为输入，使用能接受向量输入的改进的pcnn模型对所述第二彩色图像中的像素进行标记，从而使pcnn用于彩色图像的分割，并能区分出不同区域。
附图说明
图1为现有技术中pcnn模型中的神经元结构图；
图2为现有技术中pcnn模型的分割结果；
图3为本发明实施例提供的基于脉冲耦合神经网络的彩色图像分割方法流程图；
图4为本发明实施例中改进的pcnn模型的神经元结构图；
图5为本发明又一实施例提供的基于脉冲耦合神经网络的彩色图像分割方法流程图；
图6为本发明实施例提供的基于脉冲耦合神经网络的彩色图像分割方法中所述第二预设条件中的第二个条件的效果对比图；
图7为本发明实施例中后续处理示意图；
图8为本发明实施例中区域合并的效果对比图
图9为本发明实施例提供的基于脉冲耦合神经网络的彩色图像分割装置结构图；
图10为本发明又一实施例提供的基于脉冲耦合神经网络的彩色图像分割装置结构图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
在介绍本发明之前，先介绍pcnn模型。图1为pcnn模型中的神经元结构图。如图1所示，每个所述神经元通过馈入部分和连接部分接收来自相邻神经元的输入，所述神经元通过突触上的权重m和w与所述相邻神经元进行连接。所述馈入部分和所述连接部分的值由以下公式决定：
其中，fij为第ij各神经元的馈入部分，lij是对应的连接部分。ykl是第n-1次迭代中所述相邻神经元的输出。fij和lij分别保留了通过指数衰减因子
uij[n]＝fij[n](1+βlij[n])；
其中，β为所述fij和所述lij的连接强度。所述内部状态uij与动态阈值tij进行比较，生成第ij各神经元的输出yij，即：
其中，阈值t是动态的。当神经元激发时，即uij[n]＞tij[n-1]时，阈值通过增加一个较大的常量vt大幅增加。这样可以阻止该神经元在一段时间内被激发，直到所述阈值通过衰减时间常数αt再次衰减到小于所述内部状态。通过迭代使用上述公式可以得到一系列二进制图像。图2为pcnn模型的分割结果。如图2所示，第一幅图像为原始图像，其他图像为不同迭代次数的输出结果。
如果没有特殊说明，以下实施例中的特征平均图像为将图像中具有相同标签的像素的特征的平均值作为具有该标签的像素的特征值而形成的图像。
图3为本发明实施例提供的基于脉冲耦合神经网络的彩色图像分割方法流程图，如图3所示，包括：s1，将第一彩色图像的颜色空间转换成lab颜色空间，生成第二彩色图像；s2，使用改进的pcnn模型分别给所述第二彩色图像中的所有像素标记上对应的标签，所述改进的pcnn模型包括连接控制单元。
具体地，s1中，所述lab颜彩空间是目前最均匀的颜色空间，且与设备无关，能用于基于几何距离公式的颜色比较。所述第一彩色图像为待分割的图像，可以为任意种类和频谱数量的彩色图像。对所述第一彩色图像进行空间转换，转换成lab颜色空间的第二彩色图像。s2中，在每次迭代中，从所述第二彩色图像中选取没有标记的像素，将所述第二彩色图像中l分量最大的没有标记的像素作为种子。如果l分量最大的没有标记的像素有多个，则从中选择一个作为种子，所述改进的pcnn模型可以自动选取种子。然后将所述种子对应的神经元的状态设置为激发状态，使用所述第二彩色图像的频谱作为输入，使用改进的pcnn模型给所述第二彩色图像中的像素标记上对应的标签，所述标签可以为迭代的次数，一次迭代中标记的像素的标签相同，不同迭代之间标记的标签不同。迭代执行选择种子和根据所述种子使用所述改进的pcnn进行标记的操作，直到所述第二彩色图像中的所有像素被标记。在s2之前，还包括对所述第二彩色图像进行预处理。所述预处理包括降低分辨率、正则化和平滑处理中的一种或多种。其中，降低分辨率能提高图像分割的速度，正则化使所述改进的pcnn算法一般化，平滑处理用于减少噪声。
图4为改进的pcnn模型中的神经元结构图，如图4所示，与标准的pcnn模型相比，所述改进的pcnn模型引入连接控制单元lcu(linkingcontrolunit)，用于接收当前神经元及其邻域的频谱输入，所述频谱为彩色空间中的向量。所述lcu输出连接信号lcukl以控制第ij个神经元和它的邻域之间建立的连接。本实施例不限于邻域的种类。当所述邻域为常用的八邻域时，所述kl∈[1,2…8]。本实施例中，所述改进的pcnn模型不受频谱维度的限制，可以用于处理任意维度的多频谱图像。所述连接控制单元lcu的公式为：
其中，lcukl[n]表示第n次迭代中连接控制单元关于第kl个邻域的输出，(i，j)表示当前神经元的坐标，n(i，j)表示当前神经元的邻域，sfijc表示当前神经元的第c维频谱特征，sfklc表示当前神经元的邻域的第c维频谱特征。|sfijc-sfklc|表示当前神经元的频谱特征与当前神经元的邻域的频谱特征之间的距离，θ为第四预设阈值。其中，对于lab图像，c＝{1、2、3}，|sfijc-sfklc|＝|sfij1-sfkl1|+|sfij2-sfkl2|+|sfij3-sfkl3|。
所述改进的pcnn模型的公式为：
fij[n]＝sij，
uij[n]＝fij[n](1+βnlij[n])，
其中，f表示馈入部分，l表示连接部分，u表示内部状态，y表示输出，p表示标记的标签，t表示第五预设阈值，s表示所述第二彩色图像的l分量，n表示迭代次数，β表示连接强度，wt表示初始阈值，ω表示第六预设阈值。
本发明通过对第一彩色图像进行空间转换，生成第二彩色图像，使用连接控制单元接收所述第二彩色图像的频谱输入，使用改进的pcnn模型对所述第二彩色图像中的像素进行标记，且每次迭代分割出一个区域，从而扩展pcnn的应用，使pcnn用于彩色图像的分割。
图5为本发明实施例提供的基于脉冲耦合神经网络的彩色图像分割方法流程图，如图5所示，在上述实施例的基础上，本实施例中，s2进一步包括：s21，使用连接强度为初始值的所述改进的pcnn模型对所述第二彩色图像进行特征提取；s22，增大所述改进的pcnn模型的连接强度，使用连接强度增大后的所述改进的pcnn模型对所述第二彩色图像进行特征提取，直到不满足所述第一预设条件和所述第二预设条件；或者，当不满足所述第一预设条件和所述第二预设条件时，对最后一次迭代中提取的所述第二彩色图像的特征对应的像素进行标记；其中，所述第一预设条件为增大后的连接强度小于第一预设阈值；所述第二预设条件为计算该次迭代前后提取出的所述第二彩色图像的特征之间的距离，所述距离小于第二预设阈值，或此次迭代提取的所述第二彩色图像的特征的个数小于第三预设阈值。
具体地，连接强度增大前后，使用所述改进的pcnn模型对所述第二彩色图像进行特征提取时，都是以种子神经元作为起始着火点，触发其他神经元的激发。当同时满足第一预设条件和第二预设条件时，迭代执行增大连接强度和特征提取的操作，直到不满足所述第一预设条件和所述第二预设条件。当所述第一预设条件和所述第二预设条件有一个条件不满足或两个条件都不满足时，对最后一次迭代中提取的所述第二彩色图像的特征对应的像素进行标记。所述第二预设条件中，该次迭代前后提取出的所述第二彩色图像的特征之间距离可以为该次迭代前后提取的第二彩色图像中l分量或所有分量之间的距离，本实施例中不限于所述距离的计算方式。所述第二预设条件中的第二个条件可以降低过分割的程度，减少后续处理的负担。
如图6所示，图6中的第1行图像为原图像，第2行图像为不使用第二预设条件中第二个条件的效果图，第3行图像为使用第二预设条件中第二个条件的效果图。其中，第2行第1幅和第3行第1幅图像为标记图像，第2行第2幅和第3行第2幅图像为特征平均图像。第2行第3幅和第3行第3幅图像为后续处理后的标记图像，第2行第4幅和第3行第4幅图像为后续处理后的特征平均图像。所述后续处理为下面实施例中的基于最近邻域的原则合并较小区域的方法。从中可以看出第3行第4幅图像明显比第2行第4幅图像中的分割效果好。本实施例中通过增大连接强度，计算连接强度增大前后提取的特征是否满足条件。如果不满足条件，将最后一次迭代提取的所述第二彩色图像的特征对应的像素标记为相同标签。如果满足条件，则依然进行迭代操作，扩大区域的范围，从而克服过分割的现象，减少后续处理的负担。以下为本实施例提供的基于脉冲耦合神经网络的彩色图像分割方法的伪代码。
在上述各实施例的基础上，本实施例中所述改进的pcnn模型的连接强度的初始值为：
其中，βini表示连接强度的初始值，inputseed表示种子的l值，diffmin表示种子与种子的邻域的最小距离。
具体地，所述改进的pcnn模型中连接强度的初始值的设置应当能使种子对应的神经元的至少一个邻域神经元被激发，即x(1+βinil)＞wt，其中x为与种子的l分量差值最小的邻域像素的l分量，l为x对应的神经元的连接部分，βini表示连接强度的初始值，wt表示阈值。解不等式得到
本实施例中，对所述改进的pcnn模型的连接强度的初始值进行设置，使设置的连接强度能使种子对应的神经元的至少一个邻域神经元被激发，避免了特征相似的像素由于连接强度过小而不能分为一类的情况和分割出的结果为孤立点的情况，从而提高了分割的精度和后续处理的复杂度。
在上述各实施例的基础上，本实施例中，在s2之后还包括：统计具有相同标签的像素的个数；若判断所述像素的个数小于第七预设阈值，则对所述像素的标签进行更改。
具体地，对图像进行分割后，进行后续处理很重要。图7为本实施例中后续处理示意图，如图7所示。a、b、c、d和e表示不同区域，每个区域中的像素具有相同标签，不同区域中像素的标签不同。a区域中像素的个数较少，假设小于第七预设阈值，则将a区域与其邻域进行合并，即将a区域中像素的标签更改为其领域中像素的标签。由于a区域与c区域共享的边界最长，因此将a区域与c区域进行合并。也可以计算a区域和其相邻区域中像素的特征平均值之间的距离，获取与a区域距离最小的领域，将a区域与距离最小的领域进行区域合并。图8为本实施例中区域合并的效果对比图，如图8所示，第一幅图像为原图像，第二幅图像为没有进行区域合并的标记图像，第三幅图像为没有进行区域合并的特征平均图像，第四幅图像为区域合并后的标记图像，第五幅图像为区域合并后的特征平均图像。本实施例中通过将图像分割中的过小区域与邻域进行合并，大大减少了分割中区域的数量，降低过分割的程度，便于后续基于图像分割的应用。
将本实施例提供的彩色图像方法与ctm、mean-shift、ncuts、fh和kmsgc进行比较。具体从pri(probabilisticrandindex,概率边缘指数)、voi(variationofinformation，信息差异)、gce(globalconsistencyerror，全局一致性错误)和bde(boundarydisplacementerror，边界偏移误差)四个方面比较分割的准确性。比较所用的图像从berkeleysegmentationdatasetbsd300中选取。该数据库包含300幅分辨率为321×481的图像，每幅图像对应有大约10幅人工标注的分割图像，将人工标注的分割图像作为基准，计算分割的准确性。如表1所示，当所述第二预设阈值smin＝15，所述第三预设阈值amin＝500时，本实
表1分割结果比较
施例提供的基于脉冲耦合神经网络的彩色图像分割方法在gce和bde方面的准确性好，但在voi和pri方面的准确性较差。
本发明提供的基于脉冲耦合神经网络的彩色图像分割方法为无监督分割方法，仅使用彩色图像的颜色特征进行图像分割。引入连接控制单元以接收彩色图像的频谱输入，对pcnn进行改进，使其应用于彩色图像。每次迭代选择一个种子，从而保证每次迭代只分割出一个区域。使用多个终止条件，使得在分割的初始阶段分割的区域能继续增大，在增大到一定程度停止，并通过对连接强度的初始设置和对较小区域的合并，大大减少了较小区域的数量，降低了过分割的程度。
图9为本发明实施例提供的基于脉冲耦合神经网络的彩色图像分割装置结构图，如图9所示，该装置包括转换单元1和标记单元2，其中：
所述转换单元1用于将第一彩色图像的颜色空间转换成lab颜色空间，生成第二彩色图像；所述标记单元2用于使用改进的pcnn模型分别给所述第二彩色图像中的所有像素标记上对应的标签，所述改进的pcnn模型包括连接控制单元。
具体地，所述lab颜彩空间是目前最均匀的颜色空间，且与设备无关，能用于基于几何距离公式的颜色比较。所述第一彩色图像为待分割的图像，可以为任意种类和频谱数量的彩色图像。所述转换单元1对所述第一彩色图像进行空间转换，转换成lab颜色空间的第二彩色图像。在每次迭代中，所述标记单元2中在每次迭代中，从所述第二彩色图像中选取没有标记的像素，将所述第二彩色图像中l分量最大的没有标记的像素作为种子。如果l分量最大的没有标记的像素有多个，则从中选择一个作为种子，所述改进的pcnn模型可以自动选取种子。然后，将所述种子对应的神经元的状态设置为激发状态，使用所述连接控制单元接收所述第二彩色图像的频谱输入，使用改进的pcnn模型给所述第二彩色图像中的像素标记上对应的标签，所述标签可以为迭代的次数，一次迭代中标记的像素的标签相同，不同迭代之间标记的标签不同。迭代执行选择种子和根据所述种子使用所述改进的pcnn进行标记的操作，直到所述第二彩色图像中的所有像素被标记。
本发明通过对第一彩色图像进行空间转换，生成第二彩色图像，使用连接控制单元接收所述第二彩色图像的频谱输入，使用改进的pcnn模型对所述第二彩色图像中的像素进行标记，且每次迭代分割出一个区域，从而扩展pcnn的应用，使pcnn用于彩色图像的分割。
图10为本发明实施例提供的基于脉冲耦合神经网络的彩色图像分割装置结构图，如图10所示，所述标记单元2进一步包括：提取子单元21和增大子单元22，其中：
所述提取子单元21用于使用连接强度为初始值的所述改进的pcnn模型对所述第二彩色图像进行特征提取；所述增大子单元22用于增大所述改进的pcnn模型的连接强度，直到不满足所述第一预设条件和所述第二预设条件；或者，当不满足所述第一预设条件和所述第二预设条件时，将最后一次迭代提取的所述第二彩色图像的特征对应的像素标记为相同标签；其中，所述第一预设条件为增大后的连接强度小于第一预设阈值；所述第二预设条件为计算该次迭代和前一次迭代提取出的所述第二彩色图像的特征之间的距离，所述距离小于第二预设阈值，或此次迭代提取出的所述第二彩色图像的特征的个数小于第三预设阈值。
具体地，所述提取子单元21和所述增大子单元22在使用所述改进的pcnn模型对所述第二彩色图像进行特征提取时，都是以种子神经元作为起始着火点，触发其他神经元的激发。当同时满足第一预设条件和第二预设条件时，所述增大子单元22迭代执行增大连接强度和特征提取的操作，直到不满足所述第一预设条件和所述第二预设条件。当所述第一预设条件和所述第二预设条件有一个不满足或两个条件都不满足时，对最后一次迭代中提取的所述第二彩色图像的特征对应的像素进行标记。所述第二预设条件中，该次迭代前后提取出的所述第二彩色图像的特征之间距离可以为该次迭代前后提取的第二彩色图像中l分量或所有分量之间的距离，本实施例中不限于所述距离的计算方式。所述第二预设条件中的第二个条件可以降低过分割的程度，减少后续处理的负担。
本实施例中通过增大连接强度，计算连接强度增大前后提取的特征之间的距离，判断所述距离是否满足条件。如果所述距离不满足条件，则将最后一次迭代提取的所述第二彩色图像的特征对应的像素标记为相同标签。如果满足条件，则依然进行迭代操作，扩大区域的范围，从而克服过分割的现象，减少后续处理的负担。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：s1，将第一彩色图像的颜色空间转换成lab颜色空间，生成第二彩色图像；s2，使用改进的pcnn模型分别给所述第二彩色图像中的所有像素标记上对应的标签，所述改进的pcnn模型包括连接控制单元。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：s1，将第一彩色图像的颜色空间转换成lab颜色空间，生成第二彩色图像；s2，使用改进的pcnn模型分别给所述第二彩色图像中的所有像素标记上对应的标签，所述改进的pcnn模型包括连接控制单元。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的显示装置的测试设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，
服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！