模型构建方法、图像处理方法、装置及电子设备与流程

文档序号:31839151发布日期:2022-10-18 22:08阅读:49来源:国知局
模型构建方法、图像处理方法、装置及电子设备与流程

1.本技术涉及图像识别技术领域,具体而言,涉及一种模型构建方法、图像处理方法、装置及电子设备。


背景技术:

2.由于施工工地的增多,工地上存在许多无用的裸露的建筑土地,存在的这部分裸土导致的问题也日益增多。在对裸土进行处理时,如果处理不当,则会造成扬尘,泥水等环境问题,并且,大片无用的建筑土地裸露在外,也会影响城市的面貌。目前对工地上的裸土进行处理时,一般采用绿色防尘网对裸土进行覆盖,防止造成环境的污染。但是,会因为一些客观因素导致部分裸土区域未被处理,需要对裸土区域进行检查,以确定是否被处理。
3.目前对裸土区域是否被处理的检查方式中,通常采用图像分割的方式对裸土区域进行监控和识别,但是目前的图像分割方法识别时所需的时间较长问题,识别时的效率较低,导致目前对裸土区域的监管效率较低。


技术实现要素:

4.有鉴于此,本技术实施例的目的在于提供一种模型构建方法、图像处理方法、装置及电子设备,以改善现有技术中存在的对裸土区域的识别效率较低的问题。
5.为了解决上述问题,第一方面,本技术实施例提供了一种模型构建方法,所述方法包括:
6.将分割模型的下采样模块的初始网络替换为残差网络层;
7.将所述残差网络层中的目标卷积层替换为空洞卷积层,以构建具有所述残差网络层和所述空洞卷积层的目标模型,其中,所述目标模型为对待处理图像进行处理的模型。
8.在上述实现过程中,对轻量的分割模型的模型算法进行修改,从而构建对待处理图像进行处理的目标模型。通过对分割模型中的下采样模块进行修改,采用参数量且训练效果较好的残差网络层对初始网络进行替换,并将残差网络层中的目标网络层进行修改,将其替换为感受野较大的空洞卷积层,能够提高目标模型对图像的处理效果和处理效率,适用于对多种不同的场景下的图像进行处理。
9.可选地,所述将分割模型的下采样模块的初始网络替换为残差网络层,包括:
10.获取所述分割模型的所述初始网络,其中,所述初始网络为所述分割模型的骨干网络;
11.基于所述初始网络确定目标层数的所述残差网络层;
12.将所述初始网络替换为所述残差网络层。
13.在上述实现过程中,通过对分割模型的骨干网络进行替换,替换为相应的目标层数的残差网络层,从而将模型中的骨干网络修改为参数量较多且训练效果较好的残差网络层,使模型能够在训练期间进行正常地学习。能够提高目标模型的下采样模块对复杂应用场景下的图像进行处理时的效果,更好地传递待处理图像中浅层特征图的信息。
14.可选地,所述基于所述初始网络确定目标层数的所述残差网络层,包括:
15.根据所述初始网络的网络层数,确定所述目标层数的所述残差网络层,其中,所述残差网络层包括卷积层和池化层,所述目标层数包括所述卷积层的第一层数,以及所述池化层的第二层数。
16.在上述实现过程中,可以根据原来分割模型中的初始网络的层数,确定替换的残差网络层的目标层数。目标层数的残差网络层由第一层数的卷积层和第二层数的池化层组成,能够对整个初始网络进行完整、相应地替换。
17.可选地,所述将所述残差网络层中的目标卷积层替换为空洞卷积层,包括:
18.确定所述残差网络层中的所述卷积层中进行下采样时的所述目标卷积层,其中,所述目标卷积层为所述第一层数的所述卷积层中的下层卷积层;
19.根据所述待处理图像确定对应的所述空洞卷积层;
20.将每层所述目标卷积层替换为对应的所述空洞卷积层。
21.在上述实现过程中,将进行下采样的第一层数的卷积层的下层卷积层作为目标卷积层进行修改。修改时可以根据待处理图像的具体情况确定相应大小的空洞卷积层,从而对每一层空洞卷积层进行相应地替换。能够根据处理时图像的具体情况对空洞卷积层的情况进行相应地选择和调节,适用于对多种不同应用场景下的图像进行处理,提高了目标模型的使用范围。
22.可选地,所述根据所述待处理图像确定对应的所述空洞卷积层,包括:
23.确定所述待处理图像的图像尺寸;
24.根据所述图像尺寸确定采样感受野;
25.基于所述采样感受野确定空洞卷积参数;
26.根据所述空洞卷积参数构建相应的所述空洞卷积层。
27.在上述实现过程中,通过待处理图像的图像尺寸确定相应大小的采样感受野,从而确定与采用感受野对应的空洞卷积参数,以构建相应大小的空洞卷积层。通过空洞卷积层对普通卷积层的替换,能够在卷积核相同的情况下实现对更大的感受野的下采样,减少普通卷积层在进行下采样时导致的信息缺失的情况。
28.第二方面,本技术实施例还提供了一种图像处理方法,所述方法包括:
29.通过目标模型的下采样模块对待处理图像进行特征提取,得到特征图像,所述目标模型为上述任意一项所述的模型构建方法构建得到的模型,所述下采样模块包括残差网络层和空洞卷积层;
30.通过所述目标模型的上采样模块对所述特征图像进行处理,得到预测图像;
31.对所述预测图像进行分割,得到目标图像;
32.根据所述目标图像确定目标区域的检测结果。
33.在上述实现过程中,通过上采样模块中的残差网络层和空洞卷积层对待处理图像的特征进行提取,能够获取特征图像,以通过上采样模块对特征图像进行处理,对处理得到的预测图像进行图像分割,从而得到目标图像,完成对待处理图像的识别,提高了对图像进行识别的检测效率。通过获取的目标图像确定其中是否存在目标的裸土区域,能够对裸土区域进行快速、实时地检测,高效地确定裸土区域的检测结果,有效地提高了裸土区域的检测效率和对裸土区域的监管效率。
34.可选地,所述通过目标模型的下采样模块对待处理图像进行特征提取,得到特征图像,包括:
35.根据所述空洞卷积层对所述待处理图像进行下采样处理,得到采样信息;
36.根据所述残差网络层对所述采样信息进行特征提取,得到所述特征图像。
37.在上述实现过程中,可以使用空洞卷积层对待处理图像进行下采样,通过下采样提取到相应的采用信息,并通过残差网络层,结合待处理图像中对应的场景参数对采样信息进行特性提取,得到相应的特征图像。能够根据下采样模块提高进行特征提取时的效率和实时性,还能够更好地传递图像中浅层特征图的信息。
38.可选地,所述通过所述目标模型的上采样模块对所述特征图像进行处理,得到预测图像,包括:
39.通过所述上采样模块确定所述特征图像中的连接特征;
40.通过所述上采样模块对所述连接特征进行降维处理,得到降维特征;
41.通过所述上采样模块对所述降维特征进行融合处理,得到融合特征;
42.通过所述上采样模块对所述融合特征进行插值处理,得到与所述待处理图像的图像尺寸对应的所述预测图像。
43.在上述实现过程中,通过目标模型的上采样模块对下采样模块中提取得到的特征图像分别进行连接、降维、融合和插值等处理,能够对特征图像进行等比例地恢复,得到与待处理图像的原尺寸大小相同的预测图像,以便于后续进行图像分割处理。
44.第三方面,本技术实施例还提供了一种模型构建装置,所述模型构建装置包括:
45.第一替换单元,用于将分割模型的下采样模块的初始网络替换为残差网络层;
46.第二替换单元,用于将所述残差网络层中的目标卷积层替换为空洞卷积层,以构建具有所述残差网络层和所述空洞卷积层的目标模型,其中,所述目标模型为对待处理图像进行处理的模型。
47.第四方面,本技术实施例还提供了一种图像处理装置,所述图像处理装置包括:
48.提取单元,用于通过目标模型的下采样模块对待处理图像进行特征提取,得到特征图像,所述目标模型为上述任意一项所述的模型构建方法构建得到的模型,所述下采样模块包括残差网络层和空洞卷积层;
49.处理单元,用于通过所述目标模型的上采样模块对所述特征图像进行处理,得到预测图像;
50.分割单元,用于对所述预测图像进行分割,得到目标图像;
51.确定单元,用于根据所述目标图像确定目标区域的检测结果。
52.第五方面,本技术实施例还提供了一种电子设备,所述电子设备包括存储器和处理器,所述存储器中存储有程序指令,所述处理器读取并运行所述程序指令时,执行上述模型构建方法和图像处理方法中任一实现方式中的步骤。
53.第六方面,本技术实施例还提供了一种计算机可读取存储介质,所述可读取存储介质中存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行上述模型构建方法和图像处理方法中任一实现方式中的步骤。
54.综上所述,本技术提供了一种模型构建方法、图像处理方法、装置及电子设备,通过对模型进行修改,提高了模型对图像进行处理时的效率和效果,使用修改后的模型对图
像进行处理,能够对裸土区域进行快速、实时地检测,有效地提高了裸土区域的检测效率和对裸土区域的监管效率。
附图说明
55.为了更清楚地说明本技术实施例的技术方案,下面将对本技术实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本技术的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
56.图1为本技术实施例提供的一种电子设备的方框示意图;
57.图2为本技术实施例提供的一种模型构建方法的流程示意图;
58.图3为本技术实施例提供的一种步骤s200的流程示意图;
59.图4为本技术实施例提供的一种步骤s300的流程示意图;
60.图5为本技术实施例提供的一种步骤s320的流程示意图;
61.图6为本技术实施例提供的一种图像处理方法的流程示意图;
62.图7为本技术实施例提供的一种步骤s400的流程示意图;
63.图8为本技术实施例提供的一种步骤s500的流程示意图;
64.图9为本技术实施例提供的一种模型构建装置的结构示意图;
65.图10为本技术实施例提供的一种图像处理装置的结构示意图。
66.图标:100-电子设备;111-存储器;112-存储控制器;113-处理器;114-外设接口;115-输入输出单元;116-显示单元;800-模型构建装置;810-第一替换单元;820-第二替换单元;900-图像处理装置;910-提取单元;920-处理单元;930-分割单元;940-确定单元。
具体实施方式
67.下面将结合本技术实施例中附图,对本技术实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本技术实施例的一部分实施例,而不是全部的实施例。基于本技术实施例的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术实施例保护的范围。
68.现有技术中,在对裸土区域进行监管时,通常会采用无人机、监控装置等具有摄像功能的设备,对各个场地的图像信息进行采集,例如对建筑工地、街边绿化、公路旁植被等多种场所的图像进行采集,然后采用图像分割的方法,对采集到的图像进行识别,将图像中不同的区域进行区分和归类,从而确定图像中是否存在裸土区域,实现对裸土区域的监管。
69.目前所使用的图像分割方法中,一部分是应用传统图像处理的技术来进行分割,例如:区域生长法,聚类法等算法。另一部部分应用的是卷积神经网络中分割算法等。但是,采用这些方法对图像进行处理时,所需的时间较长且分割的效果较差,导致图像识别时的效率较低,对裸土区域的监管效率也较低。
70.为了解决上述问题,本技术实施例提供了一种模型构建方法和图像处理方法,应用于电子设备,电子设备可以为服务器、个人电脑(personal computer,pc)、平板电脑、智能手机、个人数字助理(personal digital assistant,pda)等具有逻辑计算功能的电子设备,能够快速、实时地对图像进行识别处理,以实现对裸土区域的检测。
71.可选地,请参阅图1,图1为本技术实施例提供的一种电子设备的方框示意图。电子设备100可以包括存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、显示单元116。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对电子设备100的结构造成限定。例如,电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
72.上述的存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115及显示单元116各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器113用于执行存储器中存储的可执行模块。
73.其中,存储器111可以是,但不限于,随机存取存储器(random access memory,简称ram),只读存储器(read only memory,简称rom),可编程只读存储器(programmable read-only memory,简称prom),可擦除只读存储器(erasable programmable read-only memory,简称eprom),电可擦除只读存储器(electric erasable programmable read-only memory,简称eeprom)等。其中,存储器111用于存储程序,处理器113在接收到执行指令后,执行程序,本技术实施例任一实施例揭示的过程定义的电子设备100所执行的方法可以应用于处理器113中,或者由处理器113实现。
74.上述的处理器113可能是一种集成电路芯片,具有信号的处理能力。上述的处理器113可以是通用处理器,包括中央处理器(central processing unit,简称cpu)、网络处理器(network processor,简称np)等;还可以是数字信号处理器(digital signal processor,简称dsp)、专用集成电路(application specific integrated circuit,简称asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
75.上述的外设接口114将各种输入/输出装置耦合至处理器113以及存储器111。在一些实施例中,外设接口114,处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
76.上述的输入输出单元115用于提供给用户输入数据。输入输出单元115可以是,但不限于,鼠标和键盘等。
77.上述的显示单元116在电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,显示单元可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器进行计算和处理。在本技术实施例中,显示单元116可以显示待处理图像以及处理后得到的目标图像。
78.本实施例中的电子设备可以用于执行本技术实施例提供的各个模型构建方法和图像处理方法中的各个步骤。下面通过几个实施例详细描述模型构建方法和图像处理方法的实现过程。
79.请参阅图2,图2为本技术实施例提供的一种模型构建方法的流程示意图,该方法可以包括步骤s200-s300。
80.步骤s200,将分割模型的下采样模块的初始网络替换为残差网络层。
81.其中,分割模型可以为多种轻量的网络模型,例如deeplap v3+,能够对图像进行快速、实时地识别。分割模型中可以包括上采样模块encoder和下采样模块decoder,能够将图像的底层特征和高层特征进行融合,从而提高分割边界的准确度。残差网络(resnet)为深度卷积神经网络,残差网络中的参数量较多,且训练效果较好,因此,为了进一步地扩大分割模型的使用范围,可以使用残差网络层对下采样模块中的初始网络进行替换。
82.步骤s300,将残差网络层中的目标卷积层替换为空洞卷积层,以构建具有残差网络层和空洞卷积层的目标模型。
83.其中,目标模型为对待处理图像进行处理的模型。将残差网络层中的普通的目标卷积层替换为感受野更大的空洞卷积层,从而能够更好地对待处理的图像进行下采样,减少使用普通的卷积层进行下采样时存在的信息缺失的情况。
84.在图2所示的实施例中,能够提高目标模型对图像的处理效果和处理效率,适用于对多种不同的场景下的图像进行处理。
85.可选地,请参阅图3,图3为本技术实施例提供的一种步骤s200的流程示意图,步骤s200中还可以包括步骤s210-s230。
86.步骤s210,获取分割模型的初始网络。
87.其中,初始网络为分割模型的骨干网络,在分割模型为deeplap v3+时,其下采样模块中的骨干网络为xception,xception的卷积层中采用的是深度可分离卷积(depthwise separable convolution),这种卷积的计算量和参数量较少。
88.步骤s220,基于初始网络确定目标层数的残差网络层。
89.其中,由于不同层数的残差网络层对应的训练效果也不相同,因此,可以根据初始网络的结构确定目标层数的残差网络层,以实现对应地替换。
90.可选地,可以根据初始网络的网络层数,确定目标层数的残差网络层,其中,残差网络层包括卷积层和池化层,目标层数包括卷积层的第一层数,以及池化层的第二层数。卷积层能够通过一块卷积核在原始的待处理图像上平移来提取特征,池化层能够通过汇聚特征后稀疏参数来减少学习的参数,从而降低网络的复杂度。例如,确定的残差网络层可以为resnet-50,即目标层数为50,残差网络层的卷积层和池化层一共有50层,即第一层数+第二层数=目标层数,卷积层的第一层数和池化层的第二层数可以根据实际情况和需求进行设置和调整。
91.步骤s230,将初始网络替换为残差网络层。
92.其中,在对裸土区域进行检测时,由于检测的场景比较复杂,例如街边绿化带,建筑工地,林业管理等场景,而较少的参数量在训练期间无法正确的学习,会影响对图像的检测结果。因此,可以采用相应的残差网络层对初始网络进行替换,从而使目标模型能够对各种复杂场景下的图像进行检测,提高了目标模型的使用范围以及检测精度。
93.可选地,残差网络层的结构还能够更好地对浅层特征图的信息进行传递,进一步地提高图像的检测效果。
94.在图3所示的实施例中,能够提高目标模型的下采样模块对复杂应用场景下的图像进行处理时的效果,更好地传递待处理图像中浅层特征图的信息。
95.可选地,请参阅图4,图4为本技术实施例提供的一种步骤s300的流程示意图,步骤
s300中还可以包括步骤s310-s330。
96.步骤s310,确定残差网络层中的卷积层中进行下采样时的目标卷积层。
97.其中,目标卷积层为第一层数的卷积层中的一些普通卷积层,可以为层数编号较大的下层卷积层,即卷积层中的后层卷积层。目标卷积层的数量可以根据实际情况及需求进行选择和调整。
98.步骤s320,根据待处理图像确定对应的空洞卷积层。
99.其中,空洞卷积(dilated convolution)为在卷积核元素之间加入空格等元素,以扩大卷积时的感受野的卷积方式。感受野(receptive field)的定义是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小,感受野较大时,则能够处理的图像范围也较大。空洞卷积层中由卷积核元素之间的距离rate(r)控制着感受野的大小,r越大感受野越大。示例地,当空洞卷积层的r=1时,则卷积核相邻两方格间的距离为1,这时就是普通的卷积层;当r=2时,则卷积层相邻的方块间的距离为2,相隔部分参数为0,此时便为r=2的空洞卷积。可以根据待处理图像的大小确定对应感受野的空洞卷积层,从而能够根据检测时的实际情况,对空洞卷积层的参数进行相应地设置和调整。
100.可选地,在空洞卷积层与普通卷积层的卷积核大小相同时,空洞卷积层的卷积核比普通卷积核实现的感受野更大。
101.步骤s330,将每层目标卷积层替换为对应的空洞卷积层。
102.其中,为了更好地使用卷积层对待处理图像进行下采样,可以将每层目标卷积层替换为对应的空洞卷积层,从而能够在卷积核相同时,由感受野更大的空洞卷积层对待处理图像进行处理,有效地提高了下采样时提取图像信息的完整性,进一步地提高了对图像进行检测的准确性。
103.可选地,进行替换的多层空洞卷积层可以为r参数相同的多层空洞卷积层,也可以为r参数不同的多层空洞卷积层。
104.在图4所示的实施例中,能够根据处理时图像的具体情况对空洞卷积层的情况进行相应地选择和调节,适用于对多种不同应用场景下的图像进行处理,提高了目标模型的使用范围。
105.可选地,请参阅图5,图5为本技术实施例提供的一种步骤s320的流程示意图,步骤s320中还可以包括步骤s321-s324。
106.步骤s321,确定待处理图像的图像尺寸。
107.其中,为了能够针对性地对待处理图像进行处理,可以获取待处理图像的图像尺寸。
108.步骤s322,根据图像尺寸确定采样感受野。
109.其中,在图像尺寸大小不同时,进行下采样时的感受野也不相同,而图像尺寸与采样感受野之间具有关联性,在图像尺寸越大时,使用较大的采样感受野进行下采样能够提高下采样时的准确性。因此,可以根据图像尺寸,确定对该尺寸进行采样时适用的采样感受野。
110.步骤s323,基于采样感受野确定空洞卷积参数。
111.可选地,根据确定的采样感受野的大小能够确定与其对应的空洞卷积参数,空洞卷积参数可以包括卷积核的大小以及卷积核之间的距离r、相隔部分参数等多种参数。
112.步骤s324,根据空洞卷积参数构建相应的空洞卷积层。
113.其中,可以根据空洞卷及参数中卷积核的大小以及卷积核之间的距离r、相隔部分参数等多种参数构建相应大小的空洞卷积层。
114.可选地,在待处理图像变换,对应的图像尺寸产生相应变换时,还可以根据新的图像尺寸对原有的空洞卷积层的参数进行相应地调整,从而构建新的空洞卷积层对新的图像进行处理。
115.在图5所示的实施例中,通过待处理图像的实际情况确定相应大小的空洞卷积层,能够提高对图像进行处理时的准确性和针对性。
116.请参阅图6,图6为本技术实施例提供的一种图像处理方法的流程示意图,该方法可以包括步骤s400-s700。
117.步骤s400,通过目标模型的下采样模块对待处理图像进行特征提取,得到特征图像。
118.其中,目标模型为模型构建方法构建得到的模型,下采样模块包括残差网络层和空洞卷积层。使用残差网络层和空洞卷积层对待处理图像进行下采样处理,能够提高提取的特征图像的准确性。
119.可选地,待处理图像可以为多种场景下采集到的图像,可以通过通信连接,获取从无人机、监控设备等多种具有拍摄功能的设备中采集的待处理图像,也可以从数据库中调用某一指定区域或位置处的图像作为待处理图像。
120.步骤s500,通过目标模型的上采样模块对特征图像进行处理,得到预测图像。
121.其中,为了更好地对图像进行分割处理,可以根据目标模型的上采样模块对特征图像进行比例的还原处理,从而得到与初始的待处理图像的尺寸相对于的特征的预测图像。
122.步骤s600,对预测图像进行分割,得到目标图像。
123.其中,通过预测图像中的像素对图像进行分割,以对预测图像中的各个区域进行分割和分类,得到目标图像作为图像的识别结果。
124.步骤s700,根据目标图像确定目标区域的检测结果。
125.其中,目标区域为裸土区域,可以在得到的目标图像进行查找,以确定是否具有相应的裸土区域,在具有裸土区域时,还可以确定裸土区域在图像中的位置、大小等相关信息,作为裸土区域的检测结果。
126.值得说明的是,还可以根据裸土区域的检测结果生成对应的提示信息,提示信息中可以包括初始的待处理图像以及目标图像,可以将提示信息上传到对裸土区域进行监管的数据库中,从而对裸土区域的相关信息进行提示和警告。
127.在图6所示的实施例中,通过目标模型处理得到的目标图像确定其中是否存在目标的裸土区域,能够对裸土区域进行快速、实时地检测,高效地确定裸土区域的检测结果,有效地提高了裸土区域的检测效率和对裸土区域的监管效率。
128.可选地,请参阅图7,图7为本技术实施例提供的一种步骤s400的流程示意图,步骤s400中还可以包括步骤s410-s420。
129.步骤s410,根据空洞卷积层对待处理图像进行下采样处理,得到采样信息。
130.其中,在对待处理图像进行特征提取时,可以由空洞卷积层对待处理图像进行下
采样处理,从而得到相应的采样信息。相比于普通的卷积层,空洞卷积层进行下采样处理时,能够根据其更大的感受野对待处理图像进行完整地处理,有效地提高下采样时的准确性和有效性,减少下采样时信息缺失的情况。
131.步骤s420,根据残差网络层对采样信息进行特征提取,得到特征图像。
132.其中,根据残差网络层对下采样得到的采样信息进行训练和学习,结合残差网络层中与待处理图像对应的相关场景参数,能够对待处理图像进行特征提取,得到相应的特征图像。并且,使用残差网络层对待处理图像进行处理时,还能够更好地传递图像中浅层特征图的信息,进一步地提高了特征图像的有效性。
133.在图7所示的实施例中,能够根据下采样模块提高进行特征提取时的效率和实时性,获取准确的特征图像。
134.可选地,请参阅图8,图8为本技术实施例提供的一种步骤s500的流程示意图,步骤s500中还可以包括步骤s510-s540。
135.步骤s510,通过上采样模块确定特征图像中的连接特征。
136.其中,可以将特征图像与上采样模块中可以先将下采样模块中得到的特征图像进行双线性插值处理,得到相应大小的特征图像,在将相应大小的特征图像与上采样模块中对应大小的低级特征做concat(连接),得到相应的连接特征,例如残差网络层中的conv2层等。
137.步骤s520,通过上采样模块对连接特征进行降维处理,得到降维特征。
138.其中,由于连接后的连接特征的特征数较少,而低级特征的维度可能较高,为了减少上采样模块中的高级特征被弱化,可以采用1*1的卷积层对连接特征中的低级特征进行降维处理,得到降维后的多个特征,作为降维特征。
139.步骤s530,通过上采样模块对降维特征进行融合处理,得到融合特征。
140.其中,可以继续使用3*3的卷积对连接特征中的图像特征和低级特征进行特征融合处理,得到融合后的融合特征。
141.步骤s540,通过上采样模块对融合特征进行插值处理,得到与待处理图像的图像尺寸对应的预测图像。
142.其中,可以对融合特征进行插值处理,得到与待处理图像的图像尺寸大小相同的预测图像,示例地,插值处理可以对融合特征进行双线性插值计算。
143.在图8所示的实施例中,能够对特征图像进行等比例地恢复,得到与待处理图像的原尺寸大小相同的预测图像,以便于后续进行图像分割处理。
144.请参阅图9,图9为本技术实施例提供的一种模型构建装置的结构示意图,模型构建装置800中可以包括:
145.第一替换单元810,用于将分割模型的下采样模块的初始网络替换为残差网络层;
146.第二替换单元820,用于将残差网络层中的目标卷积层替换为空洞卷积层,以构建具有残差网络层和空洞卷积层的目标模型,其中,目标模型为对待处理图像进行处理的模型。
147.在一可选的实施方式中,第一替换单元810中还可以包括获取子单元、第一确定子单元以及第一替换子单元;
148.获取子单元,用于获取分割模型的初始网络,其中,初始网络为分割模型的骨干网
络;
149.第一确定子单元,用于基于初始网络确定目标层数的残差网络层;
150.第一替换子单元,用于将初始网络替换为残差网络层。
151.在一可选的实施方式中,第一确定子单元,还用于根据初始网络的网络层数,确定目标层数的残差网络层,其中,残差网络层包括卷积层和池化层,目标层数包括卷积层的第一层数,以及池化层的第二层数。
152.在一可选的实施方式中,第二替换单元820中还可以包括第二确定子单元、第三确定子单元和第二替换子单元;
153.第二确定子单元,用于确定残差网络层中的卷积层中进行下采样时的目标卷积层,其中,目标卷积层为第一层数的卷积层中的下层卷积层;
154.第三确定子单元,用于根据待处理图像确定对应的空洞卷积层;
155.第二替换子单元,用于将每层目标卷积层替换为对应的空洞卷积层。
156.在一可选的实施方式中,第三确定子单元,还用于确定待处理图像的图像尺寸;根据图像尺寸确定采样感受野;基于采样感受野确定空洞卷积参数;根据空洞卷积参数构建相应的空洞卷积层。
157.由于本技术实施例中的模型构建装置800解决问题的原理与前述的模型构建方法的实施例相似,因此本实施例中的模型构建装置800的实施可以参见上述模型构建方法的实施例中的描述,重复之处不再赘述。
158.请参阅图10,图10为本技术实施例提供的一种图像处理装置的结构示意图,图像处理装置900中可以包括:
159.提取单元910,用于通过目标模型的下采样模块对待处理图像进行特征提取,得到特征图像,目标模型为模型构建方法构建得到的模型,下采样模块包括残差网络层和空洞卷积层;
160.处理单元920,用于通过目标模型的上采样模块对特征图像进行处理,得到预测图像;
161.分割单元930,用于对预测图像进行分割,得到目标图像;
162.确定单元940,用于根据目标图像确定目标区域的检测结果。
163.在一可选的实施方式中,提取单元910中还可以包括下采样子单元和训练子单元;
164.下采样子单元,用于根据空洞卷积层对待处理图像进行下采样处理,得到采样信息;
165.训练子单元,用于根据残差网络层对采样信息进行特征提取,得到特征图像。
166.在一可选的实施方式中,处理单元920中还可以包括连接子单元、降维子单元、融合子单元和插值子单元;
167.连接子单元,用于通过上采样模块确定特征图像中的连接特征;
168.降维子单元,用于通过上采样模块对连接特征进行降维处理,得到降维特征;
169.融合子单元,用于通过上采样模块对降维特征进行融合处理,得到融合特征;
170.插值子单元,用于通过上采样模块对融合特征进行插值处理,得到与待处理图像的图像尺寸对应的预测图像。
171.由于本技术实施例中的图像处理装置900解决问题的原理与前述的图像处理方法
的实施例相似,因此本实施例中的图像处理装置900的实施可以参见上述图像处理方法的实施例中的描述,重复之处不再赘述。
172.本技术实施例还提供了一种计算机可读取存储介质,可读取存储介质中存储有计算机程序指令,计算机程序指令被一处理器读取并运行时,执行本实施例提供的模型构建方法和图像处理方法中任一项方法中的步骤。
173.综上所述,本技术实施例提供了一种模型构建方法、图像处理方法、装置及电子设备,通过对模型进行修改,提高了模型对图像进行处理时的效率和效果,使用修改后的模型对图像进行处理,能够对裸土区域进行快速、实时地检测,有效地提高了裸土区域的检测效率和对裸土区域的监管效率。
174.在本技术所提供的几个实施例中,应该理解到,所揭露的设备,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的框图显示了根据本技术的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上,框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图中的每个方框、以及框图的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
175.另外,在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
176.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
177.以上所述仅为本技术的实施例而已,并不用于限制本技术的保护范围,对于本领域的技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
178.以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。
179.需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要
素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1