图像检测方法、图像检测模型训练方法及相关设备与流程

文档序号:32434176发布日期:2022-12-06 16:43阅读:100来源:国知局
图像检测方法、图像检测模型训练方法及相关设备与流程

1.本技术属于图像检测技术领域,具体涉及一种图像检测方法、图像检测模型训练方法及相关设备。


背景技术:

2.目标检测是计算机视觉和图像处理领域的基本问题,也是近年研究的热点问题,其应用十分广泛,主要目的是在视频序列/图像中精确的定位出研究目标。
3.为了实现目标对象的检测,现有技术的图像检测模型通常设计了纹理特征提取模块对图像的纹理特征信息进行提取,然后通过多层池化网络对提取的纹理特征进行池化处理,最后利用文本检测头模块对每一池化层输出的池化结果进行检测,获得目标对象的检测结果。目前的图像检测模型中,感兴趣区域通常位于最后一层池化网络,然而对于小目标对象进行检测,当卷积池化到最后一层池化网络时,实际的语义信息基本消失,导致小目标对象的检测准确度较低。


技术实现要素:

4.本技术实施例的目的是提供一种图像检测方法、图像检测模型训练方法及相关设备,能够解决小目标对象的检测准确度较低的问题。
5.第一方面,本技术实施例提供了一种图像检测方法,包括:
6.将包含待识别对象的第一图像进行尺寸调整,获得预设尺寸的第二图像;
7.将所述第二图像输入到图像检测模型,获得所述对象的检测结果;
8.所述图像检测模型包括依次连接的纹理特征提取模块、池化网络模块和文本检测头模块;
9.所述纹理特征提取模块用于对所述第二图像进行纹理特征提取获得第一特征向量;
10.所述池化网络模块用于对所述第一特征向量进行池化融合处理,得到n个第二特征向量,n为大于1的整数;
11.所述文本检测头模块用于对所述n个第二特征向量进行待识别对象检测,获得所述检测结果;
12.其中,所述n个第二特征向量中的至少一个第二特征向量由第一集合中的至少部分第三特征向量融合得到,所述第一集合包括多个第三特征向量,所述第三特征向量为对所述第一特征向量进行不同层级的池化得到的特征向量,或者,所述多个第三特征向量包括第一目标特征向量以及对所述第一目标特征向量进行不同层级的池化得到的特征向量,所述第一目标特征向量为对所述第一特征向量进行纹理特征提取获得的特征向量或者为所述第一特征向量。
13.第二方面,本技术实施例提供了一种图像检测模型训练方法,包括:
14.将待训练的第一样本图像进行尺寸调整,获得预设尺寸的第二样本图像;
15.基于所述第二样本图像对待训练图像检测模型进行迭代训练,获得所述图像检测模型;
16.所述待训练图像检测模型包括依次连接的纹理特征提取模块、池化网络模块和文本检测头模块;
17.所述纹理特征提取模块用于对所述第二样本图像进行纹理特征提取获得第四特征向量;
18.所述池化网络模块用于对所述第四特征向量进行池化融合处理,得到n个第五特征向量,n为大于1的整数;
19.所述文本检测头模块用于对所述n个第五特征向量进行待识别对象检测,获得所述检测结果;
20.其中,所述n个第五特征向量中的至少一个第五特征向量由第二集合中的至少部分第六特征向量量融合得到,所述第二集合包括多个第六特征向量,所述第六特征向量为对所述第四特征向量进行不同层级的池化得到的特征向量,或者,所述多个第六特征向量包括第二目标特征向量以及对所述第二目标特征向量进行不同层级的池化得到的特征向量,所述第二目标特征向量为对所述第四特征向量进行纹理特征提取获得的特征向量或者为所述第四特征向量。
21.第三方面,本技术实施例提供了一种图像检测装置,包括:
22.第一调整模块,用于将包含待识别对象的第一图像进行尺寸调整,获得预设尺寸的第二图像;
23.输入模块,用于将所述第二图像输入到图像检测模型,获得所述对象的检测结果;
24.所述图像检测模型包括依次连接的纹理特征提取模块、池化网络模块和文本检测头模块;
25.所述纹理特征提取模块用于对所述第二图像进行纹理特征提取获得第一特征向量;
26.所述池化网络模块用于对所述第一特征向量进行池化融合处理,得到n个第二特征向量,n为大于1的整数;
27.所述文本检测头模块用于对所述n个第二特征向量进行待识别对象检测,获得所述检测结果;
28.其中,所述n个第二特征向量中的至少一个第二特征向量由第一集合中的至少部分第三特征向量融合得到,所述第一集合包括多个第三特征向量,所述第三特征向量为对所述第一特征向量进行不同层级的池化得到的特征向量,或者,所述多个第三特征向量包括第一目标特征向量以及对所述第一目标特征向量进行不同层级的池化得到的特征向量,所述第一目标特征向量为对所述第一特征向量进行纹理特征提取获得的特征向量或者为所述第一特征向量。
29.第四方面,本技术实施例提供了一种图像检测模型训练装置,包括:
30.第二调整模块,用于将待训练的第一样本图像进行尺寸调整,获得预设尺寸的第二样本图像;
31.训练模块,用于基于所述第二样本图像对待训练图像检测模型进行迭代训练,获得所述图像检测模型;
32.所述待训练图像检测模型包括依次连接的纹理特征提取模块、池化网络模块和文本检测头模块;
33.所述纹理特征提取模块用于对所述第二样本图像进行纹理特征提取获得第四特征向量;
34.所述池化网络模块用于对所述第四特征向量进行池化融合处理,得到n个第五特征向量,n为大于1的整数;
35.所述文本检测头模块用于对所述n个第五特征向量进行待识别对象检测,获得所述检测结果;
36.其中,所述n个第五特征向量中的至少一个第五特征向量由第二集合中的至少部分第六特征向量量融合得到,所述第二集合包括多个第六特征向量,所述第六特征向量为对所述第四特征向量进行不同层级的池化得到的特征向量,或者,所述多个第六特征向量包括第二目标特征向量以及对所述第二目标特征向量进行不同层级的池化得到的特征向量,所述第二目标特征向量为对所述第四特征向量进行纹理特征提取获得的特征向量或者为所述第四特征向量。
37.第五方面,本技术实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤,或者实现如第二方面所述的方法的步骤。
38.第六方面,本技术实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤,或者实现如第二方面所述的方法的步骤。
39.第七方面,本技术实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法,或者实现如第二方面所述的方法的步骤。
40.本技术实施例通过将包含待识别对象的第一图像进行尺寸调整,获得预设尺寸的第二图像;将所述第二图像输入到图像检测模型,获得所述对象的检测结果;所述图像检测模型包括依次连接的纹理特征提取模块、池化网络模块和文本检测头模块;所述纹理特征提取模块用于对所述第二图像进行纹理特征提取获得第一特征向量;所述池化网络模块用于对所述第一特征向量进行池化融合处理,得到n个第二特征向量,n为大于1的整数;所述文本检测头模块用于对所述n个第二特征向量进行待识别对象检测,获得所述检测结果;其中,所述n个第二特征向量中的至少一个第二特征向量由第一集合中的至少部分第三特征向量融合得到,所述第一集合包括多个第三特征向量,所述第三特征向量为对所述第一特征向量进行不同层级的池化得到的特征向量,或者,所述多个第三特征向量包括第一目标特征向量以及对所述第一目标特征向量进行不同层级的池化得到的特征向量,所述第一目标特征向量为对所述第一特征向量进行纹理特征提取获得的特征向量或者为所述第一特征向量。由于采用至少一个第二特征向量通过第一集合中的至少部分第三特征向量进行融合得到,实现了信息补偿,从而使得融合得到的第二特征向量具有较强的特征映射能力,并且能够保留语义信息。因此,本技术实施例可以提高小目标对象检测的准确度。
附图说明
41.为了更清楚地说明本技术实施例的技术方案,下面将对本技术实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
42.图1是本技术实施例提供的图像检测方法的流程图;
43.图2是本技术实施例提供的图像检测方法中池化网络模块的网络结构图之一;
44.图3是本技术实施例提供的图像检测方法中池化网络模块的网络结构图之二;
45.图4是本技术实施例提供的图像检测方法中纹理特征提取模块的网络结构图之一;
46.图5是本技术实施例提供的图像检测方法中纹理特征提取模块的网络结构图之二;
47.图6是本技术实施例提供的图像检测方法中第五卷积层的网络结构图;
48.图7是本技术实施例提供的图像检测模型训练方法的流程图;
49.图8是本技术实施例提供的图像检测模型训练方法中的迭代训练流程示意图;
50.图9是本技术实施例提供的图像检测装置的结构图;
51.图10是本技术实施例提供的图像检测模型训练装置的结构图;
52.图11是本技术实施例提供的一种电子设备的结构图;
53.图12是本技术实施例提供的另一种电子设备的结构图。
具体实施方式
54.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
55.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
56.下面结合附图,通过具体的实施例及其应用场景对本技术实施例提供的图像检测方法进行详细地说明。
57.参见图1,图1是本技术实施例提供的一种图像检测方法的流程图,如图1所示,包括以下步骤:
58.步骤101,将包含待识别对象的第一图像进行尺寸调整,获得预设尺寸的第二图像;
59.本技术实施例中,上述待识别对象可以理解为小目标对象,该小目标对象是指在图像中所占的区域面积小于第一预设值的对象,和/或,在图像中所占的区域面积与图像的尺寸的比例小于第二预设值的对象。
60.可选地,上述预设尺寸的大小可以根据实际需要进行设置,例如,在一些实施例中,该预设尺寸为480*640,即横向为480个像素,纵向为640个像素。
61.步骤102,将所述第二图像输入到图像检测模型,获得所述对象的检测结果;
62.所述图像检测模型包括依次连接的纹理特征提取模块、池化网络模块和文本检测头模块;
63.所述纹理特征提取模块用于对所述第二图像进行纹理特征提取获得第一特征向量;
64.所述池化网络模块用于对所述第一特征向量进行池化融合处理,得到n个第二特征向量,n为大于1的整数;
65.所述文本检测头模块用于对所述n个第二特征向量进行待识别对象检测,获得所述检测结果;
66.其中,所述n个第二特征向量中的至少一个第二特征向量由第一集合中的至少部分第三特征向量融合得到,所述第一集合包括多个第三特征向量,所述第三特征向量为对所述第一特征向量进行不同层级的池化得到的特征向量,或者,所述多个第三特征向量包括第一目标特征向量以及对所述第一目标特征向量进行不同层级的池化得到的特征向量,所述第一目标特征向量为对所述第一特征向量进行纹理特征提取获得的特征向量或者为所述第一特征向量。
67.本技术实施例中,上述n的取值大小可以根据实际需要进行设置,例如,在本技术实施例中,上述n为5,即得到5个第二特征向量,上述第三特征向量的数量可以与第二特征向量的数量相同,即包括n个第三特征向量。由于至少一个第二特征向量通过第一集合中的至少部分第三特征向量进行融合得到,从而使得融合得到的第二特征向量具有较强的特征映射能力,并且能够保留语义信息。因此本技术实施例可以提高小目标对象检测的准确度。
68.应理解,对所述第一特征向量进行池化融合处理可以理解为包括对第一特征向量进行池化处理以及对池化处理输出的特征向量进行特征融合处理。可选地,进行不同层级的池化可以理解为,通过依次串联的多个池化网络进行池化处理,由不同的池化网络输出的特征向量表示为不同层级的池化输出结果。假设包括依次串联的4个池化网络,则第一个池化网络的输出表示经过一个或一层池化网络输出的特征向量;第二个池化网络的输出表示为经过两个或两层池化网络输出的特征向量;第三个池化网络的示出表示为经过三个或三层池化网络输出的特征向量;第四个池化网络的示出表示为经过四个或四层池化网络输出的特征向量。
69.需要说明的是,通过多个依次串联的池化网络对某一特征向量进行池化处理过程中,不同的池化网络输出的特征向量为不同层级的池化得到的特征向量。在一些实施例中,该n个第三特征向量可以仅包括对第一特征向量进行多层池化网络处理得到的多个池化处理后的特征向量。在一些实施例中,该n个第三特征向量可以包括未进行池化处理的一个第一目标特征向量以及基于该第一目标特征向量进行多层池化网络处理得到的多个池化处理后的特征向量,该第一目标特征向量为第一特征向量或者基于第一特征向量进行纹理特征提取的特征向量。由于第一目标特征向量未进行池化处理,因此具有能够表达第二图像的全部信息,因此设置n个第三特征向量包括一个未池化处理的第一目标特征向量,可以保证信息的完整性。
70.可选地,上述文本检测头模块也可以称之为ssh+上下文模块,用于扩张预检测区域的上下文信息。
71.本技术实施例通过将包含待识别对象的第一图像进行尺寸调整,获得预设尺寸的第二图像;将所述第二图像输入到图像检测模型,获得所述对象的检测结果;所述图像检测模型包括依次连接的纹理特征提取模块、池化网络模块和文本检测头模块;所述纹理特征提取模块用于对所述第二图像进行纹理特征提取获得第一特征向量;所述池化网络模块用于对所述第一特征向量进行池化融合处理,得到n个第二特征向量,n为大于1的整数;所述文本检测头模块用于对所述n个第二特征向量进行待识别对象检测,获得所述检测结果;其中,所述n个第二特征向量中的至少一个第二特征向量由第一集合中的至少部分第三特征向量融合得到,所述第一集合包括多个第三特征向量,所述第三特征向量为对所述第一特征向量进行不同层级的池化得到的特征向量,或者,所述多个第三特征向量包括第一目标特征向量以及对所述第一目标特征向量进行不同层级的池化得到的特征向量,所述第一目标特征向量为对所述第一特征向量进行纹理特征提取获得的特征向量或者为所述第一特征向量。由于采用至少一个第二特征向量通过第一集合中的至少部分第三特征向量进行融合得到,实现了信息补偿,从而使得融合得到的第二特征向量具有较强的特征映射能力,并且能够保留语义信息。因此,本技术实施例可以提高小目标对象检测的准确度。
72.需要说明的是,上述池化网络模块的结构可以根据实际需要进行设置,例如,在一些实施例中,如图2所示,上述池化网络模块包括第一纹理特征提取层、n-1个池化层和n-1个融合层,所述第一纹理特征提取层用于对所述第一特征向量进行纹理特征提取处理得到第一个第三特征向量;所述n-1个池化层依次串联,所述第一个第三特征向量依次经所述n-1个池化层池化处理,且每一池化层对应输出一个待融合的第三特征向量;第一个所述融合层用于将所述第一个第三特征向量与所述n-1个待融合的第三特征向量进行融合处理得到第一个第二特征向量,第n+1个融合层用于将第n个池化层输出的所述待融合的第三特征向量与第n+1个池化层至最后一个池化层输出的所述待融合的第三特征向量进行融合处理得到第n+1个第二特征向量;第n个第二特征向量为最后一个池化层输出的所述待融合的第三特征向量,n为小于或等于n-2的正整数。
73.当然在其他实施例中,上述第一纹理特征提取层可以设置在纹理特征提取模块,此时,上述第一目标特征向量可以为纹理特征提取模块输出的第一特征向量。
74.本技术实施例中,上述最后一个池化层可以理解为第n-1个池化层。上述第一纹理特征提取层可以采用2个卷积层串联实现,用于对纹理特征提取模块输出的第一特征向量进一步进行纹理特征提取,得到第一个第三特征向量,并将第一个第三特征向量输出到依次串联的n-1个池化层,在n-1个池化层中,每一个池化层的输出为一个待融合的第三特征向量,且前一个池化层的输出为下一个池化层的输入。
75.如图3所示,以n的取值等于5为例进行详细说明。第一个融合层用于将第一个第三特征向量和n-1个池化层输出的后四个待融合的第三特征向量进行融合,得到第一个第二特征向量;第二个融合层用于将第一个池化层输出的待融合的第三特征向量和之后的三个待融合的第三特征向量进行融合,得到第二个第二特征向量;第三个融合层用于将第二个池化层输出的待融合的第三特征向量和之后的两个待融合的第三特征向量进行融合,得到第三个第二特征向量;第四个融合层用于将第三个池化层输出的待融合的第三特征向量和
最后一个池化层输出的第四个待融合的第三特征向量进行融合,得到第四个第二特征向量;同时将最后一个池化层输出的第四个待融合的第三特征向量作为第五个第二特征向量,从而得到五个第二特征向量。这样可以实现信息补偿,从而使得融合得到的第二特征向量具有较强的特征映射能力,并且能够保留语义信息进而提高小目标对象检测的准确度。应理解,待融合的第三特征向量也可以称之为第三特征向量。
76.需要说明的是,上述多个第三特征向量的通道数不变,融合层进行不同尺度的向量融合时,可以通过向上采样的方式使得多个第三特征向量具有相同的维度信息,实现不同尺度的特征向量的融合。通过向上采样的方式使得多个第三特征向量具有相同的维度信息可以理解为,通过向上采样使得多个第三特征向量表示的特征图的大小相同。例如,第二个第三特征向量可以通过2倍采样频率进行采样得到与第一个第三特征向量的维度数相同,第三个特征向量可以通过4倍采样频率进行采样得到与第一个第三特征向量的维度数相同,依次类推,从而实现不同尺度的特征向量的融合。
77.当然在其他实施例中,池化网络模块的结构还可以采用其他网络结构,例如,基于上述实施例中的池化网络模块可以减少上述第一个融合层,仅包含n-2个融合层,此时多个第三特征向量为基于第一特征向量进行纹理特征提取后,再经过n-1个池化层输出的n-1个第三特征向量。此外,还可以进一步取消池化网络模块中的第一纹理特征提取层,此时,多个第三特征向量为由n-1个池化层直接对第一特征向量进行池化处理得到的n-1个第三特征向量。
78.可选地,在本技术实施例中,上述融合层可以采用concat网络结构实现多个第三特征向量之间的特征融合。应理解,上述池化层可以采用卷积核大小为3*3以及步长为2的卷积进行下采样,得到上述第三特征向量。
79.进一步地,在一些实施例中,所述池化网络模块还包括至少一个降维卷积层,所述降维卷积层用于对所述第三特征向量进行降维处理,第n个第二特征向量基于最后一个池化层输出的所述待融合的第三特征向量确定。
80.本技术实施例中,上述降维卷积层的数量可以根据实际需要进行设置,例如,可以设置为一个也可以设置为多个,换句话说,可以对应一个或者多个第三特征向量设置降维卷积层。上述降维卷积层可以为1*1的卷积网络,用于降低第三特征向量的通道数,以降低后续融合计算的复杂度。
81.上述第n个第二特征向量基于最后一个池化层输出的所述待融合的第三特征向量确定可以理解为,在最后一个池化层的输出未设置降维卷积层时,第n个第三特征向量可以为最后一个池化层输出的所述待融合的第三特征向量,当在最后一个池化层的输出设置了降维卷积层时,第n个第三特征向量可以为对最后一个池化层对应的降维卷积层的输出进行相应的处理得到。例如可以设置一个第一卷积层,通过第一卷积层对恢复最后一个第三特征向量的通道数。
82.具体的,如图3所示,在一些实施例中,降维卷积层的数量为n。此时,上述池化网络模块还包括n个降维卷积层和一个第一卷积层,所述n个降维卷积层用于对n个所述第三特征向量进行降维处理,所述第一卷积层用于还原所述第n个降维卷积层降维处理后的第三特征向量,得到所述第n个第二特征向量。
83.应理解,在本技术实施例中,上述融合层内设有1*1的卷积网络,用于将融合得到
的特征向量进行升维处理,以恢复每一特征向量的通道数,得到第二特征向量。上述第一卷积层可以为1*1的卷积网络,用于恢复最后一个第三特征向量的通道数。
84.可选地,如图4所示,在一些实施例中,所述纹理特征提取模块包括至少一个卷积层、第五卷积层、第二纹理特征提取层和第六卷积层,所述至少一个卷积层用于对所述第二图像进行纹理特征提取获得子特征向量,并将所述子特征向量输出到所述第五卷积层,所述第五卷积层用于进行纹理特征提取,获得用于表示所述第二图像的高频信息的权重值,所述第二纹理特征提取层用于对所述第二图像进行纹理特征提取得到第四子特征向量,所述第六卷积层用于将基于所述权重值对所述第四子特征向量加权后的特征向量进行平滑处理,得到所述第一特征向量。
85.本技术实施例中,上述至少一个卷积层中每一卷积层均包括卷积核数量为64,大小为3*3的卷积网络,用于进行纹理特征提取,上述第二纹理特征提取层可以由两个卷积层串联构成,其中第一个卷积层主要用于对第二图像进行纹理特征提取,第二卷积层用于对第一个卷积层的输出进行升维处理获得64通道数的第四子特征向量。
86.需要说明的是,上述至少一个卷积层的数量可以根据实际需要进行设置,例如,在一些实施例中,如图5所示,当所述纹理特征提取模块中的所述至少一个卷积层的数量为3时,所述至少一个卷积层包括第二卷积层、第三卷积层、第四卷积层,所述第二卷积层用于对所述第二图像进行纹理特征提取获得第一子特征向量,所述第三卷积层用于对所述第一子特征向量进行纹理特征提取获得第二子特征向量,并将所述第二子特征向量与所述第二图像叠加输出到所述第四卷积层,所述第四卷积层用于进行纹理特征提取获得第三子特征向量,并将所述第三子特征向量与所述第二子特征向量叠加输出到所述第五卷积层。
87.本技术实施例中,上述纹理特征提取模块可以称之为跳跃链接模块(jump link moule),用于对输入的图像进行纹理特征提取,获取用于表示纹理特征信息的第一特征向量。
88.应理解,上述第二卷积层、第三卷积层、第四卷积层和第五卷积层均用于对图像的特征进行提取,因为低层卷积提取图像的粗糙信息,高层卷积提取图像的精细细节,随着卷积层的增加,网络更多的学习到了图像的全局信息却忽略了图像的局部信息。因此,将低层特征用作高层特征的信息补偿,来保证全局和局部信息都能被捕捉到并准确定位到想检测到的目标,进而提高图像检测的准确度。
89.应理解,上述第五卷积层的结构可以根据实际需要进行设置,本技术实施例中,第五卷积层可以理解为rconv卷积结构。如图6所示,在一些实施例中,上述第五卷积层包括第一子卷积层、抽象特征提取通道层、双采样通道层、第二子卷积层、第一子池化层和s函数层,所述第一子卷积层用于对所述第三子特征向量和所述第二子特征向量叠加后的特征向量进行纹理特征提取,获得第五子特征向量;所述抽象特征提取通道层用于对所述第五子特征向量的一部分通道对应的特征向量进行抽象特征提取,获得第六子特征向量;所述双采样通道层用于对所述第五子特征向量的另一部分通道对应的特征向量进行上下采样获得第七子特征向量;所述第二子卷积层用于对所述第六子特征向量和所述第七子特征向量残差处理后的特征向量进行升维处理,获得第八子特征向量;所述第一子池化层用于对所述第八子特征向量进行池化处理后,输出到所述s函数层;所述s函数层用于计算获得所述权重值。
90.本技术实施例中,上述第一子卷积层可以为3*3的卷积层,用于进行进一步的纹理特征特征提取,将纹理之间的差异进一步扩大。然后将通道分成两份,一部分输出到抽象特征提取通道层,另一部分输出到双采样通道层。假设第一子卷积层输出的通道数为64,可以将16通道对应的特征向量输出到抽象特征提取通道层,将另外48通道对应的特征向量输出到双采样通道层。然后将两个通道的输出进行减残差处理,得到像素级差异,从而可以实现待检测的对象的准确定位。
91.可选地,上述第二子卷积层可以为卷积核个数为64的1*1卷积网络。可以对上述残差结果进行升维处理,得到第八子特征向量。然后通过第一子池化层进行特征图的压缩后输出到s函数层,最后通过s函数层输出权重值。上述s函数层可以理解为sigmoid函数层。
92.本技术实施例中,通过第五卷积层可以有效收集图像中每个空间位置的像素级差异信息,从而可以实现图像的对象之间的准确定位。
93.可选地,在一些实施例中,所述抽象特征提取通道层包括第三子卷积层、第二子池化层和第四子卷积层,所述第三子卷积层用于对所述第五子特征向量的一部分通道对应的特征向量进行升维处理后,输出到所述第二子池化层进行池化处理,所述第四子卷积层用于对所述第二子池化层输出的特征向量进行反卷积上采样获得所述第六子特征向量。
94.本技术实施例中,上述第三子卷积层用于对第五子特征向量一部分通道对应的特征向量进行升维处理,得到64通道的特征向量,然后通过第二子池化层进行池化,再通过第四子卷积层进行反卷积上采样。其中,第二子池化层的卷积核个数为16,第四子卷积层的个数为32,这样通过一缩一伸可以更好的提取抽象特征。
95.可选地,在一些实施例中,上述双采样通道层包括第五子卷积层、下采样卷积层和上采样卷积层,所述第五子卷积层用于对所述第五子特征向量的另一部分通道对应的特征向量进行升维处理后,输出到所述下采样卷积层进行下采样处理,所述上采样卷积层用于对所述下采样层输出的特征向量进行上采样处理获得所述第七子特征向量。
96.本技术实施例中,上述下采样卷积层可以采用步长为2的卷积网络。上述上采样卷积层可以采用步长为1/2的卷积网络。由于通过双采样网络通道层可以进行卷积移动,实现空域上的一缩一伸,因此可以更好的提取图像的语义特征。
97.本技术实施例中,下采样卷积层可以为步长为2的卷积网络,上采样卷积层可以采用步长为1/2的卷积网络。
98.参照图7,本技术实施例还提供了一种图像检测模型训练方法,包括以下步骤:
99.步骤501,将待训练的第一样本图像进行尺寸调整,获得预设尺寸的第二样本图像;
100.步骤502,基于所述第二样本图像对待训练图像检测模型进行迭代训练,获得所述图像检测模型;
101.所述待训练图像检测模型包括依次连接的纹理特征提取模块、池化网络模块和文本检测头模块;
102.所述纹理特征提取模块用于对所述第二样本图像进行纹理特征提取获得第四特征向量;
103.所述池化网络模块用于对所述第四特征向量进行池化融合处理,得到n个第五特征向量,n为大于1的整数;
104.所述文本检测头模块用于对所述n个第五特征向量进行待识别对象检测,获得所述检测结果;
105.其中,所述n个第五特征向量中的至少一个第五特征向量由第二集合中的至少部分第六特征向量量融合得到,所述第二集合包括多个第六特征向量,所述第六特征向量为对所述第四特征向量进行不同层级的池化得到的特征向量,或者,所述多个第六特征向量包括第二目标特征向量以及对所述第二目标特征向量进行不同层级的池化得到的特征向量,所述第二目标特征向量为对所述第四特征向量进行纹理特征提取获得的特征向量或者为所述第四特征向量。
106.需要说明的是,在本技术实施例中,待训练图像检测模型的网络结构与上述实施例中图像检测模型网络结构相同。为了方便理解,以下各个网络模块中的结构进行详细说明。
107.可选地,在一些实施例中,所述池化网络模块包括第一纹理特征提取层、n-1个池化层和n-1个融合层,所述第一纹理特征提取层用于对所述第四特征向量进行纹理特征提取处理得到第一个第六特征向量;所述n-1个池化层依次串联,所述第一个第六特征向量依次经所述n-1个池化层池化处理,且每一池化层对应输出一个待融合的第六特征向量;第一个所述融合层用于将所述第一个待融合的第六特征向量与所述n-1个待融合的第六特征向量进行融合处理得到第一个第五特征向量,第n+1个融合层用于将第n个池化层输出的所述待融合的第六特征向量与第n+1个池化层至最后一个池化层输出的所述待融合的第六特征向量进行融合处理得到第n+1个第五特征向量;第n个第五特征向量为最后一个池化层输出所述待融合的第六特征向量,n为小于或等于n-2的正整数。
108.进一步地,所述池化网络模块还包括至少一个降维卷积层,所述降维卷积层用于所述第六特征向量进行降维处理,第n个第五特征向量基于最后一个池化层输出的所述待融合的第六特征向量确定。
109.可选地,在一些实施例中,所述纹理特征提取模块包括至少一个卷积层、第五卷积层、第二纹理特征提取层和第六卷积层,所述至少一个卷积层用于对所述第二图像进行纹理特征提取获得子特征向量,并将所述子特征向量输出到所述第五卷积层,所述第五卷积层用于进行纹理特征提取,获得用于表示所述第二样本图像的高频信息的权重值,所述第二纹理特征提取层用于对所述第二样本图像进行纹理特征提取得到第十二子特征向量,所述第六卷积层用于将基于所述权重对所述第十二子特征向量加权后的特征向量进行平滑处理,得到所述第四特征向量。
110.可选地,当所述纹理特征提取模块中的所述至少一个卷积层的数量为3时,所述至少一个卷积层包括第二卷积层、第三卷积层、第四卷积层,所述第二卷积层用于对所述第二样本图像进行纹理特征提取获得第九子特征向量,所述第三卷积层用于对所述第九子特征向量进行纹理特征提取获得第十子特征向量,并将所述第十子特征向量与所述第二样本图像叠加输出到所述第四卷积层,所述第四卷积层用于进行纹理特征提取获得第十一子特征向量,并将所述第十一子特征向量与所述第十子特征向量叠加输出到所述第五卷积层。
111.可选地,所述第五卷积层包括第一子卷积层、抽象特征提取通道层、双采样通道层、第二子卷积层、第一子池化层和s函数层,所述第一子卷积层用于对所述第十一子特征向量和所述第十子特征向量叠加后的特征向量进行纹理特征提取,获得第十三子特征向
量;所述抽象特征提取通道层用于对所述第十三子特征向量的一部分通道对应的特征向量进行抽象特征提取,获得第十四子特征向量;所述双采样通道层用于对所述第十三子特征向量的另一部分通道对应的特征向量进行上下采样获得第十五子特征向量;所述第二子卷积层用于对所述第十四子特征向量和所述第十五子特征向量残差处理后的特征向量进行升维处理,获得第十六子特征向量;所述第一子池化层用于对所述第十六子特征向量进行池化处理后,输出到所述s函数层;所述s函数层用于计算获得所述权重值。
112.可选地,所述抽象特征提取通道层包括第三子卷积层、第二子池化层和第四子卷积层,所述第三子卷积层用于对所述第十三子特征向量的一部分通道对应的特征向量进行升维处理后,输出到所述第二子池化层进行池化处理,所述第四子卷积层用于对所述第二子池化层输出的特征向量进行反卷积上采样获得所述第十四子特征向量。
113.可选地,所述双采样通道层包括第五子卷积层、下采样卷积层和上采样卷积层,所述第五子卷积层用于对所述第十三子特征向量的另一部分通道对应的特征向量进行升维处理后,输出到所述下采样卷积层进行下采样处理,所述上采样卷积层用于对所述下采样层输出的特征向量进行上采样处理获得所述第十五子特征向量。
114.需要说明的是,各网络模块对第二样本图像的处理过程与上述实施例中各网络模块对第二样本图像的处理过程相同,具体可以参照上述实施例的描述,在此不再赘述。
115.本技术实施例通过将待训练的第一样本图像进行尺寸调整,获得预设尺寸的第二样本图像;基于所述第二样本图像对待训练图像检测模型进行迭代训练,获得所述图像检测模型;所述待训练图像检测模型包括依次连接的纹理特征提取模块、池化网络模块和文本检测头模块;所述纹理特征提取模块用于对所述第二样本图像进行纹理特征提取获得第四特征向量;所述池化网络模块用于对所述第四特征向量进行池化融合处理,得到n个第五特征向量,n为大于1的整数;所述文本检测头模块用于对所述n个第五特征向量进行待识别对象检测,获得所述检测结果;其中,所述n个第五特征向量中的至少一个第五特征向量由第二集合中的至少部分第六特征向量量融合得到,所述第二集合包括多个第六特征向量,所述第六特征向量为对所述第四特征向量进行不同层级的池化得到的特征向量,或者,所述多个第六特征向量包括第二目标特征向量以及对所述第二目标特征向量进行不同层级的池化得到的特征向量,所述第二目标特征向量为对所述第四特征向量进行纹理特征提取获得的特征向量或者为所述第四特征向量。由于采用至少一个第五特征向量通过第二集合中的至少部分的第六特征向量进行融合得到,实现了信息补偿,从而使得融合得到的第五特征向量具有较强的特征映射能力,并且能够保留语义信息。因此,利用本技术实施例训练得到的图像检测模型进行目标对象检测时,可以提高小目标对象检测的准确度。
116.可选地,在一些实施中,所述基于所述第二样本图像对待训练图像检测模型进行迭代训练包括:
117.基于第r次输入图像对所述待训练图像检测模型进行第r次迭代训练,得到损失值,r为正整数,所述损失值用于调整所述待训练图像检测模型的网络参数;
118.若所述损失值的变化小于预设值,则将当前训练的待训练图像检测模型确定为所述图像检测模型;
119.其中,第r次输入图像为所述第二样本图像的四个边缘减去(r-1)*l个像素后,再调整到所述预设尺寸的图像,l为正整数。
120.本技术实施例中,在训练过程中可以使用交叉熵函数计算获得上述损失值,并利用adam优化器基于损失值调整待训练图像检测模型的网络参数,使得待训练图像检测模型逐步稳定,完成训练过程。
121.可选地,假设l的取值为5,如图8所示,第一次迭代训练是基于第二样本图像执行的,第二次迭代训练是基于第二样本图像切割5个像素点的图像1执行的,第三次迭训练是基于第二样本图像切割10个像素点的图像2执行的,第四次迭训练是基于第二样本图像切割15个像素点的图像3执行的。
122.例如输入的第二样本图像为480*640的图像,第二样本图像的四个边缘进行一次切割后得到470*630的图像,进行二次切割后得到460*620的图像,进行三次切割后得到450*610的图像。其中,上述图像1可以理解为:基于470*630的图像调整到480*640的图像;上述图像2可以理解为:基于460*620的图像调整到480*640的图像;上述图像3可以理解为:基于450*610的图像调整到480*640的图像。
123.可选地,在一些实施例中,所述基于第r次输入图像对所述待训练图像检测模型进行第r次迭代训练,得到损失值包括:
124.在第r次迭代训练过程中,对第r次输入图像进行下采样再上采样获得第一特征图;
125.在基于所述第一特征图完成所述待训练图像检测模型的训练后,基于所述第r次输入图像对所述待训练图像检测模型进行训练得到所述损失值。
126.本技术实施例中,对第r次输入图像进行下采样再上采样获得第一特征图的方式根据实际需要进行设置,例如,在一些实施中,可以对第r次输入图像进行双三插值下采样再上采样,得到第一特征图。
127.如图8所示,在一次迭代训练的过程中,可以首先通过第一特征图对待训练图像检测模型的训练,在完成训练后,再利用第r次输入图像进行训练。这样通过第一特征图进行训练时,由于第一特征图的分辨率较低,高频信息消失,可以很好的提取轮廓信息,加快网络收敛。
128.需要说明的是,本技术实施例提供的图像检测方法,执行主体可以为图像检测装置,或者该图像检测装置中的用于执行加载图像检测方法的控制模块。本技术实施例中以图像检测装置执行加载图像检测方法为例,说明本技术实施例提供的图像检测方法。
129.参见图9,图9是本技术实施例提供的图像检测装置的结构图,如图9所示,图像检测装置700包括:
130.第一调整模块701,用于将包含待识别对象的第一图像进行尺寸调整,获得预设尺寸的第二图像;
131.输入模块702,用于将所述第二图像输入到图像检测模型,获得所述对象的检测结果;
132.所述图像检测模型包括依次连接的纹理特征提取模块、池化网络模块和文本检测头模块;
133.所述纹理特征提取模块用于对所述第二图像进行纹理特征提取获得第一特征向量;
134.所述池化网络模块用于对所述第一特征向量进行池化融合处理,得到n个第二特
征向量,n为大于1的整数;
135.所述文本检测头模块用于对所述n个第二特征向量进行待识别对象检测,获得所述检测结果;
136.其中,所述n个第二特征向量中的至少一个第二特征向量由第一集合中的至少部分第三特征向量融合得到,所述第一集合包括多个第三特征向量,所述第三特征向量为对所述第一特征向量进行不同层级的池化得到的特征向量,或者,所述多个第三特征向量包括第一目标特征向量以及对所述第一目标特征向量进行不同层级的池化得到的特征向量,所述第一目标特征向量为对所述第一特征向量进行纹理特征提取获得的特征向量或者为所述第一特征向量。
137.可选地,所述池化网络模块包括第一纹理特征提取层、n-1个池化层和n-1个融合层,所述第一纹理特征提取层用于对所述第一特征向量进行纹理特征提取处理得到第一个第三特征向量;所述n-1个池化层依次串联,所述第一个第三特征向量依次经所述n-1个池化层池化处理,且每一池化层对应输出一个待融合的第三特征向量;第一个所述融合层用于将所述第一个第三特征向量与所述n-1个待融合的第三特征向量进行融合处理得到第一个第二特征向量,第n+1个融合层用于将第n个池化层输出的所述待融合的第三特征向量与第n+1个池化层至最后一个池化层输出的所述待融合的第三特征向量进行融合处理得到第n+1个第二特征向量;第n个第二特征向量为最后一个池化层输出的所述待融合的第三特征向量,n为小于或等于n-2的正整数。
138.可选地,所述池化网络模块还包括至少一个降维卷积层,所述降维卷积层用于对所述第三特征向量进行降维处理,第n个第二特征向量基于最后一个池化层输出的所述待融合的第三特征向量确定。
139.可选地,所述纹理特征提取模块包括至少一个卷积层、第五卷积层、第二纹理特征提取层和第六卷积层,所述至少一个卷积层用于对所述第二图像进行纹理特征提取获得子特征向量,并将所述子特征向量输出到所述第五卷积层,所述第五卷积层用于进行纹理特征提取,获得用于表示所述第二图像的高频信息的权重值,所述第二纹理特征提取层用于对所述第二图像进行纹理特征提取得到第四子特征向量,所述第六卷积层用于将基于所述权重值对所述第四子特征向量加权后的特征向量进行平滑处理,得到所述第一特征向量。
140.可选地,当所述纹理特征提取模块中的所述至少一个卷积层的数量为3时,所述至少一个卷积层包括第二卷积层、第三卷积层、第四卷积层,所述第二卷积层用于对所述第二图像进行纹理特征提取获得第一子特征向量,所述第三卷积层用于对所述第一子特征向量进行纹理特征提取获得第二子特征向量,并将所述第二子特征向量与所述第二图像叠加输出到所述第四卷积层,所述第四卷积层用于进行纹理特征提取获得第三子特征向量,并将所述第三子特征向量与所述第二子特征向量叠加输出到所述第五卷积层。
141.可选地,所述第五卷积层包括第一子卷积层、抽象特征提取通道层、双采样通道层、第二子卷积层、第一子池化层和s函数层,所述第一子卷积层用于对所述第三子特征向量和所述第二子特征向量叠加后的特征向量进行纹理特征提取,获得第五子特征向量;所述抽象特征提取通道层用于对所述第五子特征向量的一部分通道对应的特征向量进行抽象特征提取,获得第六子特征向量;所述双采样通道层用于对所述第五子特征向量的另一部分通道对应的特征向量进行上下采样获得第七子特征向量;所述第二子卷积层用于对所
述第六子特征向量和所述第七子特征向量残差处理后的特征向量进行升维处理,获得第八子特征向量;所述第一子池化层用于对所述第八子特征向量进行池化处理后,输出到所述s函数层;所述s函数层用于计算获得所述权重值。
142.可选地,所述抽象特征提取通道层包括第三子卷积层、第二子池化层和第四子卷积层,所述第三子卷积层用于对所述第五子特征向量的一部分通道对应的特征向量进行升维处理后,输出到所述第二子池化层进行池化处理,所述第四子卷积层用于对所述第二子池化层输出的特征向量进行反卷积上采样获得所述第六子特征向量。
143.可选地,所述双采样通道层包括第五子卷积层、下采样卷积层和上采样卷积层,所述第五子卷积层用于对所述第五子特征向量的另一部分通道对应的特征向量进行升维处理后,输出到所述下采样卷积层进行下采样处理,所述上采样卷积层用于对所述下采样层输出的特征向量进行上采样处理获得所述第七子特征向量。
144.本技术实施例提供的图像检测装置能够实现图1的方法实施例中的各个过程,为避免重复,这里不再赘述。
145.需要说明的是,本技术实施例提供的图像检测模型训练方法,执行主体可以为图像检测模型训练装置,或者该图像检测模型训练装置中的用于执行加载图像检测模型训练方法的控制模块。本技术实施例中以图像检测模型训练装置执行加载图像检测模型训练方法为例,说明本技术实施例提供的图像检测模型训练方法。
146.参见图10,图10是本技术实施例提供的图像检测模型训练装置的结构图,如图10所示,图像检测模型训练装置800包括:
147.第二调整模块801,用于将待训练的第一样本图像进行尺寸调整,获得预设尺寸的第二样本图像;
148.训练模块802,用于基于所述第二样本图像对待训练图像检测模型进行迭代训练,获得所述图像检测模型;
149.所述待训练图像检测模型包括依次连接的纹理特征提取模块、池化网络模块和文本检测头模块;
150.所述纹理特征提取模块用于对所述第二样本图像进行纹理特征提取获得第四特征向量;
151.所述池化网络模块用于对所述第四特征向量进行池化融合处理,得到n个第五特征向量,n为大于1的整数;
152.所述文本检测头模块用于对所述n个第五特征向量进行待识别对象检测,获得所述检测结果;
153.其中,所述n个第五特征向量中的至少一个第五特征向量由第二集合中的至少部分第六特征向量量融合得到,所述第二集合包括多个第六特征向量,所述第六特征向量为对所述第四特征向量进行不同层级的池化得到的特征向量,或者,所述多个第六特征向量包括第二目标特征向量以及对所述第二目标特征向量进行不同层级的池化得到的特征向量,所述第二目标特征向量为对所述第四特征向量进行纹理特征提取获得的特征向量或者为所述第四特征向量。
154.可选地,训练模块802包括:
155.训练单元,用于基于第r次输入图像对所述待训练图像检测模型进行第r次迭代训
练,得到损失值,r为正整数,所述损失值用于调整所述待训练图像检测模型的网络参数;
156.确定单元,用于若所述损失值的变化小于预设值,则将当前训练的待训练图像检测模型确定为所述图像检测模型;
157.其中,第r次输入图像为所述第二样本图像的四个边缘减去(r-1)*l个像素后,再调整到所述预设尺寸的图像,l为正整数。
158.可选地,所述训练单元具体用于:在第r次迭代训练过程中,对第r次输入图像进行下采样再上采样获得第一特征图;在基于所述第一特征图完成所述待训练图像检测模型的训练后,基于所述第r次输入图像对所述待训练图像检测模型进行训练得到所述损失值。
159.可选地,所述池化网络模块包括第一纹理特征提取层、n-1个池化层和n-1个融合层,所述第一纹理特征提取层用于对所述第四特征向量进行纹理特征提取处理得到第一个第六特征向量;所述n-1个池化层依次串联,所述第一个第六特征向量依次经所述n-1个池化层池化处理,且每一池化层对应输出一个待融合的第六特征向量;第一个所述融合层用于将所述第一个待融合的第六特征向量与所述n-1个待融合的第六特征向量进行融合处理得到第一个第五特征向量,第n+1个融合层用于将第n个池化层输出的所述待融合的第六特征向量与第n+1个池化层至最后一个池化层输出的所述待融合的第六特征向量进行融合处理得到第n+1个第五特征向量;第n个第五特征向量为最后一个池化层输出所述待融合的第六特征向量,n为小于或等于n-2的正整数。
160.可选地,所述池化网络模块还包括至少一个降维卷积层,所述降维卷积层用于所述第六特征向量进行降维处理,第n个第五特征向量基于最后一个池化层输出的所述待融合的第六特征向量确定。
161.可选地,在一些实施例中,所述纹理特征提取模块包括至少一个卷积层、第五卷积层、第二纹理特征提取层和第六卷积层,所述至少一个卷积层用于对所述第二图像进行纹理特征提取获得子特征向量,并将所述子特征向量输出到所述第五卷积层,所述第五卷积层用于进行纹理特征提取,获得用于表示所述第二样本图像的高频信息的权重值,所述第二纹理特征提取层用于对所述第二样本图像进行纹理特征提取得到第十二子特征向量,所述第六卷积层用于将基于所述权重对所述第十二子特征向量加权后的特征向量进行平滑处理,得到所述第四特征向量。
162.可选地,当所述纹理特征提取模块中的所述至少一个卷积层的数量为3时,所述至少一个卷积层包括第二卷积层、第三卷积层、第四卷积层,所述第二卷积层用于对所述第二样本图像进行纹理特征提取获得第九子特征向量,所述第三卷积层用于对所述第九子特征向量进行纹理特征提取获得第十子特征向量,并将所述第十子特征向量与所述第二样本图像叠加输出到所述第四卷积层,所述第四卷积层用于进行纹理特征提取获得第十一子特征向量,并将所述第十一子特征向量与所述第十子特征向量叠加输出到所述第五卷积层。
163.可选地,所述第五卷积层包括第一子卷积层、抽象特征提取通道层、双采样通道层、第二子卷积层、第一子池化层和s函数层,所述第一子卷积层用于对所述第十一子特征向量和所述第十子特征向量叠加后的特征向量进行纹理特征提取,获得第十三子特征向量;所述抽象特征提取通道层用于对所述第十三子特征向量的一部分通道对应的特征向量进行抽象特征提取,获得第十四子特征向量;所述双采样通道层用于对所述第十三子特征向量的另一部分通道对应的特征向量进行上下采样获得第十五子特征向量;所述第二子卷
积层用于对所述第十四子特征向量和所述第十五子特征向量残差处理后的特征向量进行升维处理,获得第十六子特征向量;所述第一子池化层用于对所述第十六子特征向量进行池化处理后,输出到所述s函数层;所述s函数层用于计算获得所述权重值。
164.可选地,所述抽象特征提取通道层包括第三子卷积层、第二子池化层和第四子卷积层,所述第三子卷积层用于对所述第十三子特征向量的一部分通道对应的特征向量进行升维处理后,输出到所述第二子池化层进行池化处理,所述第四子卷积层用于对所述第二子池化层输出的特征向量进行反卷积上采样获得所述第十四子特征向量。
165.可选地,所述双采样通道层包括第五子卷积层、下采样卷积层和上采样卷积层,所述第五子卷积层用于对所述第十三子特征向量的另一部分通道对应的特征向量进行升维处理后,输出到所述下采样卷积层进行下采样处理,所述上采样卷积层用于对所述下采样层输出的特征向量进行上采样处理获得所述第十五子特征向量。
166.本技术实施例提供的图像检测模型训练装置800能够实现图5的方法实施例中的各个过程,为避免重复,这里不再赘述。
167.本技术实施例中的图像检测装置和图像检测模型训练装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,umpc)、上网本或者个人数字助理(personal digital assistant,pda)等,非移动电子设备可以为服务器、网络附属存储器(network attached storage,nas)、个人计算机(personal computer,pc)、电视机(television,tv)、柜员机或者自助机等,本技术实施例不作具体限定。
168.本技术实施例中的图像检测装置和图像检测模型训练装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本技术实施例不作具体限定。
169.可选的,如图11所示,本技术实施例还提供一种电子设备,包括处理器910,存储器909,存储在存储器909上并可在所述处理器910上运行的程序或指令,该程序或指令被处理器910执行时实现上述图像检测方法或图像检测模型训练方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
170.需要注意的是,本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
171.图12为实现本技术各个实施例的一种电子设备的硬件结构示意图。
172.该电子设备1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
173.本领域技术人员可以理解,电子设备1000还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图10中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
174.其中,处理器1010,用于将包含待识别对象的第一图像进行尺寸调整,获得预设尺
寸的第二图像;将所述第二图像输入到图像检测模型,获得所述对象的检测结果;所述图像检测模型包括依次连接的纹理特征提取模块、池化网络模块和文本检测头模块;所述纹理特征提取模块用于对所述第二图像进行纹理特征提取获得第一特征向量;所述池化网络模块用于对所述第一特征向量进行池化融合处理,得到n个第二特征向量,n为大于1的整数;所述文本检测头模块用于对所述n个第二特征向量进行待识别对象检测,获得所述检测结果;其中,所述n个第二特征向量中的至少一个第二特征向量由第一集合中的至少部分第三特征向量融合得到,所述第一集合包括多个第三特征向量,所述第三特征向量为对所述第一特征向量进行不同层级的池化得到的特征向量,或者,所述多个第三特征向量包括第一目标特征向量以及对所述第一目标特征向量进行不同层级的池化得到的特征向量,所述第一目标特征向量为对所述第一特征向量进行纹理特征提取获得的特征向量或者为所述第一特征向量。
175.或者,处理器1010,用于将待训练的第一样本图像进行尺寸调整,获得预设尺寸的第二样本图像;基于所述第二样本图像对待训练图像检测模型进行迭代训练,获得所述图像检测模型;所述待训练图像检测模型包括依次连接的纹理特征提取模块、池化网络模块和文本检测头模块;所述纹理特征提取模块用于对所述第二样本图像进行纹理特征提取获得第四特征向量;所述池化网络模块用于对所述第四特征向量进行池化融合处理,得到n个第五特征向量,n为大于1的整数;所述文本检测头模块用于对所述n个第五特征向量进行待识别对象检测,获得所述检测结果;其中,所述n个第五特征向量中的至少一个第五特征向量由第二集合中的至少部分第六特征向量量融合得到,所述第二集合包括多个第六特征向量,所述第六特征向量为对所述第四特征向量进行不同层级的池化得到的特征向量,或者,所述多个第六特征向量包括第二目标特征向量以及对所述第二目标特征向量进行不同层级的池化得到的特征向量,所述第二目标特征向量为对所述第四特征向量进行纹理特征提取获得的特征向量或者为所述第四特征向量。
176.本技术实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像检测方法或图像检测模型训练方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
177.其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等。
178.本技术实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像检测方法或图像检测模型训练方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
179.应理解,本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
180.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该
要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
181.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本技术各个实施例所述的方法。
182.上面结合附图对本技术的实施例进行了描述,但是本技术并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本技术的启示下,在不脱离本技术宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本技术的保护之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1