一种基于多分支网络的图像分析方法及系统

本发明涉及遥操作机器人系统控制，尤其涉及一种基于多分支网络的图像分析方法及系统。

背景技术：

1、在卵细胞浆内单精子注射显微影像分析任务中，需要通过人工智能和计算机视觉技术对显微图像中的注射针、卵子和精子等目标区域进行自动、准确且高效地检测和识别，从而为精子注射过程的表征、注射装置的自动化控制提供定位支撑。

2、然而，在实际应用中，需要同时实现精子的目标检测任务，针管、卵子和极体的图像分割任务，和针尖定位的关键点检测任务。上述多任务图像识别需求为算法的实时性提出了挑战。传统上faster-rcnn、mask-rcnn等方法通过首先进行目标检测，再在目标框内进行语义分割和关键点检测方法由于需要多阶段的图像分析步骤，延长了实际分析的时间，无法满足实际应用中对于图像实时分析的应用需求。

3、并且，在卵细胞浆内单精子注射显微影像中，针尖位置的识别准确率将直接影响自动化注射装置的运作，因此针尖位置的识别更为重要，但传统上并未对针尖识别进行优化。

4、因此，如何改进网络结构和优化算法收敛方法，在高效率的前提下同时满足上述多任务图像识别需求，并提高针尖识别算法的准确性，是卵细胞浆内单精子注射显微影像分析任务中一个重要研究问题。

技术实现思路

1、本发明基于多分支网络，提出了一种基于多分支网络的图像分析，从而解决如何改进网络结构和优化算法收敛方法，在高效率的前提下同时满足上述多任务图像识别需求，并提高针尖识别算法的准确性的问题。

2、为解决上述发明目的，本发明提供的技术方案如下：

3、本发明提供一种基于多分支网络的图像分析方法，该方法适用于电子设备，方法步骤包括：

4、s1、获取多任务数据及标注；

5、s2、构建多分支图像识别网络模型，多分支图像识别网络模型包括：特征提取主分支、关键点提取分支、图像分割分支和目标检测分支；

6、s3、基于多任务数据以及标注，利用形态感知损失函数训练多分支图像识别网络模型，获得训练后的模型；

7、s4、将待分析图像输入训练后的模型，获得分析数据，完成基于多分支网络的图像分析。

8、优选地，s1中，获取多任务数据及标注，包括：

9、按照多任务需求中每一任务的标注方式，对原始图像进行标注；

10、将原始图像及多任务标注组成的数据，按照预设的比例划分为训练集、验证集与测试集；

11、其中，标注方式包括：对于图像分割任务，对原始图像的前景和背景进行划分，得到原始图像的掩码标注；对于目标检测任务，对原始图像的待识别对象使用矩形框进行标注，并将单张原始图像的全部矩形框集中于单个文本中；对于关键点检测任务，对原始图像的待识别关键点使用点标注方法进行标注，并将单张原始图像的全部点标注集中于单个文本中。

12、优选地，s2中，构建多分支图像识别网络模型，多分支图像识别网络模型包括：特征提取主分支、关键点提取分支、图像分割分支和目标检测分支，包括：

13、将原始图像输入特征提取主分支，得到原始图像对应的高维特征；

14、将高维特征输入关键点提取分支，获得m个关键点坐标i∈[0,m-1]；

15、将高维特征输入图像分割分支，获得与原始图像尺寸对应的图像分割置信度图，图像分割置信度图尺寸为h，w，c；其中h表示高、w表示宽，c表示类别数目；

16、将高维特征输入目标检测分支，获得q个待检测目标的位置参数其中分别是待检测目标q的左上角坐标、右上角坐标、宽度、高度、类别和置信度，q∈[0，q-1]。

17、优选地，图像特征提取主分支，包括：vgg、densenet、resnet网络的一种或多种。

18、优选地，将原始图像输入特征提取主分支，得到原始图像对应的高维特征，包括：

19、将尺寸大小为h×w的原始图像下采样至h/8×w/8、h/16×w/16、h/32×w/32三种大小，得到三种不同尺度特征图；

20、使用特征金字塔网络fpn、自适应特征金字塔网络pan的变种或是其组合模块，将不同尺度特征图经过上采样或下采样后达到相同尺寸h/8×w/8；

21、将上采样或下采样之后相同尺寸的特征图的相同位置上的值相加或者在通道维度上进行合并，利用特征融合获得高维特征。

22、优选地，s3中，基于多任务数据以及标注，利用形态感知损失函数训练多分支图像识别网络模型，获得训练后的模型，包括：

23、构建面向多分支任务的形态感知损失函数；

24、基于多任务数据以及标注，利用多分支任务的形态感知损失函数训练多分支图像识别网络模型。

25、优选地，面向多分支任务的形态感知损失函数，包括：

26、根据下述公式(1)构建面向多分支任务的形态感知损失函数l：

27、l＝lseg+lobj+lpoint (1)

28、其中lseg，lobj，和lpoint分别是图像分割分支、目标检测分支和关键点提取分支的损失函数。lobj为预测坐标位置与真实坐标的iou loss和预测置信度与真实标签的bce loss之和，lpoint为预测关键点坐标位置和真实关键点位置的bce loss。

29、优选地，图像分割分支的定义包括：

30、根据下述公式(2)定义lseg：

31、

32、其中：n为图像中像素点个数；l(x)为像素点x对应的真实分类，为像素x对应的损失函数权重。pl(x)(x)指检测结果中像素点x属于其真实分类的概率，ω表示像素空间。

33、优选地，图像分割分支的定义包括：

34、权重由三个权重损失项构成，分别为类别损失项形态损失项关键点定位损失项wkpl(x)，根据下述公式(3)计算权重：

35、

36、其中，λ1、λ2、λ3是三个加权的超参数，用于控制三个权重项的占比；t为目标关键点所在的类别；

37、根据下述公式(4)计算类别损失项：

38、

39、其中，numk为类别k的像素数目；c为包含背景在内的类别数目，i为类别权重通道序号，在集合{0，...，c}中取值；

40、根据下述公式(5)计算形态损失项：

41、

42、其中，d(x)为像素点x到所属前景类别l(x)边缘的最近距离，xi为像素点x在类别权重通道i的映射，l(xi)为xi对应的类别；当i＝0时，表示背景像素点到前景区域的形态损失值；当i≠0时，表示前景像素点到其对应前景区域边界的形态损失值；

43、根据下述公式(6)计算关键点定位损失项：

44、

45、其中，a为图像中关键目标点的位置，da(x)为前景区域像素点x到关键点目标区域a的距离，对每个像素点x分别计算目标距离损失wkpl(x)，形成目标距离损失项wkpl。

46、一种基于多分支网络的图像分析系统，该系统用于上述的基于多分支网络的图像分析方法，系统包括：

47、数据采集块，用于获取多任务数据及标注；

48、模型构建模块，用于构建多分支图像识别网络模型，所述多分支图像识别网络模型包括：特征提取主分支、关键点提取分支、图像分割分支和目标检测分支；

49、模型训练模块，用于基于所述多任务数据以及标注，利用形态感知损失函数训练所述多分支图像识别网络模型，获得训练后的模型；

50、图像分析模块，用于将待分析图像输入所述训练后的模型，获得分析数据，完成基于多分支网络的图像分析。

51、一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于多分支网络的图像分析方法。

52、一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于多分支网络的图像分析方法。

53、上述技术方案，与现有技术相比至少具有如下有益效果：

54、上述方案，本发明提供的一种基于多分支网络的图像分析方法，针对现有的技术缺陷，获取多任务数据及标注；构建多分支图像识别网络模型，该模型包括特征提取主分支、关键点提取分支、图像分割分支和目标检测分支；利用形态感知损失函数训练所述多分支图像识别网络模型。该方法相对于先进行目标检测再进行图像分割或关键点识别的两阶段网络，具有更快的运算速度，即在不增加网络个数以及大量识别时间的情况下，使用单个神经网络完成对多个视觉识别任务的分析，且不会对识别结果造成准确度上的损失。