本发明涉及人工智能和超声医学影像处理领域，尤其涉及一种基于人工智能的乳腺超声病灶区域实时标注的方法及系统和病灶区域检测分级模型的建立方法及系统。
背景技术：
乳腺癌是女性最为高发的恶性肿瘤之一，近年来我国乳腺癌发病率有逐年上升、年轻化趋势的现象，可谓形势十分严峻。如今，在治疗方面，利用影像学的手段，对乳腺癌进行临床诊断比较普遍，例如乳腺超声、钼靶cr等手段均取得较为良好的诊断效果。影像学识别还是当前主要检查乳腺癌的手段和方法。由于钼钯存在价格昂贵、有辐射、不适合中国女性乳腺身体结构、体积大等缺点，并不适合中国妇女大规模乳腺癌筛查的应用；而超声由于无创、无痛、无辐射、体积小、便携、价格低廉、适合中国女性乳腺结构等优点，成为了乳腺癌筛查的首选影像设备。
超声乳腺癌的诊断主要依靠受过多年严格训练的超声影像医生进行人工判断，但由于超声影像医生的数量极为有限，日常需要肩负繁重的各类疾病诊断，无法满足数量庞大的乳腺癌筛查任务要求。在实现本发明过程中，发明人发现相关技术中至少存在如下问题：
由于超声影像医生的数量极为有限，无法满足数量庞大的乳腺癌筛查任务要求，并且乳腺癌超声影像复杂多变，病灶区域往往非常细小，极不容易为人眼观察所发现，容易导致漏诊、误诊。
技术实现要素：
为了至少解决现有技术中乳腺癌超声影像复杂多变，病灶区域往往非常细小，极不容易为人眼观察所发现，容易导致漏诊、误诊，且超声影像医生数量极为有限，无法满足数量庞大的乳腺癌筛查的问题。
第一方面，本发明实施例提供一种病灶区域检测分级模型的建立方法，包括：
接收带有病灶标注符号标注的真实病灶区域的超声图片训练集，根据所述超声图片特征纹理的相似度，依次修复所述超声图片训练集中各超声图片内被标注符号掩盖的部分特征纹理；
通过快速区域卷积神经网络，消除各修复后的超声图片中的干扰信息，以提取所述各超声图片的有效组织区域；
基于所述各有效组织区域，通过乳腺癌bi-rads分级，训练至少一个病灶分级子网络，并根据贝叶斯加权对各个病灶分级子网络加权优化，确定病灶分级网络；
根据所述各有效组织区域的类间和/或类内特征建立分类神经网络，当所述分类神经网络提取的病灶区域与所述真实病灶区域不匹配时，通过损失函数调整所述类间和/或类内的特征距离，优化所述分类神经网络，直到所述分类神经网络提取的病灶区域与所述真实病灶区域匹配；
基于所述病灶分级网络以及所述分类神经网络，建立病灶区域检测分级模型。
第二方面，本发明实施例提供一种基于人工智能的乳腺超声病灶区域实时标注的方法，包括：
将所述乳腺超声影像视频按照时间戳的先后顺序，以帧为单位划分成图片集；
根据病灶区域检测分级模型依次检测所述图片集，确定bi-rads类型级别，同时检测所述图片集中的各图片的有效组织区域，并根据所述有效组织区域的类间和/或类内特征确定病灶区域；
在所述图片中标注各病灶区域的轮廓线，其中，所述轮廓线的类型与所述bi-rads类型级别相关；
将各帧图片按照时间戳的先后顺序重新合成视频。
第三方面，本发明实施例提供一种病灶区域检测分级模型的建立系统，包括：
图片修复程序模块，用于接收带有病灶标注符号标注的真实病灶区域的超声图片训练集，根据所述超声图片特征纹理的相似度，依次修复所述超声图片训练集中各超声图片内被标注符号掩盖的部分特征纹理；
有效组织区域提取程序模块，用于通过快速区域卷积神经网络，消除各修复后的超声图片中的干扰信息，以提取所述各超声图片的有效组织区域；
分级网络训练程序模块，用于基于所述各有效组织区域，通过乳腺癌bi-rads分级，训练至少一个病灶分级子网络，并根据贝叶斯加权对各个病灶分级子网络加权优化，确定病灶分级网络；
分类神经网络训练程序模块，用于根据所述各有效组织区域的类间和/或类内特征建立分类神经网络，当所述分类神经网络提取的病灶区域与所述真实病灶区域不匹配时，通过损失函数调整所述类间和/或类内的特征距离，优化所述分类神经网络，直到所述分类神经网络提取的病灶区域与所述真实病灶区域匹配；
病灶区域检测分级模型建立程序模块，用于基于所述病灶分级网络以及所述分类神经网络，建立病灶区域检测分级模型。
第四方面，本发明实施例提供一种基于人工智能的乳腺超声病灶区域实时标注的系统，包括：
视频分割程序模块，用于将所述乳腺超声影像视频按照时间戳的先后顺序，以帧为单位划分成图片集；
病灶区域及类型级别确定程序模块，用于根据病灶区域检测分级模型依次检测所述图片集，确定bi-rads类型级别，同时检测所述图片集中的各图片的有效组织区域，并根据所述有效组织区域的类间和/或类内特征确定病灶区域；
轮廓线标注程序模块，用于在所述图片中标注各病灶区域的轮廓线，其中，所述轮廓线的类型与所述bi-rads类型级别相关；
视频合成程序模块，用于将各帧图片按照时间戳的先后顺序重新合成视频。
第五方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的病灶区域检测分级模型的建立方法的步骤。
第六方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于人工智能的乳腺超声病灶区域实时标注的方法的步骤。
第七方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的病灶区域检测分级模型的建立方法的步骤。
第八方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的基于人工智能的乳腺超声病灶区域实时标注的方法的步骤。
本发明实施例实现了基于人工智能的乳腺超声病灶区域实时标注，通过构建神经网络，同时通过修复标注符号掩盖的图像特征细节，并且增大所提取高层特征的类间距离，提高分类精度，增强病灶的识别能力，从而降低误诊率。进而通过对乳腺超声影像视频分解和重构，使用构建的神经网络将视频中的病灶区域标注出来，从而辅助医生诊断，大大减少医生工作量，提高医生的工作效率和服务质量，同时辅助医生根据病灶区域的轮廓线从而给病患提出更准确的诊治建议。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种病灶区域检测分级模型的建立方法的流程图；
图2是本发明一实施例提供的一种病灶区域检测分级模型的建立方法的被标注符号覆盖的超声影像图；
图3是本发明一实施例提供的一种基于人工智能的乳腺超声病灶区域实时标注的方法的流程图；
图4是本发明一实施例提供的一种病灶区域检测分级模型的建立系统的结构示意图；
图5是本发明一实施例提供的一种基于人工智能的乳腺超声病灶区域实时标注的系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示为本发明一实施例提供的病灶区域检测分级模型的建立方法的流程图，包括如下步骤：
s11：接收带有病灶标注符号标注的真实病灶区域的超声图片训练集，根据所述超声图片特征纹理的相似度，依次修复所述超声图片训练集中各超声图片内被标注符号掩盖的部分特征纹理；
s12：通过快速区域卷积神经网络，消除各修复后的超声图片中的干扰信息，以提取所述各超声图片的有效组织区域；
s13：基于所述各有效组织区域，通过乳腺癌bi-rads分级，训练至少一个病灶分级子网络，并根据贝叶斯加权对各个病灶分级子网络加权优化，确定病灶分级网络；
s14：根据所述各有效组织区域的类间和/或类内特征建立分类神经网络，当所述分类神经网络提取的病灶区域与所述真实病灶区域不匹配时，通过损失函数调整所述类间和/或类内的特征距离，优化所述分类神经网络，直到所述分类神经网络提取的病灶区域与所述真实病灶区域匹配；
s15：基于所述病灶分级网络以及所述分类神经网络，建立病灶区域检测分级模型。
在本实施方式中，训练模型需要一定数量的数据，所以需要事先准备好一定数量的带有病灶标注符号的图像。在面对小样本的带有病灶标注符号的图像时，通过扩充数据，来减少过度拟合，增强所训练模型的泛化能力。基于乳腺癌病变对旋转并不敏感的假设，对每张图片进行90°、180°、270°及镜像操作、尺寸缩放集合增强，同时，使用pca(principalcomponentanalysis，主成分分析)抖动，高斯加噪等色彩变换来扩大原始数据集。其中，增强数据也可以在修复所述图像训练集中各图像内被标注符号掩盖的区域之后进行。
对于步骤s11，训练模型必不可少的是专业超声影像医师对乳腺癌数据集的病灶区域进行标注的图片。但医师标注后的乳腺癌图像是带有标注干扰信号的，直接将其输入训练，会影响乳腺癌病灶区域有效特征提取。如图2所示带有标注符号的乳腺超声影像图，所以必须对所接收的带有病灶标注符号的图像训练集进行修复，从而根据图像纹理相似度依次修复所述图像训练集中各图像内被标注符号掩盖的特征细节。
对于步骤s12，通过快速区域卷积神经网络，消除在步骤s11修复后的图片中的干扰信息，消除乳腺超声图片含有的大量黑色信息边框，这样减少了干扰信号，可以获得更好的小目标检测性能。
对于此，可以采用faster-rcnn网络提取所述图片中的超声图片有效组织区域。在特征提取层，采用zf(zfnet，zf网络)，vggnet，resnet等卷积神经网络进行前端特征提取，以适应不同超声图片的效率及精度的要求；之后通过rpn(regionproposalnetwork,候选区域生成网络)提取目标候选框；再通过分类层将超声图片有效区域候选区合并输出最终的目标框。
在确定超声图片有效区域时，也可以采用图像梯度提取边缘信息的方法。首先利用边缘增强算子，突出超声图片中的局部边缘，然后定义像素的边缘强度，再通过设置阈值的方法提取边缘的点集。从而检测乳腺超声影像有效区域的边缘。
对于步骤s13，乳腺癌不同等级之间所提取的特征类间距离较小，由于每一类的样本数量较少，这给乳腺癌全图bi-rads分级分类带来了一定的困难。如何在保证效率的情况下，增大所提取高层特征的类间距离，提高分类精度，增强网络的泛化能力是目前要解决的一大问题。因此采用多尺度数据集训练不同的深度学习网络模型，通过加权贝叶斯网络对各网络的输出预测值进行加权获得最终的决策结果，从而通过运用深度学习来辅助乳腺癌bi-rads分级。
对于步骤s14，乳腺癌病灶具有尺寸多变，类间距离较小，类内距离较大，影像特征复杂的特点。检测并定位乳腺癌病灶，不仅需要精确率的保证，而且要满足实时性的要求。使用传统浅层模型的目标检测算法存在效率低下的问题，同时所提取的特征抽象性较差，不能提取乳腺癌图片高层特征。故而根据卷积神经网络自动提取深层特征的优势，采用ssd网络训练分类神经网络来进行乳腺癌超声图片病灶区域的检测。该网络由两部分组成：第一、特征提取层，采用vgg-16卷积网络进行前端特征提取。为降低特征提取层模型的复杂性，首先利用vgg-16在大数据集imagenet下进行预训练，并使用乳腺癌超声图像在预训练模型下进行微调；第二、extrafeaturelayers，其用于提取候选框并通过最后一层合并输出最终的检测目标框。其中，为了增加所提取特征图的平移和尺度不变性，目标包围盒boundingbox是由不同层上的特征图生成的，并根据与标注符号标记的真实病灶区域匹配对比，从而不断优化所述分类神经网络，提高分类精度效率。
对于步骤s15，基于步骤s13以及步骤s14确定的病灶分级网络以及分类神经网络，建立病灶区域检测分级模型。
通过该实施方法可以看出，采用人工智能深度学习方法，构建神经网络，同时通过修复标注符号掩盖的图像特征细节，并且增大所提取高层特征的类间距离，提高分类精度，增强病灶的识别能力，从而降低误诊率。
作为一种实施方式，在本实施例中，根据所述超声图片特征纹理的相似度，依次修复所述超声图片训练集中各超声图片内被标注符号掩盖的部分特征纹理包括：
以所述被标注符号掩盖的部分特征纹理的区域边缘的每一个像素点为中心，划分固定大小的像素块；
根据所述像素块中被标注符号掩盖的区域在所述像素块中所占的比值确定各像素块修复的优先级，其中，所述比值越大优先级越低；
在所述超声图片中根据特征纹理相似度匹配用于修复优先级最高的像素块的修复块，以修复所述被标注符号掩盖的区域。
继续以修复后被标注符号掩盖的区域的每一个像素点为中心，划分固定大小的像素块，确定各像素块修复的优先级，在所述超声图片中根据特征纹理相似度匹配用于修复优先级最高像素块的修复块进行修复，直到被标注符号掩盖的区域都被修复时，停止修复。
在本实施方式中，可以采用基于块的图像纹理补全技术填充任意大小的丢失块(图2中被标注符号掩盖的部分区域)，同时修补图片细节。可以利用criminisi图像修复算法，根据所述criminisi图像修复算法依次修复所述图像训练集中各图像内被标注符号掩盖的特征细节，即需要修复图2中“+”号所覆盖的区域，包括：
在所述被标注符号掩盖的区域边缘上依次选取像素点，然后以该像素点为中心构造一个n×n大小的像素块；其中根据所述像素块中被标注符号掩盖的区域所占的比值确定各像素块被修复的优先级，其中，所述比值越大，被修复的优先级越低；
在所述超声图片中的有效区域图像中根据图像纹理相似度在完好区域(即没有标注符号的区域)寻找与所述待修复像素块最相似的样本块，用于修复优先级最高的待修复像素块，以修复所述被标注符号掩盖的区域，按此步骤循环操作，直到全部修复被标注符号掩盖的区域。在图像修复算法中，也可以使用，例如：mean_shift、patch_match及pyramid等修复方法。
通过该实施方法可以看出，借助于图像修复算法与病灶特征的结合，可以在不损坏原有图像细节的前提下，更好地修复标注符号掩盖的图像特征细节。
如图3所示为本发明一实施例提供的基于人工智能的乳腺超声病灶区域实时标注的方法的流程图，包括如下步骤：
s21：将所述乳腺超声影像视频按照时间戳的先后顺序，以帧为单位划分成图片集；
s22：根据病灶区域检测分级模型依次检测所述图片集，确定bi-rads类型级别，同时检测所述图片集中的各图片的有效组织区域，并根据所述有效组织区域的类间和/或类内特征确定病灶区域；
s23：在所述图片中标注各病灶区域的轮廓线，其中，所述轮廓线的类型与所述bi-rads类型级别相关；
s24：将各帧图片按照时间戳的先后顺序重新合成视频。
在本实施方式中，当操作人员通过超声仪对受检者进行检查时，在检查过程中，超声仪会显示受检查对象的乳腺超声影像视频，通过获取所述乳腺超声影像视频进行乳腺癌病灶区域的实时标注。
对于步骤s21，将获取的乳腺超声影像视频按照时间戳的先后顺序，以帧为单位划分成图片集。
对于步骤s22，通过病灶区域检测分级模型对所述乳腺超声影像图片全图进行类别预测，确定其所属的bi-rads类型级别；其中，bi-rads(breastimagingreportinganddatasystem)即美国放射学会推荐的“乳腺影像报告和数据系统”，这样的报告更加规范化。其各个分级意义如下：0级：需要召回，结合其他检查后再评估。说明检查获得的信息可能不够完整。1级：未见异常。2级：考虑良性改变，建议定期随访(如每年一次)。3级：良性疾病可能，但需要缩短随访周期(如3～6个月一次)。这一级恶性的比例小于2％。4级：有异常，不能完全排除恶性病变可能，需要活检明确。4a级：倾向恶性可能性低。4b级：倾向恶性可能性中等。4c级：倾向恶性可能性高。5级：高度怀疑为恶性病变(几乎认定为恶性疾病)，需要手术切除活检。6级：已经由病理证实为恶性病变。根据对乳腺超声影像图片的bi-rads分级分类，对辅助医生指导患者的治疗具有积极的指导意义。
同时经过检测的有效组织区域为没有病灶区域时，则为完全健康，但是乳腺癌病灶、淋巴结和脂肪之间的特征较为相似，存在将脂肪及淋巴结误检测为病灶的现象。同时乳腺癌病灶又具有尺寸多变，形状不规则，类间距离较小，类内距离较大，影像特征复杂的特点。检测并定位病灶不仅需要精确率的保证，而且要满足实时性的要求。
从而使用图1实施例训练的病灶区域检测分级模型，所述分类模型在训练时，增大网络提取特征的类间距离，减小网络提取特征的类内距离，从而确定超声影像图片集中各可疑病灶区域的类型。其中，所述目标区域的类型包括：脂肪区域、淋巴结区域、病灶区域。
对于步骤s23，在所述图片中标注各病灶区域的轮廓线，其中，所述轮廓线的类型与所述bi-rads类型级别相关，例如不同的级别的轮廓线有着不同的颜色。
对于步骤s24，将各帧图片按照时间戳的先后顺序重新合成视频输出，显示在电脑工作站的屏幕中。
通过该实施方法可以看出，通过对乳腺超声影像视频分解和重构，将视频中的病灶区域标注出来，达到辅助医生诊断，大大减少医生的工作量，提高医生的工作效率和服务质量，为病患提出更恰当的临床处理建议。
作为一种实施方式，在本实施例中，在所述图片中标注各病灶区域的轮廓线包括：
通过引导滤波对灰度处理后的病灶区域降噪，并通过补偿函数对所述病灶区域进行校正，去除部分噪声；
将校正后的病灶区域运用gamma增强处理，继而转化为二值图像，通过开闭运算处理所述二值图像；
提取处理后二值图像的边缘轮廓线作为病灶区域的轮廓线进行绘制。
在本实施方式中，步骤s24所识别的可疑病灶区域，是初始使用的矩形候选框，但是病灶的形状各异，病灶轮廓模糊，需要进行精细分割。
引导滤波是一种基于局部线性模型的边缘保持算法，它利用引导图像指导滤波过程，将图像中任意像素点与其部分邻近像素点定义为线性关系，分别进行滤波处理，最终将所有局部滤波结果累加推出全局滤波结果，得到与输入图像结构相似的输出图像。病灶的轮廓分割利用引导滤波良好的边缘保持性，引入其寻找病灶区域的边界。
首先对病灶区域进行图片灰度处理，然后对灰度处理后的图片使用引导滤波以保持图片的边缘信息，同时滤除部分噪声，滤波之后，对所述图片进行gamma校正增强处理，以补偿图片的信息，在通过ostu(大津算法)将其转化为二值图像，对转换后的二值图像进行开闭数学形态运算，从而更精确地分割病灶区域的轮廓，之后再提取边缘轮廓线进行标注。
通过该实施方法可以看出，通过对病灶区域的边缘精确标注，辅助医生更精确地确定病灶区域，进而提高医生的工作效率和质量。
如图4所示为本发明一实施例提供的一种病灶区域检测分级模型的建立系统的结构示意图，本实施例的技术方案可适用于对设备的病灶区域检测分级模型的建立方法，该系统可执行上述任意实施例所述的病灶区域检测分级模型的建立方法，并配置在终端中。
本实施例提供的一种病灶区域检测分级模型的建立系统包括：图片修复程序模块11，有效组织区域提取程序模块12，分级网络训练程序模块13，分类神经网络训练程序模块14，病灶区域检测分级模型建立程序模块15。
其中，图片修复程序模块11用于接收带有病灶标注符号标注的真实病灶区域的超声图片训练集，根据所述超声图片特征纹理的相似度，依次修复所述超声图片训练集中各超声图片内被标注符号掩盖的部分特征纹理；有效组织区域提取程序模块12用于通过快速区域卷积神经网络，消除各修复后的超声图片中的干扰信息，以提取所述各超声图片的有效组织区域；分级网络训练程序模块13用于基于所述各有效组织区域，通过乳腺癌bi-rads分级，训练至少一个病灶分级子网络，并根据贝叶斯加权对各个病灶分级子网络加权优化，确定病灶分级网络；分类神经网络训练程序模块14用于根据所述各有效组织区域的类间和/或类内特征建立分类神经网络，当所述分类神经网络提取的病灶区域与所述真实病灶区域不匹配时，通过损失函数调整所述类间和/或类内的特征距离，优化所述分类神经网络，直到所述分类神经网络提取的病灶区域与所述真实病灶区域匹配；病灶区域检测分级模型建立程序模块15用于基于所述病灶分级网络以及所述分类神经网络，建立病灶区域检测分级模型。
进一步地，所述图片修复程序模块用于：
以所述被标注符号掩盖的部分特征纹理的区域边缘的每一个像素点为中心，划分固定大小的像素块；
根据所述像素块中被标注符号掩盖的区域在所述像素块中所占的比值确定各像素块修复的优先级，其中，所述比值越大优先级越低；
在所述超声图片中根据特征纹理相似度匹配用于修复优先级最高像素块的修复块，以修复所述被标注符号掩盖的区域。
进一步地，所述系统还用于：
继续以修复后被标注符号掩盖的区域的每一个像素点为中心，划分固定大小的像素块，确定各像素块修复的优先级，在所述超声图片中根据特征纹理相似度匹配用于修复优先级最高像素块的修复块进行修复，直到被标注符号掩盖的区域都被修复时，停止修复。
如图5所示为本发明一实施例提供的一种基于人工智能的乳腺超声病灶区域实时标注的系统的结构示意图，本实施例的技术方案可适用于基于人工智能的乳腺超声病灶区域实时标注的方法，该系统可执行上述任意实施例所述的基于人工智能的乳腺超声病灶区域实时标注的方法，并配置在终端中。
本实施例提供的一种基于人工智能的乳腺超声病灶区域实时标注的系统包括：视频分割程序模块21，病灶区域及类型级别确定程序模块22，轮廓线标注程序模块23，视频合成程序模块24。
其中，视频分割程序模块21用于将所述乳腺超声影像视频按照时间戳的先后顺序，以帧为单位划分成图片集；病灶区域及类型级别确定程序模块22用于根据病灶区域检测分级模型依次检测所述图片集，确定bi-rads类型级别，同时检测所述图片集中的各图片的有效组织区域，并根据所述有效组织区域的类间和/或类内特征确定病灶区域；轮廓线标注程序模块23，用于在所述图片中标注各病灶区域的轮廓线，其中，所述轮廓线的类型与所述bi-rads类型级别相关；视频合成程序模块24用于将各帧图片按照时间戳的先后顺序重新合成视频。
进一步地，其中，所述轮廓线标注程序模块用于：
通过引导滤波对灰度处理后的病灶区域降噪，并通过补偿函数对所述病灶区域进行校正，去除部分噪声；
将校正后的病灶区域运用gamma增强处理，继而转化为二值图像，通过开闭运算处理所述二值图像；
提取处理后二值图像的边缘轮廓线作为病灶区域的轮廓线进行绘制。
本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的病灶区域检测分级模型的建立方法；
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
接收带有病灶标注符号标注的真实病灶区域的超声图片训练集，根据所述超声图片特征纹理的相似度，依次修复所述超声图片训练集中各超声图片内被标注符号掩盖的部分特征纹理；
通过快速区域卷积神经网络，消除各修复后的超声图片中的干扰信息，以提取所述各超声图片的有效组织区域；
基于所述各有效组织区域，通过乳腺癌bi-rads分级，训练至少一个病灶分级子网络，并根据贝叶斯加权对各个病灶分级子网络加权优化，确定病灶分级网络；
根据所述各有效组织区域的类间和/或类内特征建立分类神经网络，当所述分类神经网络提取的病灶区域与所述真实病灶区域不匹配时，通过损失函数调整所述类间和/或类内的特征距离，优化所述分类神经网络，直到所述分类神经网络提取的病灶区域与所述真实病灶区域匹配；
基于所述病灶分级网络以及所述分类神经网络，建立病灶区域检测分级模型。
本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于人工智能的乳腺超声病灶区域实时标注的方法；
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
将所述乳腺超声影像视频按照时间戳的先后顺序，以帧为单位划分成图片集；
根据所述病灶区域检测分级模型依次检测所述图片集，确定bi-rads类型级别，同时检测所述图片集中的各图片的有效组织区域，并根据所述有效组织区域的类间和/或类内特征确定病灶区域；
在所述图片中标注各病灶区域的轮廓线，其中，所述轮廓线的类型与所述bi-rads类型级别相关；
将各帧图片按照时间戳的先后顺序重新合成视频。
作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的软件的方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施例中的病灶区域检测分级模型的建立方法及基于人工智能的乳腺超声病灶区域实时标注的方法。
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储本发明实施例软件所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至本发明实施例软件。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的病灶区域检测分级模型的建立方法及基于人工智能的乳腺超声病灶区域实时标注的方法的步骤。
本申请实施例的客户端以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供语音、数据通信为主要目标。这类终端包括:智能手机(例如iphone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等，例如ipad。
(3)医院影像类设备:该类设备包括：超声机等。
(4)其他具有处理功能的电子装置。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体(或者操作)，与另一个实体(或操作)区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。