本申请涉及基于人工智能生成结构化医学影像报告的方法和系统，更具体地，涉及基于卷积神经网络生成结构化医学影像报告的方法和系统。
背景技术：
在医学影像领域，存在通过训练神经网络获得医学影像报告的许多尝试，例如卡内基梅隆大学邢波团队研究利用多任务框架的卷积神经网络(cnn)-循环神经网络(rnn)模型来进行x线胸片的报告生成。他们利用cnn进行图像中病灶特征的识别，然后利用rnn对发现的病变进行详细描述，具体如利用cnn识别图像特征，然后将特征提供给长短期记忆网络(lstm)以生成文本；以及利用cnn识别图像特征，然后利用“语义注意机制”或“共同注意机制”来生成详细文本。这些方法需利用rnn来完成报告内容的生成和调试，对于复杂语义，常常困难重重。
技术实现要素：
根据本申请的一方面，提供了基于卷积神经网络生成结构化医学影像报告的方法，所述方法包括：获取要评估的符合dicom标准的第一医学影像；利用反卷积算法将第一医学影像通过降维扩增转换成单层三通道矩阵；基于单层三通道矩阵，利用经训练的卷积神经网络确定生物体给定部位的各评估点的每一预设评估结果的概率；以及基于所确定的各评估点的每一预设评估结果的概率，将各评估点的具有置信概率的评估结果输出至预构建的医学报告生成系统以生成第一医学影像报告。
将第一医学影像通过降维扩增转换成单层三通道矩阵的步骤可包括：将第一医学影像转换成维度为m*n*n的第一矩阵，其中m为灰度图像的数量，n为每个灰度图像的长度的像素点数量和宽度的像素点数量；利用滑动窗口步长为2的反卷积算法，将第一矩阵转换成维度为m/2*2n*2n的第二矩阵；利用滑动窗口步长为2的反卷积算法，将第二矩阵转换成维度为m/4*4n*4n的第三矩阵；以及利用滑动窗口步长为2的反卷积算法，将第三矩阵转换成维度为3*8n*8n的单层三通道矩阵。
将第一医学影像通过降维扩增转换成单层三通道矩阵的步骤可包括：将第一医学影像转换成维度为m*n*n的第一矩阵，其中m为灰度图像的数量，n为每个灰度图像的长度的像素点数量和宽度的像素点数量；利用滑动窗口步长为2的m/2个滤波器将第一矩阵转换成维度为m/2*2n*2n的第二矩阵；利用滑动窗口步长为2的m/2个滤波器将第二矩阵转换成维度为m/4*4n*4n的第三矩阵；以及利用滑动窗口步长为2的3个滤波器将第三矩阵转换成维度为3*8n*8n的单层三通道矩阵。
确定各评估点的每一预设评估结果的概率的步骤可包括：采用inception-v3结构，利用softmax激励算法确定各评估点的每一预设评估结果的概率。
根据本申请的另一方面，提供了基于卷积神经网络生成结构化医学影像报告的系统，所述系统包括数据接收单元、图像转换单元、概率分类单元和数据输出单元，其中：数据接收单元配置成接收符合dicom标准的第一医学影像；图像转换单元配置成利用反卷积算法将所接收的第一医学影像通过降维扩增转换成单层三通道矩阵；概率分类单元配置成基于所转换的单层三通道矩阵利用经训练的卷积神经网络来确定生物体给定部位的各评估点的每一预设评估结果的概率；以及数据输出单元配置成基于所确定的各评估点的每一预设评估结果的概率，将各评估点的具有置信概率的评估结果输出至预构建的医学报告生成系统以生成第一医学影像报告。
图像转换单元可包括输入层、第一隐藏层、第二隐藏层和输出层，其中：输入层配置成将第一医学影像转换成维度为m*n*n的第一矩阵，其中m为灰度图像的数量，n为每个灰度图像的长度的像素点数量和宽度的像素点数量；第一隐藏层配置成利用滑动窗口步长为2的反卷积算法将第一矩阵转换成维度为m/2*2n*2n的第二矩阵；第二隐藏层配置成利用滑动窗口步长为2的反卷积算法将第二矩阵转换成维度为m/4*4n*4n的第三矩阵；输出层配置成利用滑动窗口步长为2的反卷积算法将第三矩阵转换成维度为3*8n*8n的单层三通道矩阵。
图像转换单元可包括输入层、第一隐藏层、第二隐藏层和输出层，其中：输入层配置成将第一医学影像转换成维度为m*n*n的第一矩阵，其中m为灰度图像的数量，n为每个灰度图像的长度的像素点数量和宽度的像素点数量；第一隐藏层配置成利用滑动窗口步长为2的m/2个滤波器将第一矩阵转换成维度为m/2*2n*2n的第二矩阵；第二隐藏层配置成利用滑动窗口步长为2的m/2个滤波器将第二矩阵转换成维度为m/4*4n*4n的第三矩阵；输出层配置成利用滑动窗口步长为2的3个滤波器将第三矩阵转换成维度为3*8n*8n的单层三通道矩阵。
概率分类单元还可配置成：采用inception-v3结构，利用softmax激励算法确定各评估点的每一预设评估结果的概率。
附图说明
通过参照附图进一步详细地描述本申请的一些示例性实施方式，本申请的以上以及其它方面和特征将变得更显而易见，附图中：
图1是示出根据本申请实施方式的基于卷积神经网络生成结构化医学影像报告的方法的流程图。
图2a是示出根据本申请实施方式的将第一医学影像通过降维扩增转换成单层三通道矩阵的示意图。
图2b是示出根据本申请实施方式的将第一医学影像通过降维扩增转换成单层三通道矩阵的操作的流程图。
图3是示出根据本申请实施方式的预构建的医学报告生成系统的示意性框图。
图4是示出根据本申请实施方式的用于训练卷积神经网络的方法的流程图。
图5是示出根据本申请实施方式的基于卷积神经网络生成结构化医学影像报告的系统的示意性框图。
图6是示出根据本申请实施方式的图像转换单元的示意性框图。
图7是示出根据本申请实施方式的概率分类单元的配置的示意图。
具体实施方式
将参考以下所讨论的细节来描述本申请的多种实施方式和方面，附图将示出所述多种实施方式。下列描述和附图是对本申请的说明，而不应当解释为限制本申请。描述了许多特定细节以提供对本申请各种实施方式的全面理解。然而，在某些情况下，并未描述众所周知的或常规的细节以提供对本申请的实施方式的简洁讨论。
本说明书中对“一个实施方式”或“实施方式”的提及意味着结合该实施方式所描述的特定特征、结构或特性可以包括在本申请的至少一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方的出现不必全部指同一实施方式。
应理解的是，本文中所描述的具体实施方式仅用于解释本申请，而非对本申请的范围进行限定。需注意的是，在不冲突的情况下，本申请中的实施方式及实施方式中的特征可以相互组合。因此，本领域普通技术人员将认识到，在不背离本公开的范围和精神的情况下，可对本文中所描述的多种实施方式进行多种改变和修改。
除非另有限定，否则本文中使用的所有术语(包括技术术语和科学术语)具有与由本申请所属技术领域的普通技术人员所通常理解的含义相同的含义。还将理解的是，除非本文中明确地如此限定，否则诸如常用词典中定义的那些术语应被解释成具有与其在相关技术领域和/或本说明书的上下文中的含义一致的含义，并且不应以理想化或过于正式的含义进行解释。
此外，应注意：(1)某些步骤可选择性地执行；(2)步骤可不限于本文中所陈述的特定顺序；(3)某些步骤可以以不同的顺序执行；以及(4)某些步骤可同时进行。
图1是示出根据本申请实施方式的基于卷积神经网络生成结构化医学影像报告的方法的流程图。图2a是示出根据本申请实施方式的将第一医学影像通过降维扩增转换成单层三通道矩阵的示意图。图2b是示出根据本申请实施方式的将第一医学影像通过降维扩增转换成单层三通道矩阵的操作的流程图。
根据本申请的实施方式，基于卷积神经网络生成结构化医学影像报告的方法如图1所示，在步骤s110中，获取要评估的符合dicom标准的第一医学影像。例如获取要评估的包括人体耳朵的符合dicom标准的mri医学影像。dicom标准是医学图像和相关信息的国际标准(iso12052)，它定义了质量能满足临床需要的可用于数据交换的医学图像格式。
在步骤s120中，利用反卷积算法将第一医学影像通过降维扩增转换成单层三通道矩阵。如图2a和图2b所示，步骤s120可例如包括：步骤s121，将第一医学影像转换成维度为m*n*n的第一矩阵，其中m表示灰度图像的数量，n表示单个灰度图像的长度的像素点数量和宽度的像素点数量；步骤s122，利用滑动窗口步长为2的反卷积算法，将第一矩阵转换成维度为m/2*2n*2n的第二矩阵；步骤s123，利用滑动窗口步长为2的反卷积算法，将第二矩阵转换成维度为m/4*4n*4n的第三矩阵；以及步骤s124，将第三矩阵转换成维度为3*8n*8n的单层三通道矩阵。图2a和图2b仅仅是将第一医学影像通过降维扩增转换成单层三通道矩阵的示例性操作，本申请不限于此。进一步地，在步骤s122中，可利用滑动窗口步长为2的m/2个滤波器将第一矩阵转换成维度为m/2*2n*2n的第二矩阵。在步骤s123中，可利用滑动窗口步长为2的m/2个滤波器将第二矩阵转换成维度为m/4*4n*4n的第三矩阵。在步骤s124中，可利用滑动窗口步长为2的3个滤波器将第三矩阵转换成维度为3*8n*8n的单层三通道矩阵。图2a和图2b仅仅是步骤s120的一个示例，步骤s120不限于此，只要步骤s120能够实现将医学影像转换成单层三通道矩阵即可。
在步骤s130中，基于单层三通道矩阵，利用经训练的卷积神经网络确定给定部位的各评估点的每一预设评估结果的概率。例如，在给定部位为耳朵的应用中，评估点可例如包括病变分侧，病变部分、病变形态等。病变分侧的预设评估结果(也称评估参数)包括右侧、左侧和n/a。病变部位的预设评估结果包括外耳中的耳郭、外耳道软骨部、外耳道骨部；中耳中的上鼓室、中鼓室、下鼓室、prussak间隙、咽鼓管和鼓室窦；内耳中的内耳道和前庭导水管；面神经管中的面神经管迷路段、面神经管前膝段、面神经管鼓室段、面神经管后膝段和面神经管乳突段；血管走行中的颈内动脉岩骨段和颈静脉孔区；除这些部位之外的其它部位，如乳突部、鳞部、岩部、岩枕裂、颞下颌关节窝。病变形态的预设评估结果包括圆形、不规则形和n/a。在上述应用中，经训练的卷积神经网络基于由包括耳朵的医学影像转换成的单层三通道矩阵来确定耳朵的各评估点(包括病变分侧，病变部分、病变形态等)的各预设评估结果的概率。
在步骤s140中，基于所确定的各评估点的每一预设评估结果的概率，将各评估点的具有置信概率的评估结果输出至预构建的医学报告生成系统以生成第一医学影像报告。
图3示出了根据本申请实施方式的预构建的医学报告生成系统的示意性框图。
根据本申请的实施方式，医学报告生成系统300包括数据录入模块310、报告封装模块320和报告生成模块330。
数据录入模块310具有人机交互界面，人机交互界面接收基于html技术配置的评估病灶评估点的数据信息中的至少之一，所述数据信息包括：以单选控件类型在人机交互界面展现的第一类型字段；以多选控件类型在人机交互界面展现的第二类型字段；以文本框控件类型在人机交互界面展现的第三类型字段。所述多个第一类型字段、多个第二类型字段和多个第三类型字段分别与多个第四类型字段、多个第五类型字段和多个第六类型字段对应地存储在数据库中。报告封装模块320基于医学语义，将所存储的多个第四类型字段、多个第五类型字段和多个第六类型字段按预定的语法规则进行封装。报告生成模块330配置成读取数据录入模块310接收的输入，并确定出输入中的与封装的多个第四类型字段、多个第五类型字段和多个第六类型字段相匹配的值，并将所存储的值生成医学报告。
报告封装模块320可包括顿号生成单元，其用于在要生成的医学报告中与在所述输入中有值的由顿号生成单元封装的第五类型字段对应的两个相邻的第二类型字段之间添加顿号，并且不显示与在所述输入中无值的由顿号生成单元封装的第五类型字段对应的第二类型字段。
报告封装模块320可包括第一显示和隐藏单元，其用于在所述多个第四类型字段、多个第五类型字段和多个第六类型字段中的一个字段在所述输入中有值时，在要生成的医学报告中显示与由第一显示和隐藏单元封装的语句对应的报告内容；以及在所述一个字段在所述输入中无值时，在要生成的医学报告中自动隐藏与由第一显示和隐藏单元封装的语句对应的报告内容。
报告封装模块320可包括第二显示和隐藏单元，其用于在所述多个第四类型字段、多个第五类型字段和多个第六类型字段中的一个字段在所述输入中的值满足第一条件或者第一多个字段在所述输入中的值满足第二条件时，在要生成的医学报告中显示与由第二显示和隐藏单元封装的语句对应的报告内容。
报告封装模块320可包括第三显示和隐藏单元，其用于在所述多个第四类型字段、多个第五类型字段和多个第六类型字段中的一个字段在所述输入中的值满足第三条件或者第二多个字段在所述输入中的值满足第四条件时，在要生成的医学报告中隐藏与由第三显示和隐藏单元封装的语句对应的报告内容；以及在所述一个字段在所述输入中的值不满足第三条件或者第二多个字段在所述输入中的值不满足第四条件时，显示与由第三显示和隐藏单元封装的语句对应的报告内容。
报告封装模块320可包括逗号和句号生成单元，其用于在所述多个第四类型字段、多个第五类型字段和多个第六类型字段中的一个字段在所述输入中有值且由逗号和句号生成单元封装的在所述一个字段之后的字段在所述输入中无值时在要生成的医学报告中与所述一个字段对应的位置后生成句号，以及在所述一个字段在所述输入中有值且由逗号和句号生成单元封装的在所述一个字段之后的字段在所述输入中有值时在要生成的医学报告中与所述一个字段对应的位置后生成逗号。
图4是示出根据本申请实施方式的用于训练卷积神经网络的方法的流程图。
根据本申请的实施方式，用于训练卷积神经网络的方法如图4所示，在步骤s410中，获取符合dicom标准的多个医学影像和每个医学影像的标签，其中每个医学影像的标签包括给定部位的各评估点的预设评估结果。根据本申请的示例性实施方式，这些符合dicom标准的多个医学影像的标签可例如通过医生利用基于dicom协议的图像展示和标注工具来标注病灶区域或其它特征区域及各评估点的评估结果而获得。
在步骤s420中，利用反卷积算法将获取的医学影像通过降维扩增转换成单层三通道矩阵。
在步骤s430中，将单层三通道矩阵输入至采用imagenet构建的卷积神经网络(例如但不限于inception-v3)，并采用softmax激励算法输出给定部位的各评估点的每一预设评估结果的概率。
在步骤s440中，将输出的各评估点的每一预设评估结果的概率与对应图像中的标签进行比较以限定交叉熵损失函数，通过反向传播算法反复训练从而改进卷积神经网络各节点的权重参数以使损失值最小化以及准确率最大化。
通过上述过程，可获得训练好的卷积神经网络以用于确定符合dicom标准的医学影像中给定部位的各评估点的每一预设评估结果的概率。
根据本申请实施方式的用于训练卷积神经网络的方法在训练过程中只关注cnn的精度，而不用关注rnn对于报告内容的生成和调试。
图5是示出根据本申请实施方式的基于卷积神经网络生成结构化医学影像报告的系统的示意性框图。图6是示出根据本申请实施方式的图像转换单元的示意性框图。图7是示出根据本申请实施方式的概率分类单元的配置的示意图。
如图5所示，基于卷积神经网络生成结构化医学影像报告的系统500包括数据接收单元510、图像转换单元520、概率分类单元530和数据输出单元540。
数据接收单元510配置成接收符合dicom标准的医学影像。数据接收单元510可例如与医院的影像设备相连接以便于接收医学影像。
图像转换单元520配置成利用反卷积算法将所接收的医学影像通过降维扩增转换成单层三通道矩阵。图像转换单元520可包括输入层、中间层和输出层。图像转换单元520的输入层将医学影像转化为多层灰度矩阵。图像转换单元520的中间层采用反卷积算法对从输入层输出的多层灰度矩阵进行降维扩增。图像转换单元520的输出层输出单层三通道矩阵。图像转换单元520的每一层输出的矩阵的像素值均被转换成均值为0且标准差为1的正态分布。
根据本申请的示例性实施方式，如图6所示，图像转换单元520可包括输入层522、中间层524和输出层526，其中中间层524可包括第一隐藏层524a和第二隐藏层524b。输入层522可配置成将数据接收单元510接收的医学影像转换成维度为m*n*n的第一矩阵，其中m表示灰度图像的数量，n表示单个灰度图像的长度的像素点数量和宽度的像素点数量。第一隐藏层524a可配置成利用滑动窗口步长为2的反卷积算法将第一矩阵转换成维度为m/2*2n*2n的第二矩阵。第二隐藏层524b可配置成利用滑动窗口步长为2的反卷积算法将第二矩阵转换成维度为m/4*4n*4n的第三矩阵。输出层526可配置成利用滑动窗口步长为2的反卷积算法将第三矩阵转换成维度为3*8n*8n的单层三通道矩阵。具体地，第一隐藏层524a可配置成利用滑动窗口步长为2的m/2个滤波器将第一矩阵转换成维度为m/2*2n*2n的第二矩阵。第二隐藏层524b可配置成利用滑动窗口步长为2的m/2个滤波器将第二矩阵转换成维度为m/4*4n*4n的第三矩阵。输出层526可配置成利用滑动窗口步长为2的卷积算法将第三矩阵转换成维度为3*8n*8n的单层三通道矩阵。图像转换单元520的层不限于上述层，只要图像转换单元520能够实现将所接收的医学影像通过降维扩增转换成单层三通道矩阵即可。
概率分类单元530配置成基于所转换的单层三通道矩阵利用经训练的卷积神经网络来确定生物体给定部位的各评估点的每一预设评估结果的概率。具体地，概率分类单元530可配置成采用inception-v3结构，利用softmax激励算法确定各评估点的每一预设评估结果的概率。根据本申请实施方式的概率分类单元530的配置如图7所示，其中，附图标记“71”表示“卷积(convolution)”操作，附图标记“72”表示“avgpool”操作，附图标记“73”表示“maxpool”操作，附图标记“74”表示“concat”操作，附图标记“75”表示“dropout”操作，附图标记“76”表示“全连接(fullyconnected)”操作，附图标记“77”表示“softmax”操作。图7中仅仅是概率分类单元530的配置的示例，但本申请不限于此。
数据输出单元540配置成基于所确定的各评估点的每一预设评估结果的概率，将各评估点的具有置信概率的评估结果输出至预构建的针对给定部位的医学报告生成系统300以生成医学影像报告。
根据本申请的实施方式，在基于卷积神经网络生成结构化医学影像报告的系统将各评估点的具有置信概率的评估结果输出至预构建的针对给定部位的医学报告生成系统300之后且在未生成医学影像报告之前，用户(例如，医生)可在系统300的人机交互界面上修改系统500输出的评估结果，包括这些修改后的评估结果的标签和对应的医学影像可再次用于训练卷积神经网络并改进卷积神经网络，由此改进系统500以提高图像识别和报告生成的准确度。
根据本申请实施方式的基于卷积神经网络生成结构化医学影像报告的方法和系统可生成符合中国医学报告语义习惯的规范的结构化报告内容(包括按一定解剖顺序和医学思维逻辑的影像发现文本和诊断意见)，在生成报告的过程中更规范和简便，可实现自动生成全部或部分医学影像报告。在报告内容的描述上，不需要使用rnn网络即可实现复杂语义的描述。
本领域技术人员应理解，前述示例和实施方式是示例性的且并不限制本申请的范围。其意图是，本领域的技术人员在阅读说明书及研究附图之后所显而易见的所有排列、提高、等效、组合及改进之处都包括在本申请的精神和范围内。