基于患者的医学信息进行预后管理的方法、设备和介质与流程

1.本公开涉及医学数据处理技术，更具体地，涉及一种基于患者的医学信息进行预后管理的方法、设备和介质。


背景技术：

2.在医学领域中，有效的治疗依赖于准确的诊断，并且诊断准确性通常取决于医学图像分析的质量，特别是目标对象(诸如器官、组织、目标部位等)的检测。与常规二维成像相比，容积(3d)成像，诸如容积ct，可捕获更有价值的医疗信息，从而有助于更准确的诊断。按照常规，目标对象通常由经验丰富的医疗人员(诸如放射科医生)手动检测，这使得它很繁琐、耗时且容易出错。
3.一种需要准确诊断的示例性医学状况是脑内出血(ich)。ich是一种严重威胁生命的疾病，每年在全球范围内导致数百万人死亡。这种状况通常采用非对比计算机断层扫描(ncct)进行诊断。脑出血通常分为五种亚型：脑内型、硬膜下型、硬膜外型、脑室内型和蛛网膜下腔型。血肿扩大(he)，即脑出血发病后血肿的自发扩大，发生在约三分之一的脑出血患者中，是导致治疗效果不佳的重要危险因素。对放射科医师来说，通过头颅ct图像和患者临床病史信息的视觉检查来预测he的风险是一项具有挑战性的任务。现有的临床实践中无法准确且快速地预测评估脑出血患者的风险(例如血肿扩大风险)。相应地，也缺乏准确高效的ich风险管理方法。


技术实现要素：

4.本公开提供一种基于患者的医学信息进行预后管理的系统和方法，用以利用已有的医学信息来对与预后结果相关联的对象的发展状况实现自动预测，从而帮助用户(诸如医生和放射科医生)提高对于对象的发展状况的评估准确性和管理效率，并辅助用户进行决策。
5.在第一方面，本公开的实施例提供了一种基于患者的医学信息进行预后管理的方法。所述方法包括接收所述患者在第一时间的所述医学信息。所述方法还包括由所述处理器，基于所获取的第一时间的医学信息预测与所述患者相关联的对象在第二时间的发展状况。所述发展状况指示预后风险，所述第二时间在所述第一时间之后。所述方法还包括向信息管理系统输出所预测的发展状况。
6.在第二方面，本公开的实施例提供了一种预后管理设备，所述预后管理设备包括接口和处理器。所述接口被配置为接收所述患者在第一时间的所述医学信息。所述处理器配置为执行根据本公开各个实施例的基于患者的医学信息进行预后管理的方法的步骤。
7.在第三方面，本公开的实施例提供了一种非暂时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的基于患者的医学信息进行预后管理的方法的步骤。
8.利用根据本公开的公开实施例的基于患者的医学信息进行预后管理的系统和方
法，可以借助于患者在第一时间的医学信息对与预后结果相关联的对象在第二时间的发展状况实现预测，并将预测的第二时间的预后结果呈现给用户，以助于用户了解对象在第二时间的可能的发展状况。例如，第一时间可以是当前或过去的时间而第二时间是未来时间。所预测的未来的预后可以帮助用户(诸如医生和放射科医生)提高对于对象的发展状况的评估准确性和管理效率，并辅助用户进行决策。
附图说明
9.在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图示出作为示例而非限制的各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是例证性的，而并非旨在作为本公开的穷尽或排他实施例。
10.图1示出根据本公开实施例的预后管理方法的示例流程图。
11.图2示出根据本公开实施例通过第一预测模型预测患者发展状况的示例性流程图。
12.图3示出根据本公开实施例通过第二预测模型预测患者发展状况的另一示例性流程图。
13.图4示出根据本公开实施例通过使用结合了患者的非图像临床数据的第三预测模型预测患者发展状况的示例性流程图。
14.图5示出根据本公开实施例通过使用结合了患者的非图像临床数据的第四预测模型预测患者发展状况的另一示例性流程图。
15.图6示出根据本公开实施例的预测模型第一部对血肿的检测和分割示意图。
16.图7示出根据本公开实施例的图6的预测模型第一部的模型训练示意图。
17.图8示出根据本公开实施例，应用于在单一时间点获取的医学信息的预测模型第二部的预测流程的示意图。
18.图9示出根据本公开实施例，应用于在单一时间点获取的医学信息的预测模型第二部的另一预测流程的示意图。
19.图10示出根据本公开实施例，应用于在单一时间点获取的医学信息的预测模型第二部的又一预测流程的示意图。
20.图11示出根据本公开实施例，应用于在一系列时间点获取的医学信息的预测模型第二部的预测流程的示意图。
21.图12示出根据本公开实施例，应用于在一系列时间点获取的医学信息的预测模型第二部的另一预测流程的示意图。
22.图13示出根据本公开实施例，应用于在一系列时间点获取的医学信息的预测模型第二部的又一预测流程的示意图。
23.图14示出根据本公开实施例的预后管理设备的框图。
具体实施方式
24.下面结合附图和具体实施方式对本公开作详细说明。
25.本公开中使用的类似于“第一”、“第二”的词语并不表示任何顺序、数量或者重要
性，而只是用来区分。
26.本公开的实施例提供一种基于患者的医学信息进行预后管理的方法，如图1所示，在步骤s101中可以通过处理器来获取患者在第一时间的医学信息。例如可以通过用户界面来输入患者在第一时间的医学信息，也可以从数据库读取患者在第一时间的医学信息，例如从本地分发中心获取，或者基于数据库的目录进行加载。具体的患者在第一时间的医学信息的来源在此不做具体限定。
27.在步骤s102中，可以由所述处理器基于所获取的医学信息预测与预后结果相关联的对象在第二时间的发展状况，其中所述第二时间在所述第一时间之后。作为一种示例，本实施例并非用当前时间的医学信息来进行当前时间的预测，而是利用当前时间患者的医学信息来实现未来的某个时间对象的发展状况的预测，从而便于为患者进行预后管理。
28.在步骤s103中，由所述处理器输出所预测的发展状况，以呈现给信息管理系统。本一些实施例中，信息管理系统可以是存储和管理患者医学信息的集中式系统。例如，信息管理系统可以存储患者的多模态图像、患者的非图像临床数据以及患者的预后预测结果。用户可以访问信息管理系统来监测患者的发展状况。例如，用户可以是医生。信息管理系统可以包括用户界面以向用户提供信息，或者向指定的显示器输出预后管理报告，也可以是通过短信或者彩信的方式，也可以通过小程序来输出所预测的发展状况。本公开的预后管理方法能够有效辅助用户(例如医生或放射科医生)提高对患者病情的诊断准确性、管理效率以及改善治疗结果。
29.常用的患者的医学信息有多种，例如医学(如胸透、mri、超声等)图像，医学检测报告，化验结果，医生建议等，本示例中对患者的医学信息的具体类型在此不做具体限定。在一些实施例中，患者在第一时间的医学信息包括：患者在第一时间的医学图像；以及可选地，患者在所述第一时间的非图像临床数据。在一些实施例中，医学图像可以是dicom格式的医学图像，例如ct图像，也可以是其他模态的医学图像，在此不做限定。非图像临床数据可以是包含除医学图像之外的患者的医学信息的数据，例如临床数据、临床报告等。医学信息能够有效对患者在第一时间的病情进行描述，从而能够快速通过医学信息来实现发展状况的预测。
30.在一些实施例中，患者第一时间的医学信息可以包括患者在第一时间的非图像临床数据，非图像临床数据可以根据临床的用途，从不同类型的数据来源获得。比如在一些实施例中，所述非图像临床数据还可以从结构化的临床信息项获取，或者，通过将非结构化的临床记录转换为结构化的临床信息项来获取。例如，非图像临床数据可以源自结构化临床数据，例如临床特征项或叙述性临床报告，或两者的组合来获取。在一些实施例中，如果提供了叙述性、非结构化的临床报告，还可以根据所需临床数据的格式，利用诸如自然语言处理(nlp)的自动处理方法，将其转换为结构化的临床信息项，从而获取非图像临床数据。通过这种格式转换，能够将各类的例如叙述性、非结构化的临床报告等数据转换为统一的处理器能够处理的非图像临床数据，从而降低处理器的数据处理复杂程度。
31.本公开的预后管理方法用于对患者在第二时间的发展状况进行预测，在所公开的实施例中，第二时间在时域上处于第一时间之后。例如在第二时间是未来的某个时间的情况下，第一时间可以是当前时间之前的过去的某个时间，也可以是当前时间。
32.在一些实施方式中，第一时间可以是单个时间点。例如可以在某一个时间点拍摄
了患者的医学图像，则该时间点的医学图像可以作为单个时间点的数据输入来进行预测。相似地，患者的临床报告可以描述患者的某一个时间点，则可以将该临床报告作为单个时间点的数据输入来进行预测。一些示例中，单个时间点的医学数据可以用于预测对象在第二时间的发展状况。即通过小量数据进行预测，提高了本公开进行预后管理方法的预测效率和普遍适用性。
33.在一些替代实施例中，第一时间可以是包括一系列时间点的一段时间。例如患者可以在一段时间(例如一个月或者一周)内的非同一时间拍摄了若干次ct图像，则可以根据一段时间内的不同的时间点患者所拍摄的ct图像来进行预测。相似地，还可以获取一段时间内的不同的时间点患者的医学检测报告或者临床报告，由此可以将该不同时间点的医学检测报告或者临床报告作为数据输入来实现预测。通过一系列时间点的医学信息来对对象在第二时间的发展状况进行预测，能够进一步提高预测的精准度。
34.在一些实施例中，第二时间可以根据用户的需要来指定。例如用户想要观察第一时间之后的3小时，4小时，12小时，甚至是一周，几个月等的对象可能的发展状况，则可以预测对应的第二时间的对象的发展状况并且输出到信息管理系统。或第二时间可以是所述第一时间后经过预设时间间隔的指定时间，预定时间间隔可以是医生对监测某一状况比较关注的时间，例如24小时，48小时或者72小时，由此用户可以直观得到关注度较高的未来时间对象的发展状况，从而更好地帮助医生进行诊断。在一些实施例中，第二时间可以是任意的未来时间。例如，在预测血肿扩大的情况下，可以预测血肿在任意的未来时间(动态或随机选择的任意未来时间)的扩大风险。血肿在未来的扩大风险对于脑内出血(ich)疾病的诊断来说，是重要的参考指标，可以为医生的决策提供充分的引导。
35.对于第二时间的设置可以有多种方式，例如设置一个固定的第二时间与第一时间之间的预设时间间隔，又比如固定设置一个未来的某个时间点。在一些实施例中可以由所述处理器，响应于用户输入，调整所述预设时间间隔。在一些实施例中，用户可以是医生，例如放射科医生，医生可以通过指令输入来完成第二时间的设置。例如某种疾病，医生希望观察其48小时之后的发展状况，但当前输出的是24小时后的发展状况，则可以输入指令来将第一时间与第二时间之间的预设时间间隔修改为48小时。这只是一种示例，预设时间间隔可以根据用户需要动态修改。通过手动调整预设时间间隔可以有效且灵活地贴合用户的观察需求，从而使得本公开的进行预后管理的方法更具有普适性，以满足用户在更广泛范围的各种预后管理场景。
36.在确定好预设时间间隔以及处理器接收到患者在第一时间的医学信息之后，可以由处理器来输出所预测的发展状况，具体输出的发展状况可以包含一种或多种。对象可以是患者或患者的目标对象的实例(在下文中称为“对象示例”)，诸如血肿实例。即由处理器输出的所预测的发展状况可以是实例级别的或者患者级别的，可以根据用户的需要进行选择。在一些实施方式中，对象的发展状况包括如下中的一种或多种：对象实例或患者的扩大风险、对象实例或患者的恶化风险、对象实例或患者的扩展风险、对象实例或患者的转移风险、对象实例或患者的复发风险、对象实例的位置、对象实例的体积、和对象实例的亚型。
37.对象实例可以是医学图像中的病变部位或者病变体，例如对象示例可以是结节、肿瘤或医学图像拍摄的任意其他病变或医学状况。相应地，比如某个病人患有结节，则本实施例的进行预测得对象的发展状况还可以是该患者在未来的结节的发展状况。同样，本示
例中对象的发展状况可以包括结节或者对应患者的扩大风险、恶化风险、扩展风险、转移风险、复发风险、结节的位置、结节的体积、和结节的亚型等。通过设置对象相关联的发展状况能够让用户更加直观地了解患者的病情，从而提高诊断效率。
38.本公开的方法可以通过处理器完成对多种疾病的预后管理，例如前述示例中可以预测结节或者肿瘤的扩大风险，基于本公开的预后管理方案的原理，针对的疾病类型在此不做一一限定。在一些实施例中所述对象还可以是血肿，所述发展状况包括血肿实例或者患者的血肿扩大风险，其中所述第一时间为在脑实质出血的发病之后的时间。血肿扩大，即脑出血发病后血肿的自发扩大，发生在约三分之一的脑出血患者中，是导致治疗效果不佳的重要危险因素。通过将第一时间设定在脑实质出血的发病之后的时间，当血肿扩大已经发生时，从而能够基于第一时间的医学信息(例如头颅ct图像和患者临床病史信息)来进行更加有效地预测该患者或者血肿的发展状况。
39.本公开的预后管理方法通过处理器来实现对患者在第二时间的发展状况进行预测。处理器可以通信地耦合到存储器并且被配置为执行存储在其上的计算机可执行指令，具体的处理器进行预测的过程在此不做限定。作为一种示例，与预后结果相关联的对象在第二时间的发展状况可以由处理器预测，可以是基于所获取的医学信息利用预测模型来执行的。例如存储器中可以保存有该预测模型，当指示执行预测时，处理器调用该预测模型来执行对对象在第二时间的发展状况的预测。预测模型可以是预先训练好的，并且随着越多训练数据被用于训练，预测模型的预测准确性会进一步提高。
40.本公开的预后管理方法所使用的预测模型可以是根据实际需要训练好的例如神经网络模型、聚类模型或者分类模型等，具体的预测模型种类在此不做一一限定。
41.在一些实施例中，所述预测模型可以包括第一部和第二部，其可共同用来基于所获取的医学信息预测与预后结果相关联的对象在第二时间的发展状况。在步骤s201中，基于所述患者在第一时间的医学图像，通过所述第一部对于医学实例进行检测和分割。在处理器获取患者在第一时间的医学信息之后，进行检测和分割之前，还可以对医学信息进行数据的预处理。例如在对象是血肿的情况下，可以去除非头部图像、去除非轴向图像、去除高噪声图像、去除不期望的临床信息(如丢失值太多的临床信息)，还可以对患者的医学图像进行滤波，从而提高后期检测和分割的质量。然后由预测模型的第一部对预处理之后的患者的第一时间的医学图像进行检测和分割。检测和分割可以确定出患者的各个对象实例在第一时间的医学图像中的位置、体积和亚型，然后将其输入预测模型的第二部。如图2所示，还可以在步骤s202中，基于第一部的输出，由所述第二部，来预测各对象实例和/或所述患者在所述第二时间的发展状况。在一些实施例中，第一部仅向第二部提供患者在第一时间的医学图像作为检测和分割的结果以进行预测。在一些示例中，如图3所示，还可以独立地，或者附加地(与来自第一部输出的检测和分割结果一起)，将来自第一部的特征数据输入第二部中，来进行预测。从而可以根据第一部提供的输出的类型对预测模型的第二部进行调整。因此在缺乏患者的医学图像作为输入的情况下，第二部也能被训练为预测发展状况。
42.如图4所示，第二部的输入还可以替代地或者附加地，包括患者的非图像临床数据。例如在步骤s201中检测和分割出患者的各个对象实例在第一时间的医学图像中的位置、体积和亚型之后，可以在步骤s202中将患者的各个实例在第一时间的医学图像中的位
置、体积和亚型以及患者的非图像临床数据输入第二部，从而通过第二部来预测各对象实例和/或患者的发展状况。患者的非图像临床数据通常容易获取，并且通过结合患者的非图像临床数据能够提高第二部的预测准确度。
43.作为另外一种实施方式，如图5所示，还可以将所确定的来自第一部的特征数据连同患者在第一时间的非图像临床数据输入第二部中，以进行预测。从而，本实施例无需分割或检测结果作为第一部的输入。第二部然后在对象实例级别和/或患者级别来预测出在所述第二时间的发展状况。根据用户的偏好，可以在对象实例级别或患者级别输出预测结果。
44.示例性的预测模型的第一部其可以基于指定的目标检测框架来构建，该目标检测框架可以基于任何合适的神经网络。示例性的，所述第一部可以基于蒙版rcnn构建，并被配置为确定各个对象实例的位置、体积和亚型。本示例中确定各个对象实例的位置、体积和亚型能够准确地对对象进行定位，从而提高预测的速度。
45.在对象为血肿的情况下，所述第一部还可以被配置为确定各个血肿实例的中心点、尺寸、亚型、出血位置和体积。如图6所示，蒙版rcnn可以是一个多任务编码器-解码器网络，可以用来执行体素级分类任务和回归任务。本示例中可以通过训练好的蒙版rcnn对血肿相关的医学图像进行检测和分割以获得各个血肿实例的中心点、尺寸、亚型、出血位置和体积。例如图6中可以将血肿患者的头部图像数据输入蒙版rcnn的编码器601中，接着将编码器601的输出作为解码器602的输入，来检测图像中的血肿实例并分割该实例。基于各个血肿实例的出血位置、中心点以及尺寸，能够确定出血肿实例的边界框。然后可以在步骤s202中将中心点、尺寸、亚型、出血位置和体积作为第二部的输入来实现预测。具体的第一部检测和分割的结果，可以由医生针对不同类型的疾病的关注来调整。
46.将描述蒙版rcnn适用于血肿的示例性训练过程。可以设想，训练过程也可以采用其他实现方式。
47.在一些实施例中，可以使用如下训练标签：(i)中心点热图，例如医学图像中各个体素为中心点的概率热图；(ii)体素级亚型标签；(iii)根据各个体素所属血肿指派给每个体素的血肿尺寸(高、宽、深)，(iv)血肿体积(通过对出血体素进行计数并使用体素尺寸重新缩放)，以及(v)根据各个体素所属血肿指派给各个体素的出血位置。对于为训练除血肿扩大之外的不同类型疾病的蒙版rcnn而执行的训练过程，可以根据医生的不同关注来调整训练标签的类型。
48.如图7所示，可以使用蒙版rcnn架构获得训练标签作为检测和分割结果。在一些实施例中，可以使用共同考虑到这种训练标签的联合损失来训练蒙版rcnn架构。本示例中用于训练蒙版rcnn的联合损失函数可以是上述标签的加权和，例如根据以下公式(1)：
[0049][0050]
其中，表示联合损失，表示中心点标签对应的损失，表示血肿尺寸标签对应的损失，表示血肿体积标签对应的损失，表示体素级亚型标签对应的损失，表示出血位置标签对应的损失，ω
ctr
表示中心点标签对应的权重，ω
dim
表示血肿尺寸标签对应的权重，ω
sub
表示体素级亚型标签对应的权重，ω
pos
表示出血位置标签对应的权重，ω
vol
示血肿体积标签对应的权重，和可以采用交叉熵损失的形式，
和可以采用l2损失的形式。
[0051]
在预测阶段，可以通过在训练阶段调整的最佳网络阈值来确定中心点。得到中心点后，利用关联中心点体素输出的尺寸来确定血肿实例的区域(即可以生成血肿实例的边界框)，同时利用亚型蒙版来确定出血体素。血肿体积可以通过对出血体素计数并使用体素尺寸重新缩放来计算。出血位置也可以从体素级别的标签来获得，然后使用非最大抑制来细化边界框。
[0052]
在一些实施例中，预测模型的所述第二部可以作为机器学习模型或者深度学习模型构建。
[0053]
例如，如图8所示，第二部800可以被配置为：提取对象实例的图像特征。第二部800可以包括多层感知器(mlp)802构建，mlp 802可以基于提取的图像特征以及所述第一时间与第二时间之间的时间间隔，预测各对象实例和/或患者在所述第二时间的发展状况。图8给出了第二部800包括多层感知器802的情况下的预测流程示意图。还是以对象为血肿为例进行举例说明，如图8中，例如希望预测获得患者在t时刻的血肿扩大的风险。多层感知器802的输入可以包括由图像特征提取器801提取到的血肿实例的图像特征，本示例中单个时间点的图像特征提取器801可以采用卷积神经网络(cnn)来实现。例如图8中，还可以向第二部800输入第一时间t与第二时间t之间的预设时间间隔(t-t)。还可以向第二部800输入由临床特征提取器803(例如利用mlp来实现)从非图像临床数据中提取的临床特征数据。在实际应用中可以通过一个mlp网络完成从非图像临床数据中提取临床特征数据，并实现预测各对象实例和/或患者在所述第二时间的发展状况，也可以为临床特征数据的提取过程和发展状况的预测过程分别使用分立的网络，具体可根据实际情况来确定。血肿实例的其他图像特征也可以一并作为多层感知器802的输入，例如其他图像特征可以是血肿实例在t时刻的出血位置和体积。由此，可以通过训练好的多层感知器来预测t时刻的血肿扩大风险。关于第二部800的训练，可以通过常用的优化器对多层感知器的参数进行优化。例如，当第一时间是单一时间时，多层感知器的损失函数可以是二元熵损失，对于第二部800其他适用的模型也可以进行类似的算法训练。本示例中通过第二部800的设计能够实现在数据输入仅为单点时间患者的医学信息的情况下，也能做出准确预测，从而有效辅助医生，进而提高对患者病情的诊断的准确性。
[0054]
作为另一示例，第二部800还可以包括随机森林902而不是多层感知器802。如图9所示，随机森林902的输入也可以包含前述的各类数据，在此不做赘述。也可以不包含例如其他图像特征这一类的数据，也能完成t时刻的血肿扩大风险的预测。
[0055]
第二部800还可以包括支持向量机(svm)1002。如图10所示，svm 1002的输入也可以包含前述的各类数据，在此不多做赘述。也可以是例如图10中仅输入图像特征提取器801提取到的血肿实例的图像特征和第一时间t与第二时间t之间的预设时间间隔即可完成预测。
[0056]
上述仅作为血肿扩大风险预测的一个示例，对其中的随机森林或者svm或者mlp的数据输入的种类不做限定，在实际应用中可以根据需求进行第二部800输入特征数据的调整。
[0057]
前面阐述了本公开的预后管理方法适用于处理器获取患者的第一时间的医学信息是单个时间点的医学信息预测过程。例如，可以基于单个时间点的医学图像，或者可以基
于单个时间点的医学图像配合单个时间点的非图像临床数据，来实现预测。
[0058]
在一些实施例中，在第一时间包括一系列的时间点的情况下，可以由第二部进行预测。本示例中还是以对象为血肿为例进行举例说明，其他类型的对象，可以参考本预测流程。当第一时间包括一系列的时间点时，例如第一时间包括t1,
…
,tn一共n个时刻，这种情况下，如图11所示，相应的第二部800可以包括与所述时间点对应的一系列的rnn单元1100，例如rnn单元1101到rnn单元110n，本示例中的rnn单元可以从例如适于处理序列数据的长短期记忆人工神经网络(lstm)或者门控循环单元(gru)选择。例如图11中，第二部800可以被构建为包含n个rnn单元的预测模型。由此可以通过第二部800的图像特征提取器801来提取各个对象实例在t1,
…
,tn时间点的图像特征，具体的第二部800的图像特征提取器801可以基于与前述单个时间点的图像特征提取器相同结构的cnn来构建，还可以采用其他结构的cnn来构建。通过一系列的rnn单元来预测各个对象实例和/或患者在t时刻的血肿风险。如图11所示，各个rnn单元110i(i＝1，2，
…
，n)的输入可以包括：对象实例在其对应时间点ti的所提取的图像特征、相邻上游的rnn单元的输出、以及其对应时间点ti与所述相邻上游的rnn单元的对应时间点t
i-1
之间的时间间隔(t
i-t
i-1
)。例如图11中，输入第一个rnn单元1101的时间间隔可以设置为时间点t1。通过一系列串联的rnn单元来将一系列的时间点特征数据引入下一rnn单元，从而可以通过最后一个rnn单元110n输出各个对象实例和/或患者在t时刻的血肿风险。当第一时间包括一系列的时间点时，可以使用来自不同时间点的所有可用的训练标签进行训练。用于训练rnn单元的损失函数可以是这些不同时间点的联合损失。例如第二部800的损失函数可以采用公式(2)：
[0059][0060]
其中是时间t的损失函数，可以是二进制熵，而ω
t
是权值因子。
[0061]
在患者第一时间的医学信息还包括一系列非图像临床数据的情况下，可以通过第二部800的临床特征提取器803来提取t1,
…
,tn时间点的非图像临床数据对应的临床特征。临床特征提取器803也可以基于与前述单个时间点的临床特征提取器相同结构的mlp来构建。可以将各个时间点t1,
…
,tn的临床特征作为相应的rnn单元另一组输入，如图12所示，从而利用患者在一系列时间点的医学图像以及相应的非图像临床数据来实现预测。如图13所示，各个rnn单元110i的输入还可以包括该时间点ti的其他图像特征，例如血肿实例在ti时刻的出血位置和体积等。其他图像特征可以作为一种可选的rnn单元的输入，在此不进行限定。在能够获取到一系列时间点的患者的医学信息的情况下，通过使用第二部中的多个rnn单元，患者在多个时间点的医学信息可以在序列方向上向下游传输。由此在后的rnn单元的输入中包含了在前时刻的患者的病情特征，从而能够有效提高第二部的预测准确率，为医生提供更加准确的预测结果。
[0062]
最后可以由所述处理器向信息管理系统输出所预测的发展状况，以呈现给用户。例如可以采用不同的方法，例如在所有实例中取最大风险评分，实现将对象实例级风险评分与患者级风险评分相结合的效果。例如，还可以通过使用roc曲线(接受者操作特征曲线)选择最佳概率得分截止值。此外，概率得分也可以转换为二值化决策(例如血肿是否会扩大，或者患者是否会患有he)。预测处理可以适用于其他的发展状况。
[0063]
本公开的预后管理方法通过基于所能获得的患者的医学信息通过预测模型来进
行预测。首先它能够实现基于少至单个时间点的患者的医学信息预测出未来某一时间点患者或者对象实例的发展状况。因此，所公开的方法能够以较低的数据量为医生的诊断提供有效的辅助。此外，通过特殊的预测模型设计，还能够适用于包含一系列的时间点的患者的医学信息输入的预测，将该一系列的医学信息作为输入还能进一步提高模型预测的准确程度从而提高对医生诊断的辅助效果。
[0064]
本公开的实施例还提供一种预后管理设备，如图14所示，所述预后管理设备1400包括处理器1401、存储器1402及通信总线。所述通信总线用于实现处理器1401和存储器1402之间的连接通信。处理器1401可以是包括一个以上通用处理设备的处理设备，诸如微处理器、中央处理单元(cpu)、图形处理单元(gpu)等。更具体地，该处理器可以是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器还可以是一个以上专用处理设备，诸如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、片上系统(soc)等。一些实施例中，预后管理设备1400还可以包括输入/输出1403，输入/输出1403也连接在通信总线上，输入/输出1403可以用于处理器1401获取外部输入的患者的医学信息，输入/输出1403也可以将患者的医学信息输入到存储器1402中。如图14中，通信总线上还可以连接显示单元1404，显示单元1404可以用于展示预后管理设备的工作进程和/或者预测结果输出。处理器1401还可以用于执行存储器1402中存储的一个或者多个计算机程序，例如存储器中可以存储预测模型程序，当由处理器1401执行程序时实现根据本公开各个实施例的基于患者的医学信息进行预后管理的方法的步骤。
[0065]
本公开的实施例还提供一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质上存储有计算机程序，所述非暂时性计算机程序被处理器执行时实现根据本公开各个实施例的基于患者的医学信息进行预后管理的方法的步骤。计算机可读存储介质可以是非暂时性计算机可读的介质，诸如只读存储器(rom)、随机存取存储器(ram)、相变随机存取存储器(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、电可擦除可编程只读存储器(eeprom)、其他类型的随机存取存储器(ram)、闪存盘或其他形式的闪存、缓存、寄存器、静态存储器、光盘只读存储器(cd-rom)、数字通用光盘(dvd)或其他光学存储器、盒式磁带或其他磁存储设备，或被用于储存能够被计算机设备访问的信息或指令的任何其他可能的非暂时性的介质等。
[0066]
此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本公开的具有等同元件、修改、省略、组合(例如，各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元素将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本技术的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书中描述的实施例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。