一种用于对人体健康进行评估的方法和相关产品

1.本公开一般地涉及图像处理技术领域。更具体地，本公开涉及一种用于对人体健康进行评估的方法、设备以及计算机可读存储介质。


背景技术：

2.健康是一个亘古不变的话题，失去了健康就意味着失去一切，由此可见健康的重要性。对于人体健康而言，其不仅包括肌体上的健康也包括精神上的健康。其中，在肌体健康方面，往往是通过借助医学仪器/设备来进行检查。然而，通常检测类型较为单一，例如只采集ct图像或者mri图像，仅根据一种类型的检测不足以衡量人体真实的身体健康。此外，医护人员对应医学仪器/设备的检测结果具有主观判断，会导致诊断结果不准确。因此，如何获得准确的人体健康的评估结果成为需要解决的技术问题。


技术实现要素：

3.为了至少部分地解决背景技术中提到的技术问题，本公开的方案提供了一种用于对人体健康进行评估的方案。利用本公开的方案，可以获得关于人体健康状况更准确、更全面的评估结果。为此，本公开在如下的多个方面提供解决方案。
4.在第一方面，本公开提供一种用于对人体健康进行评估的方法，包括：获取待进行评估的ct图像、mri图像和x线图像；基于所述ct图像和所述mri图像获得与人体健康评估相关的张量数据；以及将所述ct图像、所述mri图像、所述x线图像以及所述张量数据输入预先训练的评估模型中进行评估，以获得对人体健康进行评估的评估结果。
5.在一个实施例中，其中所述张量数据包括里奇曲率。
6.在另一个实施例中，其中基于所述ct图像和所述mri图像获得与人体健康评估相关的张量数据包括：将所述ct图像和所述mri图像进行图像配准，以获得嵌入在五维欧式空间的三维流形；以及基于所述三维流形的高斯方程确定其三个切方向上对应的张量，以获得与人体健康评估相关的张量数据。
7.在又一个实施例中，其中所述评估模型包括特征提取模块、融合模块和分类模块，并且其中将所述ct图像、所述mri图像、所述x线图像以及所述张量数据输入预先训练的评估模型中进行评估，以获得对人体健康进行评估的评估结果包括：使用所述特征提取模块分别对所述ct图像、所述mri图像、所述x线图像以及所述张量数据进行特征提取，以获得其各自对应的特征结果；使用所述融合模块将所述各自对应的特征结果进行融合，以获得与所述人体健康评估相关的最终特征结果；以及使用所述分类模块基于所述最终特征结果进行分类，以获得对人体健康进行评估的评估结果。
8.在又一个实施例中，其中使用所述融合模块将所述各自对应的特征结果进行融合包括：使用所述融合模块对所述各自对应的特征结果执行相加、相减、相乘和取最大值操作，以将所述各自对应的特征结果进行融合。
9.在又一个实施例中，所述方法还包括：基于所述ct图像、所述mri图像、所述x线图像获取与人体健康评估相关的影像信息；以及将所述影像信息拼接至所述最终特征结果。
10.在又一个实施例中，其中所述影像信息包括肝脏脂肪含量信息、心脏体积信息、冠脉钙化积分信息、主动脉粥样硬化积分信息以及甲状腺体积信息和密度信息中的一项或多项。
11.在又一个实施例中，所述方法还包括：基于所述ct图像、所述mri图像、所述x线图像判断是否包括特定疾病；以及将判断结果拼接至所述最终特征结果。
12.在第二方面，本公开还提供一种用于对人体健康进行评估的设备，包括：处理器；以及存储器，其存储有用于对人体健康进行评估的程序指令，当所述程序指令由所述处理器执行时，使得所述设备前述多个实施例。
13.在第三方面，本公开还提供一种计算机可读存储介质，其上存储有用于对人体健康进行评估的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现前述多个实施例。
14.通过本公开的方案，通过利用评估模型来基于ct图像、mri图像、x线图像以及提取的张量数据对人体健康进行评估，即通过多要素评估人体健康，以获得更全面、更准确的评估结果。进一步地，本公开实施例还融合了影像信息和特定疾病的判断结果多种参数，从而进一步提高了评估结果的精度。基于人体健康的评估结果，有利于医护人员为患者提供合理的健康管理建议以及有利于患者自身作出有效且准确的健康管理。
附图说明
15.通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：图1是示出根据本公开实施例的用于对人体健康进行评估的方法的示例性流程框图；图2是示出根据本公开实施例的用于进行评估的评估模型的示例性结构框图；图3是示出根据本公开实施例的包括一个融合模块的融合操作的示例性示意图；图4是示出根据本公开实施例的包括多个融合模块的融合操作的示例性示意图；图5是示出根据本公开实施例的用于对人体健康进行评估的整体的示例性结构框图；以及图6是示出根据本公开实施例的用于对人体健康进行评估的设备的框图。
具体实施方式
16.下面将结合附图对本公开实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本公开为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例，而并非可以实现本公开的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
17.图1是示出根据本公开实施例的用于对人体健康进行评估的方法100的示例性流
程框图。如图1中所示，在步骤s102处，获取待进行评估的ct图像、mri图像和x线图像。在一个实施例中，前述ct图像可以是通过例如电子计算机断层扫描（computed tomography，“ct”）技术或设备来获取。前述mri图像可以是通过例如磁共振成像（magnetic resonance imaging，“mri”）技术或设备来获取。前述x线图像可以是通过例如x线扫描技术或者x线扫描设备来获取。在一个实现场景中，前述ct图像、mri图像和x线图像可以是但不仅限于是基于人体胸腔采集的图像，例如胸部ct图像、胸部mri图像以及胸部x线图像。
18.基于采集的ct图像、mri图像和x线图像，在步骤s104处，基于ct图像和mri图像获得与人体健康评估相关的张量数据。在一个实施例中，首先可以将ct图像和mri图像进行图像配准，以获得嵌入在五维欧式空间的三维流形，接着基于三维流形的高斯方程确定其三个切方向上对应的张量，以获得与人体健康评估相关的张量数据。在一些实施例中，该张量数据可以包括但不仅限于是里奇曲率，例如还可以是高斯曲率、平均曲率等其他几何特征。
19.以张量数据为里奇曲率为例，在一个示例性场景中，假设ct图像定义为，mri图像定义为，通过该ct图像和mri图像进行图像配准，可以获得嵌入在五维欧式空间的三维流形，即。接着，可以基于前述三维流形的高斯方程来计算其三个切方向（例如、以及方向）上的张量，即可获得里奇曲率。其中，该三维流形的高斯方程可以表示成如下式子：其中，表示任意四个独立切向量，表示三维曲面（例如本公开实施例的三维流形）的第二基本形式，其输入为两个向量，输出为一个向量；表示两个向量内积，其输入为两个向量，输出为实数；表示背景空间黎曼曲率张量，如其符号所示，其输入为任意四个切向量，输出为一个实数；表示当前流形的黎曼曲率张量。
20.进一步地，由于上述三维流形的法空间为二维，其基为和。对应地，三维流形的法空间中单位法向量为和。由此，三维流形的切空间为垂直于单位法向量和的三个正交向量。在实现场景中，由于背景空间是五维欧氏空间，因此上述公式（1）中的为零，在求解出三维流形的第二基本形式后，即可根据公式（1）获得三个切方向上的张量数据（例如里奇曲率），具体分别通过以
下式子表示：
ꢀꢀ
（2）
ꢀꢀ
（3）
ꢀꢀꢀ
（4）即，上述公式（2）表示方向上的里奇曲率，公式（3）表示方向上的里奇曲率以及公式（4）表示方向上的里奇曲率。在该场景下，可以基于三个切方向上的里奇曲率获得三张图片。
21.在获得上述张量数据后，在步骤s106处，将ct图像、mri图像、x线图像以及张量数据输入预先训练的评估模型中进行评估，以获得对人体健康进行评估的评估结果。在一个实施例中，该评估模型可以包括特征提取模块、融合模块和分类模块。具体来说，首先通过使用特征提取模块分别对ct图像、mri图像、x线图像以及张量数据进行特征提取，以获得其各自对应的特征结果，接着使用融合模块将前述各自对应的特征结果进行融合，以获得与人体健康评估相关的最终特征结果。接着，通过使用分类模块基于最终特征结果进行分类，以获得对人体健康进行评估的评估结果。其中，在前述融合操作中，可以使用融合模块对各自对应的特征结果执行相加、相减、相乘和取最大值操作，以将各自对应的特征结果进行融合。稍后将结合图2详细描述该评估模型。在实现场景中，输出的评估结果可以包括健康，亚健康，疾病三类，并且可以对应地采用0，1, 2表示。即输出的评估结果中包括0，则表示健康。类似地，当输出的评估结果中包括1，表示亚健康；当输出的评估结果中包括2，表示疾病。
22.结合上述描述可知，本公开实施例通过将ct图像、mri图像、x线图像以及张量数据输入至评估模型中，经由评估模型对其进行特征提取、特征融合以及分类后，输出关于人体健康的评估结果。利用本公开的方案，利用经预先训练的模型来基于多要素进行评估，能够高效地获得更全面和更准确的评估结果，从而有利于医护人员为患者提供合理的健康管理建议以及有利于患者自身作出有效且准确的健康管理。
23.图2是示出根据本公开实施例的用于进行评估的评估模型的示例性结构框图。需要理解的是，图2是上述图1中方法100的一个具体实施例，因此，上述关于图1所作的描述同样适用于图2。
24.如图2中所示，该评估模型可以包括特征提取模块201、融合模块202以及分类模块203。在将ct图像204、mri图像205、x线图像206以及里奇曲率207输入至预先训练的评估模型中进行评估时，首先经由前述特征提取模块201对其进行特征提取，以获得其各自对应的多个特征。在一个实施例中，该特征提取模块201可以包括多个卷积层和多个池化层，前述ct图像204、mri图像205、x线图像206以及里奇曲率207经由特征提取模块201的多个卷积层和多个池化层分别对应获得多个中间特征。例如ct图像204经由特征提取模块201获得多个
第一中间特征204-1，mri图像205经由特征提取模块201获得多个第二中间特征205-1，x线图像206经由特征提取模块201获得多个第三中间特征206-1以及里奇曲率207经由特征提取模块201获得多个第四中间特征207-1。
25.基于各自对应的多个特征，经由融合模块202对对应的多个特征执行特征融合操作并且输出最终特征结果208。在一个实现场景中，该融合模块202可以包括一个或者多个，并且该融合模块202可以例如是多因子融合结构（multifactorial fusion struct，“mfs”）模块且该融合模块202可以为全连接层。对于包括一个融合模块202的场景，可以选取ct图像204、mri图像205、x线图像206以及里奇曲率207各自对应的最后一个特征，利用该一个融合模块202对其对应的最后一个特征执行例如相加、相减、相乘和取最大值操作，以获得最终特征结果208。稍后将结合图3详细描述包括一个融合模块的融合操作。
26.对于包括一个融合模块202的场景，首先可以从ct图像204、mri图像205、x线图像206以及里奇曲率207各自对应的多个中间特征中选取对应的多个目标中间特征。接着，多个融合模块202依次对相应的目标中间特征执行特征融合操作来获取相应特征结果，并且将相应特征结果输入至下一个融合模块202。接着，利用下一个融合模块202对上一个融合模块202的特征结果、相应目标中间特征执行下一次特征融合操作，直至获得最后一个融合模块202的特征结果，并且最后一个融合模块202的特征结果作为最终特征结果208。稍后将结合图4详细描述多个融合模块的融合操作。
27.如图中进一步示出，经由分类模块203基于上述获得的融合结果208进行分类，并最终输出对人体健康进行评估的评估结果209。如前所述，该评估结果209可以包括健康，亚健康，疾病三类。
28.在一个实施例中，还可以基于上述ct图像、mri图像、x线图像获取与人体健康评估相关的影像信息，将获得的影像信息拼接至上述最终特征结果。进一步地，经由分类模块基于融合有影像信息的最终特征结果进行分类，并最终输出对人体健康进行评估的评估结果。基于此，能够提升评估结果的精度。在一些实施例中，前述影像信息可以包括但不仅限于肝脏脂肪含量信息、心脏体积信息、冠脉钙化积分信息、主动脉粥样硬化积分信息以及甲状腺体积信息和密度信息中的一项或多项。
29.在实现场景中，上述多种影像信息可以通过例如定量计算体层摄影技术（quantitative computed tomography，“qct”）来获取。以胸部ct图像为例，将胸部ct图像的dicom数据导入qct中，测量感兴趣区（例如取自腰1-2椎间盘水平）。通过应用qct体质成分测量功能，以腹壁肌外缘区分皮下脂肪及腹腔内脂肪，腹腔内脂肪的识别避开腹腔脏器及血管。进接着，通过手动勾画腹壁肌肉边缘确定腹壁肌肉感兴趣区，进而分别定量记录腹壁肌肉、皮下脂肪及腹腔内例如肝脏脂肪的面积数据。
30.在一些实施例中，还可以从胸部ct图像中截取心脏四腔的中部层面的横断面dicom图像，并将其导入itk-snap软件。在itk-snap软件上手动勾画心脏边缘，可以自动测量感兴趣区体积，并记录四腔中心层面的心脏体积（mm3）。此外，通过采用冠脉血管狭窄分析ai软件及agatston 积分系统来标记冠脉各分支钙化区域，并且将阈值设定为130hu，可以自动得出左主干、左前降支、回旋支及右冠状动脉的钙化积分并计算总钙化积分。类似地，可以获得主动脉钙化积分。另外，通过从胸部ct图像中选取甲状腺显示的最大横截面，并且以直径为1cm划定感兴趣区，分别测量峡部及双侧叶ct值，并取其平均ct值作为甲状腺
密度的测量结果（hu）。进一步地，通过截取甲状腺显示的最大横断面dicom 图像，并将其导入itk-snap软件，通过在itk-snap软件上手动勾画甲状腺边缘，从而自动测量感兴趣区体积，并记录甲状腺体积（mm3）。
31.除上述影像信息以外，本公开实施例还可以基于上述ct图像、mri图像、x线图像判断是否包括特定疾病，进而将判断结果拼接至最终特征结果。同样地，经由分类模块基于融合有是否包括特定疾病的判断结果的最终特征结果进行分类，并最终输出对人体健康进行评估的评估结果，以提升评估结果的精度。在一些实施例中，前述特定疾病可以例如是纤维索条、慢性炎症、肺气肿等疾病。与上述评估结果类似，可以用0或者1分别表示包括或者不包括，例如（1,0,1）表示包括纤维索条和肺气肿，不包括慢性炎症。在该场景下，将（1,0,1）拼接至最终特征结果。
32.图3是示出根据本公开实施例的包括一个融合模块的融合操作的示例性示意图。如图3中所示，ct图像、mri图像、x线图像以及里奇曲率经由特征提取模块对应获得的多个中间特征分别为第一中间特征301、第二中间特征302、第三中间特征303以及第四中间特征304（也即上述图2中的第一中间特征204-1、第二中间特征205-1、第三中间特征206-1以及第四中间特征207-1）。在该场景下，将前述第一中间特征301、第二中间特征302、第三中间特征303以及第四中间特征304各自对应的最后一个中间特征输入至融合模块305（也即上述图2中的融合模块202）中执行融合操作，并输出最终特征结果306（也即上述图2中的最终特征结果208）。
33.例如将上述ct图像、mri图像、x线图像以及里奇曲率各自对应的最后一个中间特征301-1、302-1、303-1以及304-1输入至融合模块305，经由融合模块305执行对前述四个中间特征301-1、302-1、303-1以及304-1分别执行相加（例如图3中虚线框内的“+”符号所示）、相减（例如图3中虚线框内的
“‑”
符号所示）、相乘（例如图3中虚线框内的
“”
符号所示）和取最大值操作（例如图3中虚线框内的“max”符号所示），并将前述各种操作对应的结果进行融合，获得最终特征结果306。根据前文知，经由分类模块对该最终特征结果306进行分类，即可输出人体健康的评估结果。
34.图4是示出根据本公开实施例的包括多个融合模块的融合操作的示例性示意图。如图4中所示，假设从ct图像对应的多个第一中间特征中选出多个第一目标中间特征401，从mri图像对应的多个第二中间特征中选出多个第二目标中间特征402、从x线图像对应的多个第三中间特征中选出多个第三目标中间特征403以及从里奇曲率对应的多个第四中间特征中选出多个第四目标中间特征404。在该场景下，经由多个融合模块405（例如图中示例性示出四个融合模块，也即上述图2中示出的融合模块202）对相应目标中间特征执行特征融合操作，并将最后一个融合模块405输出的特征结果作为最终特征结果406（也即上述图2中示出的最终特征结果208）。
35.具体地，首先经由第一个融合模块405对相应第一目标中间特征401-1、相应第二目标中间特征402-1、相应第三目标中间特征403-1以及相应第四目标中间特征404-1执行特征融合操作，以获得第一个融合模块405对应的特征结果。接着，将第一个融合模块405对应的特征结果输入至第二个融合模块405，进而经由第二个融合模块405基于上一个融合模块（也即第一个融合模块405）的特征结果、相应第一目标中间特征401-2、相应第二目标中间特征402-2、相应第三目标中间特征403-2以及相应第四目标中间特征404-2执行特征融
合操作，以获得第二个融合模块405对应的特征结果。类似地，经由第三个融合模块405基于第二个融合模块405的特征结果、相应第一目标中间特征401-3、相应第二目标中间特征402-3、相应第三目标中间特征403-3以及相应第四目标中间特征404-3执行特征融合操作，以获得第三个融合模块405对应的特征结果。经由第四个融合模块405基于第三个融合模块405的特征结果、相应第一目标中间特征401-4、相应第二目标中间特征402-4、相应第三目标中间特征403-4以及相应第四目标中间特征404-4执行特征融合操作，以获得第四个融合模块405对应的特征结果。
36.可以理解，第一个融合模块是对相应第一目标中间特征、相应第二目标中间特征、相应第三目标中间特征以及相应第四目标中间特征执行相加、相减、相乘以及取最大值操作，并将前述各个操作对应的结果进行融合（例如上述图4中虚线框内所示），从而获得第一个融合模块的特征结果。对于其他融合模块而言，其均是对上一个融合模块的融合结果、相应第一目标中间特征、相应第二目标中间特征、相应第三目标中间特征以及相应第四目标中间特征执行相加、相减、相乘以及取最大值操作，并将前述各个操作对应的结果进行融合，以获得相应特征结果。以上述第四个融合模块405为例，该第四个融合模块405分别基于第三个融合模块405的特征结果、相应第一目标中间特征401-4、相应第二目标中间特征402-4、相应第三目标中间特征403-4以及相应第四目标中间特征404-4执行相加（例如图4中虚线框内的“+”符号所示）、相减（例如图4中虚线框内的
“‑”
符号所示）、相乘（例如图4中虚线框内的
“”
符号所示）以及取最大值操作（例如图4中虚线框内的“max”符号所示），将各个操作对应的结果进行融合（例如拼接）获得第四个融合模块405对应的特征结果。假设第四个融合模块405是最后一个，则其对应的特征结果即为最终特征结果406。
37.在一些实施例中，也可以不采用相加、相减、相乘以及取最大值操作来进行融合，而是直接将ct图像、mri图像、x线图像以及里奇曲率各自对应的特征进行拼接，从而获得最终特征结果。以上述图3为例，可以直接将ct图像、mri图像、x线图像以及里奇曲率各自对应的最后一个中间特征301-1、302-1、303-1以及304-1拼接，并将拼接后的特征结果作为最终特征结果。此外，在执行融合操作时，还可以先将ct图像、mri图像以及里奇曲率各自对应的特征进行融合，获得特征结果。基于该特征结果再与x线图像的特征进行融合，以获得最终特征结果。
38.图5是示出根据本公开实施例的用于对人体健康进行评估的整体的示例性结构框图。如图5中所示，将采集的ct图像501、mri图像502、x线图像503以及里奇曲率504（也即上述图2中所示出的ct图像204、mri图像205、x线图像206以及里奇曲率207）输入至预先训练的评估模型中进行人体健康评估。其中，里奇曲率504可以基于前述ct图像501、mri图像502获得。关于获得里奇曲率504的更多细节，可以参考上述图1所描述的内容，本公开在此不再赘述。在一个实施例中，由于每个图像的尺寸大小不一致，因此在评估模型中可以采用滑动窗口（例如尺寸大小可以为64*64*64），由此ct图像501和mri图像502可以取固定尺寸大小64*64*64，里奇曲率504可以取固定尺寸大小64*64*64*3，x线图像503可以取固定尺寸大小64*64。
39.在评估时，首先经由评估模型中的特征提取模块分别对ct图像501、mri图像502、x线图像503以及里奇曲率504进行特征提取，以获得各自对应的多个特征。如前所述，前述特征提取模块可以包括多个卷积层和多个池化层，并且每个卷积层可以包括卷积、
batchnormalization以及relu。作为示例，可以采用10个卷积层和4个池化层。例如ct图像501、mri图像502、x线图像503以及里奇曲率504经由特征提取模块执行特征提取，分别获得对应的多个第一中间特征505、多个第二中间特征506、多个第三中间特征507以及多个第四中间特征508（也即也即上述图2中的第一中间特征204-1、第二中间特征205-1、第三中间特征206-1以及第四中间特征207-1）。接着，从前述多个第一中间特征505、多个第二中间特征506、多个第三中间特征507以及多个第四中间特征508中分别选取各自对应的多个目标中间特征，并将其输入至融合模块509（也即上述图2中的融合模块202）中进行融合，以获得最终特征结果510（也即上述图2中的最终特征结果208）。根据前文知，该融合模块509可以包括一个或者多个，下面将以多个融合模块为例。
40.在一个示例性场景中，假设从多个第一中间特征505选取第一中间特征505-1至第一中间特征505-5，从多个第二中间特征506选取第二中间特征506-1至第二中间特征506-5，从多个第三中间特征507选取第三中间特征507-1至第三中间特征507-5以及从多个第四中间特征508选取第四中间特征508-1至第四中间特征508-5。在实施场景中，目标中间特征的选取可以基于残差模块的层数来确定。在获取目标特征后，可以利用多个融合模块509来对其进行融合，例如图中示例性示出五个融合模块509。
41.例如，首先利用第一个融合模块509来对第一中间特征505-1、第二中间特征506-1、第三中间特征507-1以及第四中间特征508-1进行融合（例如执行相加、相减、相乘以及取最大值操作），获得对应的特征结果。接着，将第一个融合模块509的特征结果输入至第二个融合模块509，进而由第二个融合模块509基于第一个融合模块509的特征结果、第一中间特征505-2、第二中间特征506-2、第三中间特征507-2以及第四中间特征508-2进行融合，并将特征结果输入至下一个融合模块509，直至获得最后一个融合模块509（图中所示为第五个融合模块）的特征结果，并将最后一个融合模块509的特征结果作为最终特征结果510。基于此，能够对多种图像数据类型进行深度融合，使得前述最终特征结果包含更加丰富的信息，提高了人体健康评估的精度。关于获得最终特征结果510的更多细节，具体可以参考上述图4所描述的内容，本公开在此不再赘述。
42.进一步地，将基于ct图像501、mri图像502、x线图像503获得的影像信息（例如肝脏脂肪含量信息、心脏体积信息、冠脉钙化积分信息、主动脉粥样硬化积分信息以及甲状腺体积信息和密度信息等）511和/或基于ct图像501、mri图像502、x线图像503判断是否包括特定疾病（例如纤维索条、慢性炎症、肺气肿等）的判断结果512拼接至最终特征结果510。可以理解，前述影像信息通常为实数数据，可以将其量纲归一化、平铺后拼接至最终特征结果。接着，经由分类模块513对融合有影像信息511和/或特定疾病的判断结果512的最终特征结果510进行分类，从而获得人体健康的评估结果514。其中，该评估结果514可以包括健康，亚健康，疾病三类。
43.图6是示出根据本公开实施例的用于对人体健康进行评估的设备600的框图。可以理解的是，实现本公开方案的设备可以是单一的设备（例如计算设备）或包括各种外围设备的多功能设备。
44.如图6中所示，本公开的设备可以包括中央处理器或中央处理单元（“cpu”）611，其可以是通用cpu、专用cpu或者其他信息处理以及程序运行的执行单元。进一步，设备600还可以包括大容量存储器612和只读存储器（“rom”）613，其中大容量存储器612可以配置用于
存储各类数据，包括各种与获取ct图像、mri图像和x线图像、算法数据、中间结果和运行设备600所需要的各种程序。rom 613可以配置成存储对于设备600的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。
45.可选地，设备600还可以包括其他的硬件平台或组件，例如示出的张量处理单元（“tpu”）614、图形处理单元（“gpu”）615、现场可编程门阵列（“fpga”）616和机器学习单元（“mlu”）617。可以理解的是，尽管在设备 600中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备600可以仅包括cpu、相关存储设备和接口设备来实现本公开的用于对人体健康进行评估的方法。
46.在一些实施例中，为了便于数据与外部网络的传递和交互，本公开的设备600还包括通信接口618，从而可以通过该通信接口618连接到局域网/无线局域网（“lan/wlan”）605，进而可以通过该lan/wlan连接到本地服务器606或连接到因特网（“internet”）607。替代地或附加地，本公开的设备600还可以通过通信接口618基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代（“3g”）、第4代（“4g”）或第5代（“5g”）的无线通信技术。在一些应用场景中，本公开的设备600还可以根据需要访问外部网络的服务器608和数据库609，以便获得各种已知的图像模型、数据和模块，并且可以远程地存储各种数据，例如用于呈现ct图像、mri图像和x线图像、张量数据、影像信息以及对ct图像、mri图像和x线图像、张量数据执行特征提取获得的多个中间特征的各类数据或指令。
47.设备600的外围设备可以包括显示装置602、输入装置603和数据传输接口604。在一个实施例中，显示装置602可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本公开的显示对ct图像、mri图像和x线图像、张量数据的特征提取过程、特征融合过程、最终特征结果进行语音提示和/或图像视频显示。输入装置603可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件，其配置用于接收ct图像、mri图像和x线图像、张量数据和影像信息的输入和/或用户指令。数据传输接口604可以包括例如串行接口、并行接口或通用串行总线接口（“usb”）、小型计算机系统接口（“scsi”）、串行ata、火线（“firewire”）、pci express和高清多媒体接口（“hdmi”）等，其配置用于与其他设备或系统的数据传输和交互。根据本公开的方案，该数据传输接口604可以接收来自于ct设备、mri设备以及x线扫描设备的ct图像、mri图像和x线图像，并且向设备600传送包括ct图像、mri图像和x线图像、张量数据和影像信息或各种其他类型的数据或结果。
48.本公开的设备600的上述cpu 611、大容量存储器612、rom 613、tpu 614、gpu 615、fpga 616、mlu 617和通信接口618可以通过总线619相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线619，cpu 611可以控制设备600中的其他硬件组件及其外围设备。
49.以上结合图6描述了可以用于执行本公开的用于对人体健康进行评估的设备。需要理解的是这里的设备结构或架构仅仅是示例性的，本公开的实现方式和实现实体并不受其限制，而是可以在不偏离本公开的精神下做出改变。
50.根据上述结合附图的描述，本领域技术人员也可以理解本公开的实施例还可以通过软件程序来实现。由此本公开还提供了一种计算机程序产品。该计算机程序产品可以用于实现本公开结合附图1-5所描述的用于对人体健康进行评估的方法。
51.应当注意，尽管在附图中以特定顺序描述了本公开方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
52.应当理解，当本公开的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时，其仅用于区别不同对象，而不是用于描述特定顺序。本公开的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
53.还应当理解，在此本公开说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本公开。如在本公开说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本公开说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
54.虽然本公开的实施方式如上，但所述内容只是为便于理解本公开而采用的实施例，并非用以限定本公开的范围和应用场景。任何本公开所述技术领域内的技术人员，在不脱离本公开所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本公开的专利保护范围，仍须以所附的权利要求书所界定的范围为准。