一种基于三维重建的营养状况确定系统的制作方法

1.本发明涉及图像处理及机器学习技术领域，特别是涉及一种基于三维重建的营养状况确定系统。


背景技术：

2.营养不良(malnutrition)又称为营养不足(undernutrition)，指由于膳食中蛋白质、能量及其他营养素长期摄入不足、吸收不良或消耗增加而导致的机体生长发育和功能障碍。对于有营养风险、营养不良或者重度营养不良的人员来说，营养干预是综合治疗的重要组成部分，合理的营养干预有利于临床结局的改善。
3.在对人员进行营养干预之前，需要对人员进行营养筛查或营养评价。营养评价的步骤为：1）进行营养风险筛查；2）进行营养不良诊断。其中，在营养不良诊断时，需要结合病因性因素和表现性因素。表现性因素包括低体重、体重下降、骨骼肌含量减少、脂肪含量减少等。
4.现有确定人员骨骼肌含量和脂肪含量的方式主要为2种，一种是通过生物电阻抗方式来确定骨骼肌含量和脂肪含量，即通过微弱电流流经人体不同部位时产生的电阻来计算身体各组分含量；另一种是使用双能射线或核磁共振，通过人体不同组分的影像学表现来计算骨骼肌含量和脂肪含量。
5.现有的两种方法，虽然能够在一定程度上确定人员骨骼肌含量和脂肪含量，但是存在以下缺点：第一，无论是生物电阻抗方法还是影像学方法，均是通过物理因子（电流、放射射线）作用于人体，对特定疾病人群会产生危害（如安装了起搏器的人员或孕妇等）。
6.第二，无论是生物电阻抗方法还是影像学方法，均需要体积较大、成本较高且移动不方便的医学设备，如生物电阻抗方法需要人体成分分析仪，如影像学方法需要ct机或核磁共振仪。
7.第三，无论是生物电阻抗方法还是影像学方法，需要专业人员操作，无法覆盖所有人员情况，如居家治疗的肿瘤人员、长期在院外治疗的慢性肾衰人员等。
8.第四，无论是生物电阻抗方法还是影像学方法，均会产生较多的检测费用。如生物电阻抗法的使用需要医生在场，而核磁共振和双能射线除了需要医生以外还需要专业的医学技术人员操作，人员支付相应的检测费用。


技术实现要素：

9.本发明的目的是提供了一种基于三维重建的营养状况确定系统，在被测人员营养状况评估方面具有人体危害性小、成本低和人员可自助操作等优点。
10.为实现上述目的，本发明提供了如下方案：一种基于三维重建的营养状况确定系统，包括第一摄像头、第二摄像头和营养状况评估模块；
所述第一摄像头，用于：获取被测人员的头颅深度图像；所述第二摄像头，用于：获取被测人员的头颅rgb图像；所述营养状况评估模块，用于：基于所述头颅深度图像和所述头颅rgb图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型；基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息；基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况。
11.可选地，在所述基于所述头颅深度图像和所述头颅rgb图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型方面，所述营养状况评估模块，用于：基于所述头颅rgb图像和深度学习算法，确定人脸特征点；根据所述人脸特征点的坐标位置，将所述头颅rgb图像和所述头颅深度图像进行贴合处理，得到包含颅面部和颞部的三维模型；对所述包含颅面部和颞部的三维模型进行折痕消除和噪点消除，得到所述被测人员的包含颞部部位和眼眶部位的三维模型。
12.可选地，所述颞部部位信息至少包括颞部的曲率信息；所述眼眶部位信息至少包括眼眶脂肪垫的体积；在所述基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息方面，所述营养状况评估模块，用于：基于所述三维模型，确定颞部特征点；计算每个所述颞部特征点对应的高斯曲率和平均曲率；其中，所述颞部的曲率信息包括每个所述颞部特征点对应的高斯曲率和平均曲率；基于所述三维模型，确定眼眶特征点和眼球特征点；基于所述眼眶特征点确定眼眶体积，基于所述眼球特征点确定眼球体积；在同一个纵向的平面外侧，将所述眼眶体积减去所述眼球体积，得到眼眶脂肪垫的体积。
13.可选地，在所述基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况方面，所述营养状况评估模块，用于：基于所述颞部部位信息和所述眼眶部位信息，采用机器学习算法，确定所述被测人员的骨骼肌含量和脂肪含量；根据所述被测人员的骨骼肌含量和脂肪含量，确定所述被测人员的营养状况。
14.可选地，所述营养状况评估模块至少包括信息获取单元、数据处理单元以及指引单元；所述指引单元，用于：输出第一控制指令和第二控制指令；所述第一控制指令用于控制所述第一摄像头和所述第二摄像头打开；所述第二控制指令用于提示被测人员按照规定进行头颅转动，以使所述第一摄像头和所述第二摄像头均能采集到符合要求的所述头颅深度图像和所述头颅rgb图像；所述信息获取单元，用于：获取所述头颅深度图像和所述头颅rgb图像；所述数据处理单元，用于：基于所述头颅深度图像和所述头颅rgb图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型；
基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息；基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况。
15.可选地，所述营养状况评估模块还包括开始虚拟按钮和结果显示模块；所述结果显示模块用于以界面形式显示所述被测人员的营养状况。
16.可选的，所述营养状况评估模块集成在终端上；所述终端分别与所述第一摄像头、所述第二摄像头连接。
17.可选的，所述第一摄像头、所述第二摄像头和所述营养状况评估模块均集成在同一终端上。
18.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明通过摄像头和专用营养状况评估模块确定被测人员的营养状况，不产生对人体可能有害的物理因子，解决了现有方式产生有害物理因子的问题。
19.本发明的专用营养状况评估模块一般安装在移动终端上，例如手机和平板，故本发明采用摄像头和移动终端确定被测人员的营养状况，具有检测设备体积极小、成本极低、人员可自助操作、节省医生人力、同时精准评价人员的营养状况的优点。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
21.图1为本发明一种基于三维重建的营养状况确定方法的整体流程图；图2为本发明不同角度下的初步3d模型示意图；图2中（a）为第一角度下的初步3d模型示意图；图2中（b）为第二角度下的初步3d模型示意图；图2中（c）为第三角度下的初步3d模型示意图；图3为本发明形象直观且存在粗糙折痕的三维模型示意图；图4为本发明包含颞部部位和眼眶部位的三维模型示意图；图5为本发明一种基于三维重建的营养状况确定系统的结构框图；图6为本发明颞部示意图；图7为本发明眼眶脂肪垫示意图；图8为本发明一种基于三维重建的营养状况确定方法的流程示意图；图9为本发明营养状况评估app的界面图；图10为本发明营养状况评估app的结果验证图；图10中（a）为营养状况评估app计算的结果p与血清白蛋白的相关性示意图；图10中（b）为营养状况评估app计算的结果p与小腿骨骼肌维度的相关性示意图。
具体实施方式
22.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
23.本发明目的是提供一种基于三维重建的营养状况确定系统，该系统包括深度相机、普通相机和移动终端。如图1所示，该系统的操作步骤为：（1）采集含有深度、rgb等信息的图像；（2）重建包含颞部部位和眼眶部位的三维模型；（3）消除折痕和噪点；（4）数据测量与计算颞部部位和眼眶部位的体积、弧度或曲率，（5）根据曲率、体积和人体其他数据预测人员的脂肪含量和四肢骨骼肌围度，从而确定人员营养状况，并相应的图形表示。本发明通过重建包含颞部部位和眼眶部位的三维模型，进行营养不良的筛查和评价，具有操作简便，计算结果精确等优点，可以较好解决目前通过核磁共振、ct、超声等仪器测量，耗时耗力，浪费成本的问题。
24.本发明提供的技术方案是现有测量成本的千分之一，可以极大地提高院内院外人员营养不良的筛查和评估比例，避免因营养不良而发生的恶病质、临床治疗毒副反应加剧等。
25.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
26.实施例一本实施例提供了一种基于三维重建的营养状况确定系统，包括深度相机、普通相机和移动终端。
27.所述深度相机和所述普通相机安置在所述移动终端附近，使其在面对移动终端的人员头颅时能够进行完整的拍摄和扫描，且所述深度相机和所述普通相机的输出端均连接至所述移动终端。
28.该系统的实施过程为：根据所述深度相机和所述普通相机获得的头颅图像数据，重建包含颞部部位和眼眶部位的三维模型；通过rgb图像标记的特征点和深度相机探测的三维点阵，确定颞部部位信息（例如颞部的曲率信息）和眼眶部位信息（例如眼眶脂肪垫的体积）；基于所述颞部部位信息和所述眼眶部位信息，通过多元逻辑回归算法，评价人员是否存在脂肪减少或肌肉减少的情况，即确定人员的营养状况。
29.所述深度相机包括但不限于移动终端自带的深度传感器，以及使用相机阵列、tof技术、基于结构光的深度探测技术等的深度传感器；所述移动终端包括但不限于移动电脑、ipad，移动手机等。
30.所述根据所述深度相机和所述普通相机获得的头颅图像数据，重建包含颞部部位和眼眶部位的三维模型，具体如下：
①
深度图像和rgb图像的采集：用深度相机和普通相机扫描，采集人员头颅的深度图像和rgb图像，并将深度图像和rgb图像分成若干线程以进行后期处理。
31.②
分段重建三维模型：通过kinectfusion算法对每一线程均进行frame-to-model的三维重建，每个线程都可以得到一个初步3d模型，故可以获得如图2所示的三个不同角度的初步3d模型；此时需要将上述多个初步3d模型拟合为一个完整的模型，具体拟合过程为：将初步3d模型上的每个特征点和该特征点的rgb值构成一个矩阵，将每个线程上的特征点构建的矩阵用误差矩阵算法进行配准，然后采用移动立方体marchingcubes算法进行曲面拟合，以获得形象直观且存在粗糙折痕的三维模型。
32.④
消除折痕和噪点：由于每个模型最后的单个视点可靠性很差，拟合后的模型拼接处存在粗糙折痕，如图3所示；本实施例首先优化前一阶段的最后一个视点的位姿，并将此视点的位姿确定为后一个阶段的参考视点，以消除三维模型的折痕现象；然后采用滤波算法来分离噪点，具体为：对得到的比较干净的点云进行三角剖分，再对三角网运用体素滤波方法进行平滑处理，此时的三角网顶点比较多，为了提高后续的计算速度，可以提取出三角网的特征点。利用特征点进行泊松重建，这样就可以得到一个即保留了特征信息，三角数量大大减少的一个mesh。如图4所示，通过上述方式即可获得有特征点标注且包含颞部部位和眼眶部位的三维模型。
33.所述通过rgb图像标记的特征点和深度相机探测的三维点阵，确定颞部部位信息和眼眶部位信息，具体包括：
①
确定颞部部位信息；颞部部位信息至少包括颞部的曲率；该颞部的曲率为颞部特征点之间，所有的三维点云构成的一个曲面的曲率。
34.②
眼眶部位信息；该眼眶部位信息至少包括眼眶脂肪垫的体积；眼眶的所有特征点之间，通过三维点云构建一个眼眶的体积，眼球的特征点构建出眼球的体积；在同一个纵向的平面外侧，眼眶的体积减去眼球的体积，即为眼眶脂肪垫的体积。
35.所述基于所述颞部部位信息和所述眼眶部位信息，通过多元逻辑回归算法，评价人员是否存在脂肪减少或肌肉减少的情况，即确定人员的营养状况，具体包括：根据眼眶脂肪垫的体积、颞部的曲率以及移动终端中预存的人员的年龄、身高、体重等数据，组成η维向量，η为大于1的自然数。
36.根据η维向量和建立的基于多元逻辑回归的概率模型，计算营养相关指标发生率，进而确定人员的营养状况。
37.实施例二如图5所示，本实施例提供了一种基于三维重建的营养状况确定系统，包括第一摄像头、第二摄像头和营养状况评估模块。
38.所述第一摄像头，用于：获取被测人员的头颅深度图像。
39.所述第二摄像头，用于：获取被测人员的头颅rgb图像。
40.所述营养状况评估模块，用于：基于所述头颅深度图像和所述头颅rgb图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型；基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息；基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况。
41.一个示例中，第一摄像头、第二摄像头和营养状况评估模块均可集成在同一个移动终端上。或者所述营养状况评估模块集成在终端上；所述终端分别与所述第一摄像头、所述第二摄像头连接。
42.其中，在所述基于所述头颅深度图像和所述头颅rgb图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型方面，所述营养状况评估模块进一步用于：基于所述头颅rgb图像和深度学习算法，确定人脸特征点；例如，该人脸特征点为头颅面部的骨性结构，包括眉弓外侧角、顶骨和颞骨的转折、颧突、下颌角等；根据所述人脸特征点的坐标位置，采用现有方法将所述头颅rgb图像和所述头颅
深度图像进行贴合处理，得到包含颅面部和颞部的三维模型；对所述包含颅面部和颞部的三维模型进行折痕消除和噪点消除，得到所述被测人员的包含颞部部位和眼眶部位的三维模型。
43.所述颞部部位信息至少包括颞部的曲率信息；所述眼眶部位信息至少包括眼眶脂肪垫的体积，故在基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息方面，所述营养状况评估模块进一步用于：基于所述三维模型，确定颞部特征点；计算每个所述颞部特征点对应的高斯曲率和平均曲率；其中，所述颞部的曲率信息包括每个所述颞部特征点对应的高斯曲率和平均曲率；所述颞部的曲率为颞部特征点之间，所有的三维点云构成的一个曲面，如图6所示，本实施例用已有建立法向量的方法，计算出每个所述颞部特征点的高斯曲率以及所有所述颞部特征点的平均曲率，所有曲率数据记作一个向量μ。
44.基于所述三维模型，确定眼眶特征点和眼球特征点；基于所述眼眶特征点确定眼眶体积，基于所述眼球特征点确定眼球体积；即眼部的所有特征点之间，通过三维点云构建一个体积块，眼球的特征点之间，通过三维点云构建一个眼球的体积；在同一个纵向的平面外侧，将所述眼眶体积减去所述眼球体积，即得到眼眶脂肪垫的体积，如图7所示。
45.在所述基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况方面，所述营养状况评估模块进一步用于：基于所述颞部部位信息和所述眼眶部位信息，采用机器学习算法，确定所述被测人员的骨骼肌含量和脂肪含量；根据所述被测人员的骨骼肌含量和脂肪含量，确定所述被测人员的营养状况。
46.在所述基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况方面，一个具体的实施例为：首先明确颞部部位信息和眼眶部位信息作为部分特征，用于之后步骤的机器学习，用于预测该样本来源人员的营养状况。
47.其次，根据确颞部部位信息、眼眶部位信息和人员基本信息，组成η维的向量x，η为大于1的自然数。人员基本信息包括但不限于的年龄、身高、体重、6分钟步行试验速度等数据。
48.接着建立基于多元逻辑回归的概率模型，并将向量x带入概率模型中，求解出被测人员为脂肪减少或骨骼肌减少症的概率p。
49.最后，根据被测人员为脂肪减少或骨骼肌减少症的概率p，确定被测人员的营养状况。
50.其中，基于多元逻辑回归的概率模型的表达式为，且和均为常数。
51.基于多元逻辑回归的概率模型的建立过程，包括以下步骤：
收集对应标识为0和1的两组训练样本集x0和x1；其中，标识0表示病人无肌肉减少症，标识1表示需要存在肌肉减少症。
52.所述训练样本集为由对应标识下的m个历史样本组成的nxm维矩阵，所述历史样本为由η个维度数据组成的η维向量，m为大于1的自然数；对于测试样本中的任一指标数据，通过t检验（两个样本分别为独立样本，故进行独立样本t检验），判断该指标数据在两类标识0和1对应的训练样本集x0和x1中是否存在明显差异，若检验计算得到的p值大于0.05，则删除该维度数据，依此遍历测试样本中每个维度指标数据。（该步骤论述的过程为进行t检验的过程）最终选取筛选出的所有维度数据，作为多元逻辑回归的因子或协变量，带入多元逻辑回归的模型得到具体的模型算法。
53.一个实施例中，本实施例所述的营养状况评估模块至少包括信息获取单元、数据处理单元以及指引单元。
54.所述指引单元，用于：输出第一控制指令和第二控制指令；所述第一控制指令用于控制所述第一摄像头和所述第二摄像头打开；所述第二控制指令用于提示被测人员按照规定进行头颅转动，以使所述第一摄像头和所述第二摄像头均能采集到符合要求的所述头颅深度图像和所述头颅rgb图像；所述信息获取单元，用于：获取所述头颅深度图像和所述头颅rgb图像；所述数据处理单元，用于：基于所述头颅深度图像和所述头颅rgb图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型；基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息；基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况。
55.进一步的，所述营养状况评估模块还包括开始虚拟按钮和结果显示模块；所述结果显示模块用于以界面形式显示所述被测人员的营养状况。
56.一个示例中，头颅深度图像和头颅rgb图像的采集过程为：第一，将第一摄像头和第二摄像头均与营养状况评估模块连接好，被测人员站在距离第一摄像头和第二摄像头1.2～1.5米左右处，保证第一摄像头和第二摄像头可以完整拍摄到被测人员的整个头颅部分。
57.第二，点击所述开始虚拟按钮，进入捕捉过程，根据营养状况评估模块的界面提示，让被测人员的头颅向左移动30度，用时2-5s，再回到原位；然后让被测人员的头颅向右移动30度，用时2-5s。在此期间，第一摄像头和第二摄像头以均匀的时间间隔对被测人员头颅进行拍摄，每秒采集15帧的头颅深度图像和头颅rgb图像，共采集60-150幅且图像分辨率为512
×
424的头颅深度图像和头颅rgb图像。
58.第三，将头颅深度图像和头颅rgb图像传输至营养状况评估模块中。
59.实施例三如图8所示，本实施例提供的一种基于三维重建的营养状况确定方法，包括：步骤801：获取被测人员的头颅深度图像和头颅rgb图像。
60.步骤802：基于所述头颅深度图像和所述头颅rgb图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型。
61.步骤803：基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信
息。
62.步骤804：基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况。
63.其中，所述基于所述头颅深度图像和所述头颅rgb图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型，具体包括：基于所述头颅rgb图像和深度学习算法，确定人脸特征点；根据所述人脸特征点的坐标位置，将所述头颅rgb图像和所述头颅深度图像进行贴合处理，得到包含颅面部和颞部的三维模型；对所述包含颅面部和颞部的三维模型进行折痕消除和噪点消除，得到所述被测人员的包含颞部部位和眼眶部位的三维模型。
64.所述颞部部位信息至少包括颞部的曲率信息；所述眼眶部位信息至少包括眼眶脂肪垫的体积；所述基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息，具体包括：基于所述三维模型，确定颞部特征点；计算每个所述颞部特征点对应的高斯曲率和平均曲率；其中，所述颞部的曲率信息包括每个所述颞部特征点对应的高斯曲率和平均曲率；基于所述三维模型，确定眼眶特征点和眼球特征点；基于所述眼眶特征点确定眼眶体积，基于所述眼球特征点确定眼球体积；在同一个纵向的平面外侧，将所述眼眶体积减去所述眼球体积，得到眼眶脂肪垫的体积。
65.所述基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况，具体包括：基于所述颞部部位信息和所述眼眶部位信息，采用机器学习算法，确定所述被测人员的骨骼肌含量和脂肪含量；根据所述被测人员的骨骼肌含量和脂肪含量，确定所述被测人员的营养状况。
66.现使用搭载深度摄像头和普通摄像头的iphone12为载体，将上述算法封装进营养状况评估app中，其使用界面如图9所示。
67.该营养状况评估app将图像数据与超声数据、生化数据对比以进行信效度验证。样本量为50例，如图10所示，根据营养状况评估app计算的结果p与血清白蛋白的相关性r=0.324，结果p与小腿骨骼肌维度的相关性r=0.608，均具有显著相关关系，证明该营养状况评估app在预测营养状况上具有很高的信度和效度。
68.此外，以上技术手段可以不使用深度数据，仅使用大量数据通过机器学习，进行定性评价，但其准确度较差。
69.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
70.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。