基于人工智能的输液进度评估方法及系统与流程

1.本发明涉及人工智能技术领域，具体涉及一种基于人工智能的输液进度评估方法及系统。


背景技术：

2.患者在接受治疗时经常需要进行输液，因此就需要患者或者家属时刻注意输液进度，以防止药液输完时未及时进行处理而对患者产生危害。虽然有很多通过使用传感器对输液进度进行自适应检测的方式，但是需要为每一个输液设备安装相应的检测设备，不仅不适合推广应用而且耗费人力物力，并且容易出现人为疏忽引起的漏检，从而对患者造成危害。
3.利用机器视觉进行检测虽然可以克服上述方式的缺点，但是患者在输液时可能药液颜色与输液装置颜色相近，这会导致输液面在机器视觉成像中不够明显，从而影响到最终的检测结果。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的输液进度评估方法及系统，所采用的技术方案具体如下：第一方面，本发明一个实施例提供了一种基于人工智能的输液进度评估方法，该方法包括以下步骤：获取原始图像中吊瓶区域的模糊液面分界线；所述模糊液面分界线将所述吊瓶区域分为含有药液的药液区域和不含药液的无药液区域；选取所述模糊液面分界线的最小外接矩形区域为目标图像；将所述目标图像输入深度神经网络，输出增强后的目标图像，所述深度神经网络利用目标损失函数对多尺度视网膜增强算法进行拟合，所述目标损失函数包括图像增强目标损失函数、红色通道差量损失函数以及蓝色和绿色通道差量损失函数，根据所述目标损失函数得到最优尺度作为最佳权重系数；所述药液区域和所述无药液区域在红色通道值的差量与所述红色通道差量损失函数呈负相关关系；所述蓝色和绿色通道差量损失函数为所述药液区域与所述无药液区域在蓝色通道值的差量和药液区域与无药液区域在绿色通道值的差量之和；所述增强后的目标图像质量最佳时对应所述最优尺度为所述最佳权重系数，采用所述最佳权重系数的多尺度视网膜增强算法对所述目标图像进行增强，得到清晰液面分界线；获取所述原始图像中吊瓶的高度线段；根据所述清晰液面分界线和所述高度线段获取剩余药液的液位高度。
5.优选的，所述获取原始图像中吊瓶区域的模糊液面分界线的步骤，包括：根据暗通道算法获取所述吊瓶区域中所有像素的暗通道值；获取所有像素所述暗通道值与灰度值的差值的绝对值，根据所述差值的绝对值将
所述像素初步分为两类，对不同的像素分类进行聚类得到所述药液区域和所述无药液区域；获取所述药液区域与所述无药液区域之间的边界线作为模糊液面分界线。
6.优选的，所述根据暗通道算法获取所有所述原始图像中所有像素的暗通道值的步骤，还包括：选取所述原始图像中每个像素在rgb三个通道中的最小值组成灰度图；在所述灰度图中以每一个像素作为中心像素，以所述中心像素作为窗口的中心点，将所述窗口中的最小值代替所述中心像素的像素值，从而得到所述原始图像中所有像素点的暗通道值。
7.优选的，所述构建图像增强目标损失函数的步骤，包括：利用模糊度构建所述图像增强目标损失函数，所述模糊度与所述图像增强目标损失函数成正相关关系。
8.优选的，所述蓝色通道值的差量和绿色通道值的差量分别与所述蓝色和绿色通道差量损失函数成正相关关系。
9.优选的，所述获取所述原始图像中吊瓶的高度的步骤，包括：获取所述原始图像中吊瓶区域内的多个连通域，计算所述多个连通域的平均长度，根据所述平均长度选取目标连通域，所述目标连通域两端点连成的竖直线段作为所述吊瓶的高度。
10.第二方面，本发明另一个实施例提供了一种基于人工智能的输液进度评估系统，该系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法的步骤。
11.本发明实施例的有益效果在于：通过暗通道算法获取吊瓶区域内药液的模糊液面分界线，并将吊瓶区域分为药液区域和无药液区域，通过药液区域与无药液区域中rgb三个通道中各分量的差值，对多尺度视网膜增强算法中的高斯环绕尺度进行自适应选择，得到最优尺度对模糊液面分界线进行处理，得到清晰液面分界线，再进一步通过吊瓶的高度以及清晰液面分界线上像素点坐标的平均坐标，得到药液剩余量，通过药液剩余量做出预警。有效的解决了患者在输液过程中，因为药液与吊瓶颜色接近导致视觉成像不明显，无法准确监测药液剩余量的问题。
附图说明
12.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
13.图1为本发明一个实施例所提供的一种基于人工智能的输液进度评估的方法流程图。
具体实施方式
14.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结
合附图及较佳实施例，对依据本发明提出的一种基于人工智能的输液进度评估方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
15.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
16.本发明实施例适用于医院输液场景中，通过暗通道算法获取吊瓶区域内的药液的模糊液面分界线，并将吊瓶区域分为药液区域和无药液区域，通过药液区域与无药液区域中rgb三个通道中各分量的差值，对高斯环绕尺度进行自适应选择，得到最优尺度对模糊液面分界线进行处理，得到清晰液面分界线，再进一步通过吊瓶的高度以及清晰液面分界线上像素点坐标的平均坐标，得到药液剩余量，通过药液剩余量做出预警。有效解决了药液颜色与吊瓶颜色相近成像不明显的问题，达到了对输液过程中及时判断药液剩余量的问题。
17.下面结合附图具体的说明本发明所提供的一种基于人工智能的输液进度评估方法及系统的具体方案。
18.请参阅图1，其示出了本发明一个实施例提供的基于人工智能的输液进度评估方法的方法流程图，具体方法如下：步骤s100, 获取原始图像中吊瓶区域的模糊液面分界线；模糊液面分界线将吊瓶区域分为含有药液的药液区域和不含药液的无药液区域。
19.首先，获取病房区域的原始图像。
20.具体的，在光照正常并且充足的条件下，将rgb相机放置于病房上方进行拍照，rgb相机的拍照范围要能够覆盖病房内所有的病床区域以及对应的输液架，rgb相机采集到的图像为病房区域的原始图像。
21.其次，对获取到的原始图像进行处理获取吊瓶区域。吊瓶是用于病人输液时装所输人体内医用配置的液体的容器，例如输液瓶或者输液袋等，将吊瓶悬挂于输液架上对病人进行输液。
22.本发明实施例中采用语义分割网络对原始图像进行处理，语义分割网络采用编码器
‑
解码器结构，具体训练过程如下：1）将采集到的原始图像作为训练数据集，对训练数据集进行标注，输液装置中的吊瓶标注为1，其他标注为0，在本发明实施例中，随机选择数据集的80%为训练集，其余20%为验证集。
23.2）将原始图像数据和标签数据输入语义分割网络中，编码器用来抽取图像特征，并将通道数变换为标注类别的个数，然后通过解码器将输出图像的高和宽变换为输入图像的尺寸，从而输出每个像素的类别，其中标注为1的像素区域为相应的吊瓶的语义分割图像。
24.3）使用交叉熵损失函数进行训练。
25.将获取到的吊瓶的语义分割图像与原始图像相乘从而获得吊瓶区域。
26.需要说明的是，在本发明实施例中主要针对输液进度进行评估，因此只针对原始图像中的吊瓶区域进行后续的分析与计算。
27.最后，利用暗通道算法对吊瓶区域进行处理，获取模糊液面分界线。
28.需要说明的是，暗通道算法认为一些像素点至少在一个颜色通道中具有很低的值，甚至接近于零。
29.选取吊瓶区域中每个像素在rgb三个通道中的最小值组成灰度图，再对灰度图的像素点进行最小值滤波得到每个像素点的暗通道值。
30.具体的，在灰度图中以每一个像素作为中心像素，以中心像素作为窗口的中心点，将窗口中的最小值代替中心像素的像素值，从而得到吊瓶区域中所有像素点的暗通道值。
31.需要说明的是，由于药液对光的散射衰减以及光自身的选择性吸收衰减的原因，不同波长的散射系数与吸收系数，以及不同波长的散射系数与光波长的关系跟在正常空气中传播时存在差异。在药液的影响下，红光衰减系数会远大于蓝光以及绿光的衰减系数，因此会导致红色暗通道灰度值远小于蓝色暗通道值和绿色暗通道值，以至于最终含有药液区域的吊瓶区域的图像暗通道值会趋向于红色暗通道的灰度值。
32.根据暗通道算法获取吊瓶区域中所有像素的暗通道值；获取所有像素暗通道值与灰度值的差值的绝对值，根据差值的绝对值将像素初步分为两类，对不同的像素分类进行聚类得到药液区域和无药液区域；获取药液区域与无药液区域之间的边界线作为模糊液面分界线。
33.具体的，利用暗通道算法对吊瓶区域进行处理，计算吊瓶区域中每个像素点对应的暗通道值与其rgb三个通道的灰度值的差值的绝对值，得到，其中，表示红色通道的暗通道值与rgb灰度值的差值的绝对值，表示绿色通道的暗通道值与rgb灰度值的差值的绝对值，表示蓝色通道的暗通道值与rgb灰度值的差值的绝对值。
34.由于获取到的暗通道值与红色通道的灰度值最为接近，所以当像素点的三个通道中最小的暗通道值与rgb灰度值的差值的绝对值等于红色通道的暗通道值与rgb灰度值的差值的绝对值时，即时，该像素点为含有药液的像素点。根据该暗通道算法对吊瓶区域中的每个像素点进行处理，将吊瓶区域中含有药液的像素点分为一类，不含药液的像素点分为另一类。
35.对获取到的含有药液的像素点以及不含药液的像素点对药液区域进行初步划分，在划分过程中可能存在多个子区域，对多个子区域进行聚类处理。
36.具体的，本发明实施例中采用均值聚类算法将各子区域聚类为两个不同的区域，一类为含有药液的区域为药液区域，一类为不含药液的区域为无药液区域。
37.对聚类出的两个区域进行边缘检测，本发明实施例中采用边缘检测算法，将两个区域边缘线中重合的部分作为模糊液面分界线。
38.其中，边缘检测算法为公知技术，在本发明实施例中不再详细叙述。
39.步骤s200,选取模糊液面分界线的最小外接矩形区域为目标图像。
40.具体的，获取模糊液面分界线中横坐标相距最远的两个像素点的距离作为窗口的长，以及纵坐标相距最远的两个像素点的距离作为窗口的宽，由此得到一个矩形的窗口区域，提取吊瓶区域中的窗口区域作为模糊分界线的目标图像进行后续分析，对目标图像分析可以降低后续的计算量，避免其他区域对后续计算结果的精确度产生影响。
41.步骤s300, 构建图像增强目标损失函数、红色通道差量损失函数以及蓝色和绿色通道差量损失函数，得到最优尺度作为最佳权重系数；红色通道差量损失函数为药液区域
的红色通道值与无药液区域的红色通道值的差量；蓝色和绿色通道差量损失函数为药液区域蓝色通道值和绿色通道值与无药液区域的蓝色通道值的差量和绿色通道值的差量；采用最佳权重系数的多尺度视网膜增强算法对目标图像进行增强得到清晰液面分界线。
42.由步骤s100得到吊瓶区域的模糊液面分界线，但由于噪声的干扰以及不均匀的光照对图像的亮暗分布产生影响，可能导致得到的模糊液面分界线并不是一条清晰的水平直线，为了解决模糊液面分界线不清晰的问题，本发明实施例中采用多尺度视网膜增强算法来对目标图像进行处理，以消除光照对模糊液面分界线成像的影响。
43.多尺度视网膜增强算法可以降低甚至消除入射光对图像的影响，因此可以很好地实现对图像颜色恒常、对比度增强和动态范围压缩的目的。该算法主要影响参数为高斯环绕函数中的高斯环绕尺度。当高斯环绕函数中的高斯环绕尺度选取过小时，可以很好地提高图像的对比度，但由于多尺度视网膜增强算法在对光照图像估计的时候，会假设初始光照图像是缓慢变化的，即光照图像是光滑的，但在实际的图像中亮度相差较大的区域的边缘处，图像的光照变化并不平滑，因此在这种情况下，多尺度视网膜增强算法会在对亮度差异较大的区域进行图像增强时会产生光晕效果；当高斯环绕函数中的高斯环绕尺度选取过大时，虽然能够有效的避免光晕效果，但是在细节上的增强效果欠佳，会导致模糊液面分界线不够清晰从而影响判断结果。
44.采用多尺度视网膜增强算法进行图像增强时，常用的高斯环绕尺度分别为，并且这三个高斯环绕尺度对应的权重系数相等，虽然利用该方式可以有效减弱单尺度带来的缺点，但是由于三者的权重值相等，所以对图像增强方面的效果比较平庸，并不能结合具体的图像质量以及应用场景做到自适应的最佳权重分配，从而难以获取最佳的图像增强效果。
45.本发明实施例中，通过深度神经网络训练的方式对多尺度视网膜增强算法进行处理，确定对目标图像增强时增强效果最好的三个高斯环绕尺度的权重系数，其中深度神经网络采用编码器
‑
解码器结构，输入为目标图像，输出为经过多尺度视网膜增强算法处理后的图像。
46.深度神经网络训练具体如下：1）构建图像增强目标函数，，其中，为模糊度，模糊度与图像增强目标损失函数成正相关关系，本发明实施例中使用二次模糊算法对经多尺度视网膜增强算法处理后得到目标图像的模糊度。
47.需要说明的是，二次模糊算法的原理为：如果一幅图像已经模糊，那么再对此图像进行一次模糊处理的时候，图像中的高频分量变化较小；如果该图像很清晰，对此图像进行一次模糊处理的时候，图像的高频分量变化会非常大。因此可以根据高频分量变化的大小确定图像清晰度的高低，高频分量变化越大，图像的清晰度越高，模糊度越低，对模糊度进行归一化处理之后，得到的结果越小说明所对应的图像越清晰，反之则越模糊。利用二次模糊算法可以无需参考图像进行清晰度评价，更加简单高效。
48.2）构建红色通道差量损失函数，，其中，为无药液区域的红色通道灰度值，为药液区域的红色通道灰度值，有无药液区域的红色通道的差量与红色通道差量损失函数成负相关关系，该损失函数目的是使得输出图像中两类区域在红色通道上尽
可能的不同。
49.3）构建蓝色和绿色通道差量损失函数，，其中，为无药液区域的绿色通道灰度值，为药液区域的绿色通道灰度值，为无药液区域的蓝色通道灰度值，为药液区域的蓝色通道灰度值，蓝色通道的差量和绿色通道的差量分别与蓝色和绿色的通道差量损失函数成正相关关系，该损失函数目的是使得输出图像中两类区域在蓝色通道和绿色通道上尽可能的相同，有利于模糊液面分界线更加清晰。
50.4）利用随机梯度下降算法对多尺度视网膜增强算法中的三个高斯环绕尺度的权重系数进行更新，直到得到图像增强后质量最佳的最优尺度，将该最优尺度作为最佳权重系数。
51.在本发明实施例中，多尺度视网膜增强算法采用retinex图像增强算法，二次模糊算法采用reblur算法。
52.根据得到的最佳权重系数对目标图像进行增强，得到清晰液面分界线。
53.步骤s400, 获取原始图像中吊瓶的高度；根据清晰液面分界线获取剩余药液的高度；根据剩余药液高度得到药液剩余量，根据药液剩余量决定是否发出预警。
54.获取吊瓶区域内的多个连通域，计算多个连通域的平均长度，根据平均长度选取目标连通域，根据目标连通域两端点连成的竖直线段作为吊瓶的高度线段。
55.具体的，利用霍夫直线检测对吊瓶区域的边缘轮廓进行处理，保留竖直方向上的多条直线，利用连通域分析法对该多条直线进行处理得到至少一个连通域，在存在多个连通域时计算所有连通域的平均长度获取最接近平均长度的连通域作为目标连通域，在像素坐标系中，连接该目标连通域的两端的两个像素点，这两个像素点具有相同的横坐标，得到一条竖直的线段，将该竖直线段作为吊瓶的高度线段。
56.获取清晰液面分界线上所有像素点坐标的平均坐标，将平均坐标与吊瓶的高度线段的最底端的距离作为剩余药液的高度，将剩余药液的高度作为药液剩余量的液位高度指标。
57.具体的，在像素坐标系中，计算直线液面分界线与吊瓶的高度线段的最低端之间的轴的坐标值之差，当时表示当前吊瓶内的剩余药液的高度为0，即药液的液位高度为0，表示药液即将输完，发出预警信息，提示医务人员及时处理。在其他实施例中，预警的液位高度可以根据需要进行设定。
58.需要说明的是，本发明实施例中默认吊瓶的瓶口部分为椭圆形，因此当时仍然有少量的药液在椭圆形瓶口范围内，因此在时预警对医务人员来说具有充足的反应时间进行处理。
59.综上所述，本发明实施例中通过暗通道算法获取吊瓶区域内的药液的模糊液面分界线，并将吊瓶区域分为药液区域和无药液区域，通过药液区域与无药液区域中rgb三个通道中各分量的差值，对多尺度视网膜增强算法中的高斯环绕尺度进行自适应选择，得到最优尺度对模糊液面分界线进行处理，得到清晰液面分界线，再进一步通过吊瓶的高度以及清晰液面分界线上像素点坐标的平均坐标，得到药液剩余量，通过药液剩余量做出预警。有效的解决了患者在输液过程中，因为药液与吊瓶颜色接近导致视觉成像不明显，无法准确监测药液剩余量的问题。
60.基于与上述方法实施例相同的发明构思，本发明实施例还提供了一种基于人工智
能的输液进度评估系统，该系统包括：处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序。处理器执行所述计算机程序时实现上述一种基于人工智能的输液进度评估方法实施例中的步骤，例如图1所示的步骤。该一种基于人工智能的输液进度评估方法在上述实施例中已经详细说明，不再赘述。
61.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
62.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
63.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。