基于骨架识别的患者发病报警医疗系统及其检测方法与流程

本发明涉及医疗检测设备技术领域，具体是基于实时图像采集的体骨架识别的、判断病患者是否发病并且做出警示的监视设备系统。

背景技术：

生物识别技术基于对象生物特征的获取。相比较语言和文字，生物识别技术的最大特点在于具象化和直观性，通过生物特征的细微差别区分不同状态。通过中近距离或接触获得的生物特征，例如指纹、虹膜以及人脸和语音等，起识别技术已得到长足发展且投入应用，然而上述生物特征的获取具有取得距离和取得图像质量的限制，一定程度上制约了这些技术的进一步发展。

骨架识别技术属于远距获得的生物识别技术。对于生物的识别而言，用尽可能简单的形状，甚至是点和线条的组合描述物体信息，可以简单说明结构拓扑信息，即视觉上的“骨架”，或称中轴线。相比较于前述列举的其他识别技术，骨架识别信息可于较远处采集，不需要靠近被采集对象或与其接触；并且对所采集信息的图像质量要求相比其他识别技术更为宽松。

以癫痫为典型，一些病症的标志性临床表现在于非自主的局部或全身发作性运动；而此类病症具有突发性，并可能在短时间内对病患者造成致命的创伤，这也使得对患者的监护提出全天候和及时警示的要求。国际抗癫痫联盟对癫痫发作进行过重新分类和补充，使得癫痫的发作模式可以有更为全面和完整的系统区分。而这种发病姿势动作的标准化区分，也给利用实时监控图像分析——即骨架识别等生物识别技术——远程监测患者的行为状况提供了凡例和参考的基准。

技术实现要素：

为了解决现有医疗监视设备中对于特定疾病发病时缺乏检测及警报的现状，本发明提供一种基于骨架识别的患者发病报警医疗系统，可以检测并警示一些发病时呈现特定发病姿势的病症的出现，使得对病患的监护在生理指标的基础上增加了实时生物识别技术，有助于监护人员和医护人员及时采取相应的紧急抢救措施，进一步保障了人身健康安全。

一方面，本发明提供一种基于骨架识别的患者发病报警医疗系统，其包括可视监护终端，用于实时查看患者活动情况和骨架姿势；图像采集模块，用于实时为可视监护终端采集所需的图像或视频流；数据传输模块，用于实时进行图像或视频流数据传输；储存模块，用于储存事前完成采集的危险骨架形态数据；处理模块，用于处理图像采集模块采集的图像或视频流，将图像或视频流转换成实时骨架形态数据；调取储存模块中所需的危险骨架形态数据，并与实时骨架形态数据进行对比、判断相似度；光声设备，用于实时根据可视监护终端所判断出的异常情况发出警示。

另一方面，提供一种基于骨架识别的患者发病报警医疗系统的检测方法，其具体步骤如下：

步骤1：调用视像采集设备进行:图像或视频流的取得；

步骤2：经采集得到的图像或视频流数据通过数据传输设备传送至计算机设备输入端口；

步骤3：计算机输入端口对步骤2中的图像或视频流数据进行接收，并进行该数据向计算机硬盘的读入操作；

步骤4：对于已经读入的实时数据，运用骨架形态跟踪功能得出图像中被监测对象的实时骨架形态数据；

步骤5：搜索储存模块中指定骨架形态的异常姿态数据，通过数据库中异常姿态数据与实时骨架形态数据的比对，判断前后者的相似程度；步骤6：根据步骤5中相似程度，定性实时骨架形态所表现出的状态是否可判断为异常状态；

步骤7：对于步骤6判断为异常状态的实时骨架形态数据，系统将做出警示。

步骤8：所述实时骨架形态数据将会被释放或存储入监护的记录之中，供再度调用。

本发明的技术方案包括以下条目：

（a1）配套的硬件设施，作为检测对象病患实时骨架形态的设备基础，包括：可视监护终端，通常为可显示被监护端状况的监视屏和或是计算机的显示屏。该可视终端应满足最低配置要求，意味所显示图像系统，即内部所处理的图像帧质量至少为骨架形态侦测能够正常运作的最低图像质量；

发出警示的光声设备，与骨架形态监测系统配套的，能实时以人类感官可及时意识的信息形式发出警示的光声设备，包括但不限于警灯和扬声器等。这种光声设备应可实时监测系统所判断出的异常情况，并可发出明显警示信息，使得监护人员可以立即得到突发状况的存在，从而做出及时的相应措施；

能满足上述形态监测系统所要求图像拍摄的采像设备和数据实时传输设备。所配置的采像设备应能采集画质足够清晰的图像或视频流，并且该设备所采集的图像帧能够满足前述骨架形态监测系统正常运作的最低图像质量。采集的图像或视频流根据情况可为黑白或彩色画质，并且采集速度和采集延迟不大于所要求的最低标准。所使用的数据传输设备也应满足上述要求的传输速度和传输延迟的最低标准。

（a2）用于骨架形态监测功能实现的软件部分，包括：基于骨架形态的异常姿态的数据资料库。针对所需监测的发病时产生姿势扭曲等异常状况的病症，通过事前调查采集等方式，获得此种病症在发生时病患者在形体上可能产生的异常骨架姿态。以上述异常骨架姿态为基础，建立与其相对应的骨架数据系列，并存入骨架形态监测系统内置或外设的数据库存中，供监测系统的随时调用。同一数据库当中可允许多种不同病症的相应异常骨架数据系列同时存在。根据具体需求，上诉数据可进行基于不同标准的分类，并允许在监测功能运行的过程当中抽调用一类或同时抽调多类异常骨架数据进行姿势的匹配；供监护人员使用的用户操作界面。该用户操作界面应设计为对使用者友好为原则，根据监护人员个体的具体要求进行相应的操作，包括但不限于检测功能的开始和终止或手动设定监测时段、监控对象的和所调用数据的有目的选择、受监测对象“危险状况”的判定标准（即危险姿势与数据库中数据的有效作用范围调整），以及警示方式的偏好选择；实现骨架姿态识别的程序以及算法包括但不限于：调用视像采集设备进行给定帧率的图像或视频流的取得。

经采集得到的图像或视频流数据在经过（或不经过）处理后，通过数据传输设备，基于一定的帧率传送至计算机设备输入端口。

计算机输入端口对来自上述传输设备的图像或视频流数据的接收，以及该数据向计算机硬盘的读入操作。对于已经读入的实时数据，运用骨架形态跟踪功能，得出图像中被监测对象的实时骨架形态数据。搜索、指定骨架形态的异常姿态，通过数据库中骨架形态（群）与实时骨架形态的比对，判断前后者的相似程度。在相似度测量标准和是否发出警示信号的阈值事先设定好的情况下，可定性实时骨架形态所表现出的状态是否可判断为“异常状态”。对于符合以上“异常状态”的实时骨架形态数据，系统将做出相应的警示以知会监护人员。在不影响监测功能正常运作的前提下，实时骨架形态数据将会被释放或存储入监护的记录之中，且可供再度调用。

本发明的有益效果：可以检测并警示一些发病时呈现特定发病姿势的病症的出现，使得对病患的监护在生理指标的基础上增加了实时生物识别技术，有助于监护人员和医护人员及时采取相应的紧急抢救措施，进一步保障了人身健康安全。

附图说明

图1为冗余模块示意图；

图2为骨架对比程序流程。

具体实施方式

在该监测系统投入使用之前，需要对计算机进行相应的软件和数据库准备工作。

应用软件方面，计算机应支持c++等语言的编译以及运行；

骨架识别的数据库运用堆叠沙漏网络（stackedhourglassnetwork）实现。对于图像的位姿检测，在高解析度图像中利用卷积法将图像分解为低解析度并试图寻找人体关节的特征点；之后运用反卷积法将前述操作中得出的热图（heatmap）进行重组，最后得到一副具有人物个体位姿特征的热图。人体骨架即为关节特征点的拓扑连接。

上述卷积和反卷积过程在像素规模特征上形如沙漏，成为单个沙漏模块。每个沙漏模块中插入冗余模块，即将原图与原图上而下处理的结果（卷积计算得到的最低解析度）叠加的过程，可缩减计算机进程的存储空间。

而本发明的数据库所运用的网络包括8个单沙漏模块首尾相接，成为堆叠沙漏网络。这种对输入图像的反复卷积/反卷积处理有利于更精确地细化最后的位姿侦测效果。

沙漏模块对的最大解析度设置为64x64。整个网络从步幅为2的7x7卷积层起始，后接一个冗余模块以及一次最大池化，将解析度从最初的256降至64。后两次接入冗余模块，最后再接沙漏结构。整个沙漏结构中，冗余模块将输出256个特征（点）。

沙漏网络的学习需要标准的数据库作为训练的参考标尺。我们选取的数据库包括flic以及mpiihumanpose。flic包括5003张来自电影的图像（3987张学习图像以及1016张测试图像）。图像中的显示了全体大部分人物均被标注上半身。mpiihumanpose则包括约25000张图像，算上多人图像的标注，共有约40000个标注样例（28000个学习样例和11000个学习样例）。因不含测试的标记，实验中对学习样例的子系列进行学习，并使用定值的3000个验证系列进行评价。mpii包括从宽广范围的人类活动中拍摄的、包含一系列全身姿势的图像。

除了对给定图像中的人物个体进行位姿识别的沙漏网络，本专利所需要的数据库也包括癫痫发病时的典型位姿。

以下说明描述了利用该人体骨架识别系统对在病房中指定的癫痫患者进行远程患者状态监测的一些细节和运作注意事项。

除了满足监测系统硬件和软件上的最低配置以外，被检测环境应尽量满足以下条件：

a1、检测环境即病房，背景布置应尽量简单，比如监测方向的墙壁和地面、病床及其他家具的摆设，使得被检测者即病人的轮廓易于提取；

a2、图像采集设备与被监测者之间应尽可能避免物体的遮挡。在一些监测情境如全身性痉挛，一般希望全采像范围内获得被监测者的全身骨架姿势，遮挡物存在会一定程度上影响骨架识别比对系统的比较和判定；

a3、采像设备的拍摄若不存在可移动的条件，则应将其位姿固定，使得被监测人在固定的背景下状态变化更为明显，以便检测功能的更稳定运行。

当出现医护人员因故无法在检测环境现场进行监测的情况，可手动设置或定时自动运行该骨架识别系统；若存在多个监测环境，该系统还可以根据个别监测环境的时段需求，分时分线程运行骨架识别系统。

采像设备以给定帧率对监测环境进行采像；所采集图像通过传输设备进入计算机数据输入端口，等待计算机的读入。

骨架识别系统开始运行后，显示设备将先弹出设置面板，供使用者调整检测功能的相关变量，如前述的分时分线程，所存储数据库的选择性调用，定性“危险”状态的有效范围，以及警报的发送方式，等等。

计算机完成图像流的读入后，由骨架识别系统模块调用。

被监测环境的状况通过单数或复数显示设备实时放映；而同时，对于被监测环境中的骨架识别功能也循环运行；通过识别功能检测出的被监测人员的骨架状态将通过“棍条”和“连接点”的简单拓扑组合方式，实时与被监测环境的图像显示在同一界面。

上述的骨架状态在被显示的同时，也将同时被比较函数调用，计算该状态与所调用数据库中存储的异常骨架状态的状态重合程度，并用给定的量化形式得出两者的“相似度”；将量化的“相似度”与预设的阈值比较。

上述步骤中的比较结果可简单以类布尔值表示，即判定当前被监测者的状态“非危险”或者“危险”。若定性为“非危险”，则不触发警示功能；若定性为“危险状态”，则将调用警示模块，触发启动先前选择的报警方式（声鸣，振动，闪光，等等）；手动可解除警报并暂时关闭骨架识别系统中的警示功能。骨架识别流程完成后，所调用图像将根据事前设置，被存储或是直接释放，并继续对下一帧图像执行识别和比较模块。

运用该基于骨架识别的患者发病报警医疗设备，可在医护人员的非近距离监护如休息等情况下保持对于对象病患者的行为状态进行远程监控。此举可有效提高医护人员的工作效率，同时依然可以保证相关患病人员的生命健康安全。