一种基于Kinect的远程骨骼康复诊断系统的制作方法
【专利摘要】本发明涉及一种基于Kinect的远程骨骼康复诊断系统，包括客户机端、服务器端和云主机端，所述客户机端和服务器端通过网络连接；所述客户机端采用Kinect设备完成骨骼信息捕捉和音频视频的接收；所述服务器端用于对骨骼信息进行图像分析，并将分析结果进行反馈；所述云主机端与服务器端相连，用于对骨骼信息进行深度处理分析以获得诊断报表。本发明可实现患者的远程就医，极大地方便了患者。
【专利说明】
一种基于K i nect的远程骨骼康复诊断系统
技术领域
[0001]本发明涉及远程医疗诊断技术领域，特别是涉及一种基于Kinect的远程骨骼康复诊断系统。
【背景技术】
[0002]互联网医疗，是互联网与医疗的结合，是“互联网+医疗”的体现，是互联网在医疗行业的新应用，其包括了以互联网为载体和技术手段的医疗信息查询、电子健康档案、疾病风险评估、在线疾病咨询、电子处方、远程会诊、及远程治疗和康复等多种形式的健康管家服务。根据统计，2011年，中国移动医疗市场规模约15.8亿元，2012年同比增长17.7%，达到18.6亿元。2013年，中国移动医疗市场规模约为22.1亿元，同比增长18.8%，2014年市场规模约28.4亿元，同比增长28.5%。预计2015年市场规模将达到42.3亿元，2017年达到125.3亿元，同比增长74.5%。未来的两到三年是移动医疗市场集中爆发的阶段，居民健康意识提高，移动商业模式逐渐趋向成熟，市场空间将快速放开。国内高端医疗服务市场:通过2011-2013年为期三年的《中国城市健康状况大调查之中国私人医生健康报告》显示，国内高端人群健康情况堪忧，亟需改善，大量的中国富人奔赴国外的寻找高端的私人护理服务，因此，国内高端医疗服务具有十分广阔的发展前景。
[0003]Kinect的工作模式分为站姿模式和坐姿模式。站姿模式可以跟踪20个关节点，坐姿模式的可以跟踪10个关节点。骨骼跟踪分主动和被动两种模式，提供最多两副完整的骨骼跟踪数据。主动模式下需要调用相关帧读取函数获得患者骨骼数据，而被动模式下还支持额外最多四人的骨骼跟踪，但是在该模式下仅包含了患者的位置信息，不包括详细的骨骼数据。对于所有获取的骨骼数据，其至少包含以下信息:相关骨骼的跟踪状态，被动模式时仅包括位置数据(患者所在位置)，主动模式包括完整的骨骼数据(患者20个关节点的空间位置信息)；唯一的骨骼跟踪ID，用于分配给视野中的每个患者；患者质心位置，该值仅在被动模式下可用。
[0004]云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池(资源包括网络，服务器，存储，应用软件，服务)，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。
[0005]中国的医疗器械市场规模正在不断扩大，对于高新科技产品的需求不断增加。中国人口众多，病患人数居于高位，该产品使关节损伤患者或运动障碍患者不出家门就可以接受医生的诊断或问询，极大地方便了患者，其国内市场需求规模十分庞大。
【发明内容】
[0006]本发明所要解决的技术问题是提供一种基于Kinect的远程骨骼康复诊断系统，可实现患者的远程就医，极大地方便了患者。
[0007]本发明解决其技术问题所采用的技术方案是:提供一种基于Kinect的远程骨骼康复诊断系统，包括客户机端、服务器端和云主机端，所述客户机端和服务器端通过网络连接;所述客户机端采用Kinect设备完成骨骼信息捕捉和音频视频的接收;所述服务器端用于对骨骼信息进行图像分析，并将分析结果进行反馈;所述云主机端与服务器端相连，用于对骨骼信息进行深度处理分析以获得诊断报表。
[0008]所述Kinect设备通过彩色摄像头获取二维标准色彩影像，通过红外摄像头获取深度影像，并将获取到的二维标准色彩影像中的每个像素与深度影像中的每一个像素一一对应，从而完成骨骼信息捕捉。
[0009]所述Kinect设备通过四元线性麦克风阵列技术获取音频信息。
[0010]所述服务器端通过X，Y，Z三个值来描述关节点的位置;其中，X，Y值是相对于骨骼平面空间的位置;通过获取的相对骨节点的平面空间位置，利用向量计算公式以及角度计算公式获得所需的肢体之间的角度信息。
[0011]所述云主机端将Apache服务器做为一个代理web服务器，用它来处理从外部访问过来的任何请求并且返回给外部。
[0012]有益效果
[0013]由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果:本发明利用Kinect体感装置收集患者信息，上传数据经互联网发送到云平台，医生可以远程诊断患者病情从而实现远程会诊，或查看分析患者的康复情况。该发明是互联网与医疗的结合，可实现患者的远程就医，极大地方便了患者，造福病患，将会促进关节损伤和运动障碍诊断康复领域的发展。
【附图说明】
[0014]图1是本发明的系统构架图；
[0015]图2是本发明中云主机的示意图；
[0016]图3是骨骼节点示意图。
【具体实施方式】
[0017]下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
[0018]本发明的实施方式涉及一种基于Kinect的远程骨骼康复诊断系统，如图1所示，包括客户机端、服务器端和云主机端，所述客户机端和服务器端通过网络连接;所述客户机端采用Kinect设备完成骨骼信息捕捉和音频视频的接收;所述服务器端用于对骨骼信息进行图像分析，并将分析结果进行反馈;所述云主机端与服务器端相连，用于对骨骼信息进行深度处理分析以获得诊断报表。
[0019]本发明的诊断系统采用C/S架构，可以实现远程骨骼医疗康复诊断，利用Kinect设备收集患者信息，上传数据经互联网发送到云平台，医生可以远程诊断患者病情从而实现远程会诊，或查看分析患者的康复情况。图1为本发明的系统构架图。由于系统具有开放的架构，可以搭建多种模式的监测环境，所以可以根据不同的用户需求设计相应的系统架构。C/S架构(S卩Client/server)由客户机端和服务器端所构成，骨骼信息捕捉、音频视频接受均由前端现实，即在客户机端上实现;而图像分析、信息反馈等功能会在服务器端上实现，所有的数据处理将会放置于云主机端。图2为本发明中云主机的示意图。
[0020]下面具体介绍一下该系统的各个模块。
[0021]4.1客户机端
[0022]客户机端的主要设备是Kinect设备，用于实现骨骼信息捕捉、音频视频接收等功能。Kinect设备是微软在2009年6月2日正式公布体感周边外设。Kinect设备彻底颠覆了游戏的单一操作，使人机互动的理念更加彻底的展现出来。它是一种3D体感摄影机，同时导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。
[0023]Kinect设备具有三个图像输入输出装置，从左向右分别是红外投影机及其光学部件、彩色摄像头和红外摄像头，彩色摄像头提供了彩色图像(如同普通摄像头)；剩余的两个元件通过发射/接收红外线，来提供深度数据。
[0024]Kinect设备获得深度数据的原理如下:红外投影机的普通激光源投射出一道“一类普通激光”，这道激光经过磨砂玻璃和红外滤光片(即光学部件)，覆盖Kinect设备的可视范围，红外摄像头接收反射光线，识别目标物体的“深度场”。
[0025]Kinect设备同时通过彩色摄像头和红外摄像头来观察这个世界的，因此为了让深度影像和二维标准色彩影像相互对应，必须进行注册。注册就是将色彩影像和深度影像进行对应，产生像素相互对应的影像，即色彩影像中的每个像素分别与深度影像中的一个像素对应。这能让应用程序准确了解收到的色彩影像中每个像素的深度。所有传感器信息(深度影像、色彩影像和音频)通过一个USB 2.0接口传送给主机，且时序一丝不差。通过KinectSDK可以获得同步的深度图像和彩色图像数据流。
[0026]Kinect设备的音频系统采用了四元线性麦克风阵列技术。麦克风阵列中包含四个相互独立的小型麦克风，设备排列可呈线形，捕捉多声道立体声，通过数字信号处理等组件，根据麦克风阵列接听声音的时间差来判断声源方向。Kinect设备共有4个向下的麦克风:右侧3个，左侧I个。这种麦克风阵列的设计是为了尽可能获得优质的声音信号以及判断不同方向的声源，尤其适用并识别语音命令。与一般的单麦克风数据相比，Kinect设备的麦克风阵列技术包含有效的噪声消除和回波抑制(Acoustic Echo Cancellat1n，AEC)算法，同时采用波束成形(Beamforming)技术，通过每个独立设备的响应时间确定音源位置，并尽可能避免环境噪声的影响。此外，Kinect设备还被设计为可以在发言者超过一人时辨别出相应的语音指令。波束形成技术已广泛应用于雷达、声纳和通信等领域。
[0027]客户机端的彩色摄像头和红外摄像头同时工作，完成骨骼信息捕捉的功能，显示实际人体特征图像和骨骼节点图像于服务器端的主界面中。麦克风阵列用于获取音频信息，通过网络可传输至服务器端。
[0028]4.2服务器端
[0029]服务器端主要依赖于Visual Stud1软件设计的远程骨骼康复诊断系统界面，用于进行简单的图像分析、信息反馈等功能。在服务器端的界面中有两个图像窗口，一个窗口用于显示患者的实时真实图像信息，另一个窗口用于显示患者的骨节点示意图。界面左侧的数据信息为肢体之间的角度信息。
[0030]彩色图像数据，深度数据分别来自Co lor ImageStean^PIDepthImageStream;同样地，骨骼数据来自SkeletonStream。要使用骨架数据，应用程序必须在初始化NUI的时候声明，并且要启用骨架追踪。访问骨骼数据和访问彩色图像数据、深度数据一样，采用基于事件的方式，当SkeletonStream中有新的骨骼数据产生时就会触发该事件。当初始化骨骼跟踪后，就可以从Ske IetonStream中获取骨骼数据信息。Ske IetonStream产生的每一帧数据skeletonFrame都是一个骨骼对象集合。包含了一个骨架数据结构的数组，其中每一个元素代表着一个被骨架追踪系统所识别的一个骨架信息。每一个骨架信息包含有描述骨骼位置以及骨骼关节的数据。每一个关节有一个唯一标示符如头(head)、肩(shoulder)、肘(dlbow)等信息和对应的三维坐标数据。图3为本发明的骨骼节点示意图。
[0031 ] Ske IetonPosit 1ns这个数组记录的是主动模式下骨骼的20个关节点对应的空间位置信息。每一个关节点都有类型为VectoM的位置属性，它通过X，Y，Z三个值来描述关节点的位置。其中，Χ，Υ值是相对于骨骼平面空间的位置。通过获取的相对骨节点的平面空间位置，通过向量计算公式以及角度计算公式获得我们所需的肢体之间的角度信息。
[0032]4.3云主机端
[0033]云主机作为本发明的数据处理中心，是整个系统的重要组成部分。本发明采用Apache服务器软件，该软件目前被广泛使用web服务器软件之一。作为开源软件，它不仅用于Unix系统，也有基于Win32平台的版本。本发明利用Apache的虚拟主机功能和反向代理模块来实现。本发明将Apache服务器做为一个代理web服务器，用它来处理从外部访问过来的任何请求并且返回给外部。本发明将服务器端的分析计算得到的骨骼角度信息反馈至云主机端进行深度处理分析，获得诊断报表。诊断报表可反馈于服务器的系统界面，患者与医生可以同时通过链接得到诊断报表。
[0034]不难发现，本发明涉及的基于Kinect的远程骨骼康复诊断系统，利用Kinect设备收集患者信息，上传数据经互联网发送到云平台，医生可以远程诊断患者病情从而实现远程会诊，或查看分析患者的康复情况。
[0035]其【具体实施方式】如以下四个步骤:
[0036]1.Kinect安装与软件配置
[0037]患者初次使用该套系统时，应首先在家中完成Kinect安装与软件配置。首先，需将Kinect设备的电源端与220V交流电相连。其次，须将Kinect设备的USB接口与电脑相连。然后，需安装Kinect SDK软件，安装成功后，电脑端会发现新硬件，并且自动查找驱动程序安装。
[0038]2.骨骼数据采集
[0039]硬件安装和软件配置完成后，患者可打开本发明设计的远程骨骼康复诊断系统的界面。在界面中有两个图像窗口，右窗口用于显示患者的实时真实图像信息，左窗口用于显示患者的骨节点示意图。界面左侧的数据信息为肢体之间的角度信息。所有信息采集后，均有网络上传至云主机端，进行深度数据处理。
[0040]3.远程诊断
[0041]医生通过登陆系统，可获取患者的骨骼信息，并根据患者肢体之间的角度信息，给予患者康复进度的实时反馈，并给出相应的后续诊断方案。
[0042]4.诊断报告获取
[0043]诊断报表可反馈于服务器的系统界面，患者与医生可以同时通过链接得到诊断报表。
[0044]由此可见，本发明利用Kinect体感装置收集患者信息，上传数据经互联网发送到云平台，医生可以远程诊断患者病情从而实现远程会诊，或查看分析患者的康复情况。该发明是互联网与医疗的结合，可实现患者的远程就医，极大地方便了患者，造福病患，将会促进关节损伤和运动障碍诊断康复领域的发展。
【主权项】
1.一种基于Kinect的远程骨骼康复诊断系统，包括客户机端、服务器端和云主机端，其特征在于，所述客户机端和服务器端通过网络连接;所述客户机端采用Kinect设备完成骨骼信息捕捉和音频视频的接收;所述服务器端用于对骨骼信息进行图像分析，并将分析结果进行反馈;所述云主机端与服务器端相连，用于对骨骼信息进行深度处理分析以获得诊断报表。2.根据权利要求1所述的基于Kinect的远程骨骼康复诊断系统，其特征在于，所述Kinect设备通过彩色摄像头获取二维标准色彩影像，通过红外摄像头获取深度影像，并将获取到的二维标准色彩影像中的每个像素与深度影像中的每一个像素一一对应，从而完成骨骼信息捕捉。3.根据权利要求1所述的基于Kinect的远程骨骼康复诊断系统，其特征在于，所述Kinect设备通过四元线性麦克风阵列技术获取音频信息。4.根据权利要求1所述的基于Kinect的远程骨骼康复诊断系统，其特征在于，所述服务器端通过X，Y，Z三个值来描述关节点的位置;其中，X，Y值是相对于骨骼平面空间的位置;通过获取的相对骨节点的平面空间位置，利用向量计算公式以及角度计算公式获得所需的肢体之间的角度信息。5.根据权利要求1所述的基于Kinect的远程骨骼康复诊断系统，其特征在于，所述云主机端将Apache服务器做为一个代理web服务器，用它来处理从外部访问过来的任何请求并且返回给外部。
【文档编号】G06T7/00GK105930651SQ201610243920
【公开日】2016年9月7日
【申请日】2016年4月19日
【发明人】官洪运, 龚楚茗, 于融正, 许广洋
【申请人】东华大学