基于动作识别的医学影像控制方法及系统的制作方法
【专利摘要】本发明公开了一种基于动作识别的医学影像控制方法及系统，其中方法包括：对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作；将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射，使所述控制部位的动作转化为医学影像控制命令；根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作。其实现了非接触式控制医学影像操作，有效地解决高卫生条件下的医学影像操作查看问题。
【专利说明】基于动作识别的医学影像控制方法及系统
【技术领域】
[0001]本发明涉及计算机视觉【技术领域】，特别是涉及一种基于动作识别的医学影像控制方法及系统。
【背景技术】
[0002]医学影像是指通过X光成像(X-ray)、电脑断层扫描(CT)、核磁共振成像(MRI)、超声成像(ultrasound)、正电子发射计算机断层扫描(PET)、脑电图(EEG)、脑磁图(MEG)、眼球追踪(eye-tracking)、穿颉磁波刺激(TMS)、光学相干断层扫描等现代成像技术检查人体无法用非手术手段检查的部位的过程。通常作为一种医疗辅助手段用于诊断和治疗，也可以作为一种科研手段用于生命科学的研究中。随着科技的发展，医学影像不光指以上的医学成像也指医学设备生成的三维医学影像或由二维医学图像通过技术手段所生成的三维医学影像。
[0003]传统的医学影像浏览和操作方式主要为打印成介质实物如胶片等进行查看或者通过鼠标或键盘对存于PC机对电子版进行操作和查看两种方式。这两种方式都需要医生的手直接和操作物进行接触，特别不利于在手术这种对卫生条件要求较高的场合使用。而且，在手术这种无菌环境下如果主刀医生自己不直接操作鼠标键盘，也需要额外一名医生在其口令指导下为其操作，这样不但丧失了医学影像操作的灵活性也浪费了人力。所以，传统的医学影像控制方法大大限制了操作的灵活性，也无法满足医学环境中的高卫生条件的要求。
【发明内容】
[0004]基于上述问题，本发明提供了一种操作灵活的基于动作识别的医学影像控制方法及系统，实现非接触式控制医学影像操作，有效地解决高卫生条件下的医学影像操作查看问题。
[0005]为实现本发明目的而提供的一种基于动作识别的医学影像控制方法，包括以下步骤:
[0006]对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作；
[0007]将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射，使所述控制部位的动作转化为医学影像控制命令；
[0008]根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作。
[0009]在其中一个实施例中，所述基于动作识别的医学影像控制方法，还包括以下步骤:
[0010]获取所述人体动作的二维或三维视频图像。
[0011]在其中一个实施例中，所述对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作，包括以下步骤:[0012]从所述人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息；
[0013]根据获取的所述控制部位的位置信息，识别所述控制部位的动作。
[0014]在其中一个实施例中，所述控制部位包括人体的双臂部位的关节和头颈部位的关节;
[0015]其中，所述双臂部位的关节包括双臂关节和双手的手指关节；
[0016]所述头颈部位的关节包括头部关节和颈部关节。
[0017]在其中一个实施例中，所述双臂关节包括臂肩关节、手臂关节以及手腕关节；
[0018]所述双手的手指关节包括上部关节、中部关节以及下部关节。
[0019]在其中一个实施例中，所述从人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息，包括以下步骤:
[0020]在所述人体动作的二维或三维视频图像中提取出当前人体躯干的轮廓，并将所述当前人体躯干的轮廓的数据输入人体躯干数据库进行头颈部位匹配，提取所述当前人体躯干的头颈部位的关节；
[0021]跟踪所述当前人体躯干的头颈部位的关节，实时获取所述头颈部位的关节的位置信息。
[0022]在其中一个实施例中，所述从人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息，还包括以下步骤:
[0023]在所述人体动作的二维或三维视频图像中提取出当前双手的轮廓，识别所述当前双手的轮廓中包含的指尖个数；
[0024]将所述当前双手的轮廓的数据输入与所述当前双手的轮廓中包含的指尖个数相匹配的人手数据库中进行匹配，得到相近的人手模型，提取所述当前双手的手指关节；
[0025]跟踪所述当前双手的手指关节，实时获取所述双手的手指关节的位置信息。
[0026]相应地，为实现本发明目的而提供的一种基于动作识别的医学影像控制系统，包括人体动作识别模块、动作语义映射模块以及医学影像控制模块；
[0027]所述人体动作识别模块，用于对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作；
[0028]所述动作语义映射模块，用于将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射，使所述控制部位的动作转化为医学影像控制命令；
[0029]所述医学影像控制模块，用于根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作。
[0030]在其中一个实施例中，所述基于动作识别的医学影像控制系统还包括图像获取模块；
[0031]所述图像获取模块，用于获取所述人体动作的二维或三维视频图像。
[0032]在其中一个实施例中，所述人体动作识别模块包括控制部位跟踪子模块和动作识别子模块；
[0033]所述控制部位跟踪子模块，用于从所述人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息；
[0034]所述动作识别子模块，根据获取的所述控制部位的位置信息，识别所述控制部位的动作。
[0035]在其中一个实施例中，所述控制部位包括人体的双臂部位的关节和头颈部位的关节;
[0036]其中，所述双臂部位的关节包括双臂关节和双手的手指关节；
[0037]所述头颈部位的关节包括头部关节和颈部关节。
[0038]在其中一个实施例中，所述双臂关节包括臂肩关节、手臂关节以及手腕关节；
[0039]所述双手的手指关节包括上部关节、中部关节以及下部关节。
[0040]在其中一个实施例中，所述控制部位跟踪子模块包括头颈部位识别单元和头颈部位跟踪单元；
[0041]所述头颈部位识别单元，用于在所述人体动作的二维或三维视频图像中提取出当前人体躯干的轮廓，并将所述当前人体躯干的轮廓的数据输入人体躯干数据库进行头颈部位匹配，提取所述当前人体躯干的头颈部位的关节；
[0042]所述头颈部位跟踪单元，用于跟踪所述当前人体躯干的头颈部位的关节，实时获取所述头颈部位的关节的位置信息。
[0043]在其中一个实施例中，所述控制部位跟踪子模块还包括指尖识别单元、手指关节识别单元和手指关节跟踪单元；
[0044]所述指尖识别单元，用于在所述人体动作的二维或三维视频图像中提取出当前双手的轮廓，识别所述当前双手的轮廓中包含的指尖个数；
[0045]所述手指关节识别单元，用于将所述当前双手的轮廓的数据输入与所述当前双手的轮廓中包含的指尖个数相匹配的人手数据库中进行匹配，得到相近的人手模型，提取所述当前双手的手指关节；
[0046]所述手指关节跟踪单元，用于跟踪所述当前双手的手指关节，实时获取所述双手的手指关节的位置信息。
[0047]本发明的有益效果为:本发明提供的一种基于动作识别的医学影像控制方法及系统，通过对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作，将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射，使所述控制部位的动作转化为医学影像控制命令，进而根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作，从而实现非接触式控制医学影像操作，有效地解决高卫生条件下的医学影像操作查看问题。
【专利附图】
【附图说明】
[0048]为了使本发明的基于动作识别的医学影像控制方法及系统的目的、技术方案及优点更加清楚明白，以下结合具体附图及具体实施例，对本发明基于动作识别的医学影像控制方法及系统进行进一步详细说明。
[0049]图1为本发明的基于动作识别的医学影像控制方法的一个实施例的流程图；
[0050]图2-a和图2-b为图1所示的本发明的基于动作识别的医学影像控制方法中的控制部位的一个实施例的示意图；
[0051]图3为图1所示的本发明的基于动作识别的医学影像控制方法中的对控制部位进行动作识别的一个实施例的示意图；[0052]图4为本发明的基于动作识别的医学影像控制系统的一个实施例的结构图；
[0053]图5为图4所示的本发明的基于动作识别的医学影像控制系统中的人体动作识别模块的一个实施例的结构图。
【具体实施方式】
[0054]下面结合说明书附图，对本发明实施例提供的基于动作识别的医学影像控制方法及系统进行说明。
[0055]本发明实施例提供的基于动作识别的医学影像控制方法，如图1所示，包括以下步骤:
[0056]S100，对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作；
[0057]S200，将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射，使所述控制部位的动作转化为医学影像控制命令；
[0058]S300，根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作。
[0059]本发明实施例提供的一种基于动作识别的医学影像控制方法，通过对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作，将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射，使所述控制部位的动作转化为医学影像控制命令，进而根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作，从而实现非接触式控制医学影像操作，有效地解决高卫生条件下的医学影像操作查看问题。
[0060]较佳地，作为一种可实施方式，如图2-a和图2-b所示，本发明提供的一种基于动作识别的医学影像控制方法中的控制部位包括但不限于人体的双臂部位的关节和头颈部位的关节。其中，双臂部位的关节包括双臂关节和双手的手指关节，头颈部位的关节包括头部关节10和颈部关节20。
[0061]进一步地，所述双臂关节包括臂肩关节31、手臂关节32以及手腕关节33，双手的手指关节包括上部关节41、中部关节42以及下部关节43。
[0062]视觉交互技术是一种非接触的交互方式，它有效地解决了传统输入设备无法处理三维或多自由度输入的问题。人体动作识别是机器视觉领域的研究难点和研究热点，人体动作是人自然的语义表述。人与人之间的交流除了语言外，动作是最有效的表达方式。基于机器视觉的动作识别目前多被应用于娱乐领域。目前，在智能控制方面应用较少，但大部分都处于研发阶段。如一些智能电视厂商正研究将此种技术应用到他们的系统当中，用来控制智能电视的选台、调节音量等功能。随着计算机硬件处理技术和计算机图形图像处理技术的发展，人体动作识别将会更多地应用于其他领域。
[0063]需要说明的是，已有的基于机器视觉的非接触式医学影像控制方法，主要通过体感摄像机获取深度信息并与个人计算机进行数据通信，由深度数据处理系统对数据进行分析实现体感交互，医学影像显示系统进行数字影像的显示和图像处理，从而实现手势对显示的医学影像进行缩放、旋转、平移、改变显示数量、改变窗宽窗位等图像处理操作。上述传统的基于机器视觉的非接触式医学影像控制方法只能通过双手手势进行医学影像的控制操作，其所能表达的语义信息非常有限，无法满足医疗诊断和医疗手术中非接触式控制医学影像多样化操作的需求。而本发明实施例提供的一种基于动作识别的医学影像控制方法，可通过人体的控制部位包括但不限于双手、双臂以及头颈部位，实现对医学图像或医学影像三维模型的缩放、旋转、平移以及深度透视等操作，满足医疗诊断和医疗手术中非接触式控制医学影像多样化操作的需求。
[0064]上述实施例中，某个或某些关节点的位置或位置组合可以表示大量的语义信息，通过对这些关节点的跟踪实时获取到跟踪关节点的位置和位置组合以此来产生不同的控制信号。设定一个医学影像控制语义映射库，标明不同动作和控制信号之间的映射关系，当一个控制动作触发并被识别后，通过查询语义映射库转换成预设的控制信号。控制信号通过控制驱动来实现医学影像的控制功能。为了便于理解，如下表1所示，给出了一种可能的医学影像控制语义映射表举例；
[0065]表1:
[0066]
【权利要求】
1.一种基于动作识别的医学影像控制方法，其特征在于，包括以下步骤: 对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作； 将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射，使所述控制部位的动作转化为医学影像控制命令； 根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作。
2.根据权利要求1所述的基于动作识别的医学影像控制方法，其特征在于，还包括以下步骤: 获取所述人体动作的二维或三维视频图像。
3.根据权利要求1所述的基于动作识别的医学影像控制方法，其特征在于，所述对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作，包括以下步骤: 从所述人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息； 根据获取的所述控制部位的位置信息，识别所述控制部位的动作。
4.根据权利要求1至3任一项所述的基于动作识别的医学影像控制方法，其特征在于，所述控制部位包括人体的双臂部位的关节和头颈部位的关节； 其中，所述双臂部位的关节包括双臂关节和双手的手指关节； 所述头颈部位的关节包括头部关节和颈部关节。
5.根据权利要求4所述的基于动作识别的医学影像控制方法，其特征在于，所述双臂关节包括臂肩关节、手臂关节以及手腕关节； 所述双手的手指关节包括上部关节、中部关节以及下部关节。
6.根据权利要求5所述的基于动作识别的医学影像控制方法，其特征在于，所述从人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息，包括以下步骤: 在所述人体动作的二维或三维视频图像中提取出当前人体躯干的轮廓，并将所述当前人体躯干的轮廓的数据输入人体躯干数据库进行头颈部位匹配，提取所述当前人体躯干的头颈部位的关节； 跟踪所述当前人体躯干的头颈部位的关节，实时获取所述头颈部位的关节的位置信息。
7.根据权利要求6所述的基于动作识别的医学影像控制方法，其特征在于，所述从人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息，还包括以下步骤: 在所述人体动作的二维或三维视频图像中提取出当前双手的轮廓，识别所述当前双手的轮廓中包含的指尖个数； 将所述当前双手的轮廓的数据输入与所述当前双手的轮廓中包含的指尖个数相匹配的人手数据库中进行匹配，得到相近的人手模型，提取所述当前双手的手指关节； 跟踪所述当前双手的手指关节，实时获取所述双手的手指关节的位置信息。
8.一种基于动作识别的医学影像控制系统，其特征在于，包括人体动作识别模块、动作语义映射模块以及医学影像控制模块；所述人体动作识别模块，用于对人体动作的二维或三维视频图像进行处理分析，识别控制部位的动作； 所述动作语义映射模块，用于将识别后的所述控制部位的动作与设定的医学影像控制语义进行映射，使所述控制部位的动作转化为医学影像控制命令； 所述医学影像控制模块，用于根据所述医学影像控制命令对医学影像所描述的医学对象的位置或者形态进行相应的控制操作。
9.根据权利要求8所述的基于动作识别的医学影像控制系统，其特征在于，还包括图像获取模块； 所述图像获取模块，用于获取所述人体动作的二维或三维视频图像。
10.根据权利要求8所述的基于动作识别的医学影像控制系统，其特征在于，所述人体动作识别模块包括控制部位跟踪子模块和动作识别子模块； 所述控制部位跟踪子模块，用于从所述人体动作的二维或三维视频图像中提取并跟踪所述控制部位，实时获取所述控制部位的位置信息； 所述动作识别子模块，根据获取的所述控制部位的位置信息，识别所述控制部位的动作。
11.根据权利要求8至10任一项所述的基于动作识别的医学影像控制系统，其特征在于，所述控制部位包括人体的双臂部位的关节和头颈部位的关节； 其中，所述双臂部位的关节包括双臂关节和双手的手指关节； 所述头颈部位的关节包括.头部关节和颈部关节。
12.根据权利要求11所述的基于动作识别的医学影像控制系统，其特征在于，所述双臂关节包括臂肩关节、手臂关节以及手腕关节； 所述双手的手指关节包括上部关节、中部关节以及下部关节。
13.根据权利要求12所述的基于动作识别的医学影像控制系统，其特征在于，所述控制部位跟踪子模块包括头颈部位识别单元和头颈部位跟踪单元； 所述头颈部位识别单元，用于在所述人体动作的二维或三维视频图像中提取出当前人体躯干的轮廓，并将所述当前人体躯干的轮廓的数据输入人体躯干数据库进行头颈部位匹配，提取所述当前人体躯干的头颈部位的关节； 所述头颈部位跟踪单元，用于跟踪所述当前人体躯干的头颈部位的关节，实时获取所述头颈部位的关节的位置信息。
14.根据权利要求13所述的基于动作识别的医学影像控制系统，其特征在于，所述控制部位跟踪子模块还包括指尖识别单元、手指关节识别单元和手指关节跟踪单元； 所述指尖识别单元，用于在所述人体动作的二维或三维视频图像中提取出当前双手的轮廓，识别所述当前双手的轮廓中包含的指尖个数； 所述手指关节识别单元，用于将所述当前双手的轮廓的数据输入与所述当前双手的轮廓中包含的指尖个数相匹配的人手数据库中进行匹配，得到相近的人手模型，提取所述当前双手的手指关节； 所述手指关节跟踪单元，用于跟踪所述当前双手的手指关节，实时获取所述双手的手指关节的位置信息。
【文档编号】G06T7/20GK103472920SQ201310418504
【公开日】2013年12月25日 申请日期:2013年9月13日 优先权日:2013年9月13日
【发明者】江涛, 袁宝文, 郭楠, 刘玉进, 李洪研, 罗志强 申请人:通号通信信息集团有限公司