基于双目红外视觉的手部运动跟踪装置和方法
【专利摘要】本发明涉及一种基于双目红外视觉的手部运动跟踪装置和方法，装置包括双目红外视觉模块，玻璃面板，计算机，ARAT标准物和用户操作组合台；所述玻璃面板通过固定块固定在所述用户操作组合台上，所述双目红外视觉模块置于玻璃面板的下方，通过视频USB传输线与所述计算机相连，所述双目红外视觉模块照射的玻璃面板上有棋盘格标识，棋盘格标识上方的空间为用户运动空间，所述ARAT标准物放置在玻璃面板上棋盘格标识的后方。方法包括系统初始化，ARAT评估跟踪，评估数据分析。本发明使用双目红外视觉模块实现对于用户手部运动的信息采集，用户不需要额外佩戴任何设备，具有抗可见光干扰，识别稳定，运算速度高等优点。
【专利说明】基于双目红外视觉的手部运动跟踪装置和方法
【技术领域】
[0001]本发明涉及临床康复与信息处理技术，尤其涉及一种基于双目红外视觉的手部运动跟踪装置和方法。
【背景技术】
[0002]人类的手部主要负责运动功能中精细的活动和工作，但脑卒中患者多数伴有偏袒症状，其偏瘫侧手部功能的恢复效果普遍不理想，约70%的患者存在不同程度的运动功能障碍。对于脑卒中和脑外伤患者，生活质量的提高与其日常生活的能力密切相关，其中手部运动功能的恢复是最重要的，也是目前康复训练中急需解决的问题。传统的临床治疗方法为治疗师对患者进行一对一的康复训练，由于治疗师的缺乏以及居家重复性训练急需专业人员的指导与评估并调整训练治疗方案，因此信息化技术辅助康复治疗应运而生。
[0003]ARAT (Action Research Arm Test,上肢动作研究测试理论)作为最常用的上肢评估测试之一，主要针对上肢远端即手部的动作功能，是荷兰临床理疗师Lyle于1981年基于Caroll上肢功能测试发展而来的。ARAT与其它运动障碍评估方法相比，更关注患者全方位日常生活中的手功能，对抓握对象的类型与尺寸也进行了分类和量化，但其评价方法尚未数字化，仍然需要理疗师针对每个患者的评估过程进行人工的评价和打分。
[0004]手部运动的系统中大多采用红外图像跟踪的方法，此方法具有不受电磁干扰、不受可见光变化影响、跟踪稳定可靠等优点。如加拿大的PTI公司(Phoenix TechnologiesInc.)的 VisualEyez 运动捕捉系统,英国 OMG 公司(Oxford Metrics Group)的 Vicon 系统等皆为高精度室内大范围光学动作捕捉系统，但都需测试对象事先佩戴有相应的标志点，较为费时且系统构架庞大、价格较为昂贵。此外，也有研究者通过识别特别斑纹的手套来跟踪手部的运动(201010507844.7)。尽管这些装置系统都可以用来跟踪手部运动，但对于脑卒中偏瘫患者的康复训练来说，这些装置架构复杂且对患者运动存在一定的影响，因此不适合偏瘫患者训练使用时的要求。
【发明内容】
[0005]针对现有技术存在的缺陷，本发明的目的是提供一种基于双目红外视觉的手部运动跟踪装置和方法。针对临床居家手功能康复训练缺乏可量化的科学仪器，该装置可以用于手功能康复的数字化评估与训练，且不影响患者本身的抓握动作。
[0006]为达到上述目的，本发明采用下述的技术方案:
一种基于双目红外视觉的手部运动跟踪装置，包括双目红外视觉模块，玻璃面板，计算机，ARAT标准物和用户操作组合台；所述玻璃面板通过固定块固定在所述用户操作组合台上，所述双目红外视觉模块置于玻璃面板的下方，通过视频USB传输线与所述计算机相连，所述双目红外视觉模块照射的玻璃面板上有棋盘格标识，棋盘格标识上方的空间为用户运动空间，所述ARAT标准物放置在玻璃面板上棋盘格标识的后方。
[0007]进一步地，所述双目红外视觉模块包括第一 CXD黑白图像传感器、第二 CXD黑白图像传感器，第一红外LED、第二红外LED、第三红外LED，电控板；所述两个CXD黑白图像传感器和三组红外LED间隔排列集成在电控板上，并通过电控板进行运行控制，所述两个CCD黑白图像传感器把采集到的红外光信号转换成电信号并送入所述电控板进行图像缓存处理，最后通过USB数据线上传图像至所述计算机。
[0008]进一步地，所述ARAT标准物采用透红黑色外亚克力板制成。
[0009]一种基于双目红外视觉的手部运动跟踪方法，包括如下步骤:
O系统初始化:系统启动后，双目红外视觉模块自动启动并进行初始化设置；根据所选定抓握ARAT标准物的模块号，从系统的ARAT标准物数据库中得到相应的标准物参数，包括该ARAT标准物的内切圆和外接圆尺寸，并将ARAT标准物放置在特定的位置，并对系统的抓握目标物参数进行初始化；
2)ARAT评估跟踪:在用户的ARAT评估训练过程中，使用双目红外视觉模块实时跟踪在玻璃面板上的用户手部运动，并将采集到的双目黑白图像上传至计算机；计算机通过对双目红外视觉模块采集到图像进行处理，利用双目视觉的视差原理对双目图像进行匹配计算，获取用户手部掌心的三维坐标和各个手指指尖的三维坐标；根据所选择的ARAT标准物的尺寸参数，用户的手部运动动作分成抓握和捏握两种状态，并选择相应的手部抓握动作算法:在抓握较大体积的ARAT标准物时，手掌和五指整体张开，其手部位位姿的核心参数为手掌球的球心三维位置和大小，计算得到手掌球的参数并与ARAT标准物的内切圆以及外接圆参数相比较；在捏握较小体积的ARAT标准物时，其手部位位姿的核心参数为拇指与特定手指指尖的距离，计算得到指尖的参数并与ARAT标准物的内切圆以及外接圆参数相比较；
3)评估数据分析:在本轮ARAT抓握训练结束后，若用户成功抓握ARAT标准物，判定其是否移动到达指定位置，若是，则本轮ARAT抓握项评分达到满分5分，并记录用户的本轮操作用时；若否，则根据ARAT标准物移动的距离从远到近依次给予本轮ARAT抓握项评分4到I分，并记录用户的本轮操作用时和移动距离；若用户在指定时间内仍未完成抓握，则本轮ARAT抓握项评分为O分，即不能完成该动作。
[0010]与现有技术相比，本发明具有如下突出的实质性特点和显著的优点:
本发明使用双目红外视觉模块实现对于用户手部运动的信息采集，用户不需要额外佩戴任何设备。本发明采用红外LED和CXD黑白图像传感器相配合采集手部运动图像，具有抗可见光干扰，识别稳定，运算速度高等优点；ARAT标准物的尺寸和形状均有规范的标准，当需要添加和更改测试物的尺寸和形状时，只需要维护更新ARAT标准物的库中数据即可，操作十分便捷。为了实现用户在抓握ARAT标准物时的准确高效跟踪，本发明还提出并设计了适合用户抓握不同尺寸的ARAT标准物时应用的不同手部位姿算法，实现手部抓握状态的准确跟踪。
【专利附图】
【附图说明】
[0011]图1是本发明装置结构的主视图。
[0012]图2是本发明装置结构的俯视图。
[0013]图3是双目红外视觉模块的主视图。
[0014]图4是双目红外视觉模块的俯视图。[0015]图5是ARAT标准物的示意图。
[0016]图6是本发明方法的流程图。
【具体实施方式】
[0017]以下结合附图对本发明实施例作进一步说明:
如图1和图2所示，一种基于双目红外视觉的手部运动跟踪装置，包括双目红外视觉模块1，玻璃面板3，计算机4，ARAT标准物5和用户操作组合台6 ;所述玻璃面板3通过固定块15固定在所述用户操作组合台6上，所述双目红外视觉模块I置于玻璃面板3的下方，通过视频USB传输线2与所述计算机4相连，所述双目红外视觉模块I照射的玻璃面板3上有棋盘格标识8，棋盘格标识8上方的空间为用户运动空间7，所述ARAT标准物5放置在玻璃面板3上棋盘格标识8的后方。
[0018]双目红外视觉模块I作为视觉输入设备，是实现手部运动跟踪的硬件基础，双目红外视觉模块I安装在玻璃面板3的下方，距离玻璃面板3的安装位置根据视觉捕捉范围确定，向上拍摄的范围覆盖整个用户运动空间7。双目红外视觉模块I透过厚度小于5mm的玻璃面板3捕捉到的用户在此平面上方的手部运动图像信息，并通过视频USB传输线2上传实时图像到计算机4，最后通过计算机4将得到的图像信息计算处理，实现用户抓握ARAT标准物5时手部运动状态的识别和跟踪。用户手部的活动空间限制在用户操作组合台6的玻璃面板3上方的用户运动空间7范围内，并根据玻璃面板3上的棋盘格标识8用户可以形象地观察到手部抓握的运动距离。
[0019]如图3和图4所示，所述双目红外视觉模块I包括第一 C⑶黑白图像传感器9、第
二C⑶黑白图像传感器10，第一红外LEDl1、第二红外LED12、第三红外LED13，电控板14 ;所述两个C⑶黑白图像传感器9、10和三组红外LED11、12、13间隔排列集成在电控板14上，并通过电控板14进行运行控制，所述两个CCD黑白图像传感器9、10把采集到的红外光信号转换成电信号并送入所述电控板14进行图像缓存处理，最后通过USB数据线2上传图像至所述计算机4。
[0020]两个C⑶黑白图像传感器9、10的位置相对固定并根据镜头的参数调整以满足视觉捕捉范围，三组红外LED11、12、13发射波长在800_1000nm的红外光，提供背光源照射目标物和背景，C⑶黑白图像传感器接收经由红外LED照射的图像。电控板14包括有单片机、USB host控制器、高速RAM和FLASH数据存储，单片机负责控制整个双目红外视觉模块I的图像信息采集，通过USB host控制器用来控制USB总线接口与2个CXD黑白图像传感器9、10进行命令以及图像数据的交换，同时高速RAM用于图像数据缓冲，而FLASH可以用来保存图像数据。
[0021]如图5所示,本实施例中采用的ARAT标准物包括边长为IOcm的立方体5_1、边长为7.5cm的立方体5-2、边长为5cm的立方体5_3、边长为2.5cm的立方体5_4，直径为7.5cm的球体5_5、直径为1.5 cm的球体5_6、直径为6mm的球体5-7,10cm*2.5 cm* I cm的长方体
5-8,长IOcm外直径为2.25cm的圆管5-9和长16cm直径为Icm的圆柱棒5-10。ARAT标准物5均采用透红外黑色亚克力板制成，从而使得红外光照射手部时不受ARAT标准物5的遮挡影响。
[0022]如图6所示，一种基于双目红外视觉的手部运动跟踪方法，包括如下步骤: 1)系统初始化:系统启动后，双目红外视觉模块I自动启动并进行初始化设置；根据所选定抓握ARAT标准物5的模块号，从系统的ARAT标准物5数据库中得到相应的标准物参数，包括该ARAT标准物5的内切圆和外接圆尺寸，并将ARAT标准物5放置在特定的位置，并对系统的抓握目标物参数进行初始化；
2)ARAT评估跟踪:用户先将手部放松放置于玻璃面板3的指定手部起始位置，然后听从指令开始移动手部去抓握特定位置上的ARAT标准物5 ;在用户的ARAT评估训练过程中，使用双目红外视觉模块I实时跟踪在玻璃面板3上的用户手部运动，并将采集到的双目黑白图像上传至计算机4 ;计算机4通过对双目红外视觉模块I采集到图像进行处理，利用双目视觉的视差原理对双目图像进行匹配计算，获取用户手部掌心的三维坐标和各个手指指尖的三维坐标；根据所选择的ARAT标准物5的尺寸参数，用户的手部运动动作分成抓握和捏握两种状态，并选择相应的手部抓握动作算法:在抓握较大体积的ARAT标准物时，手掌和五指整体张开，其手部位位姿的核心参数为手掌球的球心三维位置和大小，计算得到手掌球的参数并与ARAT标准物5的内切圆以及外接圆参数相比较；在捏握较小体积的ARAT标准物5时，其手部位位姿的核心参数为拇指与特定手指指尖的距离，计算得到指尖的参数并与ARAT标准物5的内切圆以及外接圆参数相比较；
3)评估数据分析:在本轮ARAT抓握训练结束后，若用户成功抓握ARAT标准物5，判定其是否移动到达指定位置，若是，则本轮ARAT抓握项评分达到满分5分，并记录用户的本轮操作用时；若否，则根据ARAT标准物5移动的距离从远到近依次给予本轮ARAT抓握项评分4到I分，并记录用户的本轮操作用时和移动距离；若用户在指定时间内仍未完成抓握，则本轮ARAT抓握项评分为O分，即不能完成该动作。
【权利要求】
1.一种基于双目红外视觉的手部运动跟踪装置，其特征在于，包括双目红外视觉模块(1)，玻璃面板(3)，计算机(4)，ARAT标准物(5)和用户操作组合台(6);所述玻璃面板(3)通过固定块(15)固定在所述用户操作组合台(6)上，所述双目红外视觉模块(I)置于玻璃面板(3)的下方，通过视频USB传输线(2)与所述计算机(4)相连，所述双目红外视觉模块(I)照射的玻璃面板(3)上有棋盘格标识(8)，棋盘格标识(8)上方的空间为用户运动空间(7 )，所述ARAT标准物(5 )放置在玻璃面板(3 )上棋盘格标识(8 )的后方。
2.根据权利要求1所述的基于双目红外视觉的手部运动跟踪装置，其特征在于，所述双目红外视觉模块(I)包括第一 CXD黑白图像传感器(9)、第二 CXD黑白图像传感器(10)，第一红外LED (11)、第二红外LED (12)、第三红外LED (13)，电控板(14);所述两个C⑶黑白图像传感器(9、10)和三组红外LED (11、12、13)间隔排列集成在电控板(14)上，并通过电控板(14)进行运行控制，所述两个CXD黑白图像传感器(9、10)把采集到的红外光信号转换成电信号并送入所述电控板(14)进行图像缓存处理，最后通过USB数据线(2)上传图像至所述计算机(4)。
3.根据权利要求1所述的基于双目红外视觉的手部运动跟踪装置，其特征在于，所述ARAT标准物(5)采用透红黑色外亚克力板制成。
4.一种基于双目红外视觉的手部运动跟踪方法，其特征在于，包括如下步骤: 1)系统初始化:系统启动后，双目红外视觉模块(I)自动启动并进行初始化设置；根据所选定抓握ARAT标准物(5)的模块号，从系统的ARAT标准物(5)数据库中得到相应的标准物参数，包括该ARAT标准物(5)的内切圆和外接圆尺寸，并将ARAT标准物(5)放置在特定的位置，并对系统的抓握目标物参数进行初始化； 2)ARAT评估跟踪:用户先将手部放松放置于玻璃面板(3)的指定手部起始位置，然后听从指令开始移动手部去抓握特定位置上的ARAT标准物(5);在用户的ARAT评估训练过程中，使用双目红外视觉模块(I)实时跟踪在玻璃面板(3)上的用户手部运动，并将采集到的双目黑白图像上传至计算机(4);计算机(4)通过对双目红外视觉模块(I)采集到图像进行处理，利用双目视觉的视差原理对双目图像进行匹配计算，获取用户手部掌心的三维坐标和各个手指指尖的三维坐标；根据所选择的ARAT标准物(5)的尺寸参数，用户的手部运动动作分成抓握和捏握两种状态，并选择相应的手部抓握动作算法:在抓握较大体积的ARAT标准物时，手掌和五指整体张开，其手部位位姿的核心参数为手掌球的球心三维位置和大小，计算得到手掌球的参数并与ARAT标准物(5)的内切圆以及外接圆参数相比较；在捏握较小体积的ARAT标准物(5)时，其手部位位姿的核心参数为拇指与特定手指指尖的距离，计算得到指尖的参数并与ARAT标准物(5)的内切圆以及外接圆参数相比较； 3)评估数据分析:在本轮ARAT抓握训练结束后，若用户成功抓握ARAT标准物(5)，判定其是否移动到达指定位置，若是，则本轮ARAT抓握项评分达到满分5分，并记录用户的本轮操作用时；若否，则根据ARAT标准物(5)移动的距离从远到近依次给予本轮ARAT抓握项评分4到I分，并记录用户的本轮操作用时和移动距离；若用户在指定时间内仍未完成抓握，则本轮ARAT抓握项评分为O分，即不能完成该动作。
【文档编号】G06F3/01GK103777754SQ201410012107
【公开日】2014年5月7日 申请日期:2014年1月10日 优先权日:2014年1月10日
【发明者】赵翠莲, 林燕姿, 范志坚, 王洪, 杨志高 申请人:上海大学