基于增强现实的针灸穴位可视化平台及其图像处理方法与流程

本发明涉及图像处理领域，具体指一种基于增强现实的针灸穴位可视化平台及其图像处理方法。

技术背景

中医针灸是中华民族医学的瑰宝，其独有的疏通经络、调和阴阳的疗效近年来受到越来越多的国内外一些医学工作者的关注与青睐。随着中医的国际化发展进程，以古典经络学为核心的针灸技术在世界各国掀起热潮，学习针灸手法的需求也日益增大。现有的针灸教学方法通常采用图示、临床、人体经络腧穴模型或学生在自己身体上操作、训练相结合的方式，因此存在针灸手法不直观、教学效果不明显，学生学习危险性大等缺点。因此，建立一个针灸穴位可视化研究平台迫在眉睫。经过调研和分析，利用增强现实技术可以很好地将针灸手法与人体穴位信息进行可视化。

增强现实(augmentedreality，ar)是在虚拟现实(virtualreality，vr)的基础上发展起来的新技术，又叫做混合现实。20世纪80年代初，美国vpl公司提出了在计算机上创建完整的、身临其境的可交互3d环境，来为用户提供沉浸感，这种技术就是虚拟现实技术。但是虚拟现实只是将用户沉浸在计算机创造的虚拟环境(virtualenvironment，ve)中，与真实的世界相隔离，从而使用户失去了与真实世界的交互的机会。因此，为了克服这种问题，便在虚拟现实的基础上发展了增强现实技术。增强现实是利用虚拟化技术观察世界的一种方式，是利用计算机视觉等技术，通过实时媒体向真实环境中尽可能无缝的添加由计算机生成的并不存在的虚拟物体，从而达到增强或补充用户所看到的真实的世界的目的。通过与虚拟影像进行互动，用户可以完成更复杂的工作。增强现实在医学领域的应用前景非常广泛，可应用于辅助诊断，医疗教育及训练等诸多方向。但尚未见到在中医针灸可视化方面的应用。

近年来，现场可编程门阵列(fieldprogrammablegatearray,fpga)技术逐渐在生物医学领域得到广泛的应用。在硬件的实现方法中，相较于大规模模拟集成电路灵活性差等缺点，fpga具有计算速度快，体积小，并行运算的特点，因此广泛应用于仿生学、智能平台、图像处理等方面。

现有的技术还处于初级阶段，因此仍存在以下缺点：尚无基于增强现实的功能完善的针灸穴位可视化平台；运用摄像机标定，坐标系变换的传统虚实注册方法兼有精度不高，鲁棒性低的缺点，且人机界面尚未完善。摄像机标定的工作也复杂烦琐，其内部参数与镜头焦距一旦变化，就需要重新对摄像机进行标定。从目前的技术水平出发，由于平台本身所具有的不精确性和延迟特性，基于摄像机标定和世界坐标系、摄像机坐标系、图像坐标系变换的方法并不能很好地解决ar应用的虚实注册问题。

技术实现要素：

针对上述技术中存在的不足，本发明的目的是提供一种基于增强现实的针灸穴位可视化平台及其图像处理方法，利用fpga图像预处理能力和上位机特征提取与仿射变换算法，实现虚拟穴位信息在双目摄像机获取的图像上的准确注册；有力解决了针灸穴位定位与针灸手法不直观、教学效果不明显的问题，提高了平台与用户的交互性、动态性与直观性，使得虚实注册问题的解决不再依赖于相机内外部参数的定标，简化了虚拟穴位信息的注册。

为实现上述目的，本发明采用的技术方案是提供一种基于增强现实的针灸穴位可视化平台，其中：针灸穴位可视化平台，其特征是：该平台包括有双目摄像头、fpga开发板和上位机；双目摄像机通过gpio接口与fpga开发板相连接，fpga开发板通过usb接口与上位机相连接；fpga开发板包括有图像采集控制模块和图像预处理模块，图像采集控制模块和图像预处理模块皆采用veriloghdl语言进行编写，并编译下载到fpga开发板的fpga芯片中；针灸穴位信息根据性别存储于上位机中，用于穴位可视化平台开发的数据库。

所述图像采集控制模块由veriloghdl语言编程实现，经usb接口与fpga开发板上的fpga芯片建立数据通信，并编译下载到fpga开发板中；图像采集控制模块通过i2c总线对功能寄存器进行设置，以实现双目摄像头的图像分辨率、帧频和像质参数的设置。

所述双目摄像机中的色彩图像传感器件与mipi解码器相连接，将色彩图像传感器件采集的图像数据输出给mipi解码器；mipi解码器可以将色彩图像传感器件输入的数据并行输出，为后续的图像预处理做准备。

本发明的效果是该可视化平台实现了人体穴位在摄像机拍摄人体图像上的注册，兼具可视化的人机界面，提高了平台与用户的交互性、动态性与直观性。同时，该实验平台为中医的临床与教学提供了一种直观的、利于全面观察和综合分析的有力工具。本平台提出了将增强现实技术用于中医人体穴位的可视化结构具有以下优势：1、所述的穴位信息注册模块通过全局仿射变换实现穴位信息的注册，将增强现实的静态注册误差控制在最小范围内，满足医疗器械的精度要求；2、本平台中上位机软件界面可以实时的观察摄像机模块拍摄的图像与处理效果，为中医针灸的量化研究提供了更好的可视化实验研究平台。

附图说明

图1为本发明的fpga硬件与上位机实验平台结构示意图；

图2为摄像机图像采集控制模块硬件结构示意图；

图3为特征提取与匹配模块流程图；

图4为穴位信息注册模块流程图。

图中：

1.双目摄像机2.fpga开发板3.图像采集控制模块4.图像预处理模块

5.双目人体图像采集控制处理模块6.采集图像一7.采集图像二

8.特征提取与匹配模块9.穴位信息注册模块10.上位机输出显示器

11.mipi摄像机模块ov8865色彩图像传感器12.mipi解码器

13.2x20针gpio连接器

具体实施方式

结合附图对本发明的基于增强现实的针灸穴位可视化研究平台及其图像处理方法加以说明。

本发明的基于增强现实的针灸穴位可视化研究平台及其图像处理方法的设计思想是首先在fpga开发板上建立图像采集控制模块，以实现对双目摄像机的控制。并对摄像机捕捉的真实人体图像进行图像预处理。然后基于双目视觉成像原理，利用上位机编辑算法恢复二维图像的三维数据信息，并利用已存储在计算机中的标准人体腧穴模型数据进行仿射变换，从而将穴位注册到真实的人体图像上，得到与真实人体相匹配的穴位信息。

本发明的基于增强现实的针灸穴位可视化平台包括有互相连接的fpga开发板和上位机。图像采集控制模块与预处理模块采用veriloghdl语言编写，并下载到fpga芯片中，上位机负责穴位信息在图像上的准确注册并与fpga开发板进行通讯。

所述图像采集控制模块，其中摄像头输出的图像格式为bayer型，可通过gpio接口接入fpga开发板。开发板需要装备有800万像素的mipi摄像机模块ov8865色彩图像传感器，其800万像素中，应有至少7990272(3264x2448)像素可用于输出。摄像机功能存储器参数由i2c总线进行控制。摄像机的mipi摄像机模块上应具备vcm(voicecoilmotor，vcm)驱动芯片，以用于摄像头焦距的调节。为了将mipi摄像机模块直接接入开发板，图像采集控制模块还需要具备mipi解码器，将mipi接口输入的图像数据转换为并行输出的图像数据。mipi解码器可接受fpga输入的参考时钟，并输出25mhz的时钟对摄像头进行控制；

所述预处理模块涉及到的算法由veriloghdl语言编程实现，编译下载到fpga芯片中。预处理模块包括图像格式转换与灰度化处理。其中，图像格式变换采用2x2邻域像素复制插值法，即根据bayer图像格式的色彩滤波阵列的特点将图像分为2x2的基本单元，利用2x2基本单元中的r、g、b颜色分量对缺失的颜色分量进行补充。灰度化处理采用加权平均值法，通过改变r、g、b三种色彩权值来形成不同效果的灰度图像；

所述上位机通过usb接口与fpga开发板相连接实现数据通信，上位机图像处理算法由matlab进行编写，其包含两部分：特征提取与匹配模块和穴位信息注册模块。特征提取与匹配模块由surf算子实现。通过预设极值实现对特征点个数的控制，所有小于预设极值的取值都被丢弃，增加极值使检测到的特征点数量减少，最终只有几个特征最强点会被检测出来。通过匹配两幅图像中的surf特征点，计算基础矩阵f来求得极线表达式，并按照极线约束条件对匹配的特征点进行筛选。穴位信息注册模块由仿射变换实现。应用空间仿射变换理论，通过将真实场景，摄像机和虚拟物体定义在同一个坐标系下，从而绕开不同坐标系之间转换关系的求解问题，使得虚实注册的问题不再依赖于相机内外参数的标定。利用上一步提取并匹配的两幅图像中的任意4个特征点作为仿射坐标系的原点和三个坐标轴上的一点在双目摄像机图像坐标系下的投影，再结合已存储在计算机中的标准人体腧穴数据库进行仿射变换，从而将相关穴位注册到真实的人体上，得到与真实人体相匹配的穴位信息。

本发明的基于增强现实的针灸穴位可视化平台功能是这样实现的：

首先需采集人体穴位空间位置数据。在实现形式上，可在同一空间的同一世界坐标系下对多人群的主要穴位和左肩峰、右肩峰、髂前上棘、左眼、右眼的6个特征点相对于人工设定的世界坐标系原点进行空间位置的采集，从而构成人体腧穴模型数据，并将该针灸穴位信息根据性别存储于计算机中，用于基于增强现实的针位可视化研究平台开发数据库。

其次，利用双目摄像机对待注册人体进行拍摄。摄像机拍摄时需拾取待注册人体的全身信息，即获取待注册人的全身照。对摄像机拍摄的全身照手动进行6个特征点的提取，即左肩峰、右肩峰、髂前上棘、左眼、右眼在当前图像坐标系下的坐标。最后通过上位机的注册算法进行穴位的注册，实现针灸穴位可视化平台。

如图1所示，利用fpga开发板2中的图像采集控制模块3，通过i2c总线对图像传感器11和mipi解码器12进行控制，以实现双目摄像机1的拍摄工作。拍摄的图像在fpga开发板2中进行图像预处理模块4。摄像机与fpga开发板共同组成双目人体图像采集控制处理模块5。拍摄的两幅图像6和7在上位机中经过特征提取与匹配模块8和穴位信息注册模块9，实现穴位的注册，最后通过显示器10输出注册结果。

如图2所示，对硬件实验平台进行设置，采用低功耗cycloneivep4ce115f29c7n型号fpga芯片，基于quartusii11.0开发平台，利用veriloghdl语言编写图像采集控制模块3，对i2c总线进行控制，以实现对mipi摄像机色彩图像传感器11与mipi解码器12的控制。利用mipi解码器12，将图像数据进行10bit的并行输出，并通过gpio接口13与fpga开发板2相连接。

如图3所示，利用matlab软件对上位机特征提取与特征匹配模块8进行编程。首先利用surf算子对输入图像组进行特征提取与特征匹配。并获得两图像坐标系间的基础矩阵f。其次，根据极线几何原理m'^tfm＝0(m及m'分别表示两幅图像中因为外极线而对应的两个匹配点；f为基础矩阵)，两幅图像对应的点位于一条直线上，即外极线约束，对已匹配的特征点进行筛选，最终获得符合外极线约束的匹配成功的特征点组

如图4所示，利用matlab软件对上位机穴位信息注册模块9进行编程。首先从特征提取与匹配模块8输出的匹配成功点组中选择4个最强的特征点作为世界坐标系在两幅图像坐标系下的投影。定义了原点和3个坐标轴后，全局仿射坐标系就可以被确定，这时增强现实场景中虚实物体上的每一点都有各自固定的仿射坐标表示。其次，通过获得人工设定的特征点，即双眼，肩宽，腰宽在当前坐标系与全局仿射坐标系之间的变换矩阵。最后，结合变换矩阵与人体腧穴模型数据，实现穴位信息的注册。