一种可用于超声图像显示的增强现实处理方法和系统与流程

本发明涉及增强现实技术和超声技术，具体为一种可用于超声图像显示的增强现实处理系统和方法。

背景技术：

目前医疗市场使用的超声系统中，呈现图像采用的都是医用显示屏，一般放置在超声台车的上方。病人躺在医生的一侧，医生由于职业训练的素养，在观察屏幕的时候看不到病人，医生需要根据检查项目来选测病人的体位，如平卧位，左侧卧位，右侧卧位，坐位或半卧位等。医生本人的位置是固定的，看屏幕的方向也是固定的，所以检查各种体位的病人时，经常需要作出侧身的体位去触及病人的检查部位。所以肩周炎和颈椎病成为了超声医生的一项职业病。

本发明提出一种可用于超声图像显示的增强现实处理系统，由一ar增强现实眼镜，一计算处理装置，以及固定在超声探头上的红外追踪标记构成。该系统可以将超声图像一直显示在医生眼前，或者跟随医生身体的转动将超声图像显示在医生身前的固定高度，或者在超声引导类的穿刺治疗中直接将超声图像融合显示在病人的患处。从而能够减少医生在操作超声的过程中长期肩周，颈椎紧张的情况，减少职业病的发生。

目前的ar显示技术配合的头动检测基本上是基于三种技术来实现，一种是imu姿态传感器，能够感受3个或6个轴上的加速度和角加速度。第二种是采用头盔上的三维视觉传感器，第三种是安装在房间空间中的图像传感器，捕捉增强现实眼镜上分布的标记点，从而可以计算使用者头部相对于房间固定位置的角度。本发明提出的头动检测并不关注头戴显示相对于实际物理空间的位置，而关注头部相对与身体的位置。实现将图形投影在使用者身体的特定方向，图像随着使用者运动。本发明涉及的另一个技术为检测超声探头相对于使用者头戴显示的位置，实现将图像投影在超声探头的相对位置上，由于超声回波图象相对于超声探头的位置是固定的，所以最终可以实现将超声图像投影在患处相应位置。

技术实现要素：

本发明的目的在于提供一种可用于超声图像显示的增强现实处理方法及系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种可用于超声图像显示的增强现实处理系统，其特征在于：包括增强现实眼镜和带视觉标记的超声探头，所述增强现实眼镜包括头戴显示模组(2)和主机(3)，所述增强现实眼镜上安装有一个以上的摄像头，所述主机为具有图像处理或接口转发能力的计算单元；所述带视觉标记的超声探头在探头机身位置分布有若干视觉标记，可以反射/发射可见光或红外光，所述增强现实眼镜和带视觉标记的超声探头，分别与超声主机电性连接或无线连接；

优选的，所述主机(3)通过有线或无线接口与第三方超声系统主机连接进行数据交互，所述头戴显示模组(2)与所述主机(3)之间有线电性连接，所述主机(3)悬挂在人体颈部，所述主机(3)中安装有第一套姿态传感器(6)，所述头戴显示模组(2)中安装有第二套姿态传感器(9)，姿态传感器包括三轴角加速度传感器或三轴地磁传感器；

还包括一种可用于超声图像显示的增强现实处理方法，采用模式一将图像输出给所述头戴显示模组(2)中左右眼两个屏幕的图像，使得使用者始终可以在头部绕身体转动的特定方向看到悬挂的虚拟屏幕内容，所述模式一具体为：

第一步，坐标系下，预设虚拟屏幕的(0，0)坐标位于相对于人体前方d距离(θ，φ)方向处；

第二步，采用所述第一套姿态传感器读出的相对地磁场角度用所述第二套姿态传感器读出的相对地磁场角度

第三步，在所述第三方系统主机中计算得出两个相对地磁场角度的偏差，得出使用者头部相对于身体旋转的角度

第四步，所述第三方系统主机以角度输出给所述头戴显示模组(2)，原视频内容在人体前方半径为d的球体上以偏移角度输出后，仍然处于所述头戴显示模组(2)的虚拟屏幕视场角内；

还包括一种可用于超声图像显示的增强现实处理方法，采用模式二将图像输出给所述头戴显示模组(2)中左右眼两个屏幕的图像，使得使用者可以在相对于所述带视觉标记的超声探头固定的空间位置看到虚拟的视频内容，所述模式二具体为：

第一步，所述增强现实眼镜上的一个摄像头或多个摄像头，采用结构光方法或者视差法定位所述带视觉标记的超声探头，根据所述视觉标记，计算出超声探头相对于所述增强现实眼镜的三维空间位置(x,y,z)和超声探头指向方向角度(θ',φ')；

第二步，假设需要将图像呈现在探头前方l(l≥0)的距离上，则虚拟屏幕的(0,0)坐标相对于增强现实眼镜位于(x+lsinθ'cosφ',y+lsinθ'sinφ',z+lcosθ')位置；

第三步，所述第三方系统主机根据当前摄像头读出的(x,y,z)坐标和(θ',φ')，将视频内容输出至(x+lsinθ'cosφ',y+lsinθ'sinφ',z+lcosθ')位置；

优选的，所述视觉标记构成一个非旋转对称的图案，图案中至少有一个三维指向；

优选的，所述增强现实眼镜上设有wifi通讯模块或蜂窝移动通讯模块。

另外，还包括一种超声诊断/检测系统，超声检测设备及设备的外设通过有线或者无线的方式连接所述的一种可用于超声图像显示的增强现实处理系统，作为所述超声诊断/检测系统的显示设备之一。

优选的，所述主机(3)通过脖圈(4)悬挂在人体颈部，所述脖圈(4)包括安装板、第一弹性板和第二弹性板，所述主机固定在安装板的一侧，所述第一弹性板和第二弹性板对称固定在安装板远离主机的一侧，所述第一弹性板和第二弹性板均为圆弧状，且第一弹性板和第二弹性板远离安装板一端的间距为5厘米，所述第一弹性板、第二弹性板和安装板三者围成穿戴区。

优选的，所述第一弹性板和第二弹性板远离安装板的一端固定有调节机构，所述调节机构包括调节带、松紧带、转向装置和限位装置，所述松紧带的两端分别与第一弹性板和第二弹性板的内侧固定，所述转向装置和限位装置分别与第一弹性板和第二弹性板远离安装板的一端固定，所述调节带为柔性带，所述调节带的一端与第二弹性板远离安装板一端的端口处固定，另一端穿过转向装置与限位装置的限位端固定。

优选的，所述转向装置包括支撑块和转向辊，所述支撑块固定在第一弹性板远离安装板一端的外侧，所述支撑块远离第一弹性板的一侧设有装置槽，所述转向辊的两端分别与装置槽的两侧壁转动连接，所述调节带远离第二弹性板的一端穿过转向辊与装置槽底部的间隙，并绕过转向辊与限位装置的限位端固定。

优选的，所述限位装置包括安装块、挡板、限位块、限位板、限位弹簧、限位杆和凸块，所述安装块固定在第二弹性板远离安装板的一端，所述安装块上设有通槽，所述通槽内侧对称固定两个挡板，所述调节带绕过转向辊的一端穿插在挡板与通槽靠近第二弹性板一侧的间隙内，所述调节带的外侧等距设有多个限位槽，所述限位槽为直角三棱锥结构，所述限位块的一端为与限位槽相配合的锥形结构，且限位块为锥形结构的一端插接在限位槽内，另一端与限位板固定，所述限位板与限位弹簧的一端固定，所述限位弹簧的另一端与通槽远离第二弹性板的一侧固定，所述限位杆的一端套接在限位弹簧的内侧，且与限位板固定，所述限位杆远离限位板的一端穿过安装块与凸块固定，所述限位杆与安装块滑动连接。

优选的，所述第一弹性板和第二弹性板的内侧固定有防护件，所述防护件包括防护带和支撑件，所述防护带的一端与第二弹性板固定，另一端通过支撑件搭接在第一弹性板的内侧。

优选的，所述支撑件包括u型架，所述u型架的两端均与第一弹性板的内侧固定，所述防护带远离第二弹性板的一端插接在u型架与第一弹性板之间的间隙内。

与现有技术相比，本发明的有益效果是：

本发明采用差分角加速度或者差分地磁传感器两种方案，来实现使用者运动过程中视野的跟踪，使得使用者可以始终在头摆动的固定角度，看到固定的显示内容。或者将超声图像投影在前方，后方，上方，或者病人患处等超声探头的相对位置上。

附图说明

图1为本发明整体结构示意图

图2为本发明脖圈结构示意图；

图3为本发明限位机构结构示意图；

图4为图2中a区域放大图；

图5为图2中b区域放大图；

图6为图3中c区域放大图；

图7为本发明系统结构框图；

图8为非旋转情况下姿态角度示意图；

图9为采用模式一的示意图；

图10为采用模式二的示意图；

图中：1-计算处理装置；2-显示模组；3-主机；4-脖圈；5-处理器；6-第一套姿态传感器；7-电池；8-近眼显示模组；9-第二套姿态传感器；10-安装板；11-第一弹性板；12-第二弹性板；13-穿戴区；14-调节机构；15-调节带；16-松紧带；17-转向装置；18-限位装置；19-支撑块；20-转向辊；21-装置槽；22-安装块；23-挡板；24-限位块；25-限位板；26-限位弹簧；27-限位杆；28-凸块；29-通槽；30-限位槽；31-防护件；32-防护带；33-支撑件；34-u型架。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-10，本发明提供一种技术方案：

一种可用于超声图像显示的增强现实处理系统，其特征在于：包括增强现实眼镜和带视觉标记的超声探头，所述增强现实眼镜包括头戴显示模组(2)和主机(3)，所述增强现实眼镜上安装有一个以上的摄像头，所述带视觉标记的超声探头在探头机身位置分布有若干视觉标记，可以反射/发射可见光或红外光，所述增强现实眼镜和带视觉标记的超声探头，分别与超声主机电性连接或无线连接，或者探头本身就是便携式主机从而所述增强现实眼镜和超声探头电性连接或无线连接。

所述增强现实眼镜可以拆分成两个结构，头戴显示模组2和主机3，所述主机3通过有线或无线接口与第三方系统主机连接进行数据交互，所述头戴显示模组2与主机3之间有线电性连接，所述主机3悬挂在人体颈部，所述主机3中安装有第一套姿态传感器，所述头戴显示模组2中安装有第二套姿态传感器9，姿态传感器包括有三轴角加速度传感器或三轴地磁传感器，姿态传感器至少有3个互相正交的角加速度传感器，地磁场传感器至少包含三个互相正交的地磁场传感器。

优选的，所述头戴显示模组2包括第二套姿态传感器9、近眼显示模组和配套的驱动电路，并安装有一对摄像头，所述第二套姿态传感器9包括三轴角加速度或者三轴地磁场传感器。

还包括一种可用于超声图像显示的增强现实处理方法，采用模式一将图像输出给所述头戴显示模组2中左右眼两个屏幕的图像，使得使用者始终可以在头部绕身体转动的特定方向看到悬挂的虚拟屏幕内容，所述模式一具体为：

第一步，坐标系下，预设虚拟屏幕的(0，0)坐标位于相对于人体前方d距离(θ，φ)方向处；

第二步，采用所述第一套姿态传感器读出的相对地磁场角度用所述第二套姿态传感器读出的相对地磁场角度

第三步，在所述第三方系统主机中计算得出两个相对地磁场角度的偏差，得出使用者头部相对于身体旋转的角度

第四步，所述第三方系统主机以角度输出给所述头戴显示模组2，原视频内容在人体前方半径为d的球体上以偏移角度输出后，仍然处于所述头戴显示模组2的虚拟屏幕视场角内；

还包括一种可用于超声图像显示的增强现实处理方法，采用模式二将图像输出给所述头戴显示模组2中左右眼两个屏幕的图像，使得使用者可以在相对于所述带视觉标记的超声探头固定的空间位置看到虚拟的视频内容，所述模式二具体为：

第一步，所述增强现实眼镜上的一个摄像头或多个摄像头，采用结构光方法或者视差法定位所述带视觉标记的超声探头，根据所述视觉标记，计算出超声探头相对于所述增强现实眼镜的三维空间位置(x,y,z)和超声探头指向方向角度(θ',φ')；

第二步，假设需要将图像呈现在探头前方l(l≥0)的距离上，则虚拟屏幕的(0,0)坐标相对于增强现实眼镜位于(x+lsinθ'cosφ',y+lsinθ'sinφ',z+lcosθ')位置；

第三步，所述第三方系统主机根据当前摄像头读出的(x,y,z)坐标和(θ',φ')，将视频内容输出至(x+lsinθ'cosφ',y+lsinθ'sinφ',z+lcosθ')位置；

优选的，所述视觉标记构成一个非旋转对称的图案，图案中至少有一个三维指向；

优选的，采用圆形标记外面配备一个特殊的三角形标记，产生整个图形的一个特殊方向。

优选的，所述增强现实眼镜上设有wifi通讯模块或蜂窝移动通讯模块。

另外，还包括一种超声诊断/检测系统，超声检测设备及设备的外设通过有线或者无线的方式连接所述的一种可用于超声图像显示的增强现实处理系统，作为所述超声诊断/检测系统的显示设备之一。

所述主机3通过脖圈4悬挂在人体颈部，所述脖圈4包括安装板10、第一弹性板11和第二弹性板12，所述主机3固定在安装板10的一侧，所述第一弹性板11和第二弹性板12对称固定在安装板10远离主机3的一侧，所述第一弹性板11和第二弹性板12均为圆弧状，且第一弹性板11和第二弹性板12远离安装板10一端的间距为5厘米，所述第一弹性板11、第二弹性板12和安装板10三者围成穿戴区13，穿戴时，使用者可分别对第一弹性板11和第二弹性板12施加应力，使第一弹性板11和第二弹性板12远离安装板10一端的间距变大，使用者颈部进入穿戴区13内，即可实现对主机3的穿戴。

所述第一弹性板11和第二弹性板12远离安装板10的一端固定有调节机构14，通过调节机构14可调节穿戴区13的大小，使脖圈4适用于不同体形的使用者，防止使用者走动时第一弹性板11和第二弹性板12在人体颈部窜动。

所述调节机构14包括调节带15、松紧带16、转向装置17和限位装置18，所述松紧带16的两端分别与第一弹性板11和第二弹性板12的内侧固定，所述转向装置17和限位装置18分别与第一弹性板11和第二弹性板12远离安装板10的一端固定，所述调节带15为柔性带，所述调节带15的一端与第二弹性板12远离安装板10一端的端口处固定，另一端穿过转向装置17与限位装置18的限位端固定，松紧带16的长度可根据使用者的体形进行变化，通过控制调节带15的长度，可实现对第一弹性板11和第二弹性板12远离安装板10一端的间距的调节，从而实现对穿戴区13大小的调节。

所述转向装置17包括支撑块19和转向辊20，所述支撑块19固定在第一弹性板11远离安装板10一端的外侧，所述支撑块19远离第一弹性板11的一侧设有装置槽21，所述转向辊20的两端分别与装置槽21的两侧壁转动连接，所述调节带15远离第二弹性板12的一端穿过转向辊20与装置槽21底部的间隙，并绕过转向辊20与限位装置18的限位端固定，转向装置17改变了调节带15的方向，便于对调节带15进行固定。

所述限位装置18包括安装块22、挡板23、限位块24、限位板25、限位弹簧26、限位杆27和凸块28，所述安装块22固定在第二弹性板12远离安装板10的一端，所述安装块22上设有通槽29，所述通槽29内侧对称固定两个挡板23，所述调节带15绕过转向辊20的一端穿插在挡板23与通槽29靠近第二弹性板12一侧的间隙内，所述调节带15的外侧等距设有多个限位槽30，所述限位槽30为直角三棱锥结构，所述限位块24的一端为与限位槽30相配合的锥形结构，且限位块24为锥形结构的一端插接在限位槽30内，另一端与限位板25固定，所述限位板25与限位弹簧26的一端固定，所述限位弹簧26的另一端与通槽29远离第二弹性板12的一侧固定，所述限位杆27的一端套接在限位弹簧26的内侧，且与限位板25固定，所述限位杆27远离限位板25的一端穿过安装块22与凸块28固定，所述限位杆27与安装块22滑动连接；在减小穿戴区13的大小时，对调节带15的一端施加拉力，限位块24在当前限位槽30内滑出，并与调节带15上不同位置的限位槽30卡接，即可实现穿戴区13的缩小；在增大穿戴区13的大小时，通过对凸块28施加拉力，使限位块24脱离限位槽30，再移动调节带15的位置，增大第一弹性板11和第二弹性板12远离安装板10一端的间距，调节带15的位置确定后，取消对凸块28的拉力，限位块24重新卡接在限位槽30内，即可实现穿戴区13的放大。

所述第一弹性板11和第二弹性板12的内侧固定有防护件31，所述防护件31包括防护带32和支撑件33，所述防护带32的一端与第二弹性板12固定，另一端通过支撑件33搭接在第一弹性板11的内侧，通过防护带32可对第一弹性板11和第二弹性板12远离安装板10一端的间隙起到隔离作用，防止其对人体颈部造成磨损。

所述支撑件33包括u型架34，所述u型架34的两端均与第一弹性板11的内侧固定，所述防护带32远离第二弹性板12的一端插接在u型架34与第一弹性板11之间的间隙内，u型架34对防护带32起到支撑作用，使防护带32的位置分别与第一弹性板11和第二弹性板12保持一致。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。