高速视频眼震仪系统的制作方法

本发明涉及眼震仪领域，特别涉及一种高速视频眼震仪系统。
背景技术：
良性阵发性位置性眩晕(benignpositionalparoxysmalvertigo，bppv)是头部运动到某一特定位置时诱发的短暂眩晕，是一种具有自限性的周围性前庭疾病，bppv可发生于任一侧的任一半规管，亦可同时发生于双侧、二个以上的半规管。bppv的常用诊断方法为hallpike变位性眼震试验，诊断的关键在于根据变位试验所诱发的具有典型特征的眼震来进行定侧、定位。常见的眼震观察记录方法主要分为三种：肉眼观察法、眼震电图法和视频眼震图法，其中肉眼观察法为直接观察眼震，存在主观性强、误差大、微弱眼震不易观察等问题；眼震电图法利用电子仪器记录角膜和视网膜之间的电位改变来记录眼震，眼球后部和视网膜带负电，而眼球前部及角膜带正电，因此眼球运动就产生电位改变，在眼球周围贴上电极，眼动时引起的电位变化就会被记录出来，眼震电图是眼震的客观记录，较肉眼观察更为准确，但是眼震电图法需要在患者角膜贴上生物电极，易使患者眼球感觉不适，并会受到电极安放位置的生理电位影响，导致检测误差；视频眼震法利用红外技术记录眼震，因其不需与患者眼球接触，不会造成患者不适，并消除了电极易受干扰的缺点，近些年来已经广泛的运用到了实际临床中。现有的视频眼震记录仪多为有线传输，其空间旋转性较差，由于在诱发眼震时需要进行变位性实验，在治疗时也需要使用特殊的手法进行复位，使用有线不利于诊断与治疗；现有的无线眼震记录仪采集分辨率或者帧率较低，导致系统的精确度不足，对微弱眼震的记录存在缺失。本发明设计出了一整套无线视频眼震系统，实现了高速眼震的记录与识别。技术实现要素：本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种高速视频眼震仪系统。为解决上述技术问题，本发明采用的技术方案是：一种高速视频眼震仪系统，包括：眼震记录仪、pc端及用于建立所述眼震记录仪和pc端之间通讯连接的无线传输模块；所述眼震记录仪包括眼罩、设置于所述眼罩内的视频采集组件及设置于所述眼罩内的核心控制模块；所述pc端内嵌有视频解码模块、瞳孔追踪模块和诊断模块。优选的是，所述无线传输模块为使用5ghz频段的wifi模块；所述核心控制模块内设置有视频采集模块、图像预处理模块、编码模块和通信控制模块。优选的是，所述视频采集组件包括红外光源、用于将所述红外光源发射的红外光反射至眼睛的二向色镜及用于接收眼睛通过二向色镜反射回来的红外光的摄像头；所述摄像头与红外光源连接为一体，与所述二向色镜分别处于眼睛的两侧；所述红外光源的入射光线与二向色镜之间的夹角及眼睛的反射光线与二向色镜之间的夹角均为45°。优选的是，所述视频采集模块将采集的眼部视频图像先经过图像预处理以消除杂光的影响然后传输至编码模块，经编码处理后通过无线传输模块传输至pc端内的视频解码模块，再通过所述瞳孔追踪模块提取瞳孔中心坐标数据，最后通过所述诊断模块根据提取的瞳孔中心坐标数据进行眼震类型诊断。优选的是，所述核心控制板的图像预处理模块采用灰度世界算法对采集的图像进行预处理，该方法包括以下步骤：a)选择校准图像；b)计算标准光源下的校准图像的rgb通道值及待处理图像的rgb通道值；c)计算校准图像与待处理图像的各通道的归一化率；d)对待处理的图像进行光源变换处理，消除杂光影响。优选的是，所述步骤a)中，选取暗室环境下只有红外光源时拍摄眼部照片作为校准图像，记为fc；所述步骤b)具体包括：在rgb空间中，校准图像的rgb三个通道的均值为三个grey定值，记为待处理图像记为fu，待处理图像的rgb三个通道的均值记为优选的是，所述步骤c)具体包括：计算校准图像与待处理图像对应的各通道的归一化率σi，i＝r，g，b；所述步骤d)具体包括：根据光源变换理论，未知光源下的待处理图像与红外光源下的校准图像的图像颜色转换的表达式记为:利用上述转换公式对待处理图像进行光源变换处理，消除杂光影响，得到处理后的图像。优选的是，所述瞳孔追踪模块提取瞳孔中心坐标数据的方法包括以下步骤：1)感兴趣区域提取；2)提取光斑坐标；3)进行形态学处理；4)进行高斯滤波处理，消除高斯噪声；5)进行二值化处理：通过阈值分割，将可能是瞳孔的黑色区域与背景分割开；6)寻找最大连通区域：对二值化处理后的图像寻找最大连通区域并获取其面积，并将其确定为瞳孔区域。7)边缘检测：对最大连通区域的部分进行边缘检测，找到瞳孔边缘点坐标的集合；8)初步计算瞳孔中心坐标：利用获取到的边缘点的坐标通过质心法初步计算瞳孔中心坐标；9)进行相对偏移校准：通过两帧图像中间光斑的相对位移进行偏移校准；10)进行瞳孔中心校准，获得校准后的瞳孔中心坐标。优选的是，所述步骤1)具体包括：预先进行样本数据训练，提取瞳孔区域的特征，通过提取到的特征对经所述图像预处理模块处理后的图像进行感兴趣区域提取，从灰度图中获取到瞳孔的初始位置。优选的是，所述步骤10)具体包括：通过瞳孔定位数据先确定一个完整瞳孔的面积以及半径数据，再通过最大连通区域与完整瞳孔的面积比以及半径，确定瞳孔中心的偏移，最终进行瞳孔中心的校准，获得校准后的瞳孔中心坐标。本发明的有益效果是：本发明的高速视频眼震仪系统，通过眼震记录仪获取眼震视频信息，再通过5g频段无线传输模块传输到pc端，进行视频解压与分析等操作，能完成bppv诊疗中眼震信息的记录与识别功能，为疾病的诊疗奠定基础。本发明通过5ghzwifi模块的使用，保证了视频的高速传输，提高了眼震记录仪的抗干扰能力，高清高帧率眼震视频的获取，提高了系统的精确度。本发明的视频眼震记录仪系统，系统稳定精确度高，能够有效的获取眼震的运动轨迹，为bppv的诊疗提供了信息支持。附图说明图1为本发明的高速视频眼震仪系统的原理框图；图2为本发明的一种实施例中的眼罩的结构示意图；图3为本发明的视频采集组件的原理结构示意图；图4为本发明的一种实施例中的灰度世界算法的流程图；图5为本发明的一种实施例中的提取瞳孔中心坐标数据的方法的流程图；图6为本发明的一种实施例中的图像预处理后的眼部图片；图7为本发明的一种实施例中的图像预处理前的眼部图片。附图标记说明：1—眼罩；10—红外光源；11—摄像头；12—二向色镜；13—眼睛。具体实施方式下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。如图1-3所示，本实施例的一种高速视频眼震仪系统，包括：眼震记录仪、pc端及用于建立所述眼震记录仪和pc端之间通讯连接的无线传输模块；所述眼震记录仪包括眼罩、设置于所述眼罩内的视频采集组件及设置于所述眼罩内的核心控制模块；所述pc端内嵌有视频解码模块、瞳孔追踪模块和诊断模块。所述无线传输模块为使用5ghz频段的wifi模块；所述核心控制模块内设置有视频采集模块、图像预处理模块、编码模块和通信控制模块。在一种实施例中，核心控制模块以arm微处理器为控制核心，包括一个image子系统和一个video子系统，并引出了常用的如usb、uart等接口。核心控制板为cortex-a7系列处理器，其特点是在保证性能的基础上提供了出色的低功耗表现,工作频率可达600mhz，在cortex-a7内核上运行linux操作系统，完成系统的控制功能；image子系统主要包括isp(imagesignalprocessing)与vpss(videoprocesssub-system)两部分，isp主要包括差异化摄像头11sensor的适配、前端图像传感器输出信号的处理等功能，vpss主要包括对输入图像进行预处理和对各通道分别进行缩放、锐化处理等功能；video子系统主要功能为视频编码，其支持多路实时编码，且每路编码独立，编码方式支持h264、h265、mjpeg、jpeg等；核心控制板上接口丰富，其中usb接口用于和wifi芯片连接，uart用于与pc端连接方便开发调试，还引出了其他常用接口，易于以后扩展升级。其中，无线传输模块为使用5ghz频段的wifi模块。在一种实施例中，无线传输模块具体为采用rtl8821au无线模块，使用usb接口，无需单独设计电路就能与核心控制板连接，易于开发。该模块采用新一代无线局域网ieee802.11.ac标准，相较上一代802.11.n标准wifi，具有以下几方面优势：1)5ghz频段的使用，提高了传输速度，避免了与蓝牙、2.4gwifi、微波等抢信道，同时802.11ac每个信道的工作频率由802.11n的40mhz提升到80mhz，带宽增大可以加倍提升phy速率。2)支持8*8mimo技术，为了提高数据传输速率，mimo天线技术被引入了无线通信标准中。在引入这项技术之前，业界将香农·哈特利定理作为通信通道理论数据吞吐能力的计算模型：容量＝带宽*log2(1+snr)。根据该定理，通过提高通道带宽或信噪比可以提高特定信道的数据传输速率。不过引入具有多个空间流的mimo天线技术之后，业界就放弃了香农·哈特利定理。在2*2mimo系统中，在同一物理通道中使用两个独立的空间流，能够有效地使数据传输速率达到传统的单输入单输出系统数据传输速率的两倍。相应地，4*4mimo通道可以实现4倍的数据传输速率，8*8mimo通道则可以实现8倍的数据传输速率。3)全面导入波束形成技术，802.11ac还有一个亮点就是全面导入波束形成技术，避免在发射器与接收端装置之间，使用无效的传输路径，实现更好的传输效率。其实，波束形成在802.11n产品上可以实现，但现有产品并未能加以充分利用，也因此802.11ac标准特别将波束形成纳为标准功能，且所有导入此技术的产品都要能互通运行。3.根据权利要求2所述的高速视频眼震仪系统，其特征在于，所述视频采集组件包括红外光源、用于将所述红外光源发射的红外光反射至眼睛的二向色镜及用于接收眼睛通过二向色镜反射回来的红外光的摄像头；所述摄像头与红外光源连接为一体，与所述二向色镜分别处于眼睛的两侧；所述红外光源的入射光线与二向色镜之间的夹角及眼睛的反射光线与二向色镜之间的夹角均为45°。在一种实施例中，参照图3，由四个红外光源10产生红外光，通过二向色镜12的反射照射到眼部，镜头接收眼球通过二向色镜12反射回来的红外光，进而完成眼部图像的采集。眼震记录仪设计为穿戴式眼罩1，眼罩1的结构如图2所示，二向色镜12与一体化的摄像头11、红外光源10分别位于眼睛13两侧(总共有两组二向色镜12和摄像头11、红外光源10对两只眼睛13进行图像采集)，其中，二向色镜12与摄像头11、红外光源10的距离b为5cm，二向色镜12与眼睛13的距离a为3cm，红外光源10的入射光线与眼睛13的反射光线和二向色镜12的夹角均为45度。红外光源10的波长为850nm近红外波段，功率为50mw，二向色镜12的透射波长为400-700nm，反射波长为800-950nm。摄像头11选为ov4689，采集帧率能达到hd1080/60帧。所述视频采集模块将采集的眼部视频图像通过预处理后传输至编码模块，经编码处理后通过无线传输模块传输至pc端内的视频解码模块，再通过所述瞳孔追踪模块提取瞳孔中心坐标数据，最后通过所述诊断模块根据提取的瞳孔中心坐标数据进行眼震类型诊断。在一种实施例中：1)视频采集模块为基于isp的视频采集模块：实现相机传感器的适配，设定采集图像的公共属性，包括帧率、分辨率，并对采集的图像进行坏点检测、去噪等处理，接着使用世界灰度算法对采集的图像进行预处理；2)编码模块为videosubsystem硬件编码模块：将采集到的yuv格式的视频送入编码模块，接着对视频进行h.265格式编码；3)还包括基于rtsp协议的实时视频传输模块：该模块分为linux服务器端与windows客户端两部分，linux端先通过rtsp协议负责与windows端沟通传输方式与内容，本发明使用的是h.265流、后续的rtp、rtcp协议是udp传输、以及rtsp服务器的端口号是554，接着将videosubsystem编码后的视频通过打包到rtp协议的数据部分发送到windows客户端，最后通过rtcp协议中断整个协议的传输；4)通信控制模块具体为：眼震记录仪与pc端使用socket通信方式pc端将控制指令与配置信息打包并转化为流数据，再通过无线网络传输到下位机，cortex-a7处理器根据事先规定好的协议解析数据包，从而做出响应并返回给上位机响应信息。5)视频解码模块基于ffmpeg的视频解码模块：调用ffmpeg库中的函数，将通过rtsp协议接收到的h.265视频流解码为算法模块能使用的视频流；6)瞳孔追踪模块对接收到的眼震视频进行算法分析，提取瞳孔中心坐标，诊断模块根据坐标变化判断眼震类型。眼震记录仪获取眼震视频信息，由核心控制板进行图像预处理与视频压缩编码，接着通过5g频段无线传输模块传输到pc端，并接收pc端发送的控制与配置信号，pc端上的分析软件进行视频解压、分析等操作，以最终完成bppv诊疗中眼震信息的记录与识别功能，为疾病的诊疗奠定了基础。前面独特的光路设计避免了大部分可见光的干扰，但依然有少部分可见光作用在图像上，影响算法的处理，为此我们在眼震记录仪采集视频后使用灰度世界算法，该算法的主要思想是假设日常生活中自然界景物对标准光源的反射的总体平均值是一个定值，这个值近似地估计为grey值，利用这个grey值作为估算未知光源，从而达到图像颜色校正的目的。假设图片的尺寸足够大，以至于可以作为自然界景物的一个缩影，如果这幅图片是在标准光源下拍摄的，那么其r,g,b三个通道的均值应该等于grey值。而如果这幅图是在其他未知光源下拍摄的，那么其r,g.b三个通道均值就会大于或者小于这个grey值。而该均值与grey值的偏差程度即表示了未知光源相差于标准光源的颜色特性。在一种实施例中，灰度世界算法流程图4所示：具体的，所述图像预处理模块采用灰度世界算法对采集的图像进行预处理，该方法包括以下步骤：a)选择校准图像；选取暗室环境下只有红外光源时拍摄眼部照片作为校准图像，记为fc；b)计算标准光源下的校准图像的rgb通道值及待处理图像的rgb通道值；在rgb空间中，校准图像的rgb三个通道的均值为三个grey定值，记为待处理图像记为fu，待处理图像的rgb三个通道的均值记为c)计算校准图像与待处理图像的各通道的归一化率；计算校准图像与待处理图像对应的各通道的归一化率σi，i＝r，g，b；d)对待处理的图像进行光源变换处理，消除杂光影响；根据光源变换理论，未知光源下的待处理图像与红外光源下的校准图像的图像颜色转换的表达式记为:利用上述转换公式对待处理图像进行光源变换处理，消除杂光影响，得到处理后的图像。通过光源的变换，即可以将一个有未知光源干扰的图像校正为只有红外光源下的图片，从而消除杂光的影响。如图7和图6为算法处理前后的照片对比，图6为处理后的图片，图7为有可见光干扰的图片。所述瞳孔追踪模块提取瞳孔中心坐标数据的方法包括以下步骤：1)对经所述图像预处理模块处理后的图像进行感兴趣区域提取；预先使用opencv的haartraining进行样本数据训练，提取瞳孔区域的haar特征，通过提取到的特征对经所述图像预处理模块处理后的图像进行感兴趣区域提取，从灰度图中获取到瞳孔的初始位置(大概位置)；降低后续处理数据大小，提高算法速度。2)提取光斑坐标；3)进行形态学处理；形态学开运算是一个先腐蚀，后膨胀的过程，用于在图像中消除小的物体，在纤细点处分离物体，在平滑化较大的物体的边界的同时不明显改变物体的体积。通过形态学开运算处理消除瞳孔中反光点以及睫毛的干扰；4)进行高斯滤波处理，消除高斯噪声；高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通过高斯滤波能够有效去除细小噪声，同时对瞳孔区域平滑处理，使得瞳孔边缘更加平滑，有利于后续边界提取。5)进行二值化处理：通过阈值分割，将可能是瞳孔的黑色区域与背景分割开；6)寻找最大连通区域：对二值化处理后的图像寻找最大连通区域并获取其面积，并将其确定为瞳孔区域。7)边缘检测：对最大连通区域的部分进行边缘检测，找到瞳孔边缘点坐标的集合；8)初步计算瞳孔中心坐标：利用获取到的边缘点的坐标通过质心法初步计算瞳孔中心坐标；9)进行相对偏移校准：通过两帧图像中间光斑的相对位移进行偏移校准；眼镜与人眼的位置理想状态下是相对不动的，但是为了保证定位的准确性，我们通过两帧中间光斑的相对位移进行偏移校准；10)进行瞳孔中心校准，获得校准后的瞳孔中心坐标；通过瞳孔定位数据先确定一个完整瞳孔的面积以及半径数据，再通过最大连通区域与完整瞳孔的面积比以及半径，确定瞳孔中心的偏移，最终进行瞳孔中心的校准，获得校准后的瞳孔中心坐标。本发明在一种实施例中，还对该系统进行了实验与结果分析，包括传输稳定性与系统精度的分析。具体如下。1传输稳定性分析测试传输性能时眼震记录仪采集视频数据，进行h.265压缩编码，再通过rtsp服务器以不同的传输方式将编码后的视频传输到pc客户端，pc端使用vlc播放器解码显示，通过给出的ip地址rtsp://10.12.1.100:554/test.265，即可创建连接并获取视频流信息，包括分辨率、帧率和内容位率等。传输方式使用实验室有线局域网、802.11n标准2.4g频段wifi和802.11ac标准5g频段wifi。本发明模拟了bppv诊疗中眼震记录仪的工作状态，测试了不同传输方式在眼震记录仪静止、运动和电磁干扰这三种情况下传输的稳定性，结果如表2所示。采集的视频分辨率为hd720，帧率为60。测试时电脑不连接因特网，也不使用其他占用网络的软件，传输hd720/60帧需要的带宽小于这三种传输方式的极限带宽。我们采集传输6000帧视频，统计期间的丢帧数，并计算出丢帧率作为稳定性的衡量标准。如下表1所示。表1由上表实验结果可知，在静止条件下三种传输方式丢帧率都很低，在运动与抗干扰性方面5g频段wifi接近于有线网络传输，并都强于2.4g频段wifi。2系统精确度根据国际注视交流交互技术委员会(thecogaintechnicalcomittee)在2012年提出的眼动仪系统精确度测量的标准技术方法，本发明的眼震记录仪系统精确度以相邻样本间瞳孔中心角距离的均方根值(rootmeansquare,rms)(公式1)表示。实际测量中系统精确度受多种因素影响，包括红外光源照明强度、室内照明度改变、人眼特征等，本文只讨论采集视频帧率与分辨率对系统精确度的影响，实验过程中保持其他环境不变，采集存储一段时间60帧每秒的hd1080视频，将视频改变帧率与分辨率，再分别使用pc端算法对不同帧率与分辨率的视频进行瞳孔追踪，根据获取的相邻两帧图像的瞳孔中心坐标计算出rms的值，实验结果如表2所示，表中单位为度，数值越小表示系统精确度越高。如下表2所示。表2hd1080/60hd1080/30vga/60vga/300.0050.0130.0230.069由表中数据可知，帧率相同时分辨率越高系统的精确度越高，分辨率相同时帧率越高系统的精确度越高，而帧率分辨率都高时系统精确度最高。本发明提出了一套无线视频眼震分析系统，实现了眼震视频的采集、传输、分析等功能。实验结果表明，5ghzwifi芯片的使用，保证了视频的高速传输，提高了眼震记录仪的抗干扰能力，高清高帧率眼震视频的获取，提高了系统的精确度。本文设计出的视频眼震记录仪稳定精确度高，能够有效的获取眼震的运动轨迹，为bppv的诊疗提供了信息支持。尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。当前第1页12