一种3d腹腔镜视频处理方法
【专利摘要】本发明公开了一种3D腹腔镜视频处理方法，该法首先由两个图像传感器分别采集光信号，将光信号转换为电信号，电信号经AD转换、补偿算法、检错算法修正之后转换为数字信号，然后对数字信号进行数据同步处理和数据矫正处理等图像预处理，图像缓存处理后，进一步进行颜色空间转换处理、查色表处理和空间匹配处理等图像后处理，进行3D格式数据转换处理后对3D格式图像数据进行显示；通过本发明，可以实现3D模式下的720p的高清成像；基于FPGA实现的图像预处理和图像后处理可以有效地实现对原始图像数据时间和空间的匹配处理，保证了图像的稳定性和可调性；图像缓存处理可以缓存大批量图像数据，保证实时性。
【专利说明】一种3D腹腔镜视频处理方法
【技术领域】
[0001]本发明涉及一种视频处理方法，尤其涉及一种3D腹腔镜视频处理方法。
【背景技术】
[0002]相比较传统的二维成像，三维成像能够显示深度信息，因而更能全方位的认识事物的形状与运动状态。电影《阿凡达》的成功就是首次将三维成像技术引入到影视业。将三维成像技术引入到腹腔镜成像系统中，可以使医生获得清晰、立体感强的真实视觉影像，大大提高腹腔镜手术的效率和成功率。
[0003]国外最新的三维腹腔镜系统在实现三维立体成像的同时，图像分辨率上达到百万像素以上，为720p甚至是1080i高清成像。
[0004]由于没有掌握关键的高分辨率微型图像传感器及其三维成像技术，加上研发投入不足，我国在高端三维腹腔镜领域的研发与应用，特别是采用最新技术的新产品研发，目前尚未看到报道。
【发明内容】
[0005]本发明的目的在于针对现有技术的不足，提供一种3D腹腔镜视频处理方法。本方法可以实现3D模式下720p的高清成像。
[0006]本发明的目的是通过以下技术方案来实现的:一种3D腹腔镜视频处理方法，该方法在3D腹腔镜视频处理系统上实现，所述系统包括图像采集模块、图像综合处理模块和3D图像显示模块，图像采集模块包括两个图像传感器，图像综合处理模块由FPGA和存储器相连组成，3D图像显示模块由HDMI发送器和3D显示器相连组成，两个图像传感器和HDMI发送器均与FPGA相连；该方法包括以下步骤:
(O图像采集:两个图像传感器分别采集光信号，将光信号转换为电信号，电信号经AD转换、补偿算法、检错算法修正之后转换为数字信号。所述数字信号包括原始图像数据和行信号、场信号等相关控制信号；
(2)对步骤I得到的数字信号进行图像预处理:图像预处理分为数据同步处理和数据矫正处理，所述数据同步处理用同一个时钟实现两路图像数据时间轴上的一致，通过行信号和场信号修正2路原始图像数据的偏差不超过一个时钟，保证了 2路图像数据时间上的同步；所述数据矫正处理实现数据位宽度调整和/或数据位序调整，采用并行数据位宽调整法实现，通过对同一时间轴上的图像数据的合并，使已经同步的图像数据可以同步地被缓存处理，避免因数据传输引起的2路像素时间偏差，同时减小了数据传输带宽；
(3)对步骤2处理后的图像数据进行图像缓存处理；
(4)对步骤3缓存处理后的图像数据进一步进行图像后处理:所述图像后处理过程包括颜色空间转换处理、查色表处理和空间匹配处理；所述颜色空间转换处理将缓存处理之后的2路图像数据由原来图像传感器的数据格式转变为可以被3D显示器接收的数据格式，图像传感器产生的原始图像数据格式为Raw RGB，3D显示器可以接收的格式有两种:RGB格式和YUV格式，可以采用Bayer转换将Raw RGB格式转换为RGB格式，采用RGB-YUV转换将RGB格式转换为YUV格式；所述查色表处理实现图像数据RGB分量的调整，它通过双口 RAM实现，一个端口用来缓存数据流，另一个端口用来修改数据流的RGB分量值；所述空间匹配处理通过改变图像数据在存储器中的初始存储地址实现图像数据的位移，初始存储地址变大时，对应通道的2D视频画面往右和往下移动；初始存储地址减小时，对应通道的2D视频画面往左和往上移动，空间匹配处理实现了 2路视频信号空间上的同步；
(5)对步骤4处理后的图像数据进行3D格式数据转换处理:3D格式数据转换处理分为3D时序生成和3D格式封装2个步骤；所述3D时序生成处理为根据HDMI1.4标准生成控制时序，所述控制时序包括行场同步信号和数据使能信号；所述3D格式封装处理为将接收到的2路图像数据封装成I路3D格式的数据；
(6)对步骤5处理后的3D格式图像数据进行显示:由HDMI发送器接收3D格式数据转换处理后的3D时序和3D数据格式，将其转换为TMDS信号并经过HDMI线缆传输至3D显示器中进行显示。
[0007]本发明的有益效果是，通过本发明，可以实现3D模式下的720p的高清成像。基于FPGA实现的图像预处理和图像后处理可以有效地实现对原始图像数据时间和空间的匹配处理，保证了图像的稳定性和可调性；图像缓存处理可以缓存大批量图像数据，保证实时性。3D图像显示模块可以实现高清的3D图像显示。本发明解决了国内市场上三维腹腔镜视频处理方法的空白。鉴于FPGA开发平台的灵活性和通用性，本发明也可以被应用到其他领域。
【专利附图】
【附图说明】
[0008]下面结合附图和实施例对本发明进一步说明。
[0009]图1是本发明的视频图像处理框架图；
图2是本发明的视频图像处理方法流程图；
图3是本发明的图像预处理框图；
图4是本发明的图像缓存处理框图；
图5是本发明的图像后处理框图；
图6是3D格式数据转换框图；
图7是3D数据的2种格式图。
【具体实施方式】
[0010]本发明提供一种3D腹腔镜视频处理方法。该3D腹腔镜视频处理方法在3D腹腔镜视频处理系统上实现。如图1所示，该系统包括图像采集模块、图像综合处理模块和3D图像显示模块，图像采集模块包括两个图像传感器，图像综合处理模块由FPGA(field-programmable gate array)和存储器相连组成，3D图像显示模块由HDMI (HighDefinition Multimedia Interface)发送器和3D显不器相连组成,两个图像传感器和HDMI发送器均与FPGA相连。
[0011]如图2所示，本发明的3D腹腔镜视频处理方法包括以下步骤:
步骤1:图像采集。两个图像传感器分别采集光信号，将光信号转换为电信号，电信号经AD转换、补偿算法、检错算法修正之后转换为数字信号。所述数字信号包括原始图像数据和行信号、场信号等相关控制信号。所述补偿算法可以采用最近邻域插值补偿算法。检错算法可以采用CRC校验实现。
[0012]步骤2:对步骤I得到的数字信号进行图像预处理。如图3所示，图像预处理分为数据同步处理和数据矫正处理。数据同步处理用同一个时钟实现两路图像数据时间轴上的一致。通过行信号和场信号修正2路原始图像数据的偏差不超过一个时钟，保证了 2路图像数据时间上的同步。
[0013]数据矫正处理实现数据位宽度调整，采用并行数据位宽调整法实现。通过对同一时间轴上的图像数据的合并，使已经同步的图像数据可以同步地被缓存处理，避免因数据传输引起的2路像素时间偏差，同时减小了数据传输带宽。
[0014]步骤3:对步骤2处理后的图像数据进行图像缓存处理。如图4所示，图像缓存处理流程主要由FPGA的第一 fifo模块(first in first out)、第二 fifo模块、存储器分时控制器和fifo控制器与存储器实现。
[0015]图像传感器像素时钟、存储器的读写时钟和HDMI接口的像素时钟均不一样。第一fifo模块和第二 fifo模块完成不同时钟域的数据流速率匹配。FPGA生成fifo控制器完成对他们的逻辑控制。fifo控制器控制第一 fifo模块，使图像数据以流式数据的形式从第一 fifo模块顺序地存进存储器中和从存储器顺序地存进第二 fifo模块。鉴于存储器的读写地址复用，采用分时控制方法。由FPGA生成存储器分时控制器。存储器分时控制器由读控制器和写控制器组成。读控制器分为读地址生成和读控制信号生成。写控制器分为写地址生成和写控制信号生成。存储器接收存储器分时控制器的相关控制信号实现读写切换操作，完成图像数据的高速缓存。
[0016]步骤4:对步骤3缓存处理后的图像数据进一步进行图像后处理。如图5所示，图像后处理过程包括颜色空间转换处理、查色表处理和空间匹配处理。
[0017]将缓存处理之后的2路图像数据进行颜色空间转换，由原来图像传感器的数据格式转变为可以被3D显示器接收的数据格式。图像传感器产生的原始图像数据格式为RawRGB, 3D显示器可以接收的格式有两种:RGB格式和YUV格式，可以采用Bayer转换将RawRGB格式转换为RGB格式，采用RGB-YUV转换将RGB格式转换为YUV格式。
[0018]查色表处理实现图像数据RGB分量的调整。它通过双口 RAM实现，一个端口用来缓存数据流，另一个端口用来修改数据流的RGB分量值。双口 RAM的结构可以在不影响正常显示的情况下实时地对当前图像进行分量调整。
[0019]当2路图像数据由于光学系统和工程安装造成的2路图像的空间偏差时，可由空间匹配处理完成进一步矫正。空间匹配处理通过改变图像数据在存储器中的初始存储地址实现图像数据的位移。初始存储地址变大时，图像数据往右和往下移动；初始存储地址减小时，图像数据往左和往上移动。空间匹配处理实现了 2路图像数据空间上的同步。
[0020]步骤5:对步骤4处理后的图像数据进行3D格式数据转换处理。如图6所示，3D格式数据转换处理分为3D时序生成和3D格式封装2个步骤。3D时序生成处理根据HDMI1.4标准生成控制时序，所述控制时序包括行场同步信号和数据使能信号。3D格式封装处理将接收到的2路图像数据封装成I路3D格式的数据。常见的3D数据的格式分为上下格式、左右格式、帧顺序格式和帧封装格式。鉴于对高分辨率的要求，我们采用帧顺序和帧封装格式，如图7所示。标准的720p (60Hz)的2D视频格式如下:行消隐为370个像素，行有效为1280个像素；场消隐为30行，场有效为720行，频率为60Hz。
[0021]帧顺序是3D格式中最简单的格式。帧顺序格式的封装方法是将左右2路数据分成奇偶帧:奇数帧1、3、5、7帧……传输左路图像数据；偶数帧2、4、6、8帧……传输右路图像数据。行场同步信号的长度不变，通过提高帧频实现，即由原先的一路60Hz变为120Hz，等效为2路60Hz。
[0022]帧封装是HDMI1.4标准的默认格式，帧封装格式的封装方法是将左右2路数据组装在一个场信号中，行信号长度不变。场信号长度由原来的750行(720行有效+30行消隐)变成1500行(1470行有效+30行消隐)。
[0023]步骤6:对步骤5处理后的3D格式图像数据进行显示。由HDMI发送器接收3D格式数据转换处理后的3D时序和3D数据格式，将其转换为TMDS (Transition-minimizeddifferential signaling)信号并经过HDMI线缆传输至3D显示器。
[0024]从以上的实施例描述中可以看出，本发明实现了如下技术效果:2路图像传感器产生的图像数据流经过图像预处理、图像缓存处理、图像后处理和3D格式数据转换处理，由HDMI发送器接收并转换成TMDS信号传输至3D显示器实现3D成像(3D模式下720p)。其中图像预处理实现了 2路图像在时间上的匹配；图像缓存处理实现了大批量数据的缓存。图像后处理实现了 2路图像在空间上的匹配。3D格式数据转换处理完成了 2D数据到3D数据的格式转换。
[0025]本发明的优点是多方面的:首先采用图像算法的多级处理可以有效地实现图像的细微调整。其次采用基于FPGA的图像处理方法可以灵活地实现图像算法，具有很强的通用性和实时性。最后通过改进相关的图像处理算法可以得到更好的3D显示效果。
[0026]以上描述了本发 明的基本原理和主要性能特征。本行业的技术人员应该了解，本发明还会有各种变化和改进，这些变化和改进都将被包含在本发明的保护范围之内。
【权利要求】
1.一种3D腹腔镜视频处理方法，其特征在于，该方法在3D腹腔镜视频处理系统上实现，所述系统包括图像采集模块、图像综合处理模块和3D图像显示模块，图像采集模块包括两个图像传感器，图像综合处理模块由FPGA和存储器相连组成，3D图像显示模块由HDMI发送器和3D显示器相连组成，两个图像传感器和HDMI发送器均与FPGA相连；该方法包括以下步骤: (O图像采集:两个图像传感器分别采集光信号，将光信号转换为电信号，电信号经AD转换、补偿算法、检错算法修正之后转换为数字信号；所述数字信号包括原始图像数据和行信号、场信号等相关控制信号； (2)对步骤I得到的数字信号进行图像预处理:图像预处理分为数据同步处理和数据矫正处理，所述数据同步处理用同一个时钟实现两路图像数据时间轴上的一致，通过行信号和场信号修正2路原始图像数据的偏差不超过一个时钟，保证了 2路图像数据时间上的同步；所述数据矫正处理实现数据位宽度调整，采用并行数据位宽调整法实现，通过对同一时间轴上的图像数据的合并，使已经同步的图像数据可以同步地被缓存处理，避免因数据传输引起的2路像素时间偏差，同时减小了数据传输带宽； (3)对步骤2处理后的图像数据进行图像缓存处理； (4)对步骤3缓存处理后的图像数据进一步进行图像后处理:所述图像后处理过程包括颜色空间转换处理、查色表处理和空间匹配处理；所述颜色空间转换处理将缓存处理之后的2路图像数据由原来图像传感器的数据格式转变为可以被3D显示器接收的数据格式，图像传感器产生的原始图像数据格式为Raw RGB，3D显示器可以接收的格式有两种:RGB格式和YUV格式，可以采用Bayer转换将Raw RGB格式转换为RGB格式，采用RGB-YUV转换将RGB格式转换为YUV格式；所述查色表处理实现图像数据RGB分量的调整，它通过双口 RAM实现，一个端口用来缓存数据流，另一个端口用来修改数据流的RGB分量值；所述空间匹配处理通过改变图像数据在存储器中的初始存储地址实现图像数据的位移，初始存储地址变大时，视频画面往右和往下移动；初始存储地址减小时，视频画面往左和往上移动，空间匹配处理实现了 2路图像数据空间上的同步； (5)对步骤4处理后的图像数据进行3D格式数据转换处理:3D格式数据转换处理分为3D时序生成和3D格式封装2个步骤；所述3D时序生成处理为根据HDMI1.4标准生成控制时序，所述控制时序包括行场同步信号和数据使能信号；所述3D格式封装处理为将接收到的2路图像数据封装成I路3D格式的数据； (6)对步骤5处理后的3D格式图像数据输出显示:由HDMI发送器接收3D格式数据转换处理后的3D时序和3D数据格式，将其转换为TMDS信号并经过HDMI线缆传输至3D显示器中进行显示。
【文档编号】H04N13/02GK103475894SQ201310449213
【公开日】2013年12月25日 申请日期:2013年9月27日 优先权日:2013年9月27日
【发明者】叶学松, 张宏, 陆玲, 李赞, 陆琛, 程李成, 蔡秀军 申请人:浙江大学