专利名称：具有图像增强功能的自适应场景图像辅助系统的制作方法
技术领域：
本发明涉及移动机械系统中使用的具有图像增强功能的自适应场景图像辅助系统。
背景技术：
在各种移动机械操作领域，如机动车辆行驶、船舶进港，吊塔等装载机械抓取、移动或放置货物，特别是当移动物体的许可移动范围比较狭小时，需要操作人员非常仔细考虑移动时的周边环境，以防止物体移动时出现碰触、碰撞和摩擦的现象。一个常见的例子是，汽车驾驶员尤其是大型车辆的驾驶员，由于车体的遮蔽会出现一系列盲区，例如后视镜和观后镜的观察角度的不足而存在观察盲区。由于此类盲区的存在，对驾驶员的车体空间感提出较高要求，尤其是当驾驶车辆通过狭窄区域以及停车、倒车时，驾驶人员很容易因为视觉盲区的存在和行进时由于观察不全面造成剐蹭，碰撞而产生危险。常用的解决方式是超声倒车雷达和倒车摄像头，倒车雷达可以较好对盲区的障碍物进行距离检测，并将障碍物的检测结果通过声音和图形的方式进行提示，这样可以对驾驶员进行有限的提示。但是超声雷达存在一个不直观明显的问题，同时由于测距探头的个数有限，因此无法做到全方位各个角度都进行可靠检测。另外，由于测距存在一定的精度误差，此类测距方法无法提供准确可靠的测距。另外一个解决方案是倒车摄像头，此方法通过在车尾安装一个广角摄像头完成对后视图像的摄取和显示，同时该方法配合测距雷达等可以完成对后面图像的采集和显示。 但是该方法存在一个明显的弊端该方法仅仅对车辆后面图像实时采集和显示，他无法对全景图像进行，因此当车辆处于非倒车状态时该方法失效。随着图像处理技术的发展，目前出现了一种全景的倒车系统，该系统通过把多个摄像头的图像经过畸变校准以后进行拼接，并显示给驾驶员，以有利于驾驶人员对周边环境进行测评。此方法十分有效的解决了汽车周边视野的问题，如中国专利200710106237. 8 披露的技术方案。但是上述专利披露的技术方案也存在一些待提高的地方技术方案仅采用3路图像采集，对体积过大的车辆或者挂车进行图像合成时，会导致对图像传感器的光学组件的视野和分辨率要求提高，同时该专利没有谈到图像的畸变矫正，当采用广角摄像头时，不进行矫正的畸变图像将使观察者观察得到的空间关系变差；同时上述专利也无法有针对性地对行驶方向和速度以及驾驶员转向趋势进行突出显示，在雾天雨天或者照明条件比较差时也没对图像进行增强的功能，以使操作人员自适应的获得清晰有效的图像。
发明内容
本发明的目的是对上述现有技术的缺陷进行改进，提供一种具有图像增强功能的自适应场景图像辅助系统，以提供全方周边图像信息，该系统能够根据监控物体运动趋势提供自适应的场景变化以及对图像进行增强处理，以提供更有效的信息。本发明的目的是通过以下技术方案实现的，具有图像增强功能的自适应场景图像辅助系统，包括如下单元图像传感器，安装于被监控物体上，用于获取所述被监控物体周边环境的图像信息，且任意相邻两个所述图像传感器存在互相重叠的视野区域，其中，所述被监控物体是指需要本系统进行周围环境监控的设备；场景决策单元，根据所述被监控物体的运动信息或/和操作者操作意图信息，生成场景配置参数；标定单元，用于对所述图像传感器进行标定，生成所述图像传感器的标定参数；图像处理单元，分别与所述图像传感器、场景决策单元和标定单元连接，接收所述图像传感器传输的图像信息，并根据所述场景决策单元传输来的场景配置参数以及所述标定单元传输来的所述图像传感器的标定参数， 对所述图像传感器传输的图像信息进行处理；输出单元，与所述图像处理单元连接，用于输出所述图像处理单元传输来的图像信号。上述具有图像增强功能的自适应场景图像辅助系统，其中，所述被监控物体的运动信息或/和操作者操作意图信息包括速度信号、档位信号、转向趋势信号、加速度信号和转向灯信号。上述具有图像增强功能的自适应场景图像辅助系统，其中，所述场景配置参数包括最佳场景视点和图像比例。上述具有图像增强功能的自适应场景图像辅助系统，其中，所述场景决策单元采用自适应方式进行最佳场景视点的选取，根据运动趋势方向以确定视点方向，根据运动速度以确定视点的距离，由视点方向和视点距离构成自适应的视角。上述具有图像增强功能的自适应场景图像辅助系统，其中，所述场景决策单元预先设定好若干个固定位置作为最佳场景视点，再根据被监控物体的运动方向和转向趋势， 选择其中某个最佳场景视点。上述具有图像增强功能的自适应场景图像辅助系统，其中，所述图像此例为一定值或者一个与距离有关的函数。上述具有图像增强功能的自适应场景图像辅助系统，其中，所述图像处理单元包括图像采集单元，与所述图像传感器连接，采集所述图像传感器获取的被监控物体周边环境的图像信息；图像畸变矫正单元，与所述图像采集单元和所述标定单元连接，根据所述标定单元传输来的所述图像传感器的标定参数，对所述图像传感器传输来的图像信息进行畸变矫正；图像防抖和图像增强单元，与所述图像畸变矫正单元连接，采用电子防抖和图像增强算法对所述图像畸变矫正单元传输来的图像信息进行处理，以提高图像合成质量；视角变换单元，分别与所述图像防抖和图像增强单元、所述场景决策单元和所述标定单元连接， 根据所述场景决策单元传输来的场景配置参数和所述标定单元传输来的所述图像传感器的标定参数，对所述图像防抖和图像增强单元传输来的图形信息进行处理，以形成特定视角的图像信息；图像融合单元，与所述视角变换单元连接，对各个所述图像传感器获取的图像以及汽车的图像进行融合，形成汽车与周边环境的合成图像。上述具有图像增强功能的自适应场景图像辅助系统，其中，所述图像防抖和图像增强单元包括图像防抖模块和图像增强模块；所述图像防抖模块与所述图像畸变矫正单元连接，采用电子防抖算法消除帧间图像模糊；所述图像增强模块与所述图像防抖模块连接，采用图像增强算法提高图像质量。
上述具有图像增强功能的自适应场景图像辅助系统，其中，所述图像防抖模块包括运动检测模块、运动估计模块和运动补偿模块；所述运动检测模块与所述所述图像畸变矫正单元连接，采用运动检测算法获取图像在不同帧之间发生的位置移动；所述运动估计模块与所述运动检测模块连接，对有效运动进行估计；所述运动补偿模块与所述运动估计模块连接，根据所述运动估计模块的计算结果，对原始的图像进行补偿，以得到消除随机抖动以后的图像。上述具有图像增强功能的自适应场景图像辅助系统，其中，所述图像增强模块包括图像亮度调整模块、图像对比度增强模块和图像勾勒模块；所述图像亮度调整模块与所述运动补偿模块连接，用于矫正由于各个所述图像传感器的镜头的感光特征不一致而导致的图像亮度差异；所述图像对此度增强模块与所述图像亮度调整模块连接，用于对获得的图像进行对比度增强；所述图像勾勒模块与所述图像对比度增强模块连接，用于对图像边缘进行勾勒和对障碍物进行突出及勾画，以使图像具有更强的可辨识性。上述具有图像增强功能的自适应场景图像辅助系统，其中，所述图像传感器的标定参数包括所述图像传感器的镜头光学参数和所述图像传感器的畸变参数，以及所述图像传感器的姿态和位置参数。本发明具有图像增强功能的自适应场景图像辅助系统在被监控物体上安装多个图像传感器，任意相邻两个图像传感器存在互相重叠的视野区域，以保证全方位获取被监控物体周边环境的图像信息，不存在视野盲区，图像处理单元根据场景决策单元和标定单元传输的参数对各个图像传感器获取的图像信息进行处理，以提供有效信息，并通过输出单元输出，直观、具体。
以下结合附图和具体实施方式
来进一步说明本发明。
图1为本发明具有图像增强功能的自适应场景图像辅助系统的结构示意图。图2为本发明中自适应场景决策的最佳场景视点的位置示意图。图3为本发明中非自适应场景决策的最佳场景视点的位置示意图。图4A 图4D为本发明中获得的图像的各融合区域示意图。图5A 图5D为本发明中标定模板的示意图。图6为本发明中标定图像传感器实施例一的示意图。图7为本发明中标定图像传感器实施例二的示意图。图8为本发明中图像防抖和图像增强单元的结构示意图。图9本发明中图像防抖模块以及图像增强模块的结构示意图。
具体实施例方式以下通过图1 图9，详细介绍本发明的具体实施例，以便进一步了解本发明的内容。本发明具有图像增强功能的自适应场景图像辅助系统包括图像传感器，安装于被监控物体上，用于获取所述被监控物体周边环境的图像信息，且任意相邻两个所述图像传感器存在互相重叠的视野区域，其中，所述被监控物体是指需要本系统进行周围环境监控的设备，例如汽车、船舶；场景决策单元，根据所述被监控物体的运动信息或/和操作者操作意图信息，生成场景配置参数；标定单元，用于对所述图像传感器进行标定，生成所述图像传感器的标定参数；图像处理单元，分别与所述图像传感器、场景决策单元和标定单元连接，接收所述图像传感器传输的图像信息，并根据所述场景决策单元传输来的场景配置参数以及所述标定单元传输来的所述图像传感器的标定参数，对所述图像传感器传输的图像信息进行处理；输出单元，与所述图像处理单元连接，用于输出所述图像处理单元传输来的图像信号。本发明具有图像增强功能的自适应场景图像辅助系统在被监控物体上安装多个图像传感器，任意相邻两个图像传感器存在互相重叠的视野区域，以保证全方位获取被监控物体周边环境的图像信息，不存在视野盲区，图像处理单元根据场景决策单元和标定单元传输的参数对各个图像传感器获取的图像信息进行处理，以提供有效信息，并通过输出单元输出，直观、具体。以汽车为被监控物体，详细说明本发明具有图像增强功能的自适应场景图像辅助系统参见图1，本实施例的具有图像增强功能的自适应场景图像辅助系统包括多个图像传感器1、场景决策单元3、标定单元5、图像处理单元2和输出单元4。所述多个图像传感器1安装在汽车车体的外表面上，且环绕车体一周，所述图像传感器1用于获取汽车周边环境的图像信息，且任意相邻两个所述图像传感器1存在互相重叠的视野区域；所述图像传感器1的个数应保证能全方位获取汽车周边环境的图像信息，并且不存在视野盲区；安装所述图像传感器1时，所述图像传感器1的视野可以只包含汽车周边的环境， 也可以既包含汽车周边的环境，又包含部分车体，即拍摄车体的部分，以确保在图像拼接时能够显示车体与障碍物的位置关系；所述图像传感器1可以是彩色图像传感器、黑白图像传感器、红外图像传感器或者它们的组合，例如，黑白图像传感器和彩色图像传感器的组合、黑白图像传感器和红外图像传感器的组合、彩色图像传感器和红外图像传感器的组合、黑白图像传感器和彩色图像传感器以及红外图像传感器的组合。所述场景决策单元3与所述图像处理单元2连接，所述场景决策单元3根据汽车的运动信息或/和操作者操作意图信息，生成场景配置参数，并将所述场景配置参数传输给所述图像处理单元2;所述运动信息或/和操作者操作意图信息包括汽车的速度信号、档位信号、转向趋势信号、加速度信号和转向灯信号；所述场景配置参数包括最佳场景视点和图像比例；若汽车配置了车速表和方向转角传感器，所述场景决策单元3可根据车速表和方向转角传感器传输来的汽车的运动信息，采用自适应方式选取最佳场景视点，即根据运动趋势方向以确定视点方向，根据运动速度以确定视点的距离，由视点方向和视点距离构成自适应的视角，假设某一时刻汽车车速检测为V，最佳场景视点将位于汽车运动方向的距离 L处，L = f (vTs,式中Ts为显示时间，f (χ)为自变量χ的函数，根据实际系统需要，该函数f 为定值、分段函数、或者解析函数，且L不能大于汽车运动方向上所述图像传感器1的视野的最大值，同时L的选取也与场景中是否存在障碍物有关系，如图2所示；所述场景决策单元3也可以选择固定的几个点作为最佳场景视点，如图3所示，最佳场景视点可以选择图3中PO P5的若干个固定方位点，所述场景决策单元3根据汽车运动方向和转向趋势确定合适的最佳场景视点当汽车无转向趋势且处于前进状态时，最佳场景视点选择PO点；当汽车无转向趋势且处于后退状态时，最佳场景视点选择P4点；当汽车处于前进状态，且有向右转的趋势时，最佳场景视点选择P2点；当汽车处于前进状态， 且有向左转的趋势时，最佳场景视点选择Pl点；当汽车处于后退状态，且有向右转的趋势时，最佳场景视点选择P5点；当汽车处于后退状态，且有向左转的趋势时，最佳场景视点选择P3点；若汽车未装配车速传感器，使用档位传感器可确定当前汽车的运行方向当档位位于前进档时，可判定为车辆处于前进方向或者操作者存在前进的操作意图；当档位位于后退档时，可判定为车辆处于后退状态，或者当前操作者存在后退的操作意图；若汽车未装配方向盘转角传感器，则转向趋势可以通过转向灯的状态判决当转向灯处于为左转向灯打开时，判定车辆存在左转向趋势；当转向灯处于为右转向灯打开时， 判定车辆存在右转向趋势；若汽车装配了加速度传感器，且加速度传感器的敏感方向与汽车的车体纵轴垂直且位于水平面上，此时可以通过加速度传感器的输出而判断汽车的转向趋势所述加速度传感器的加速度信号要经过滤波以去除噪声的影响，当滤波后的加速度信号检测到左方向的加速度时，即可判定汽车存在向左的转向趋势；当检测到向右的加速度信号时，则判定为汽车存在向右的转向趋势；当滤波后的加速度信号低于一定门限时，则判为汽车不存在有效转向趋势；若汽车存在多种转向趋势传感器时，如同时具备转向灯传感器、方向角传感器、以及加速度传感器，将综合上述传感器信息进行转向趋势判决，也可以采用优先级顺序进行判断，一个可用的优先级为转向灯信号的优先级高于方向盘转角传感器信息，方向盘转角传感器信息优先级高于加速度传感器；若没有任何信息可供决策时，所述场景决策单元3将选择顶视点，如图3所示的PT 为缺省的顶视点，即选自汽车中心点上方；除了自适应转换场景之外，所述场景决策单元3可以根据操作者(本实施例中指驾驶员)的需要而手工控制和选择；所述场景决策单元3除了对场景进行调整外，还可以产生变此例尺信息，该此例尺为可以为定值，意味着在融合后的图像中，各融合区域A、B、C、D的此例是一致的，如图4A 所示；当视场范围较大时，由于所述输出单元4的尺寸有限，因此此例尺选择不是一个定值，而是一个与距离有关的函数，以使距离汽车越远的范围内，图像压缩的越厉害，而在距离汽车较近的范围内，图像压缩较小，如图4B 图4D所示，图4B 图4D中的粗箭头表示视角方向，细箭头表示汽车的运动趋势。所述标定单元5与所述图像处理单元2连接，向所述图像处理单元2传输所述图像传感器1的标定参数；所述图像传感器1的标定参数包括所述图像传感器1的镜头光学参数和所述图像传感器1的畸变参数，以及所述图像传感器1的姿态和位置参数，其中，图像传感器的镜头光学参数和图像传感器的畸变参数在机器视觉领域被称作内部参数，图像传感器的姿态和位置参数在机器视觉领域被称作外部参数；若汽车上安装的所述所述图像传感器1的个数大于1，则对每个所述图像传感器1 都要进行标定；所述图像传感器1安装后，使用本系统监测汽车移动前，先对每个所述图像传感器1进行标定，获得每个所述图像传感器1的镜头光学参数、每个所述图像传感器1的畸变参数，以及每个所述图像传感器1的姿态和位置参数；对所述图像传感器1进行标定包括以下步骤步骤1，测算所述图像传感器1的镜头光学参数和所述图像传感器1的畸变参数；步骤1. 1所述图像传感器1从不同方位和姿态获取标定模块的图像信息；所述标定模板为表面设有平面图样、三维图样或线状图样的矩形板，所述标定模板表面的图样可以是若干多边形，例如若干分立的正方形，如图5A和图5B所示，可以是带有直线或曲线特征的图样，例如棋盘格或网格，如图5C所示，也可以是带有角点特征的图样，例如若干圆点，如图5D所示；所述标定模板表面的图样以及所述标定模板的尺寸是预先设定好的；至少从4个不同方位和姿态获取标定模块的图像信息；步骤1. 2，根据获取的所述标定模块的图像信息，采用相机标定方法计算所述图像传感器1的镜头光学参数和所述图像传感器1的畸变参数；所述相机标定方法可以是非线性模型的相机标定方法或者线性模型的相机标定方法；例如，基于径向约束的非线性相机标定方法(RAC)，参考文献为《A versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses〉〉，Roger Y. Tsai, IEEE Journal of Robotics and Automation, Vol. RA-3, No. 4, August 1987，pages 323—344;张正友的基于2D靶标的摄像机标定算法，参考文献《Z.amng. A flexible new technique for camera calibration)). I EEE Transactions on Pattern Analysis and Machine Intelligence，22(11) : 1330-1334，2000 ;折反式相机和鱼眼相机的标定方法，参考文献为dcaramuzza，D. (2008). 《Omnidirectional Vision :from Calibration to Robot Motion Estimation》ETH Zurich Thesis no.17635 ；步骤2，测算所述图像传感器1的姿态和位置参数；步骤2. 1，确定标定区域；—个所述标定区域对应于一个所述图像传感器1 ；所述标定区域中设置基准停靠位置，所述基准停靠位置由若干基准停靠参考线限定而形成，该基准停靠参考线的形状和坐标是预先设定，在标定时将汽车停靠于该基准停靠位置内，所述基准停靠位置与汽车的外形特征相吻合，以保证汽车容易准确停靠；步骤2. 2，汽车置于基准停靠位置内；标定时汽车停靠在所述基准停靠位置内，并保持位置不变；步骤2. 3，在所述标定区域内放置所述标定模板，所述图像传感器1获取所述标定模板的图像信息；所述标定模板以预先设定的姿态和位置放置，如水平放置、垂直放置、倾斜放置或上述姿态的组合；步骤2. 4，根据获取的所述标定模板的图像信息，采用所述相机标定方法计算所述图像传感器1的姿态和位置参数；即采用所述相机标定方法计算每个所述图像传感器1相对于所述标定模板的姿态旋转量和位移量；由于所述标定模板在所述标定区域内的位置和姿态都是已知的，汽车的尺寸信息是可以事先测量的，这样每个所述图像传感器1的位置和姿态均可以计算出来，这样就可以获得获得每一个所述图像传感器1的姿态参数和位移参数；如果在标定区域没有设置所述基准停靠参考线，将所述标定模块放置在相邻两个所述图像传感器1的重叠区域中，使所述两个图像传感器1都能同时拍摄到该标定模板的图样，同样，所述标定模板的姿态和位置都是预先设定的，标定时进行各个所述图像传感器 1的两两定位，则可以依次计算出各个所述图像传感器的姿态参数和位移参数；图6所示为第一个标定区域的例子，所述基准停靠参考线61限定所述基准停靠位置62(图6中两条基准停靠参考线的交点62称为参考点)，所述基准停靠位置设置在所述标定区域6内，汽车停靠在所述基准停靠位置内，在汽车的前、后、左、右四个方向各放置一所述标定模块Al、A2、A3、A4，所述标定模块Al、A2、A3、A4水平放置，标定时所述图像传感器1对水平面放置的标定模板进行拍摄；图7所示为第二个标定区域的例子，汽车停靠在所述基准停靠位置内，在汽车的前、后、左、右四个方向各放置一所述标定模块Al、A2、A3、A4，所述标定模块Al、A2、A3、A4 竖直放置，标定时所述图像传感器1对竖直放置的标定模板进行拍摄；事实上根据需要，所述标定模板可以采取竖直、水平或者以特定的姿态放置的组
I=I O继续参见图1，所述图像处理单元2包括图像采集单元21，与所述图像传感器1连接，采集所述图像传感器1获取的汽车周边环境的图像信息；图像畸变矫正单元22，与所述图像采集单元21和所述标定单元5连接，根据所述标定单元5传输来的所述图像传感器1的镜头光学参数和所述图像传感器1的畸变参数， 以及所述图像传感器1的姿态和位置参数，对所述图像传感器1传输来的图像信息进行畸变矫正；所述畸变由于所述图像传感器1的镜头畸变以及所述图像传感器1不理想产生， 所述畸变包括切向畸变、径向畸变、薄棱镜畸变、偏心畸变，所述畸变通过所述图像传感器1 的镜头光学参数(包括了光学系统不理想造成的畸变参数)和所述图像传感器的畸变参数描述；所述图像畸变矫正单元22采用插值或者卷积的方法矫正所述图像传感器1传输来的图像信息进行畸变矫正；图像防抖和图像增强单元23，与所述图像畸变矫正单元22连接，采用电子防抖和图像增强算法对所述图像畸变矫正单元22传输来的图像信息进行处理，以提高图像合成
质量；视角变换单元M，分别与所述图像防抖和图像增强单元23、所述场景决策单元3 和所述标定单元5连接，根据所述场景决策单元3传输来的场景配置参数和所述标定单元 5传输来的所述图像传感器1的姿态参数和位置参数，对所述图像防抖和图像增强单元23 传输来的图形信息进行处理，以形成特定视角的图像信息；所述视角变换单元M根据所述场景决策单元3传输来的最佳场景视点和图像比例，以及所述标定单元5传输来的所述图像传感器1的姿态参数和位置参数，对所述图像防抖和图像增强单元23传输来的图形信息进行视角变换和图像缩放，以形成特定视角的图
象信息；
信
以线性摄像机模型(小孔成像模型)为例来描述此视角变换； u
AR',R 1A 式中[u ν]τ为视角变换前的图像元素，即在原始视角下的图像，[u' ν' ]τ为视角变换后的图像元素，R1为原始旋转单应矩阵，为图像传感器所在位置的旋转矩阵和平移
和
为新视点旋转单应矩阵，同样由新的视点所在位置的旋转矩阵和
furi3η矢量构成巧和巧为旋转矩阵R =r21r27r23的第一个列矢量η =rIR;=[r,,r2,t'] J/31r32r3 ,_/3
rM
r22 r37
R；
7M00ayvO001
第二列矢量、 平移矩阵所构成； A为相机的内部参数模型，定义为A =αχ, ay, u0, ν0, Y是线性模型内部参数αχ, ay分别是u，ν轴的尺度因子，或称为有效焦距α χ = f/dx, α y = f/dy, dx, dy分别为水平方向和垂直方向的像元间距；Utl，Vtl是光学中心;γ是u轴和ν轴的不垂直因子，很多情况下Y=O;图像融合单元25，与所述视角变换单元M连接，对各个所述图像传感器1获取的图像以及汽车的图像进行融合，形成汽车与周边环境的合成图像；所述图像融合单元25采用的融合方法可以是直接将配准位置的来自两个所述图
11像传感器1的图像进行拼接；配准位置，即拼接线位置，依据两个所述图像传感器1的视野范围和清晰度范围而决定，确保在拼接线两侧、来自两个所述图像传感器1的图像清晰度是一致，拼接线为弧型线或直线。图像融合时可以选用直接将拼接线两侧的原始图像通过搬移而形成融合后的图像，拼接线可以显示为特殊颜色和灰度，以利于监控者确定拼接线位置，也可以不显示拼接线，以不破坏图像的整体性；所述图像融合单元25采用的融合方法也可以是融合区域采用来自两个相邻区的图像在同一个融合点进行加权平均，这样在拼接区就不存在拼接线，图象一致性会更好；在图像融合时为了能够使融合位置更加准确，需要对融合区域的图像进行配准， 配准的方法为在拼接区域附近寻找图像特征，如角点，轮廓，边缘等特征，然后利用这些图像特征对两个图像传感器的图像进行匹配，以寻找最佳的匹配线，然后图像在该最佳匹配线上进行融合，以避免重影等情况的出现。融合时可以采用变权重的方式进行变权重融合， 在拼接区内，图像融合后的某一点的图像，越远离图像传感器的点在融合图像中所占的权重越小，而来在同一位置来自另外一个图像传感器的图像的权重则越大；所述图像融合单元25在融合后的场景图像中，需要增加汽车的俯视平面图，或者俯视三维图像，或者与所述决策单元3输出的视角相一致的三维透视图像，该图像具有一定的透明程度，以显示被设备遮蔽的周边图像信息，被监控对象的透明程度可以手工设定， 同时被监控对象图像的颜色等的颜色也可以设定；所述图像融合单元25除了将各个所述图像传感器1的图像信息进行融合之外，还可增加诸如障碍物距离等附属信息；可将外部传感器的信号可以合并显示在最终全景的场景图像中，如距离信息，障碍物信息，等外部参数加以合并。所述输出单元4与所述图像融合25连接，用于输出所述图像融合25传输来的图
像信息。参见图8，所述图像防抖和图像增强单元23包括图像防抖模块231和图像增强模块 232 ；所述图像防抖模块231与所述图像畸变矫正单元22连接，采用电子防抖算法消除帧间图像模糊；由于汽车会不可避免发生振动，即所述图像传感器1会不断发生抖动，因此，所述图像传感器1拍摄的图像在不同的帧之间有可能会发生位置移动，如果不进行图像防抖就会导致图像模糊和拼缝错误，所述图像防抖模块231用于完成抖动的检测和消除功能，以提高图像融合和拼接的质量；所述图像增强模块232与所述图像防抖模块231连接，采用图像增强算法提高图
像质量。参见图9，所述图像防抖模块231包括运动检测模块2311、运动估计模块2312和运动补偿模块2313;所述运动检测模块2311与所述所述图像畸变矫正单元22连接，采用运动检测算法获取图像在不同帧之间发生的位置移动；常用的运动检测算法包括投影法(PA Projection Algorithm)，代表点匹配算 ^ (RPM =Representative Point Matching)，位平面匹配法(BPM :Bit Plane Matching)等，采用上述方法，可以估算图像在不同帧之间发生的平移量和旋转量，或者变焦值；所述运动估计模块2312与所述运动检测模块2311连接，对有效运动进行估计；所述运动估计模块2312估计相邻帧之间存在的运动参数，通过滤除随机运动的影响，获得有效全局运动矢量，并获得序列帧的运动趋势，得到实际的图像偏移值、旋转值以及缩放值等；所述运动补偿模块2313与所述运动估计模块2312连接，根据所述运动估计模块 2312计算得到的图像的偏移、旋转和缩放，对原始的图像进行补偿，以得到消除随机抖动以后的图像；当各个所述图像传感器1的振动可以忽略时，可以省去所述图像防抖模块231。继续参见图9，所述图像增强模块232包括图像亮度调整模块2321、图像对此度增强模块2322和图像勾勒模块2323 ；所述图像亮度调整模块2321与所述运动补偿模块2313连接，用于矫正由于各个所述图像传感器1的镜头的感光特征不一致而导致的图像亮度差异，该差异将导致在融合后的图像中存在明显亮度不一致的区域；亮度调节系数可在本系统初次使用时通过在标定场景的亮度测量获得，或者在本系统运行时实时计算得到，经过亮度调整的图像，在拼接时不会出现不同亮度的区域；所述图像对比度增强模块2322与所述图像亮度调整模块2321连接，用于对获得的图像进行对此度增强；当下雨、雾天或照明情况差时会导致所述图像传感器1拍摄到模糊降质图像，所述图像对比度增强模块2322就是用于处理由于此类原因造成的图像劣化，以提高图像的视觉效果；常见的图像对比度增强算法包括直方图均衡法(HE)，局部直方图均衡法(AHE)， 非重叠块直方图均衡法(POSHE)，插值自适应直方图均衡化，以及广义直方图均衡化方法， 通过上述算法均可以实现对图像的局部信息的自适应对比度增强，以增加图像的对比度， 提高降质图像的肉眼可辨识性，提高图像的视觉效果；所述图像勾勒模块2323与所述图像对此度增强模块2322连接，用于对图像边缘进行勾勒和对障碍物进行突出及勾画，以使图像具有更强的可辨识性，对观察者的目光进行有效的提示指引；在监测操作过程中，操作有时需要使用眼睛余光观察本系统，因此需要采用合适方法对图像进行突出，可采用众多的图像边缘算子对图像的边缘特征进行提取，并可以根据障碍物的特征对特殊的图型进行特征检测，以检测特殊的物体，检测到障碍物后，根据其边缘的位置，对边缘进行勾勒或者采用特殊形状(圆形，长方形等)将障碍物标识与图像中。是否采用图像勾勒功能或者图像勾勒的边界线的颜色边缘的粗细等可以通过操作人员进行控制，同时可以根据外部的传感器数据，如障碍物距离等数据，对特殊区域进行勾画；所述图像增强模块232可根据需要省去部分模块，例如，当不需要对图像进行边缘勾勒时，可以省去所述图像勾勒模块2323，同样地，所述亮度调整模块2321和图像对此度增强模块2322也可以通过有选择的省去。本发明提供的具有图像增强功能的自适应场景图像辅助系统，通过自适应的对被监控物体周围的环境进行判决，使操作人员能够看到尽可能多的直观有效信息，以有效提高安全性，在各种运动机械领域，也可以为操作者提供尽可能多的有效信息，提高生产效率。 以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。
权利要求
1.一种具有图像增强功能的自适应场景图像辅助系统，其特征在于，包括图像传感器，安装于被监控物体上，用于获取所述被监控物体周边环境的图像信息，且任意相邻两个所述图像传感器存在互相重叠的视野区域，其中，所述被监控物体是指需要本系统进行周围环境监控的设备；场景决策单元，根据所述被监控物体的运动信息或/和操作者操作意图信息，生成场景配置参数；标定单元，用于对所述图像传感器进行标定，生成所述图像传感器的标定参数；图像处理单元，分别与所述图像传感器、场景决策单元和标定单元连接，接收所述图像传感器传输的图像信息，并根据所述场景决策单元传输来的场景配置参数以及所述标定单元传输来的所述图像传感器的标定参数，对所述图像传感器传输的图像信息进行处理；输出单元，与所述图像处理单元连接，用于输出所述图像处理单元传输来的图像信号。
2.如权利要求1所述的具有图像增强功能的自适应场景图像辅助系统，其特征在于， 所述被监控物体的运动信息或/和操作者操作意图信息包括速度信号、档位信号、转向趋势信号、加速度信号和转向灯信号。
3.如权利要求1所述的具有图像增强功能的自适应场景图像辅助系统，其特征在于， 所述场景配置参数包括最佳场景视点和图像比例。
4.如权利要求3所述的具有图像增强功能的自适应场景图像辅助系统，其特征在于， 所述场景决策单元采用自适应方式进行最佳场景视点的选取，根据运动趋势方向以确定视点方向，根据运动速度以确定视点的距离，由视点方向和视点距离构成自适应的视角。
5.如权利要求3所述的具有图像增强功能的自适应场景图像辅助系统，其特征在于， 所述场景决策单元预先设定好若干个固定位置作为最佳场景视点，再根据被监控物体的运动方向和转向趋势，选择其中某个最佳场景视点。
6.如权利要求3所述的具有图像增强功能的自适应场景图像辅助系统，其特征在于， 所述图像此例为一定值或者一个与距离有关的函数。
7.如权利要求1所述的具有图像增强功能的自适应场景图像辅助系统，其特征在于， 所述图像处理单元包括；图像采集单元，与所述图像传感器连接，采集所述图像传感器获取的被监控物体周边环境的图像信息；图像畸变矫正单元，与所述图像采集单元和所述标定单元连接，根据所述标定单元传输来的所述图像传感器的标定参数，对所述图像传感器传输来的图像信息进行畸变矫正；图像防抖和图像增强单元，与所述图像畸变矫正单元连接，采用电子防抖和图像增强算法对所述图像畸变矫正单元传输来的图像信息进行处理，以提高图像合成质量；视角变换单元，分别与所述图像防抖和图像增强单元、所述场景决策单元和所述标定单元连接，根据所述场景决策单元传输来的场景配置参数和所述标定单元传输来的所述图像传感器的标定参数，对所述图像防抖和图像增强单元传输来的图形信息进行处理，以形成特定视角的图像信息；图像融合单元，与所述视角变换单元连接，对各个所述图像传感器获取的图像以及汽车的图像进行融合，形成汽车与周边环境的合成图像。
8.如权利要求7所述的具有图像增强功能的自适应场景图像辅助系统，其特征在于，所述图像防抖和图像增强单元包括图像防抖模块和图像增强模块；所述图像防抖模块与所述图像畸变矫正单元连接，采用电子防抖算法消除帧间图像模糊；所述图像增强模块与所述图像防抖模块连接，采用图像增强算法提高图像质量。
9.如权利要求8所述的具有图像增强功能的自适应场景图像辅助系统，其特征在于， 所述图像防抖模块包括运动检测模块、运动估计模块和运动补偿模块；所述运动检测模块与所述所述图像畸变矫正单元连接，采用运动检测算法获取图像在不同帧之间发生的位置移动；所述运动估计模块与所述运动检测模块连接，对有效运动进行估计； 所述运动补偿模块与所述运动估计模块连接，根据所述运动估计模块的计算结果，对原始的图像进行补偿，以得到消除随机抖动以后的图像。
10.如权利要求8所述的具有图像增强功能的自适应场景图像辅助系统，其特征在于， 所述图像增强模块包括图像亮度调整模块、图像对比度增强模块和图像勾勒模块；所述图像亮度调整模块与所述运动补偿模块连接，用于矫正由于各个所述图像传感器的镜头的感光特征不一致而导致的图像亮度差异；所述图像对此度增强模块与所述图像亮度调整模块连接，用于对获得的图像进行对此度增强；所述图像勾勒模块与所述图像对比度增强模块连接，用于对图像边缘进行勾勒和对障碍物进行突出及勾画，以使图像具有更强的可辨识性。
11.如权利要求1或7所述的具有图像增强功能的自适应场景图像辅助系统，其特征在于，所述图像传感器的标定参数包括所述图像传感器的镜头光学参数和所述图像传感器的畸变参数，以及所述图像传感器的姿态和位置参数。
全文摘要
本发明的具有图像增强功能的自适应场景图像辅助系统包括图像传感器，安装于被监控物体上，用于获取所述被监控物体周边环境的图像信息；场景决策单元，根据所述被监控物体的运动信息或/和操作者操作意图信息，生成场景配置参数；标定单元，用于对所述图像传感器进行标定，生成所述图像传感器的标定参数；图像处理单元，分别与所述图像传感器、场景决策单元和标定单元连接，接收所述图像传感器传输的图像信息，对所述图像传感器传输的图像信息进行处理；输出单元，与所述图像处理单元连接。本发明的具有图像增强功能的自适应场景图像辅助系统能够根据监控物体运动趋势提供自适应的场景变化以及对图像进行增强处理，以提供更有效的信息。
文档编号G06T5/00GK102196242SQ20111003875
公开日2011年9月21日 申请日期2011年2月11日 优先权日2010年2月12日
发明者王炳立 申请人:王炳立