专利名称：基于反射—折射机理的大视场多分辨率成像方法
技术领域：
本发明属于计算机视觉领域，涉及计算机视觉中成像系统，特别涉及一种基于反射-折射机理的大视场多分辨率成像方法。
背景技术：
1.引言自20世纪90年代以来，车辆的自动驾驶一直是汽车、信息与自动控制领域研究的热点[1][2]。智能车辆是一个集环境感知、规划决策、操纵控制等多种功能于一体的车辆自动驾驶控制系统，也是目前“智能交通系统(Intelligent Transformation System，ITS)”研究中的关键技术。智能车辆可以通过主动式传感器(如激光雷达/毫米波雷达)或被动式传感器(如视觉传感器)感知外部环境。在实现车辆感知外部环境方面，在经过多年的探索之后，证明利用机器视觉是最有效的感知方式，因此国内外设计智能车辆感知系统一般采用以机器视觉为主的技术路线[3]，其基本功能是通过检测车道和障碍物来保证车辆的安全。考虑一些驾驶行为当车辆在行驶时，驾驶员必须把更多的注意力放在车辆的前方，将少一些的注意力放在左右两侧，即使当换道或超车时也是如此；同时还要识别前方一定距离的障碍物，以便及时进行规避[4]。一些研究表明，车辆静止时，人眼的水平视场接近180度，车速40km/h时为100度，75km/h时65度，100km/h时40度[5]。为了鲁棒地感知周围的交通场景，智能车辆的视觉系统最好能像人类驾驶员一样具有选择性注意机制，既需要在某些方向上具有较高的分辨率，又需要一个较大的视场。要取得大的视场可以单靠折射系统，例如鱼眼镜头，但是鱼眼镜头的畸变很难用精确的模型进行描述，同时也不能提供多分辨率；也可以使用旋转相机来实现，但是旋转相机不适用于动态场景，因为它们无法同时捕捉大范围的场景；使用多个相机可以在一定程度上解决问题，但是成本高昂，不能应用到大多数车辆；采用反射和折射混合系统，如全向相机，但是它的分辨率不随方位角变化，最高分辨率达不到视觉系统安全性的要求。
根据申请人所进行的资料检索，与本发明相关的参考文献有以下几篇[1]Steven E.Shladover.etal.Automatic vehicle control developments in the PATHprogram.IEEE Transactions on Vehicular Technology，1991，Vol.40(1)114-130。
Steven A.Nobe et al.An overview of recent developments in automated lateraland longitudinal vehicle controls.IEEE International conference on system，man and cybernetics，2001，Vol.53447-3452。
Alberto Broggi，Massimo Bertozzi，Alessandra fascioli，Gianni Conte.Automatic vehicle guidanceThe experience of the ARGO autonomous vehicle.World Scientific Publishing Co.，1999。
Xianghong Liu.Development of a vision-based object detection and recognitionsystem for intelligent vehicle.Doctorial dissertation.University ofWisconsin-madison，2000。
张殿业.驾驶员动态视野与行车安全可靠度.西南交通大学学报，2000，35(3)，p319-322(Dianye Zhang.Dynamic visual field of driver with safety driving.Journal of Southwest Jiaotong University，35(3)，p319-322，2000)。
Simon Baker，Shree K.Nayar.A theory of single-viewpoint catadioptric imageformation.International journal of computer vision 35(2)，p175-196，1999[7]彭群生.计算机真实感图形的算法基础.科学出版社.1999.北京。P402-403。
Shih-Schon Lin，Bajcsy，R.True single view point cone mirror omni-directionalcatadioptric system..Proceedings.Eighth IEEE International Conference on，Volume2，7-14 July 2001，p102-107。
发明内容
针对上述现有技术存在的缺陷或不足，申请人受全向相机、汽车后视镜和人眼选择性注意机制的启发，提出一种基于反射-折射机理的大视场多分辨率成像方法。
实现上述发明目的采取的技术解决方案是，一种基于反射-折射机理的大视场多分辨率成像方法，其特点是，由摄像机和椭圆锥镜面构成一个反射折射系统，摄像机位于椭圆锥镜面的上方，椭圆锥镜面的水平截面为椭圆形，使曲率较小的那部分弧面朝向注视中心；该反射-折射成像方法包括建立具有单视点的模型、空间场景向图像平面的变换、图像平面坐标系向世界坐标系的转换、确立水平视场和水平分辨率、垂直视场和垂直分辨率等步骤，通过上述步骤，形成了一幅透射投影图像，随后该图像就可以用通常的计算机视觉算法进行处理。这样就可以使该光学系统的中间部分的分辨率高，左右两侧的分辨率低，同时保证了较大的水平视场。这样就以降低一部分的分辨率为代价换取了另一部分分辨率的提高，从而在一定程度上满足了智能车辆自动驾驶对分辨率和视场的要求。
图1是世界坐标系和图像平面坐标系，其中(1)反射-折射系统成像示意图(2)水平分辨率定义示意图(3)垂直视场定义示意图(4)垂直分辨率定义示意图；图2是位于地平面半个同心圆上的点在图像平面上的成像点；图3是水平分辨率随方位角的变化规律；图4是垂直视场随方位角的变化规律，其中虚线代表上边界，实线代表下边界；
图5是垂直分辨率随方位角的变化规律；图6是应用多分辨率反射折射系统后智能车辆的有效观察视场图7是单视点多分辨率椭圆锥镜面反射-折射系统；图8是反射-折射系统采集的室内图像。
具体实施例方式
以下结合上述技术方案及其给出的说明书附图和原理对本发明作进一步的详细说明。
1.多分辨率反射折射系统的原理1.1单视点约束的证明作为一个反射-折射系统，非常希望它有单视点[6]，只有这样才能确定五维全光函数[7]，即从拍摄的变形图像中产生出正确的几何透射图像。这是因为在单个视点的约束下，所拍图像中的每个像素都对应在某个方向上通过视点的光线的辐射度。由于反射-折射系统的几何关系是已知的，能够事先计算出每个像素对应的方向。因此，就能够将每个像素的辐射值映射到距离视点某个距离的平面上，从而形成了一幅透射投影图像。随后该图像就可以用通常的计算机视觉算法进行处理了。如果为了人们观看，也需要不失真的透射投影图像。
本发明中，将系统具有单视点作为主要设计目标之一，下面证明由椭圆锥镜面组成的反射-折射系统具有单视点(系统原型见图7)。
建立世界坐标系OXYZ如图1所示。不失一般性，令坐标原点位于椭圆锥底面椭圆的中心，X轴设在底面椭圆的短半轴上，Y轴设在底面椭圆的长半轴上，Z轴设在椭圆锥的中心线上，则椭圆锥面的方程为
X2a2+Y2b2=(1-ZH)2---(1)]]>其中a，b分别为底面椭圆的短半轴和长半轴的长度，H为椭圆锥的高度。设F(X,Y,Z)=X2a2+Y2b2-(1-ZH)2=0,]]>则其偏导数为FX(X0,Y0,Z0)=2X0a2=n1]]>FY(X0,Y0,Z0)=2Y0b2=n2---(2)]]>FZ(X0,Y0,Z0)=1H(1-Z0H)=n3]]>对于椭圆锥面上的一点M(X0，Y0，Z0)，其法线方程为X-X0n1=Y-Y0n2=Z-Z0n3---(3)]]>如图1(1)所示，过椭圆锥的中心线OO′作截面∏1，其与XOZ平面的夹角为Φ，平面∏1的方程为Y＝X·tgΦ(4)联立方程(1)、(4)，平面∏1与椭圆锥面的交线O′E为(本文只考虑X≥0的情况)X=11a2+tg2Φb2(1-ZH)---(5)]]>Y=X·tgΦ]]>显然该交线是直线。
对于交线O′E上的任一点，根据(3)和(5)，其法线方向为n1=2a21a2+tg2Φb2,n2=2b21a2+tg2Φb2tgΦ,n3=2H---(6)]]>
式(6)说明交线O′E上所有点的法线方向相同，并组成一个通过椭圆锥顶点的平面∏2。当平面∏1过底面椭圆的长轴或短轴时，平面∏2和平面∏1重合，否则它们是不重合的。根据光的反射原理，平面∏2内的所有入射光线经过O′E反射后都在该平面内。这样就与[8]中的情形一致，该情形已在[6]中被证明具有单视点，故本反射-折射系统也是单视点的。
1.2空间场景向图像平面的变换如图1，对于空间中的一点W(X，Y，Z)(已知量)，在椭圆锥面必然有一点M(X0，Y0，Z0)(待求量)，使M(X0，Y0，Z0)处的法线过W(X，Y，Z)。根据(1)、(2)和(3)式，有下列方程成立X2[a(1-Z0H)+Ha(Z-Z0)]2+Y2[b(1-Z0H)+Hb(Z-Z0)]2=1---(7)]]>X0=X11+Ha2(1-Z0H)(Z-Z0)---(8)]]>Y0=Y11+Hb2(1-Z0H)(Z-Z0)---(9)]]>设W′(X′，Y′，Z′)是W(X，Y，Z)的虚像，即W′(X′，Y′，Z′)是W(X，Y，Z)相对于M(X0，Y0，Z0)的对称点，根据几何光学反射原理，有X′＝2X0-XY′＝2Y0-Y(10)Z′＝2Z0-Z建立如图1(1)所示的图像平面坐标系xoy，则W(X，Y，Z)的成像点I(x，y)为
x=fX′Z′-H---(11)]]>y=f-Y′Z′-H]]>其中f为摄像机的焦距。
在(7)中，因为Z0没有解析解，故应用数值法求解。
1.3图像平面坐标系向世界坐标系的转换为了得到人们习惯的透射投影图像，可以通过下列方法实现首先将反射-折射系统采集的图像映射到一个距视点O′一定距离的平面上，然后假设一个普通透射相机的光心位于视点O′上，调整该透射相机的内部和外部参数，就可以生成所需的图像。本发明仅考虑空间Z＝h平面上的点与图像平面上的点之间的对应关系。设空间一点W(X，Y，h)，通过椭圆锥面上的点M(X0，Y0，Z0)的虚像点为W′(X′，Y′，Z′)，类似于2.2节中的推导过程，有X′=xf(Z′-H)]]>Y′=-yf(Z′-H)---(12)]]>Z′=2Z0-h]]>X′2[a(1-Z0H)+Ha(Z′-Z0)]2+Y′2[b(1-Z0H)+Hb(Z′-Z0)]2=1---(13)]]>因此[xf(2Z0-h-H)]2[a(1-Z0H)+Ha(Z0-h)]2+[-yf(2Z0-h-H)]2[b(1-Z0H)+Hb(Z0-h)]2=1---(14)]]>X0=X′11+Ha2(1-Z0H)(Z′-Z0)---(15)]]>
Y0=Y′11+Hb2(1-Z0H)(Z′-Z0)---(16)]]>则成像点I(x，y)在Z＝h平面上对应的空间点的坐标为X＝2X0-X′Y＝2Y0-Y′(17)Z＝h式(14)中的Z0也用数值法求解。
1.4水平视场和水平分辨率显然，该系统用于智能车辆时水平视场高达180度，本节主要讨论分辨率。如图1(2)所示，在OXYZ坐标系OXY平面内，以r为半径作圆，设空间中有两点W1和W2，它们向OXY平面的投影W1′和W2′都落在圆上，OW1′和OXZ平面的夹角是Φ，即相对于X轴的方位角，OW1′和OW2′之间的夹角是dΦ，它们在图像平面上的成像点为I1(x1，y1)和I2(x2，y2)，I1O′和I2O′之间的夹角是d，水平分辨率定义如下 W1点的坐标为(X1，Y1，h)，X1＝rcosΦ，Y1＝rsinΦ，Z1＝h(19)W2点的坐标为(X2，Y2，h)X2＝rcos(Φ+dΦ)，Y2＝rsin(Φ+dΦ)，Z2＝h(20)结合公式(11)，就可求出分辨率随方位角的变化。
1.5垂直视场和垂直分辨率由于使用的反射光学元件是椭圆锥面，不是回转体，故在不同的水平方向其垂直视场是不同的。如果是圆锥面，则各个方向的垂直视场相同。如图1(3)所示，设空间中有一条直线，其方程为Y＝rsinΦ，X＝rcosΦ(21)其与垂直视场的下边界和上边界各有一个交点Bmin，Bmax，它们的高度分别为Zmin和Zmax，则θmin=arctgZmin-Hr,θmax=arctgZmax-Hr,FOV=θmax-θmax---(22)]]>如图1(4)所示，对于一定方位角Φ上的W1(rcosΦ，rsinΦ，Z)和W2(rcosΦ，rsinΦ，Z+dZ)，O′W1和O′W2之间的夹角是dΘ，它们在图像平面上的成像点为I1(x1，y1)和I2(x2，y2)，I1O′和I2O′之间的夹角是dθ，垂直分辨率定义如下ϵv=dθdΘ---(23)]]>其中dθ=arccosx1x2+y1y2+f2(x12+y12+f2)(x22+y22+f2)]]>dΦ=arccos2r2+(Z-H)2+(Z+dZ-H)2-dZ22(r2+(Z-H)2)(r2+(Z+dZ-H)2)]]>通过上述步骤，形成了一幅透射投影图像，随后该图像就可以用通常的计算机视觉算法进行处理。
2.结果及分析2.1仿真结果为了对该系统的性能进行分析，作者进行了仿真实验，条件是r＝20m，h＝0m，Φ∈(-π/2，π/2)，H＝1.5m，a＝1.5m，b＝1.85m，f＝6mm。图2是一组位于以O为圆心的Z＝0平面上的半个同心圆的点在图像平面上的成像，可以发现圆形分布的目标变成了椭圆分布，中间的成像点的间距大于两边的。水平分辨率的变化和方位角之间的关系如图3所示，最大分辨率和最小分辨率的比值依赖于椭圆的短轴和长轴之比，本文中最大值几乎是最小值的6倍。
垂直视场与方位角之间的关系如图4所示，有趣的是当Φ∈[-π/2，π/2)时，在各个水平方向上垂直视场的最大值是相同的，只有最小值发生变化。这是因为垂直视场的最小值θmin依赖于CCD的成像靶面的尺寸，而最大值θmax取决于椭圆锥的高度H和底面椭圆的短轴a之比。垂直分辨率随方位角的变化如图5所示，其值接近于1。这是因为对于圆锥境面来说，其在垂直方向的成像是没有失真的，反射-折射系统的垂直分辨率等于透镜系统的分辨率，其值为1。而对于椭圆锥境面，如节2.1中所述，平面∏2和∏1不重合，故垂直分辨率接近于1，只有在短轴和长轴方向上垂直分辨率才是1。
如果CCD芯片的感光单元是均匀分布的，目标的尺寸一定，则车载视觉系统能够可靠地检测和识别周围目标的范围如图6所示，大体上与人类驾驶员的观察范围类似，因此本系统比其它机器视觉系统更为合理。
2.2系统原型为了验证本系统具有的多分辨率和大视场特点，作者制作了一个单视点多分辨率椭圆锥镜面的反射-折射系统原型。SONY DSR-PD150P DVCAM被用作透射相机，焦距设置为6mm，去掉了遮光罩。椭圆锥的高度是0.1m，底面椭圆的短轴为0.1m，长轴为0.13m，表面覆盖一层反光材料。系统原型的结构如图7所示，拍摄的变形图像如图8所示，从中可以看出下方中间的图像比两边的清晰。该图像可以变换为正常的透射投影图像。
3.结论该反射-折射系统经理论证明具有单视点和多分辨率，在一定程度上具有人眼的选择性注意机制，通过调整底面椭圆短轴和长轴的比例，可以改变分辨率的分布。利用小孔成像模型和几何光学成像模型，分别计算了该系统的水平分辨率、垂直视场及垂直分辨率随方位角的变化规律。基于作者所提的方法构建的原型验证了理论分析，此外该新系统制作和维护简单，容易分析，造价低，却能提供智能车辆导航所需要的分辨率和视场，优于现有的一些车载视觉系统。该系统还可以用于虚拟现实、远程会议、视频监视等方面。
权利要求
1.一种基于反射-折射机理的大视场多分辨率成像方法，其特征在于，由摄像机和椭圆锥镜面构成一个反射折射系统，摄像机位于椭圆锥镜面的上方，椭圆锥镜面的水平截面为椭圆形，使曲率较小的那部分弧面朝向注视中心；该反射-折射成像方法包括以下步骤1)建立具有单视点的模型建立世界坐标系OXYZ，令坐标原点位于椭圆锥底面椭圆的中心，X轴设在底面椭圆的短半轴上，Y轴设在底面椭圆的长半轴上，Z轴设在椭圆锥的中心线上，则椭圆锥面的方程为X2a2+Y2b2=(1-ZH)2---(1)]]>其中a，b分别为底面椭圆的短半轴和长半轴的长度，H为椭圆锥的高度；设F(X,Y,Z)=X2a2+Y2b2-(1-ZH)2=0,]]>则其偏导数为FX(X0,Y0,Z0)=2X0a2=n1]]>FY(X0,Y0,Z0)=2Y0b2=n2---(2)]]>FZ(X0,Y0,Z0)=1H(1-Z0H)=n3]]>对于椭圆锥面上的一点M(X0，Y0，Z0)，其法线方程为X-X0n1=Y-Y0n2=Z-Z0n3---(3)]]>过椭圆锥的中心线OO′作截面Π1，其与XOZ平面的夹角为Φ，平面Π1的方程为Y＝X·tgΦ (4)联立方程(1)、(4)，平面Π1与椭圆锥面的交线O′E为X=11a2+tg2Φb2(1-ZH)---(5)]]>Y＝X·tgΦ式中只考虑X≥0的情况，显然该交线是直线；对于交线O′E上的任一点，根据(3)和(5)，其法线方向为n1=2a21a2+tg2Φb2,]]>n2=2b21a2+tg2Φb2tgΦ,]]>n3=2H---(6)]]>式(6)说明交线O′E上所有点的法线方向相同，并组成一个通过椭圆锥顶点的平面Π2；当平面Π1过底面椭圆的长轴或短轴时，平面Π2和平面Π1重合，否则它们是不重合的；2)空间场景向图像平面的变换对于空间中的一点已知量W(X，Y，Z)，在椭圆锥面必然有一点(待求量)M(X0，Y0，Z0)，使M(X0，Y0，Z0)处的法线过W(X，Y，Z)；根据(1)、(2)和(3)，有下列方程成立X2[a(1-Z0H)+Ha(Z-Z0)]2+Y2[b(1-Z0H)+Hb(Z-Z0)]2=1---(7)]]>X0=X11+Ha2(1-Z0H)(Z-Z0)---(8)]]>Y0=Y11+Hb2(1-Z0H)(Z-Z0)---(9)]]>设W′(X′，Y′，Z′)是W(X，Y，Z)的虚像，即W′(X′，Y′，Z′)是W(X，Y，Z)相对于M(X0，Y0，Z0)的对称点，根据几何光学反射原理，有X′＝2X0-XY′＝2Y0-Y (10)Z′＝2Z0-Z建立图像平面坐标系xoy，则W(X，Y，Z)的成像点I(x，y)为x=fX′Z′-H---(11)]]>y=f-Y′Z′-H]]>其中f为摄像机的焦距；在(7)中，因为Z0没有解析解，故应用数值法求解；3)图像平面坐标系向世界坐标系的转换首先将反射-折射系统采集的图像映射到一个距视点O′一定距离的平面上，然后假设一个普通透射相机的光心位于视点O′上，调整该透射相机的内部和外部参数，就可以生成所需的图像；仅考虑空间Z＝h平面上的点与图像平面上的点之间的对应关系；设空间一点W(X，Y，h)，通过椭圆锥面上的点M(X0，Y0，Z0)的虚像点为W′(X′，Y′，Z′)，有X′=xf(Z′-H)]]>Y′=-yf(Z′-H)---(12)]]>Z′＝2Z0-hX′2[a(1-Z0H)+Ha(Z′-Z0)]2+Y′2[b(1-Z0H)+Hb(Z′-Z0)]2=1---(13)]]>因此[xf(2Z0-h-H)]2[a(1-Z0H)+Ha(Z0-h)]2+[-yf(2Z0-h-H)]2[b(1-Z0H)+Hb(Z0-h)]2=1---(14)]]>X0=X′11+Ha2(1-Z0H)(Z′-Z0)---(15)]]>Y0=Y′11+Hb2(1-Z0H)(Z′-Z0)---(16)]]>则成像点I(x，y)在Z＝h平面上对应的空间点的坐标为X＝2X0-X′Y＝2Y0-Y′ (17)Z＝h式(14)中的Z0也用数值法求解；4)确立水平视场和水平分辨率在OXYZ坐标系OXY平面内，以r为半径作圆，设空间中有两点W1和W2，它们向OXY平面的投影W1′和W2′都落在圆上，OW1′和OXZ平面的夹角是Φ，即相对于X轴的方位角，OW1′和OW2′之间的夹角是dΦ，它们在图像平面上的成像点为I1(x1，y1)和I2(x2，y2)，I1O′和I2O′之间的夹角是d，水平分辨率定义如下 其中 W1点的坐标为(X1，Y1，h)X1＝rcosΦ，Y1＝rsinΦ，Z1＝h (19)W2点的坐标为(X2，Y2，h)X2＝rcos(Φ+dΦ)，Y2＝rsin(Φ+dΦ)，Z2＝h (20)结合公式(11)，就可求出分辨率随方位角的变化；5)垂直视场和垂直分辨率由于使用的反射光学元件是椭圆锥面，不是回转体，故在不同的水平方向其垂直视场是不同的；如果是圆锥面，则各个方向的垂直视场相同；垂直视场定义如下设空间中有一条直线，其方程为Y＝rsinΦ，X＝rcosΦ (21)其与垂直视场的下边界和上边界各有一个交点Bmin，Bmax，它们的高度分别为Zmin和Zmax，则θmin=arctgZmin-Hr,θmax=arctgZmax-Hr,FOV=θmax-θmin---(22)]]>对于一定方位角Φ上的W1(rcosΦ，rsinΦ，Z)和W2(rcosΦ，rsinΦ，Z+dZ)，O′W1和O′W2之间的夹角是dΘ，它们在图像平面上的成像点为I1(x1，y1)和I2(x2，y2)，I1O′和I2O′之间的夹角是dθ，垂直分辨率定义如下ϵv=dθdΘ---(23)]]>其中dθ=arccosx1x2+y1y2+f2(x12+y12+f2)(x22+y22+f2)]]>dΦ=arccos2r2+(Z-H)2+(Z+dZ-H)2-dZ22(r2+(Z-H)2)(r2+(Z+dZ-H)2)]]>通过上述步骤，形成了一幅透射投影图像，随后该图像就可以用通常的计算机视觉算法进行处理。
全文摘要
本发明公开了一种真正单视点、大视场、多分辨率的椭圆锥镜面反射－折射机理的大视场多分辨率成像方法，由摄像机和椭圆锥镜面构成一个反射折射系统，摄像机位于椭圆锥镜面的上方，椭圆锥镜面的水平截面为椭圆形，使曲率较小的那部分弧面朝向注视中心；该反射－折射成像方法包括建立具有单视点的模型、空间场景向图像平面的变换、图像平面坐标系向世界坐标系的转换、确立水平视场和水平分辨率、垂直视场和垂直分辨率等步骤，通过上述步骤，形成了一幅透射投影图像，随后该图像用通常的计算机视觉算法进行处理。可以使曲率较小部分对应的图像的分辨率高，左右两侧的分辨率低，同时保证了较大的水平视场。从而在一定程度上接近人眼的感知特性。
文档编号H04N5/225GK1564044SQ20041002605
公开日2005年1月12日 申请日期2004年4月20日 优先权日2004年4月20日
发明者李青, 郑南宁, 马琳, 程洪 申请人:西安交通大学