专利名称：：无死角的双目立体全方位视觉传感装置的制作方法
技术领域：
：本发明属于全方位视觉传感装置。
背景技术：
：近年发展起来的全方位视觉传感器ODVS(OmniDirectionalVisionSensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。这种ODVS摄像机主要由一个CCD摄像机和正对着摄像机的一个反射镜组成。反射镜面将水平方向一周的图像反射给CCD摄像机成像，这样，就可以在一幅图像中获取水平方向360°的环境信息。这种全方位摄像机有着非常突出的优点，特别在对全景实时处理要求下，是一种快速、可靠的视觉信息采集途径。但另一方面，这种图像获取模式同时也决定了得到的全方位图像必然存在着较大幅度的压缩和形变，这就影响了它对远距离物体的观察精度。虽然目前的ODVS能检测到水平方向360°的环境信息，但是在垂直方向上还是存在着死角，目前的反射镜面采用双曲面设计在垂直方向上视角范围可以达到120°，在ODVS的上下方还存在着约120°左右的死角范围。中国发明专利公开的发明专利"全方位视觉装置"(公开号CN1878297)以及实用新型"全方位视觉传感器"(公开号CN2705807)均属于这类技术。为了减少全方位视觉传感器在垂直方向上的死角，中国发明专利公开的发明专利"无死角的全方位视觉装置"(公开号CN101004538),该专利技术尝试采用组合镜头的方法拓广在的垂直方向上视角范围，但是还不能实现360。*360°且又无遮挡的全方位视觉传感。
发明内容为了克服已有的全方位视觉传感装置的在垂直方向上存在死角、不能实现360°*360°范围监控的不足，本发明提供一种能够消除在垂直方向的死角、获取实时360°*360°大范围的全方位图像的无死角的双目立体全方位视觉传感装置。本发明解决其技术问题所采用的技术方案是一种无死角的双目立体全方位视觉传感装置，包括两台具有相同平均分辨率的全方位视觉传感器、连接单元和用于对两台全方位视觉传感器的图像进行处理的微处理器，所述全方位视觉传感器包括一次折反射镜面、二次折反射镜面、透明外罩和摄像部件，所述一次折反射镜面和二次折反射镜面安装在透明外罩上，所述摄像部件位于一次折反射镜面后面的视点上，所述二次折反射镜面位于一次折反射镜面的前面，所述一次折反射镜面和二次折反射镜面上均开有一个小孔，所述二次折反射镜面内嵌入广角镜头，所述摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上，所述两台全方位视觉传感器的后侧通过连接单元连接；一次入射光线VI与折反射主轴Z的夹角为①，一次反射光线V2与折反射主轴Z的夹角为《，过S点(G,《)的切线与,轴的夹角为"，法线与Z轴的夹角为f;二次反射光线V3与折反射主轴Z的夹角为《，过A点(^,《)的切线与^轴的夹角为"，法线与Z轴的夹角为^，基于上述关系可以得到公式(1):<formula>formulaseeoriginaldocumentpage7</formula>其中'<formula>formulaseeoriginaldocumentpage7</formula>式中，巧是一次折反射镜面曲线，i^是二次折反射镜面曲线；利用三角关系并进行简化整理，得到公式(2)、(3):<formula>formulaseeoriginaldocumentpage8</formula>解公式(2)、(3)可以得到公式(4)、(5);<formula>formulaseeoriginaldocumentpage8</formula>式中巧'为巧曲线的微分，《'为《曲线的微分；建立一种像素点尸到Z轴距离与入射角^之间的线性关系，用公式(6)来表<formula>formulaseeoriginaldocumentpage8</formula>将摄像单元的焦距作为,，尸为像素到Z轴的距离，在二次反射镜面上的反射点A,^);则根据成像原理，尸由公式(7)表示尸=广F，<formula>formulaseeoriginaldocumentpage8</formula>根据折反射原理公式(8)用公式(9)表示:<formula>formulaseeoriginaldocumentpage8</formula>利用公式(2)、(3)、(9)，利用4阶Rimge-Kutta算法求和&的数字解，计算得到一次折反射镜面和二次折反射镜面的曲线；所述的微处理器包括视频图像读取单元，用于读取两个具有相同平均角分辨率的无死角的全方位视觉传感器的视频图像，并保存在指定的存储单元中；视频图像展开单元，用于对具有平均角分辨率的无死角的全方位视觉传感器的原始视频图像进行图像预处理，图像预处理中首先将组合摄像单元所拍摄的图像单独分离出来，然后对全方位图像进行展开，展开后的结果保存在指定的存储单元中；视频图像拼接单元，用于将两个无死角的全方位视觉传感器的展开的全景图像无缝地拼接成一张360°*360°球体的展开平面图。作为优选的一种方案设定一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像为第一成像点，该成像点通过摄像部件镜头在视点处成像，将摄像部件镜头的焦点距离作为fl、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为Sl、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式得到以下关系式通过设计广角镜头的焦点距离f2来满足公式(12)的要求；组合摄像单元的焦距f由下式来表示<formula>formulaseeoriginaldocumentpage9</formula>(13)另外，将合成镜头的直径作为D，其放大倍数由下式来表示/合成镜头时满足以下公式<formula>formulaseeoriginaldocumentpage9</formula>式中，《^是二次反射光线V3与折反射主轴Z的最大夹角。作为优选的另一种方案所述透明外罩呈碗状，包括半圆球和圆台的形体，所述半圆球的球心与全方位视觉传感器的视点重合，在半圆球部分的半径处与圆台部分过渡。作为优选的另一种方案在所述的视频图像展开单元中，先将组合摄像单元所拍摄的图像单独分离出来，然后对全方位图像进行展开，展开后的结果保存在指定的存储单元中，展开算法采用透视投影平面进行，通过透视投影平面的坐标点P(i,j沐空间三坐标中的P(X,Y,Z)，得到投影平面与空间三坐标的转换关系，转换关系式用公式(17)来表示X=i*cos--/*sin/5(17)F=i*sin;5+f*cosP■Z=D*cos--7*sin-(i=D*sin-+y*cos-)式中D为透视投影平面到oDvs视点的距离，e角度是入射光线在XY平面上投影的夹角，①角度是入射光线与Z轴的夹角，i轴是与XY平面平行的横轴，j轴是与i轴和S—G轴直角相交的纵轴；在成像平面上的P(x，y)点通过公式(18)来计算得到，X=A*0*COSy9(18)y=&*-*sin/式中，K是比例系数，可以通过标定来得到；O是入射角；e是入射光线在XY平面上投影的夹角；将上述用公式(17)求得的P(X,Y,Z)点代入公式(18)就能求得与透视投影平面的坐标点P(i,j)相对应的在成像平面上的P(x，y)点。进一步，在所述的视频图像展开单元中，先将组合摄像单元所拍摄的图像单独分离出来，然后对全方位图像进行展开，展开后的结果保存在指定的存储单元中，展开算法通过几何变换将圆环形全景图像展开成矩形柱面全景图像，采用最小入射角Omin到入射角为90°范围的矩形柱面全景图像。更进一步，在所述视频图像拼接单元中，设定入射角①和方位角e是连续，透视投影平面的窗口W和H都对应着一个入射角O和方位角P，将透视投影平面视频图像拼合成一张球体的展开平面图。本发明的技术构思为本申请是在原有的无死角全方位视觉装置的基础上进行了改进，原有的无死角的全方位视觉装置如图l所示，将摄像机配置在双曲面镜的后面，安置在双曲面镜的实焦点处，双曲面镜的中间留有一个小孔，摄像机能通过小孔拍摄到双曲面镜的前面的视频信息；在双曲面镜的前面配置有一个圆弧副镜，圆弧副镜的中心与双曲面镜的主焦点重合，圆弧副镜的中部留有一个小孔，在该小孔中嵌入一个广角镜头；全方位视频信息在双曲面镜折反射后经圆弧副镜进行二次折反射，然后通过双曲面镜的小孔在摄像机中成像；另外在双曲面镜正前方的实物通过广角镜头在广角镜头与摄像部件镜头之间成像，称为第一成像点，该成像点通过双曲面镜的小孔在摄像部件镜头在焦点处成像，通过改进设计ODVS消除了原来ODVS的死角部分，并且通过摄像部件镜头与广角镜头的组合方式加上双曲面镜以及圆弧副镜的设计，能将视觉范围覆盖原来的ODVS的死角部分。但是这种设计还是存在着死角部分，比如在摄像机的后部存在着视觉死角区域，在有些特殊应用领域中需要获取实时360。*360°大范围的全方位图像；在原有的无死角全方位视觉装置的基础上要获取实时360°*360°大范围的全方位图像至少要解决以下2个方面的关键问题1)在结构设计上能将两台无死角全方位视觉装置按照要求结合在一起，并能满足无遮挡的要求；2)集成后的两台全方位视觉装置之间的过度区域的成像是连续的，并能满足某种成像规律，以便进行视频信息的融合以及对被跟踪监控对象的空间位置计算；首先，解决第一个关键问题，本发明中将两台无死角全方位视觉装置用一连接件进行连接，摄像机的视频线与电源线通过连接件中的孔引出，如附图4所示；其次，解决第二个关键问题，为了使得集成后的两台全方位视觉装置之间的过度区域的成像是连续的，本发明中对每台集成的全方位视觉装置以平均角分辨率进行设计，换言之，成像平面上的点与入射角之间的关系来说具有某种线性关系，下面说明平均角分辨率设计的方法；进一步，要进行平均角分辨率设计，可以归结于折反射镜面曲线的设计，如附图6所示，空间上的一个光源点P的入射光VI在主反射镜面(tl，巧)点上进行反射，反射光V2反射到次反射镜面(t2，F0点上再进行反射，反射光V3以角度ei进入摄像装置的镜头，在摄像单元(CCD或者CMOS)上成像。根据成像原理，一次入射光线V1与折反射主轴Z的夹角为①，一次反射光线V2与折反射主轴Z的夹角为《，过C点"，巧)的切线与^轴的夹角为^，法线与Z轴的夹角为s;二次反射光线V3与折反射主轴Z的夹角为《，过^点"2，A)的切线与,轴的夹角为"，法线与Z轴的夹角为&，基于上述关系可以得到公式<formula>formulaseeoriginaldocumentpage12</formula>式中，巧是一次折反射镜面曲线，《是二次折反射镜面曲线;利用三角关系并进行简化整理，得到公式(2)、(3):<formula>formulaseeoriginaldocumentpage12</formula>解公式(2)、(3)可以得到公式(4)、(5);=a±Va2+1(4)式中巧'为巧曲线的微分，《为《曲线的微分；所述的成像平面上的点与入射角之间的关系来说具有某种线性关系，就是要建立一种像素点户到Z轴距离与入射角^之间的线性关系，用公式(6)来表示，<formula>formulaseeoriginaldocumentpage12</formula>式中"。、6是任意参数，将摄像单元的焦距作为y，P为像素到Z轴的距离，在二次反射镜面上的反射点A，巧)。则根据成像原理，尸可以由公式(7)表示<formula>formulaseeoriginaldocumentpage12</formula>将式(7)代入式(6)，可得公式(8)，尸2满足公式(8)的镜面曲线设计符合平均角分辨率要求；进一步，根据折反射原理公式(8)可以用公式(9)表示，tan—=|)"Q(9)A—51尸2更进一步，利用公式(2)、(3)、(9)，利用4阶Runge-Kutta算法求^和A的数字解，这样计算得到的一次折反射镜面和二次折反射镜面曲线能实现平均角分辨率；图7是利用4阶Runge-Kutta算法求A和《的数字解的折反射镜面曲线图；进一步，设计透明外罩2，为了使得透明外罩2不会产生内壁的反射干扰光，如图1所示。具体做法是将透明外罩设计成碗状，即半圆球和圆台构成，半圆球的球心与一次折反射镜面的视点重合，这样能避免在透明外罩2发生反射干扰光，在半圆球部分的半径处与圆台部分进行过渡，圆台部分的倾斜角度为2~3°，主要是考虑在模具生产时的脱模斜度，0DVS的结构如图1所示；更进一步，在一次折反射镜面的顶部留出一个小孔，摄像机3通过该小孔能拍摄到一次折反射镜面后面的图像信息，但是通过该小孔能拍摄到一次折反射镜面后面的图像信息的大部分二次折反射镜面上所折反射的图像，仍然有一些空间图像信息被二次折反射镜面所遮挡；本发明中将广角镜头配置在二次折反射镜面上，设计广角镜头以及确定广角镜头的位置是本发明的一个任务。图3是摄像部件镜头与广角镜头的位置关系图。在图3中将广角镜头配置在一次折反射镜的前方和二次折反射镜面上，摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；通过一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像，称为第一成像点，该成像点通过摄像部件镜头在视点处成像。这里将摄像部件镜头的焦点距离作为fl、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为Sl、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式<formula>formulaseeoriginaldocumentpage13</formula>"5"2+S3(12)要使公式(12)成立的话，也就是将图3中的从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头的话，就可以得到图2中图像中部所显示的广角成像图；但是本发明中是将广角镜头配置在第二折反射镜面上，因此将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，只有通过设计广角镜头的焦点距离f2来满足公式(12)的要求；进一步，对于图3中将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f可以由下式来表示1_(/1+/2-^0(13)另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示-Z)(14)W=——为了将合成镜头的视场与0DVS的死角部分相吻合，在设计合成镜头时需要满足以下公式D(15)式中，《n^是二次反射光线V3与折反射主轴Z的最大夹角；经过上述设计的0DVS拍摄出来的图像效果图如图2所示，从单个0DVS来说消除了原来0DVS的死角部分，并且通过摄像部件镜头与广角镜头的组合方式加上第一折反射镜面以及第二折反射镜面的设计，能有效地覆盖原来的0DVS的死角部分。更进一步，所述的第一折反射镜面、第一折反射镜面上的小孔、摄像机、透明外罩、第二折反射镜面、广角镜头在同一中心轴线上；摄像机的镜头安置在第一折反射镜面后部的视点位置上，如图5所示；所述的透明外罩，主要用于支撑第一折反射镜面、第二折反射镜面、广角镜头以及保护第一折反射镜面和第二折反射镜面不受到外界粉尘的污染而影响折反射的质量，但是透明外罩本身也会受到外界粉尘等污染而影响图像质量，在透明外罩的外边涂上一层薄膜，薄膜材料的主要成分是二氧化钛的纳米材料；更进一步，是要将两个ODVS进行组合装配，形成一个无死角的立体全方位视觉传感装置；如图4所示，本发明中将两个具有同一平均角分辨率的ODVS背靠背的方式用连接件进行固定，两个摄像机的视频线与电源线通过连接件中的孔引出，如果每个ODVS的视场范围是24(T*360°，那么组合后的无死角的双目立体全方位视觉传感装置的视场范围是360°*360°，且存在着两个ODVS同时能获取图像的重叠视场范围，该重叠视场范围为60。，如图4中所示的斜线部分；更进一步，每个ODVS通过摄像部件镜头与广角镜头的组合方式所拍摄到的图像位于拍摄图像的中间，在展开全方位图像时需要将该中心部分的图像单独分离出来，然后对全方位图像进行展开，全方位图像展开根据实际使用的需要选择某一种展开方式，一种展开方式是先进行透视图展开接着进行展开透视图拼接的方式；为了对透视图有一个较好的理解，如附图7所示，这里我们从0dvs的视点s到透视投影坐标原点g引一条距离为d的直线s—g，与这条s—g相垂直的平面作为透视投影平面，因此透视投影平面是与s—g连接线相垂直的平面，将g点作为原点的平面坐标系i，j，其中i轴是与xy平面平行的横轴，j轴是与i轴和s—g轴直角相交的纵轴，将从透视投影平面到0dvs的视点s的距离作为D，定义透视投影平面的横幅为W，纵幅为H。由于i轴是与XY平面平行，又是与Z轴垂直的，因此所得到的透视投影平面是以g点为坐标中心与xy平面(水平面)上旋转一个角度，该角度就是s—g连接线与z轴的夹角，也就是入射角①；这里我们将s-g作为变换中心轴，点g作为变换中心点，用e(入射光线在xy平面上的夹角一方位角)、①以及距离d来表示变换中心轴，e角度在0°~360°范围内，e可以用式(16)来表示y^tan"(7/X):tan画10/1)(16)一般来说，距离D越长景物越小，距离D越短景物越大；通过透视投影平面的坐标点P(i，j)求空间三坐标中的P(X，Y，Z)，这样就能得到投影平面与空间三坐标的转换关系，转换关系式用公式(17)来表示=i*cos/-/*sin/(17)y=i*sin/+/*cos/Z=D*cos^-y'*sin^(i=D*sin0+_/*cos卩)式中d为透视投影平面到odvs视点的距离，e角度是入射光线在xy平面上投影的夹角，①角度是入射光线与Z轴的夹角，i轴是与XY平面平行的横轴，j轴是与i轴和S—G轴直角相交的纵轴，i轴与j轴的方向由图7所示；由于ODVS的设计采用了平均角分辨率的设计，因此在成像平面上的P(x，y)点可以通过公式(18)来计算得到，x"*^*cos"(18)y=&*^*sin/式中，K是比例系数，可以通过标定来得到；O是入射角；e是入射光线在XY平面上投影的夹角；将上述用公式(17)求得的P(X，Y，Z)点代入公式(18)就能求得与透视投影平面的坐标点P(i，j)相对应的在成像平面上的P(x，y)点。这样就可以通过在成像平面上得到的图像信息求得全方位透视投影图，也就是说建立了成像平面上的坐标系与透视投影平面的坐标系的对应关系。有了这样的对应关系，我们就能从成像平面上得到的某个点的图像信息；通过两个坐标系的对应关系，将该点的图像信息正确地显示在透视投影平面相对应的位置上；按照上述透视展开可以得到若干个透视投影平面，其个数是由透视投影平面的窗口横幅为W，纵幅为H来确定的，透视投影平面的窗口W和H的像素值取得大可分割的透视投影平面就少，透视投影平面的窗口边缘变形会大些；反之，透视投影平面的窗口W和H的像素值取得小可分割的透视投影平面就多，透视投影平面的窗口边缘变形会小些；组合后的无死角的双目立体全方位视觉传感装置的视场范围是360°*360°，因此展开时可以将其看成如同一张地球的展开图(世界地图)一样处理，用多个小平面(透视投影平面)拼合成一张球体的展开平面图；另一种展开方式，是将每个摄像机获得的圆环形全方位图像通过几何变换展开成矩形柱面全景图像，然后按入射角互补方式进行拼接；由于本发明中将两个具有同一平均角分辨率的ODVS背靠背的方式用连接件进行固定，因此两个ODVS的入射角重叠部分之间有如下关系成立，因此在拼接时需要将重叠部分在展开时首先要去掉重叠部分，本发明中采用最小入射角Omin到入射角为90。范围的矩形柱面全景图像，然后进行背靠背的拼接，所谓的背靠背的拼接是指将一个0DVS的矩形柱面全景图像旋转18(T进行合成；进一步，所述的最小入射角Omin到入射角为卯。范围的矩形柱面全景图像展开处理模块包括读取坐标信息单元，用于读取上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；近似展开计算单元，用于根据上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径，将圆形全方位图像的中心坐标设定平面坐标系的原点O"(O,O)、X、由、Y、由，图像的内径为r，外径为R，其中外径R的取值是由入射角为90。来确定的；然后设定中间圆的半径r尸(r+R)/2，方位角为/=tan—1(///);矩形柱面全景图像以坐标原点O"(O,0)、X"轴、Y"轴为平面坐标系，将圆形全方位图像中的内径为r与X、由的交点(r,0)作为坐标原点0"(0,0)，以方位角卩逆时针方向展开；建立矩形柱面全景图像中任意一点像素坐标P"(x",y")与圆形全方位图像中的像素坐标Q、x/)的对应关系，其计算式为x*=//(tan(360x**/;rCR+(19)/=(/*十r)cos-(20)上式中，x",y"为矩形柱面全景图像的像素坐标值，x/为圆形全方位图像的像素坐标值，R由入射角为90。来确定的，r为圆形全方位图像的内径，"为圆形全方位图像坐标的方位角。或者是，所述的图像展开处理模块包括读取坐标信息单元，用于读取上述初始化模块中计算得到的圆形全方位图像的中心坐标、图像的内圆半径以及入射角为90°的圆半径；映射矩阵展开单元，用于根据计算得到的圆形全方位图像的中心坐标、图像的内圆半径以及入射角为90。的圆半径，将圆形全方位图像的中心坐标设定平面坐标系的原点O"(O,0)、X、由、Y、由，图像的内径为r，射角为90°的圆半径为R，方位角为/=tan—、;/矩形柱面全景图像以坐标原点O"(0,0)、X"轴、Y"轴为平面坐标系，将圆形全方位图像中的内径为r与X'轴的交点(r,O)作为坐标原点0"(0，0)，以方位角P逆时针方向展开；根据圆形全方位图像中的任意一点像素坐标Q'(x/)与矩形柱面全景图像中像素坐标P"(x",y")的对应关系，建立从Q、x/)到P"(x",y")的映射矩阵对应关系，其计算式为f"(x",y")—^x^(x承，y"(21)上式中，5、x、y"为全方位图像上的各个像素坐标的矩阵，^为从全方位图像坐标到矩形柱面全景图像坐标的对应关系矩阵，，"为矩形柱面全景图像上的各个像素坐标的矩阵。本发明的有益效果主要表现在能够消除在垂直方向的死角、获取实时360°*360°大范围的全方位图像。图1为一种视场范围360°*240°的全方位视觉传感器的结构图；图2为采用消除了死角的全方位视觉传感器所拍摄的图像；图3为摄像部件镜头与广角镜头进行组合的光学原理图；图4为一种视场范围360。*360°的全方位视觉传感装置的结构图；图5为按二次折反射原理以及平均角分辨率来设计的ODVS说明图；图6为利用4阶Runge-Kutta算法求和F2的数字解的折反射镜面曲线图；图7为ODVS的透视投影图；图8为双目立体全方位视觉传感装置的结构框图。具体实施方式下面结合附图对本发明作进一步描述。实施例1参照图1图8，一种无死角的双目立体全方位视觉传感装置，是由两台具有相同平均角分辨率的无死角的全方位视觉传感器进行背靠背组装合成的；具有平均角分辨率的无死角的全方位视觉传感器(ODVS)，将两台具有相同平均角分辨率的无死角全方位视觉传感器用一连接件进行连接，摄像机的视频线与电源线通过连接件中的孔引出，如附图4所示；每个ODVS的摄像机的视频线分别接入视频图像读取单元，由于每个ODVS的摄像机的视频获取信息能达到36(T*240°视场范围，并且在垂直(入射角)方向上具有平均角分辨率，因此能容易实现两个ODVS之间的图像信息融合；视频图像读取单元分别读取每个ODVS的摄像机的视频信息并暂时保存在每个ODVS相对应的存储空间内(ODVStmpl、ODVStmp2);视频图像展开单元不断地读取存储空间(ODVStmpl、ODVStmp2)内的原始视频信息，通过展开算法对每个ODVS的摄像机所获取的视频信息进行展开运算，并将各自的展开计算结果暂时保存在相对应的存储空间内；视频图像拼接单元对展开计算结果进行无缝拼接，以计算得到360°*360°立体全方位视觉图像，并将无缝拼接计算结果暂时保存在一个存储空间内；最后通过360。*360°视频图像传输单元将拼接后的360°*360°立体全方位视觉图像发布和传输出去，如图8所示；要实现两个ODVS的展开图进行无缝拼接，其关键点是要实现两个ODVS之间的图像信息融合，即在某一个拼接方向上(入射角)具有相同的平均角分辨率;因此设计具有平均角分辨率的ODVS是本发明的首要任务，要进行平均角分辨率设计，可以归结于折反射镜面曲线的设计，如附图6所示，空间上的一个光源点P的入射光VI在主反射镜面"，巧)点上进行反射，反射光V2反射到次反射镜面(t2，F2)点上再进行反射，反射光V3以角度ei进入摄像装置的镜头，在摄像单元(CCD或者CMOS)上成像。根据成像原理，一次入射光线V1与折反射主轴Z的夹角为O，一次反射光线V2与折反射主轴Z的夹角为《，过A点(",FO的切线与,轴的夹角为"，法线与Z轴的夹角为s;二次反射光线V3与折反射主轴Z的夹角为《，过^点02,尸2)的切线与纟轴的夹角为"，法线与Z轴的夹角为^，基于上述关系可以得到公式(1):<formula>formulaseeoriginaldocumentpage19</formula>其中<formula>formulaseeoriginaldocumentpage19</formula>式中，^是一次折反射镜面曲线，《是二次折反射镜面曲线；利用三角关系并进行简化整理，得到公式(2)、(3):<formula>formulaseeoriginaldocumentpage19</formula>(2)<formula>formulaseeoriginaldocumentpage19</formula>(3)解公式(2)、(3)可以得到公式(4)、(5);<formula>formulaseeoriginaldocumentpage19</formula>(4)<formula>formulaseeoriginaldocumentpage19</formula>(5)式中F/为《曲线的微分，《为《曲线的微分；所述的成像平面上的点与入射角之间的关系来说具有某种线性关系，就是要建立一种像素点尸到Z轴距离与入射角^之间的线性关系，用公式(6)来表示，—"0*尸+60(6)式中"e、6c是任意参数，将摄像单元的焦距作为,，P为像素到Z轴的距离，在二次反射镜面上的反射点A，《)。则根据成像原理，尸可以由公式(7)表示户-〃i(7)将式(7)代入式(6)，可得公式(8)，"0*(/*|")+60(8)尸2满足公式(8)的镜面曲线设计符合平均角分辨率要求；进一步，根据折反射原理公式(8)可以用公式(9)表示，tan-1(9)尸l一尸2更进一步，利用公式(2)、(3)、(9)，利用4阶Runge-Kutta算法求《和《的数字解，这样计算得到的一次折反射镜面和二次折反射镜面曲线能实现平均角分辨率；图7是利用4阶Runge-Kutta算法求A和^的数字解的折反射镜面曲线图；上述的ODVS的设计虽然能达到平均角分辨率要求，但是从ODVS的视点来看，由于被二次折反射镜面所遮挡二次折反射镜面后面的视频信息是不可见的；为了获取二次折反射镜面后面的视频信息，本发明中在二次折反射镜面的中心部位开设了一个圆孔，在该圆孔内嵌入了一个广角镜头，该广角镜头与摄像部件镜头组合成一个组合镜头；因此设计广角镜头以及确定广角镜头的位置是本发明的另一个任务。图3是摄像部件镜头与广角镜头的位置关系图。在图3中将广角镜头10配置在一次折反射镜的前方和二次折反射镜面上，摄像部件镜头11、广角镜头IO、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；通过一次折反射镜上的圆孔在广角镜头10与摄像部件镜头11之间成像，称为第一成像点13，该成像点通过摄像部件镜头11在焦点处12成像。这里将摄像部件镜头11的焦点距离作为fl、广角镜头10的焦点距离作为f2、摄像部件镜头11与摄像部件镜头的焦点12的距离作为Sl、从摄像部件镜头11到第一成像点13的焦点距离作为S2、从广角镜头10到第一成像点13的距离作为S3、从广角镜头10到实物点14的距离作为S4，根据镜头的成像公式可以得到以下关系式<formula>formulaseeoriginaldocumentpage21</formula>要使公式(12)成立的话，也就是将图3中的从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头的话，就可以得到图2中图像中部所显示的广角成像图；但是本发明中是将广角镜头配置在第二折反射镜面上，因此将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，只有通过设计广角镜头的焦点距离f2来满足公式(12)的要求；进一步，对于图3中将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f可以由下式来表示<formula>formulaseeoriginaldocumentpage21</formula>另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示<formula>formulaseeoriginaldocumentpage21</formula>为了将合成镜头的视场与0DVS的死角部分相吻合，在设计合成镜头时需要满足以下公式-<formula>formulaseeoriginaldocumentpage21</formula>式中，《^是二次反射光线V3与折反射主轴Z的最大夹角；经过上述设计的0DVS拍摄出来的图像效果图如图2所示，从单个0DVS来说消除了原来0DVS的死角部分，并且通过摄像部件镜头与广角镜头的组合方式加上第一折反射镜面以及第二折反射镜面的设计，能有效地覆盖原来的0DVS的死角部分。更进一步，所述的第一折反射镜面、第一折反射镜面上的小孔、摄像机、透明外罩、第二折反射镜面、广角镜头在同一中心轴线上；摄像部件安置在第一折反射镜面后部的视点位置上，如图5所示；通过上述的设计每个ODVS的视场范围可以达到240。*360°，并且具有相同的平均角分辨率，因此只要将两个ODVS背靠背的方式用连接件进行固定，并保证两个ODVS的轴心线重叠，那么组合后的无死角的双目立体全方位视觉传感装置的视场范围可以达到36(T*360°，两个ODVS中的摄像机的视频线与电源线通过连接件中的孔引出，分别接入到视频图像接入单元中；如果所设计的ODVS的视场范围是240。*360°，那么就存在着两个ODVS同时能获取图像的重叠视场范围，该重叠视场范围为60。，如图4中所示的斜线部分；所述的视频图像展开单元，用于将视频图像接入单元中读取的原始视频信息进行图像预处理，展开成人们习惯容易观察的图像，对于一个球面的观察我们可以用类似于世界地图一样的展开方式，具体做法是视频图像展开单元不断地读取存储空间(ODVStmpl、ODVStop2)内的原始视频信息，通过展开算法对每个ODVS的摄像机所获取的视频信息进行展开运算，并将各自的展开计算结果暂时保存在相对应的存储空间内；更进一步，每个0DVS通过摄像部件镜头与广角镜头的组合方式所拍摄到的图像位于拍摄图像的中间，在展开全方位图像时需要将该中心部分的图像单独分离出来，然后对全方位图像进行展开，全方位图像展开根据实际使用的需要选择某一种展开方式，一种展开方式是先进行透视图展开接着进行展开透视图拼接的方式；为了对透视图有一个较好的理解，如附图7所示，这里我们从0DVS的视点S到透视投影坐标原点G引一条距离为D的直线S—G，与这条S—G相垂直的平面作为透视投影平面，因此透视投影平面是与S—G连接线相垂直的平面，将G点作为原点的平面坐标系i，j，其中i轴是与XY平面平行的横轴，j轴是与i轴和S—G轴直角相交的纵轴，将从透视投影平面到0DVS的视点S的距离作为D，定义透视投影平面的横幅为W，纵幅为H。由于i轴是与XY平面平行，又是与Z轴垂直的，因此所得到的透视投影平面是以G点为坐标中心与XY平面(水平面)上旋转一个角度，该角度就是S—G连接线与Z轴的夹角，也就是入射角0);这里我们将S-G作为变换中心轴，点G作为变换中心点，用e(入射光线在XY平面上的夹角一方位角)、①以及距离D来表示变换中心轴，P角度在0°~360°范围内，0可以用式(16)来表示々=tan—'(7/JT)^an—、j;/x)(16)一般来说，距离D越长景物越小，距离D越短景物越大；通过透视投影平面的坐标点P(i，j)求空间三坐标中的P(X,Y，Z)，这样就能得到投影平面与空间三坐标的转换关系，转换关系式用公式(17)来表示<formula>formulaseeoriginaldocumentpage23</formula>式中D为透视投影平面到ODVS视点的距离，P角度是入射光线在XY平面上投影的夹角，①角度是入射光线与Z轴的夹角，i轴是与XY平面平行的横轴，j轴是与i轴和S—G轴直角相交的纵轴，i轴与j轴的方向由图7所示；由于0DVS的设计采用了平均角分辨率的设计，因此在成像平面上的P(x，y)<table>tableseeoriginaldocumentpage23</column></row><table>式中，K是比例系数，可以通过标定来得到；O是入射角；e是入射光线在XY平面上投影的夹角；将上述用公式(17)求得的P(X，Y,Z)点代入公式(18)就能求得与透视投影平面的坐标点P(i，j)相对应的在成像平面上的P(x，y)点。这样就可以通过在成像平面上得到的图像信息求得全方位透视投影图，也就是说建立了成像平面上的坐标系与透视投影平面的坐标系的对应关系。有了这样的对应关系，我们就能从成像平面上得到的某个点的图像信息；通过两个坐标系的对应关系，将该点的图像信息正确地显示在透视投影平面相对应的位置上；按照上述透视展开可以得到若干个透视投影平面，其个数是由透视投影平面的窗口横幅为W，纵幅为H来确定的，透视投影平面的窗口W和H的像素值取得大可分割的透视投影平面就少，透视投影平面的窗口边缘变形会大些；反之，透视投影平面的窗口W和H的像素值取得小可分割的透视投影平面就多，透视投影平面的窗口边缘变形会小些；组合后的无死角的双目立体全方位视觉传感装置的视场范围是360°*360°，因此展开时可以将其看成如同一张地球的展开图(世界地图)一样处理，用多个小平面(透视投影平面)拼合成一张球体的展开平面图；所述的视频图像拼接单元，用于将透视投影平面视频图像拼合成一张球体的展开平面图，由于透视投影平面的窗口W和H都对应着一个入射角①和方位角f3，因此在拼接时只要保证入射角①和方位角e是连续的就能实现无缝拼接。实施例2参照图2—图8，一种无死角的立体全方位视觉传感装置，其余部分与实施例1相同，所不同的是在展开方式和拼接方式上，在视频图像展开单元中将每个摄像机获得的圆环形全方位图像通过几何变换展开成矩形柱面全景图像，然后按入射角互补方式进行拼接；由于本发明中将两个具有同一平均角分辨率的ODVS背靠背的方式用连接件进行固定，因此两个ODVS的入射角重叠部分之间有如下关系成立，<formula>formulaseeoriginaldocumentpage24</formula>因此在拼接时需要将重叠部分在展开时首先要去掉重叠部分，本发明中采用最小入射角Omin到入射角为90。范围的矩形柱面全景图像，然后进行背靠背的拼接，所谓的背靠背的拼接是指将一个0DVS的矩形柱面全景图像旋转18(T进行合成；进一步，所述的最小入射角Omin到入射角为9(T范围的矩形柱面全景图像展开处理单元包括读取坐标信息单元，用于读取上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；近似展开计算单元，用于根据上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径，将圆形全方位图像的中心坐标设定平面坐标系的原点O"(O,O)、X、由、Y、由，图像的内径为r，外径为R，其中外径R的取值是由入射角为90。来确定的；然后设定中间圆的半径r尸(r+R)/2，方位角为"=tarT1(>*/x');矩形柱面全景图像以坐标原点O"(O,0)、X"轴、Y^轴为平面坐标系，将圆形全方位图像中的内径为r与X、由的交点(r,0)作为坐标原点0"(0,0)，以方位角卩逆时针方向展开；建立矩形柱面全景图像中任意一点像素坐标P"(x**，y")与圆形全方位图像中的像素坐标Q'(x、/)的对应关系，其计算式为<formula>formulaseeoriginaldocumentpage24</formula>(20)上式中，x"，y"为矩形柱面全景图像的像素坐标值，x/为圆形全方位图像的像素坐标值，R由入射角为90。来确定的，r为圆形全方位图像的内径，/为圆形全方位图像坐标的方位角。或者是，所述的图像展开处理模块包括读取坐标信息单元，用于读取上述初始化模块中计算得到的圆形全方位图像的中心坐标、图像的内圆半径以及入射角为90°的圆半径；映射矩阵展开单元，用于根据计算得到的圆形全方位图像的中心坐标、图像的内圆半径以及入射角为90。的圆半径，将圆形全方位图像的中心坐标设定平面坐标系的原点O，O,0)、X、由、Y、由，图像的内径为r，射角为90°的圆半径为R，方位角为-=tan—、///);矩形柱面全景图像以坐标原点O"(0,0)、X"轴、Y"轴为平面坐标系，将圆形全方位图像中的内径为r与X、由的交点(r,0)作为坐标原点0"(0,0)，以方位角卩逆时针方向展开；根据圆形全方位图像中的任意一点像素坐标Q*(x*，y')与矩形柱面全景图像中像素坐标P"(x",y")的对应关系，建立从Q、x/)到P"(x",y")的映射矩阵对应关系，其计算式为-f"(x",y")—^x^(x承，y"(21)上式中，5、xy"为全方位图像上的各个像素坐标的矩阵，^为从全方位图像坐标到矩形柱面全景图像坐标的对应关系矩阵，F"为矩形柱面全景图像上的各个像素坐标的矩阵；所述的视频图像拼接单元，用于将矩形柱面全景图像拼合成一张球体的展开平面图，由于矩形柱面全景图像对应着是一张半球的展开图，因此在拼接时只要保证两个ODVS的方位角e—致并将一个ODVS的矩形柱面全景图像旋转180°进行合成就能实现无缝拼接。本发明的有益效果主要表现在1、获取实时的360。*360°全方位立体视频图像，并通过几何计算得到整个监控球面的全景图像，跟踪的监控物体不会出现丢失；2、采用了平均角分辨率的ODVS设计，使得整个监控球面的图像无形变，解决了折反射ODVS的图像失真，为实现对大空间内的快速移动目标对象的实时跟踪提供了完整的理论体系和模型；3、提供了一种全新的全方位双眼视功能，在两个合成的ODVS视觉重叠区域，本发明的双目立体全方位视觉传感装置具有同时知觉、融合力和立体感。权利要求1.一种无死角的双目立体全方位视觉传感装置，其特征在于所述双目立体全方位视觉传感装置包括两台具有相同平均分辨率的全方位视觉传感器、连接单元和用于对两台全方位视觉传感器的图像进行处理的微处理器，所述全方位视觉传感器包括一次折反射镜面、二次折反射镜面、透明外罩和摄像部件，所述一次折反射镜面和二次折反射镜面安装在透明外罩上，所述摄像部件位于一次折反射镜面后面的视点上，所述二次折反射镜面位于一次折反射镜面的前面，所述一次折反射镜面和二次折反射镜面上均开有一个小孔，所述二次折反射镜面内嵌入广角镜头，所述摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上，所述两台全方位视觉传感器的后侧通过连接单元连接；一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ2，过P1点(t1，F1)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ1，过P2点(t2，F2)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε1，基于上述关系可以得到公式(1)id="icf0001"file="S2008100612553C00011.gif"wi="75"he="25"top="155"left="37"img-content="drawing"img-format="tif"orientation="portrait"inline="no"/>其中，<math-cwu><![CDATA[<math><mrow><mi>tan</mi><mi>φ</mi><mo>=</mo><mfrac><msub><mi>t</mi><mn>1</mn></msub><mrow><msub><mi>F</mi><mn>1</mn></msub><mrow><mo>(</mo><msub><mi>t</mi><mn>1</mn></msub><mo>-</mo><mi>s</mi><mo>)</mo></mrow></mrow></mfrac><mo>,</mo></mrow></math>]]></math-cwu><!--imgid="icf0002"file="S2008100612553C00012.gif"wi="31"he="9"top="186"left="72"img-content="drawing"img-format="tif"orientation="portrait"inline="no"/--><math-cwu><![CDATA[<math><mrow><mi>tan</mi><msub><mi>θ</mi><mn>2</mn></msub><mo>=</mo><mfrac><mrow><msub><mi>t</mi><mn>1</mn></msub><mo>-</mo><msub><mi>t</mi><mn>2</mn></msub></mrow><mrow><msub><mi>F</mi><mn>2</mn></msub><mo>-</mo><msub><mi>F</mi><mn>1</mn></msub></mrow></mfrac><mo>,</mo></mrow></math>]]></math-cwu><!--imgid="icf0003"file="S2008100612553C00013.gif"wi="29"he="9"top="186"left="104"img-content="drawing"img-format="tif"orientation="portrait"inline="no"/--><math-cwu><![CDATA[<math><mrow><msub><mrow><mi>tan</mi><mi>θ</mi></mrow><mn>1</mn></msub><mo>=</mo><mfrac><msub><mi>t</mi><mn>2</mn></msub><msub><mi>F</mi><mn>2</mn></msub></mfrac></mrow></math>]]></math-cwu><!--imgid="icf0004"file="S2008100612553C00014.gif"wi="19"he="9"top="186"left="135"img-content="drawing"img-format="tif"orientation="portrait"inline="no"/-->式中，F1是一次折反射镜面曲线，F2是二次折反射镜面曲线；利用三角关系并进行简化整理，得到公式(2)、(3)F1′2-2αF1′-1＝0(2)F2′2-2βF2′-1＝0(3)上式中，2、如权利要求l所述的无死角的双目立体全方位视觉传感装置，其特征在于设定一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像为第一成像点，该成像点通过摄像部件镜头在视点处成像，将摄像部件镜头的焦点距离作为fl、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为Sl、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式得到以下关系式(10)<formula>formulaseeoriginaldocumentpage4</formula>(11)<formula>formulaseeoriginaldocumentpage4</formula>(12)通过设计广角镜头的焦点距离f2来满足公式(12)的要求；组合摄像单元的焦距f由下式来表示-1<formula>formulaseeoriginaldocumentpage4</formula>另外，将合成镜头的直径作为D，其放大倍数由下式来表示D(14)<formula>formulaseeoriginaldocumentpage4</formula>合成镜头时满足以下公式<formula>formulaseeoriginaldocumentpage4</formula>(15)式中，《皿是二次反射光线V3与折反射主轴Z的最大夹角。3、如权利要求1或2所述的无死角的双目立体全方位视觉传感装置，其特征在于所述透明外罩呈碗状，包括半圆球和圆台的形体，所述半圆球的球心与全方位视觉传感器的视点重合，在半圆球部分的半径处与圆台部分过渡。4、如权利要求1或2所述的无死角的双目立体全方位视觉传感装置，其特征在于在所述的视频图像展开单元中，先将组合摄像单元所拍摄的图像单独分离出来，然后对全方位图像进行展开，展开后的结果保存在指定的存储单元中，展开算法采用透视投影平面进行，通过透视投影平面的坐标点P(i,j)求空间三坐标中的P(X,Y,Z)，得到投影平面与空间三坐标的转换关系，转换关系式用公式(17)来表示<formula>formulaseeoriginaldocumentpage5</formula>式中D为透视投影平面到全方位视觉传感器视点的距离，e角度是入射光线在XY平面上投影的夹角，O角度是入射光线与Z轴的夹角，i轴是与XY平面平行的横轴，J轴是与i轴和S—G轴直角相交的纵轴；在成像平面上的P(x，y)点通过公式(18)来计算得到，<formula>formulaseeoriginaldocumentpage5</formula>式中，K是比例系数，可以通过标定来得到；O是入射角；e是入射光线在XY平面上投影的夹角；将上述用公式(17)求得的P(X,Y，Z)点代入公式(18)就能求得与透视投影平面的坐标点P(i,j)相对应的在成像平面上的P(x，y)点。5、如权利要求1或2所述的无死角的双目立体全方位视觉传感装置，其特征在于在所述的视频图像展开单元中，先将组合摄像单元所拍摄的图像单独分离出来，然后对全方位图像进行展开，展开后的结果保存在指定的存储单元中，展开算法通过几何变换将圆环形全景图像展开成矩形柱面全景图像，采用最小入射角Omin到入射角为90。范围的矩形柱面全景图像。6、如权利要求4所述的无死角的双目立体全方位视觉传感装置，其特征在于在所述视频图像拼接单元中，设定入射角①和方位角e是连续，透视投影平面的窗口W和H都对应着一个入射角①和方位角0，将透视投影平面视频图像拼合成一张球体的展开平面图。全文摘要一种无死角的双目立体全方位视觉传感装置，包括两台具有相同平均分辨率的全方位视觉传感器、连接单元和用于对图像进行处理的微处理器，全方位视觉传感器包括一次折反射镜面、二次折反射镜面、透明外罩和摄像部件，一次折反射镜面和二次折反射镜面安装在透明外罩上，摄像部件位于一次折反射镜面后面的视点上，二次折反射镜面位于一次折反射镜面的前面，一次折反射镜面和二次折反射镜面上均开有一个小孔，二次折反射镜面内嵌入广角镜头，摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上，两台全方位视觉传感器的后侧通过连接单元连接。本发明能够消除在垂直方向的死角、获取实时360°*360°大范围的全方位图像。文档编号G06T5/50GK101271187SQ20081006125公开日2008年9月24日申请日期2008年3月20日优先权日2008年3月20日发明者雁梁,汤一平申请人:汤一平