专利名称：基于全方位视觉传感器的电视电话会议装置的制作方法
技术领域：
本发明属于光学技术、计算机图像处理技术和嵌入式软硬件技术在电视电话会议装置方面的应用，主要是会议的实时全景图像通过网络进行在线播放，尤其是一种电视电话会议。
背景技术：
电视电话会议是用通信线路把两地或多个地点的会议室连接起来，以电视方式召开会议的一种图像通信方式。两地间的电视电话会议，称为点对点电视电话会议；多个地点间的电视电话会议，称为多点电视电话会议。电视电话会议的主要特征是能实时传送与会者的形象、声音以及会议资料、图表和相关实物的图像等； 目前电视电话会议的使用已发展到多种应用环境如政府会议、商务谈判、紧急救援、作战指挥、银行贷款、远程教育、远程医疗等等，取得了巨大社会效益和经济效益。
但是目前在会议视频图像获取手段上，往往是需要将摄像装置对准发言者进行拍摄，要获取所有与会者的形象，只有靠摄像人员在会议室中来回走动进行拍摄，造成了传到异地时的会议图像连贯性差，对身居不同地点的与会者来说缺乏一种沉浸感，同时经常切换画面也会分散与会者的注意力。
发明内容
为了克服已有的电视电话会议视频采集视角范围小、需要瞄准目标、会议图像连贯性差、缺乏沉浸感的不足，本发明提供一种视角范围大、不需要瞄准目标、会议图像连贯性好、具有良好的沉浸感的基于全方位视觉传感器的电视电话会议装置。
本发明解决其技术问题所采用的技术方案是 一种基于全方位视觉传感器的电视电话会议装置，包括安装于各个会议场所的视频传感器、微处理器以及通信模块，所述的视频传感器的输出与微处理器通信连接，所述的微处理器包括图像数据读取模块，用于读取从视频传感器传过来的视频图像信息；文件存储模块，用于将视频传感器采集的数据存储到存储器中；图像传输模块，用于将视频图像信息传输到其他会议场所；现场实时播放模块，用于将播放接收的其他会议场所的视频图像；所述的视频传感器是全方位视觉传感器，所述的视觉传感器包括用于反射监控领域中物体的外凸反射镜面、透明圆柱体、用以防止光折射和光饱和的黑色圆锥体、摄像头，所述的外凸反射镜面朝下，所述的透明圆柱体支撑外凸反射镜面，黑色圆锥体固定在折反射镜面外凸部的中心，用于拍摄外凸反射镜面上成像体的摄像头位于透明圆柱体的内部，摄像头位于外凸反射镜面的虚焦点上，所述的外凸反射镜面、透明圆柱体、黑色圆锥体、摄像头的镜头的中心位置在同一中心轴上；所述的微处理器还包括传感器标定模块，用于对全方位视觉传感器的参数进行标定，建立空间的实物图像与所获得的视频图像的对应关系；图像展开处理模块，用于将采集的圆形视频图像展开为全景柱状图。
进一步，所述的外凸反射镜面为双曲面镜，所述的摄像头包括聚光透镜和摄像单元，所述的摄像单元位于所述双曲面镜的虚焦点位置；所述双曲面镜构成的光学系统由下面5个等式表示 ((X2+Y2)/a2)-(Z2/b2)＝-1(Z＞0) (1) β＝tan-1(Y/X) (3) α＝tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ(4) 上式中，X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角一方位角，α表示入射光线在XZ平面上的夹角-俯角，f表示成像平面到双曲面镜的虚焦点的距离。
再进一步，所述的全方位视觉传感器还包括花瓶式底座、下连接件以及上盖，所述的折反射凸镜的中间设有通孔，所述的黑色圆锥体的大直径端插入反射凸镜的中间通孔内将圆锥状体与反射凸镜连接，黑色圆锥体的尖端朝下；所述的黑色圆锥体的大直径端的头部为螺纹，所述的上盖中部朝下端设有与黑色圆锥体的大直径端的头部为螺纹配合的螺纹孔，所述上盖上设有装饰品；下连接件配有与花瓶式底座上部的螺纹孔配合的螺纹，下连接件套入透明圆筒体内，所述的摄像头安装在底座内。
更进一步，所述的图像展开处理模块包括 读取坐标信息单元，用于读取上述计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径； 近似展开计算单元，用于将圆形全方位图像的中心坐标设定平面坐标系的原点O**(0，0)、X*轴、Y*轴，图像的内径为r，外径为R，设定中间圆的半径r1＝(r+R)/2，方位角为β＝tan-1(y*/x*)；矩形柱面全景图像以坐标原点O**(0，0)、X**轴、Y**轴为平面坐标系，将圆形全方位图像中的内径为r与X*轴的交点(r，0)作为坐标原点O**(0，0)，以方位角β逆时针方向展开；建立矩形柱面全景图像中任意一点像素坐标P**(x**，y**)与圆形全方位图像中的像素坐标Q*(x*，y*)的对应关系，其计算式为 x*＝y*/(tan(360x**/π(R+r)))(6) y*＝(y**+r)cosβ(7) 上式中，x**，y**为矩形柱面全景图像的像素坐标值，x*，y*为圆形全方位图像的像素坐标值， R为圆形全方位图像的外径，r为圆形全方位图像的内径，β为圆形全方位图像坐标的方位角； 图像输出单元，用于将展开后的图像输出到显示装置。
或者是所述的图像展开处理模块包括 读取坐标信息单元，用于读取上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径； 映射矩阵展开单元，用于将圆形全方位图像的中心坐标设定平面坐标系的原点O**(0，0)、X*轴、Y*轴，图像的内径为r，外径为R，方位角为β＝tan-1(y*/x*)；矩形柱面全景图像以坐标原点O**(0，0)、X**轴、Y**轴为平面坐标系，将圆形全方位图像中的内径为r与X*轴的交点(r，0)作为坐标原点O**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点像素坐标Q*(x*，y*)与矩形柱面全景图像中像素坐标P**(x**，y**)的对应关系，建立从Q*(x*，y*)到P**(x**，y**)的映射矩阵对应关系，其计算式为 上式中，
为全方位图像上的各个像素坐标的矩阵，
为从全方位图像坐标到矩形柱面全景图像坐标的对应关系矩阵，
为矩形柱面全景图像上的各个像素坐标的矩阵； 所述的
对应关系矩阵可以将软件插值算法融合进去，所述的软件插值算法包括放大原全方位图像后的提高分辨率的插值和消除在所述的展开单元取整计算所带来的误差的插值。
图像输出单元，用于将展开后的图像输出到显示装置。
再或者是所述的图像展开处理模块包括 读取坐标信息单元，用于读取上述计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径； 极坐标展开计算单元，用于根据全方位图像的中心点的位置和内径为r、外径为R，r*为图像上任意点距离内圆的径向长度，方位角为β＝tan-1(y*/x*)，建立极坐标(r*，β)，与全方位内外圆边界的交点坐标分别为(x*inner(β)，y*inner(β))和(x*outer(β)，y*outer(β))；矩形柱面全方位图像以坐标原点O**(0，0)、X**轴、Y**轴为平面坐标系，将圆形全方位图像中的内径为r与X*轴的交点(r，0)作为坐标原点O**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点象素坐标(r*，β)与矩形柱面全方位图像中象素坐标P**(x**，y**)的对应关系，其计算式为 图像输出单元，用于将展开后的图像输出到显示装置。
所述的图像展开处理模块还包括插值计算单元，用于消除在所述的展开计算单元取整计算所带来的误差，计算得到的矩形柱面全方位图像的某个象素坐标P**(x**，y**)的象素点为(k0，j0)，所述的象素点坐标落在由(k，j)，(k+1，j)，(k+1，j)，(k+1，j)四个相邻整数象素为顶点坐标所构成的正方形内，用式(8)插值计算 P**(x**，y**)＝(P*(x*+1，y*)-P*(x*，y*))*(k0-k)+(P*(x*，y*+1)-P*(x*，y*))*(j0-j)+(P*(x*+1，y*+1)+P*(x*，y*)-P*(x*+1，y*)-P*(x*，y*+1))*(k0-k)*(j0-j)+P*(x*，y*) (10) 所述的插值计算单元的输入端连接展开计算单元的输出端，所述的插值计算单元的输出端连接图像输出模块。
所述的图像展开处理模块还包括图像增强单元，用于对图像输出单元输出的象素均衡化，计算式为 上式中，变换函数为灰度级累积分布函数T(r)，设原始图像的灰度级为rk，S(r)为变换后图像的灰度分布函数，N为图像中的象素总数，N(ri)为图像中灰度级为ri的象素总数。
所述的微处理器还包括图像滤波单元，用于采用二维Gabor滤波器对圆形全方位图像进行滤波；图像质量判断单元，用于采用二维FFT变换计算频域高频能量，并比较所得的高频能量值与预设的下限值，在高频能量值大于下限值时选择性地输出全方位图像。
本发明的工作原理是近年发展起来的全方位视觉传感器ODVS(OmniDirectional Vision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。因此基于ODVS的全方位视觉系统近几年迅速发展，正成为计算机视觉研究中的重要领域，IEEE从2000年开始举办每年一次的全方位视觉的专门研讨会(IEEE workshop onOmni-directional vision)。
图1所示的全方位计算机视觉传感器系统，进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P1(x*1，y*1)对应着实物在空间上的一个点的坐标A(x1，y1，z1)。
图1中1-双曲线面镜，2-入射光线，3-双曲面镜的焦点0m(0，0，c)，4-双曲面镜的虚焦点即相机中心0c(0，0，-c)，5-反射光线，6-成像平面，7-实物图像的空间坐标A(x1，y1，z1)，8-入射到双曲面镜面上的图像的空间坐标，9-反射在成像平面上的点P1(x*1，y*1)。
图1中所示的双曲面镜构成的光学系统可以由下面5个等式表示； ((X2+Y2)/a2)-(Z2/b2)＝-1 (Z＞0)(1) β＝tan-1(Y/X) (3) α＝tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ(4) 式中X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角-方位角，α表示入射光线在XZ平面上的夹角-俯角，f表示成像平面到双曲面镜的虚焦点的距离。
设计中首先选用CCD(CMOS)器件和成像透镜构成摄像头，在对摄像头内部参数标定的基础上初步估算系统外形尺寸，然后根据高度方向的视场确定反射镜面形参数。
根据图1来说明360°全方位进行摄像的原理，空间上的一个点A(x1，y1，z1)(图中用大五角星表示)经双曲线镜面1进入凹部镜面，入射到双曲线面镜1上的图像的空间坐标点P1(x1，y1，z1)(图中用中五角星表示)，反射到全方位视觉摄像设备的成像平面上对应有一个投影点P1(x*1，y*1)(图1中用小五角星表示)，这时在摄像元件上成像的图像是一个的环状图像，全方位视觉摄像装置的透镜是处在双曲面中心轴同轴的另一个焦点(0，0，-c)上。
所述的透光外罩的设计是将其设计成上大下小的圆台形状，通过这种设计使得透光外罩上不易积上灰尘而影响透光度；为了达到防水、防潮气、防灰尘目的，透光外罩与上盖和下连接件的结合处须加入密封，在本发明中是采用将橡胶密封圈安置在透光外罩与上下固定座的结合处然后用螺钉进行固定。
所述的花瓶式底座用塑料模具压注而成，为了美观起见，在花瓶式底座外表印制一些花纹。
ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；这种ODVS摄像设备可以在全方位拍摄到半球视野中的所有情况。能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大。
利用全方位光学成像技术、计算机图象处理技术、嵌入式系统技术、计算机软件技术为电视电话会议的摄像设备领域提供一种全方位的视觉信息采集途径。
本发明的有益效果主要表现在1、视角范围大、不需要摄像人员；2、身居不同地点的所有与会者互相都可以闻声见影，能实现如同坐在同一间会议室中进行会议的效果；3、摄像功能与装饰功能的完美结合，使在场的与会者不会产生一种不良的心理感受，使会议进行的更自然。
图1为双曲面镜的成像原理图。
图2为全方位视觉装置的结构图。
图3为一种用于全方位视觉传感器的装饰物。
图4为嵌入式系统功能结构图。
图5为花瓶式底座与摄像头的安装示意图。
图6为装饰化的全方位视觉传感器的装配结构说明示意图。
图7为微处理器的原理框图。
具体实施例方式 下面结合附图对本发明作进一步描述。
实施例1 参照图1～图7，一种基于全方位视觉传感器的电视电话会议装置，包括安装于各个会议场所的视频传感器16、微处理器10以及通信模块，所述的视频传感器16的输出通过USB接口17与微处理器10通信连接，所述的微处理器10包括图像数据读取模块18，用于读取从视频传感器传过来的视频图像信息；文件存储模块19，用于将视频传感器采集的数据存储到存储器中；图像传输模块21，用于将视频图像信息传输到其他会议场所；现场实时播放模块22，用于将播放接收的其他会议场所的视频图像；所述的视频传感器16是全方位视觉传感器，所述的视觉传感器包括用于反射监控领域中物体的外凸反射镜面1、透明圆柱体3、用以防止光折射和光饱和的黑色圆锥体2、摄像头8，所述的外凸反射镜面1朝下，所述的透明圆柱体3支撑外凸反射镜面1，黑色圆锥体2固定在折反射镜面1外凸部的中心，用于拍摄外凸反射镜面上成像体的摄像头8位于透明圆柱体2的下部，摄像头8位于外凸反射镜面1的虚焦点上，所述的外凸反射镜面1、透明圆柱体3、黑色圆锥体1、摄像头8的镜头的中心位置在同一中心轴上；所述的微处理器10还包括传感器标定模块20，用于对全方位视觉传感器的参数进行标定，建立空间的实物图像与所获得的视频图像的对应关系；图像展开处理模块23，用于将采集的圆形视频图像展开为全景柱状图。
本实施例的全方位视觉装置的成像原理由图1所示，空间上的任意一个点A(x1，y1，z1)经双曲面镜反射到成像平面，成像平面处为摄像单元，由于摄像单元上的一个点都能与空间上的一个点进行对应，所以摄像单元所拍摄到的是一幅全景图； 全方位视觉装置包括上盖12、直向垂下的折反射镜1、防内反射黑色圆锥状体2、透明圆筒体3、下连接件4、摄像头8、花瓶式底座7，所述的折反射镜1位于透明圆筒体3的上部，折反射镜面1采用双曲面型的设计；在折反射镜面1和摄像头8之间设有直径逐渐变小的黑色防内反射黑色圆锥状体2，所述的折反射凸镜1的中间设有通孔，所述的防内反射黑色圆锥状体2的大直径端插入反射凸镜1的中间通孔内将圆锥状体2与反射凸镜1连接，防内反射黑色圆锥状体2的尖端朝下；所述的防内反射黑色圆锥状体2的大直径端的头部为螺纹，所述的上盖12中部朝下端设有与圆锥状体2的大直径端的头部为螺纹相同大小的螺纹孔，在将连接后的圆锥状体2与反射凸镜1的连接部件再与上盖12利用圆锥状体2的大直径端的头部螺纹进行连接，所述的下连接件4配有螺纹与花瓶式底座7上部的螺纹孔配合，装配时首先将下连接件4套入透明圆筒体3内，用密封圈4和外螺圈5将下连接件4和透明圆筒体3固定在一起成为一个安装部件；所述的透明圆筒体3的上部有一个圆形沿边，在该圆形沿边上均匀分布了四个小孔，圆形沿边的直径大小与上盖12的最大直径相同；所述的上盖12与圆形沿边上相同位置上均匀分布了四个小孔，用螺钉将上盖12与透明圆筒体3连接起来，这时已经完成了上盖12、直向垂下的折反射镜1、防内反射黑色圆锥状体2、透明圆筒体3、下连接件4等零件的装配工作(称为全方位视觉传感器的上部件)上，如图2所示；摄像头8位于所述折反射凸镜的下方并隐蔽地用螺钉9固定在花瓶式底座7内成为一个部件(称为全方位视觉传感器的下部件)，上部件与下部件之间用螺纹连接(依靠下连接件上的螺纹与花瓶式底座上部的螺纹孔之间的螺纹连接)；通过上述的装备关系能保证所述的折反射镜、反射平镜、圆锥状体以及摄像头的镜头的中心位置在同一中心轴上；所述的摄像头的输出端口用USB接口连接用于处理图像的微处理器10；所述的微处理器是嵌入式硬件系统，可以安置在花瓶式底座内；所述的上盖12的上端中央开有一个插孔，装饰品13(比如花)可以插在这个小孔内。
这里论述一下整个装饰化的全方位视觉装置的装配过程，首先装配全方位视觉传感器的光学部分，如图2所示，将下连接件4套入透明圆筒体3内，用密封圈4和外螺圈5将下连接件4和透明圆筒体3固定在一起成为一个安装部件；防内反射黑色圆锥状体2的大直径端插入反射凸镜1的中间通孔内将圆锥状体2与反射凸镜1进行套连接，防内反射黑色圆锥状体2的尖端朝下，接着将防内反射黑色圆锥状体2上端的螺纹拧入上盖12的螺纹孔内；然后用四个螺钉将透明圆筒体3与上盖12连接起来，这样就完成了全方位视觉传感器的光学部分的装配工作； 接着装配摄像和支撑部分，支撑部分采用花瓶式设计，如图5所示，用螺钉9将摄像头8固定在花瓶式底座7内，摄像头8的输出线通过USB接口与微处理器10连接起来，微处理器10固定在底盖14上，然后用螺钉将底盖14与花瓶式底座7连接起来，这样就完成了摄像和支撑部分的装配工作； 接着将全方位视觉传感器的光学部分与摄像和支撑部分进行连接，利用在花瓶式底座7螺纹孔和下连接件4的螺纹进行连接，最后将装饰品13插入上盖12的小孔中，这样就完成了整个装饰化的全方位视觉装置的装配过程。
进一步，双曲面型全方位视觉装置的方案是所述的折反射镜为双曲面镜，所述的摄像头包括聚光透镜和摄像单元，所述的摄像单元位于所述双曲面镜的虚焦点位置；所述双曲面镜构成的光学系统由下面5个等式表示； (X2+Y2)/a2-(Z2/b2)＝-1 (Z＞0) (1) β＝tan-1(Y/X) (3) α＝tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ(4) 上式中，X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角-方位角，α表示入射光线在XZ平面上的夹角-俯角，f表示成像平面到双曲面镜的虚焦点的距离。
设计双曲面镜时主要关心的是在折反射镜面直径决定的情况下，根据最大仰角和最大俯角的要求来设计双曲面镜的实轴和虚轴的长度； 所述的图像展开处理模块23包括读取坐标信息单元，用于读取上述计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；近似展开计算单元，用于将圆形全方位图像的中心坐标设定平面坐标系的原点O**(0，0)、X*轴、Y*轴，图像的内径为r，外径为R，设定中间圆的半径r1＝(r+R)/2，方位角为β＝tan-1(y*/x*)；矩形柱面全景图像以坐标原点O**(0，0)、X**轴、Y**轴为平面坐标系，将圆形全方位图像中的内径为r与X*轴的交点(r，0)作为坐标原点O**(0，0)，以方位角β逆时针方向展开；建立矩形柱面全景图像中任意一点像素坐标P**(x**，y**)与圆形全方位图像中的像素坐标Q*(x*，y*)的对应关系，其计算式为 x*＝y*/(tan(360x**/π(R+r)))(6) y*＝(y**+r)cosβ(7) 上式中，x**，y**为矩形柱面全景图像的像素坐标值，x*，y*为圆形全方位图像的像素坐标值，R为圆形全方位图像的外径，r为圆形全方位图像的内径，β为圆形全方位图像坐标的方位角； 图像输出单元，用于将展开后的图像输出到显示装置或者传输到网络上。
所述的图像展开处理模块还包括插值计算单元，用于消除在所述的展开计算单元取整计算所带来的误差，计算得到的矩形柱面全方位图像的某个象素坐标P**(x**，y**)的象素点为(k0，j0)，所述的象素点坐标落在由(k，j)，(k+1，j)，(k，j+1)，(k+1，j+1)四个相邻整数象素为顶点坐标所构成的正方形内，用式(8)插值计算 P**(x**，y**)＝(P*(x*+1，y*)-P*(x*，y*))*(k0-k)+(P*(x*，y*+1)-P*(x*，y*))*(j0-j)+(P*(x*+1，y*+1)+P*(x*，y*)-P*(x*+1，y*)-P*(x*，y*+1))*(k0-k)*(j0-j)+P*(x*，y*) (10) 所述的插值计算单元的输入端连接展开计算单元的输出端，所述的插值计算单元的输出端连接图像输出模块。
所述的图像展开处理模块还包括图像增强单元，用于对图像输出单元输出的象素均衡化，计算式为 上式中，变换函数为灰度级累积分布函数T(r)，设原始图像的灰度级为rk，S(r)为变换后图像的灰度分布函数，N为图像中的象素总数，N(ri)为图像中灰度级为ri的象素总数。
所述的微处理器还包括图像滤波单元，用于采用二维Gabor滤波器对圆形全方位图像进行滤波；图像质量判断单元，用于采用二维FFT变换计算频域高频能量，并比较所得的高频能量值与预设的下限值，在高频能量值大于下限值时选择性地输出全方位图像。
根据图1来进一步说明360°全方位进行摄像的原理，空间上的一个点A(x1，y1，z1)(图中用大五角星表示)经双曲线镜面1进入凹部镜面，入射到双曲线面镜1上的图像的空间坐标点P1(x1，y1，z1)(图中用中五角星表示)，反射到全方位视觉摄像设备的成像平面上对应有一个投影点P1(x*1，y*1)(图1中用小五角星表示)，这时在摄像元件上成像的图像是一个的环状图像，全方位视觉摄像装置的透镜是处在双曲面中心轴同轴的另一个焦点(0，0，-c)上。
所述的透光外罩的设计是将其设计成上大下小的圆台形状，通过这种设计使得透光外罩上不易积上灰尘而影响透光度；为了达到防水、防潮气、防灰尘目的，透光外罩与上盖和下连接件的结合处须加入密封，在本发明中是采用将橡胶密封圈安置在透光外罩与上下固定座的结合处然后用螺钉进行固定。
所述的花瓶式底座用塑料模具压注而成，为了美观起见，在花瓶式底座外表印制一些花纹。
所述的微处理器还包括图像预处理模块，图像预处理模块包括图像滤波单元，用于采用二维Gabor滤波器对圆形全方位图像进行滤波；图像质量判断单元，用于采用二维FFT变换计算频域高频能量，并比较所得的高频能量值与预设的下限值，在高频能量值大于下限值时选择性地输出全方位图像。
所述的微处理器是嵌入式系统，其结构图如图4所示，本发明中采用的是嵌入式arm9硬件平台作为视频服务器，该处理器内部集成了ARM公司ARM920T处理器核的32位微控制器，资源丰富，带独立的16KB的指令Cache和16KB数据Cache、LCD控制器、RAM控制器、NAND闪存控制器、3路UART、4路DMA、4路带PWM的Timer、并行I/O口、8路10位ADC、Touch Screen接口、I2C接口、I2S接口、2个USB接口控制器、2路SPI，主频最高可达203MHz。在处理器丰富资源的基础上，还进行了相关的配置和扩展，平台配置了16MB 16位的Flash和64MB 32位的SDRAM。通过以太网控制器芯片DM9000E扩展了一个网口，另外引出了一个HOST USB接口。通过在USB接口上外接一个带USB口的摄像头，将采集到的视频图像数据放入输入缓冲区中。然后，或者保存成文件的形式，或者运行移植到平台上的图像处理程序，对缓冲的图像数据直接进行相关处理，该系统具有高性能、低成本、低功耗等优点。
视频服务器的架构如图4所示，视频服务器通过不断读取摄像头拍摄到的场景图像信息，接着要完成以下四种功能(1)直接在显示终端显示；(2)存储图片信息到SD卡中，方便用户进行现场数据的携带；(3)通过有线网络与远程主机进行Socket通讯，在远程主机上可以进行视频分析与处理；(4)通过无线网络传输场景信息到手机上，方便用户随时随地查看现场信息。
所述的黑色圆锥状体是用来防止光饱和的，在成像平面上有一个黑色圆形，该黑色圆形的圆心就是全方位图像的展开中心点，全方位图像中心定位是为了减少在展开过程中不同心而造成的图像失真，利用全方位图像中心定位的算法，可以检测拍到的一幅图像中迅速找到全方位图像的展开中心点，而不需要人工干预，这对于全方位摄像装置的实用化有十分重要的意义。
本专利中采用Daugman的圆模板匹配法进行全方位图像的展开中心点的定位。在拍摄获取的全方位图像中，灰度分布存在着一定的差异，一般而言全方位展开部分比圆锥体反射部分亮。然后根据全方位的形状是圆环形的情况，利用圆形检测匹配器的方法分割全方位，其数学方程为
其中I(x*，y*)为图像的象素；r为圆周的半径；G为对原图像进行平滑的高斯模板。公式(24)的物理意义是，查找随着半径r变化相应圆周上象素平均值变化最大的值所对应的(r，x*0，y*0)，以此来确定全方位图像的展开中心点和圆锥体反射部分的边缘。卷积用来对图像进行平滑，消除区域边缘中噪声的影响，平滑模板的大小与定位的精度有关。为了方便公式(12)的离散化实现，利用卷积性质，把公式(12)转化为
其中 对公式(13)进行离散化，用累加和∑来代替卷积和曲线积分，转换为 其中Gσ(r)＝Gσ((n-k)Δr)-Gσ((n-k-1)Δr)(16) Δr表示半径搜索的步长，Δβ表示沿着圆弧分隔的角度的步长。也可以对式(14)进行改进，使得能更好的定位全方位内边缘
其中r′略小于r，它们之间的距离是一定的，且r′随着r变化；λ为预设的值，防止分母为0。式(18)利用了这样一个事实，即圆锥体反射部分的灰度分布总是均匀的。因此，当搜索的圆弧与圆锥体反射部分的边缘很好匹配时，式(18)的分母非常小，因而式(18)会有一个突变值，这个突变值的位置就是全方位图像的展开中心点的位置。
实施例2 参照图1～图7，本实施例的图像展开处理模块包括读取坐标信息单元，用于读取上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；映射矩阵展开单元，用于将圆形全方位图像的中心坐标设定平面坐标系的原点O**(0，0)、X*轴、Y*轴，图像的内径为r，外径为R，方位角为β＝tan-1(y*/x*)；矩形柱面全景图像以坐标原点O**(0，0)、X**轴、Y**轴为平面坐标系，将圆形全方位图像中的内径为r与X*轴的交点(r，0)作为坐标原点O**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点像素坐标Q*(x*，y*)与矩形柱面全景图像中像素坐标P**(x**，y**)的对应关系，建立从Q*(x*，y*)到P**(x**，y**)的映射矩阵对应关系，其计算式为 上式中，
为全方位图像上的各个像素坐标的矩阵，
为从全方位图像坐标到矩形柱面全景图像坐标的对应关系矩阵，
为矩形柱面全景图像上的各个像素坐标的矩阵； 图像输出单元，用于将展开后的图像输出到显示装置。
本实施例的其余结构和工作过程与实施例1相同。
实施例3 参照图1～图7，本实施例的图像展开处理模块包括读取坐标信息单元，用于读取上述计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；极坐标展开计算单元，用于根据全方位图像的中心点的位置和内径为r、外径为R，r*为图像上任意点距离内圆的径向长度，方位角为β＝tan-1(y*/x*)，建立极坐标(r*，β)，与全方位内外圆边界的交点坐标分别为 (x*inner(β)，y*inner(β))和(x*outer(β)，y*outer(β))；矩形柱面全方位图像以坐标原点O**(0，0)、X**轴、Y**轴为平面坐标系，将圆形全方位图像中的内径为r与X*轴的交点(r，0)作为坐标原点O**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点象素坐标(r*，β)与矩形柱面全方位图像中象素坐标P**(x**，y**)的对应关系，其计算式为 图像输出单元，用于将展开后的图像输出到显示装置。
本实施例的其余结构和工作过程与实施例1相同。
实施例4 参照图1～图7，本实施例的将摄像头的视频信号直接通过USB接口输出，在远程主机上对视频信号进行处理，只要在远程主机上安装上述的软件即可。
其余结构和工作原理与实施例1相同。
权利要求
1.一种基于全方位视觉传感器的电视电话会议装置，包括安装于各个会议场所的视频传感器、微处理器以及通信模块，所述的视频传感器的输出与微处理器通信连接，所述的微处理器包括
图像数据读取模块，用于读取从视频传感器传过来的视频图像信息；
文件存储模块，用于将视频传感器采集的数据存储到存储器中；
图像传输模块，用于将视频图像信息传输到其他会议场所；
现场实时播放模块，用于将播放接收的其他会议场所的视频图像；
其特征在于
所述的视频传感器是全方位视觉传感器，所述的视觉传感器包括用于反射监控领域中物体的外凸反射镜面、透明圆柱体、用以防止光折射和光饱和的黑色圆锥体、摄像头，所述的外凸反射镜面朝下，所述的透明圆柱体支撑外凸反射镜面，黑色圆锥体固定在折反射镜面外凸部的中心，用于拍摄外凸反射镜面上成像体的摄像头位于透明圆柱体的下部，摄像头位于外凸反射镜面的虚焦点上，所述的外凸反射镜面、透明圆柱体、黑色圆锥体、摄像头的镜头的中心位置在同一中心轴上；
所述的微处理器还包括
传感器标定模块，用于对全方位视觉传感器的参数进行标定，建立空间的实物图像与所获得的视频图像的对应关系；
图像展开处理模块，用于将采集的圆形视频图像展开为全景柱状图。
2.如权利要求1所述的基于全方位视觉传感器的电视电话会议装置，其特征在于所述的外凸反射镜面为双曲面镜，所述的摄像头包括聚光透镜和摄像单元，所述的摄像单元位于所述双曲面镜的虚焦点位置；所述双曲面镜构成的光学系统由下面5个等式表示；
((X2+Y2)/a2)-(Z2/b2)＝-1 (Z＞0) (1)
β＝tan-1(Y/X) (3)
α＝tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ (4)
上式中，X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角-方位角，α表示入射光线在XZ平面上的夹角-俯角，f表示成像平面到双曲面镜的虚焦点的距离。
3.如权利要求1或2所述的基于全方位视觉传感器的电视电话会议装置，其特征在于所述的全方位视觉传感器还包括花瓶式底座、下连接件以及上盖，所述的折反射凸镜的中间设有通孔，所述的黑色圆锥体的大直径端插入反射凸镜的中间通孔内将圆锥状体与反射凸镜连接，黑色圆锥体的尖端朝下；所述的黑色圆锥体的大直径端的头部为螺纹，所述的上盖中部朝下端设有与黑色圆锥体的大直径端的头部为螺纹配合的螺纹孔，所述上盖上设有装饰品；下连接件配有与花瓶式底座上部的螺纹孔配合的螺纹，下连接件套入透明圆筒体内，所述的摄像头安装在底座内。
4.如权利要求3所述的基于全方位视觉传感器的电视电话会议装置，其特征在于所述的图像展开处理模块包括
读取坐标信息单元，用于读取上述计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；
近似展开计算单元，用于将圆形全方位图像的中心坐标设定平面坐标系的原点O**(0，0)、X*轴、Y*轴，图像的内径为r，外径为R，设定中间圆的半径r1＝(r+R)/2，方位角为β＝tan-1(y*/x*)；矩形柱面全景图像以坐标原点O**(0，0)、X**轴、Y**轴为平面坐标系，将圆形全方位图像中的内径为r与X*轴的交点(r，0)作为坐标原点O**(0，0)，以方位角β逆时针方向展开；建立矩形柱面全景图像中任意一点像素坐标P**(x**，y**)与圆形全方位图像中的像素坐标Q*(x*，y*)的对应关系，其计算式为
x*＝y*/(tan(360x**/π(R+r)))(6)
y*＝(y**+r)cosβ(7)
上式中，x**，y**为矩形柱面全景图像的像素坐标值，x*，y*为圆形全方位图像的像素坐标值，R为圆形全方位图像的外径，r为圆形全方位图像的内径，β为圆形全方位图像坐标的方位角；
图像输出单元，用于将展开后的图像输出到显示装置。
5.如权利要求3所述的基于全方位视觉传感器的电视电话会议装置，其特征在于所述的图像展开处理模块包括
读取坐标信息单元，用于读取上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；
映射矩阵展开单元，用于将圆形全方位图像的中心坐标设定平面坐标系的原点O**(0，0)、X*轴、Y*轴，图像的内径为r，外径为R，方位角为β＝tan-1(y*/x*)；矩形柱面全景图像以坐标原点O**(0，0)、X**轴、Y**轴为平面坐标系，将圆形全方位图像中的内径为r与X*轴的交点(r，0)作为坐标原点O**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点像素坐标Q*(x*，y*)与矩形柱面全景图像中像素坐标P**(x**，y**)的对应关系，建立从Q*(x*，y*)到P**(x**，y**)的映射矩阵对应关系，其计算式为
上式中，
为全方位图像上的各个像素坐标的矩阵，
为从全方位图像坐标到矩形柱面全景图像坐标的对应关系矩阵，
为矩形柱面全景图像上的各个像素坐标的矩阵；
所述的
对应关系矩阵可以将软件插值算法融合进去，所述的软件插值算法包括放大原全方位图像后的提高分辨率的插值和消除在所述的展开单元取整计算所带来的误差的插值。
图像输出单元，用于将展开后的图像输出到显示装置。
6.如权利要求3所述的基于全方位视觉传感器的电视电话会议装置，其特征在于所述的图像展开处理模块包括
读取坐标信息单元，用于读取上述计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；
极坐标展开计算单元，用于根据全方位图像的中心点的位置和内径为r、外径为R，r*为图像上任意点距离内圆的径向长度，方位角为β＝tan-1(y*/x*)，建立极坐标(r*，β)，与全方位内外圆边界的交点坐标分别为(x*inner(β)，y*inner(β))和(x*outer(β)，y*outer(β))；矩形柱面全方位图像以坐标原点O**(0，0)、X**轴、Y**轴为平面坐标系，将圆形全方位图像中的内径为r与X*轴的交点(r，0)作为坐标原点O**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点象素坐标(r*，β)与矩形柱面全方位图像中象素坐标P**(x**，y**)的对应关系，其计算式为
图像输出单元，用于将展开后的图像输出到显示装置。
全文摘要
一种基于全方位视觉传感器的电视电话会议装置，包括安装于各个会议场所的视频传感器、微处理器以及通信模块，所述的视频传感器的输出与微处理器通信连接，所述的视频传感器是全方位视觉传感器，所述的微处理器包括图像数据读取模块、文件存储模块、图像传输模块、现场实时播放模块、用于对全方位视觉传感器的参数进行标定，建立空间的实物图像与所获得的视频图像的对应关系的传感器标定模块以及用于将采集的圆形视频图像展开为全景柱状图的图像展开处理模块。本发明的视角范围大、不需要瞄准目标、会议图像连贯性好、具有良好的沉浸感。
文档编号H04N7/15GK101150703SQ20061005354
公开日2008年3月26日 申请日期2006年9月22日 优先权日2006年9月22日
发明者汤一平, 健 张, 李文德, 剑 叶 申请人:汤一平, 南望信息产业集团有限公司, 杭州广赛电力科技有限公司