专利名称：广角图像生成装置的制作方法
技术领域：
本发明涉及对反射面所反射的光线进行摄像，生成广角图像的广角图像生成装置。
背景技术：
作为利用反射面的广角摄像装置的已有技术例，有日本专利第2939087号所述的所谓全方位摄像机。这是能够利用具有围绕摄像机光轴的旋转对称形状的反射面，使旋转轴周围360度方向上的图像一次成像于摄像面上的装置。又，对于摄像得到的全方位图像进行图像变换处理，能够得到所谓全景图像。
全方位摄像机在监视区域为360度的情况下是有效的。但是在监视区域大约为180度就可以的情况下，全方位摄像机拍摄了大约180度大小的不需要的区域，作为摄像元件的使用方法是低效率的。
因此考虑只拍摄反射面形成的反射像中以垂直于该反射面的旋转中心轴的任意方向作为基准方向的大约±90°大小那样的广角摄像装置。
即使是对于这样的广角摄像装置得到的图像(以下称为“广角图像”)，也与专利2939087号所示的全方位摄像机的情况相同，通过运算处理能够得到将用通常图像角度的摄像机拍摄的图像连接起来那样的图像、即展开图像。
下面对展开处理进行说明。
图33是用于说明展开处理的广角摄像装置8的示意图。采用从纸面到眼前的方向为X轴，纸面的左右方向为Y轴，纸面的上下方向为Z轴的坐标。而且Z轴与铅直方向一致。
广角摄像装置8由具有轴旋转对称形状的双曲面反射镜1、成像透镜2和摄像元件3构成。摄像装置由成像透镜2和摄像元件3构成。
双曲面反射镜1具有围绕双曲面的旋转中心轴周围的±90°大小的反射面。以其0°方向为基准光轴方向，在这里，采用与Y轴方向一致的方向。4为双曲面反射镜1的内部焦点。6是双曲面反射镜1的旋转中心轴，与Z轴一致。
从空间内的任意点P(X、Y、Z)发出，向内部焦点4入射的光线在双曲面反射镜1的反射面上反射，聚焦于旋转中心轴6上的外部焦点(未图示)上。配置该外部焦点的位置和成像透镜2的主点7的位置，使其大致一致，光线通过成像透镜2在摄像元件3的摄像面5上成像。
又，21是考虑由广角图像映射为展开图像时的假想投影面、即假想圆筒面。假想圆筒面21的该旋转中心轴与双曲面反射镜1的旋转中心轴6相一致。
考虑对应于空间内的任意点P(X，Y，Z)的摄像面5上的点(即广角图像上的点)p(x，y)。双曲面反射镜1的双曲面形状用以下公式(公式1)表示。
(X2+Y2)/a2-Z2/b2＝-1(公式1)这里，a、b为决定双曲面形状的常数。另外，c＝(a2+b2)0.5(公式2)又，公式3～公式5成立。
Z＝(X2+Y2)0.5tan β+c (公式3)tanβ＝{(b2+c2)sinα-2bc}/{(b2-c2)cosα} (公式4)tanα＝F/(x2+y2)0.5(公式5)这里，F是由成像透镜2与摄像元件3组成的摄像装置的焦点距离。关于角度α和β，参考图33。
如果利用(公式3)～(公式5)决定X，Y，Z以及b，c，F，就可以决定(X2+Y2)0.5、即摄像面5上的与旋转中心轴6的交点到点p的距离。
又，根据射向内部焦点4的光线通过双曲面反射镜1反射向外部焦点这样的双曲面的性质，XY平面以及xy平面中的点P、点p的方向一致。因此，Y/X＝y/x (公式6)如果利用(公式6)求解X，Y，则点p的方向也能够决定，以此可以一义地确定与P(X，Y，Z)相对应的摄像面5上的点(即广角图像上的点)p(x，y)。亦即，即使在对大约±90度大小的视野进行摄像的广角摄像装置中，也与全方位摄像机的情况相同，通过确定展开图像的投影面(假想圆筒面21)，考虑由广角图像映射为投影面，以决定展开图像的各像素在广角图像中的对应点，并且可以因此确定展开图像的全部像素的辉度值以生成展开图像。
但是在这里，反射面的旋转中心轴在垂直于基准方向的面内偏离铅直方向的情况下，如果忽略该倾斜，对由该广角摄像装置所得到的图像进行运算处理，并且将大约±90度大小的广角图像转换为展开图像，则展开图像的外框与反射面旋转中心轴没有倾斜时相比没有不同。另一方面，展开图像的内容是倾斜反射面旋转中心轴的倾斜程度，将使观看者感到不舒服。
又，这样的广角摄像装置旋转轴方向的视野，通常|β|＜|γ|，其中β为仰角、γ为俯角(参考图33)。因此，展开图像中的仰角为0的位置(以下称为“视线中心”)偏向展开图形的短边方向的任一方向。这时，离展开图像中的离视线中心较远的部分看来与其他部分相比更为倾斜，因此比其他部分更显得有畸变。
下面利用图34对全方位摄像机进行说明。
图34(a)表示全方位摄像机的基本构成。全方位摄像机100是由作为具有轴旋转对称形状的反射面的双曲面反射镜101、成像透镜102以及CCD等摄像元件103构成的。
104是双曲面反射镜101的内部焦点。105是摄像元件103的摄像面。106是双曲面反射镜101的旋转中心轴，在这里，使其与Z轴相一致。此外，将垂直于该双曲面反射镜101的旋转中心轴的任意方向作为Y轴方向。107是成像透镜102的主点。将连接内部焦点104与主点107的直线的2等分点作为坐标系的原点O。
又，108a、108b是入射于双曲面反射镜101的光线，109a、109b是光线108a、108b对双曲面反射镜101的入射点。110a、110b是在入射点109a、109b反射的光线108a、108b在摄像面105上的成像点。
从YZ平面内的某个点发出，向内部焦点104入射，并且到达双曲面反射镜101上的入射点109a、109b的光线108a、109b，在双曲面反射镜101的反射面上反射，并且聚焦于旋转中心轴106上的外部焦点(未图示)上。该外部焦点的位置和成像透镜102的主点107的位置配置得大致一致，光线108a、108b通过成像透镜102在摄像元件103的摄像面105上的成像点110a、110b上成像。
图34(b)表示摄像面105上的成像情况。如图所示，将纸面向上的方向作为Y轴。又将垂直于纸面的方向作为Z轴方向。包含光线108a、108b的，从全方位摄像机100的旋转中心轴106的周围360度对内部焦点104，入射到双曲面反射镜101的光束(未图示)与光线108a、108b一样，通过双曲面反射镜101的外部焦点(未图示)，并且通过成像透镜102，在摄像面105上形成圆形像111。又，在圆形像111中，Y方向两端为光线108a、108b的成像点110a、110b。
关于将如上所述得到的圆形全方位图像转换为全景图像的展开处理将在以下进行说明。
图35是为了说明展开处理而对全方位摄像机100进行模式性表示的图。双曲面反射镜101、成像透镜102、摄像元件103、内部焦点104、摄像面105、旋转中心轴106以及主点107与图34说明的内容相同。
112是考虑由圆形全方位图像映射为展开图像时的假想投影面、即假想圆筒面。假想圆筒面112的该旋转中心轴与双曲面反射镜101的旋转中心轴106相一致。设定坐标轴时，将从纸面出发向着自己的方向作为X轴，将纸面的左右方向作为Y轴，将纸面的上下方向作为Z轴。又使Z轴与旋转中心轴106相一致。
如同已经说明的那样，从空间内的任意点P(XP、YP、ZP)发出，向内部焦点104入射的光线在双曲面反射镜101的反射面上反射，聚焦于旋转中心轴106上的外部焦点(未图示)上。该外部焦点的位置与成像透镜102的主点107的位置配置得大致一致，光线通过成像透镜102在摄像元件103的摄像面105上成像。
考虑与空间内的任意点P(XP、YP、ZP)相对应的摄像面105上的点，即，作为圆形全方位图像上的点的p(XP、YP)。双曲面反射镜101的双曲面形状通过(公式7)表示。
(X2+Y2)/a2-Z2/b2＝-1 (公式7)这里，a、b为决定双曲面形状的常数。另外，c＝(a2+b2)0.5(公式8)又，(公式9)～(公式11)成立。
Z＝(X2+Y2)0.5tanα+c (公式9)tanα＝{(b2+c2)sinβ-2bc}/{(b2-c2)cosβ} (公式10)tanβ＝F/(X2+y2)0.5(公式11)这里，F是成像透镜102与摄像元件103组成的摄像装置的焦点距离。角度α是连接内部焦点104与任意点P的直线与XY平面之间所形成的角度。角度β是连接主点107(与双曲面反射镜101的外部焦点大致一致)与摄像面105上的点p的直线与XY平面之间所形成的角度。如果利用(公式9)～(公式11)决定XP、YP、ZP以及b，c，F的值，就可以决定(xP2+yP2)0.5、即从与摄像面105上的与旋转中心轴106的交点到点p的距离。
又，由于射向内部焦点104的光线在双曲面反射镜101反射后射向外部焦点的双曲面性质，XY平面及xy平面上的点P、点p方向一致。因此，Y/X＝y/x (公式12)如果利用(公式1 2)求XP、YP，则点p的方向也得到决定。
根据以上所述，可以一义地确定与P(XP、YP、ZP)相对应的摄像面5上的点(即圆形的全方位图像上的点)p(xP，yP)。因此，通过确定展开图像的投影面(假想圆筒面112)，并考虑由圆形的全方位图像映射于投影面，以确定对于展开图像的各像素的圆形的全方位图像中的对应点，并据此确定展开图像的全部像素的辉度值，以生成展开图像。
全方位摄像机在监视区域为360度的情况下是有效的。但是在监视区域大致为180度即可的情况下，全方位摄像机拍摄了大约180度大小的不需要的区域，作为摄像元件的使用方法是低效率的。
发明内容
本发明的目的在于，提供即使将广角摄像装置置于其旋转中心轴在与基准光轴方向相垂直的面内相对于铅直方向倾斜的状态，作为广角图像生成装置的输出成为图像内的水平方向与TV监视器的水平方向一致的图像，并不会给予观察者一种不舒适的感觉的广角图像生成装置。
又，在考虑到反射面所形成的反射像中，将垂直于该反射面的旋转中心轴的任意方向作为基准方向，只对其大约±90度大小的部分进行摄像的广角图像生成装置的情况下，想要对广角图像使用与全方位摄像机的情况相同的处理，以得到展开图像时，存在因摄像装置的光轴的倾斜以及光学像差等原因造成的图像变形，得到的展开图像不能成为正确图像的问题，本发明目的就在于提供一种能够解决这样的问题的广角图像生成装置。
本发明的权利要求1所记载的广角图像生成装置是一种由广角摄像装置与运算处理装置构成的广角图像生成装置，其特征在于，广角摄像装置是由在相对于旋转对称体的旋转中心轴垂直的任意方向上取基准光轴，且具有将所述基准光轴的方向作为0度的角度范围至少是θ(θ1≤θ≤θ2、-90°≤θ1≤90°、-90°≤θ2≤90°、θ1＜θ2)的凸面形状的反射面的反射镜、以及所述反射镜的旋转中心轴上具有主点，且使所述反射镜的反射像成像，对所述反射镜的旋转中心轴周围的至少是θ角度的范围的对象物进行摄像的摄像装置构成，在相对于所述基准光轴垂直的平面内，将所述反射镜的旋转中心轴向任意的旋转中心轴面内的倾斜方向倾斜设置，运算处理装置由对所述广角摄像装置得到的图像进行运算处理，生成展开图像的展开图像生成部、以及对应所述旋转中心轴面内倾斜方向使所述展开图像倾斜，并将所述展开图像的数据形式转换为用于输出的形式，作为输出图像生成的输出图像生成部构成。
本发明的权利要求2所记载的广角图像生成装置是一种由广角摄像装置与运算处理装置构成的广角图像生成装置，其特征在于，广角摄像装置是由在相对于旋转对称体的旋转中心轴垂直的任意方向上取基准光轴，具有将所述基准光轴的方向作为0度，角度范围至少是θ(θ1≤θ≤θ2、-90°≤θ1≤90°、-90°≤θ2≤90°、θ1＜θ2)的凸面形状的反射面的反射镜、以及所述反射镜的旋转中心轴上具有主点，使所述反射镜的反射像成像，对所述反射镜的旋转中心轴周围的至少θ角度范围内的对象物进行摄像的摄像装置构成，在相对于所述基准光轴垂直的平面内，将所述反射镜的旋转中心轴向任意的旋转中心轴面内的倾斜方向倾斜设置，运算处理装置由对所述广角摄像装置得到的图像进行运算处理，生成对应于所述旋转中心轴面内倾斜方向倾斜的展开图像的展开图像生成部、以及将所述展开图像的数据形式转换为用于输出的形式，作为输出图像生成的输出图像生成部构成。
本发明的权利要求3所记载的广角图像生成装置，是在权利要求1或权利要求2中，其特征在于，所述反射镜为在旋转中心轴上具有内部焦点的双曲面形状，并且使所述双曲面形状的外部焦点的位置与所述摄像装置的主点位置一致或者大致一致。
本发明的权利要求4所记载的广角图像生成装置，是在权利要求1～权利要求3中的任意一项中，其特征在于，使所述旋转中心轴面内倾斜方向与水平方向一致或者大致一致。
本发明的权利要求5所记载的广角图像生成装置，是在权利要求1～权利要求4中的任意一项中，其特征在于，所述广角摄像装置或者所述运算处理装置具有检测所述旋转中心轴面内倾斜方向的旋转中心轴面内倾斜方向检测部，对应所述旋转中心轴面内倾斜方向检测部的输出结果，利用所述运算处理装置使所述展开图像倾斜，生成输出图像。
本发明的权利要求6所记载的广角图像生成装置，是在权利要求5中，其特征在于，设置于所述运算处理装置内的旋转中心轴面内倾斜方向检测部形成可以进行图像处理，并检测旋转中心轴面内倾斜方向的结构。
本发明的权利要求7所记载的广角图像生成装置，是在权利要求1～权利要求4中的任意一项中，其特征在于，所述广角摄像装置或者所述运算处理装置具有输入所述旋转中心轴面内倾斜方向的旋转中心轴面内倾斜方向输入部，对应于所述旋转中心轴面内倾斜方向输入部的输入结果，利用所述运算处理装置使所述展开图像倾斜，生成输出图像。
本发明的权利要求8所记载的广角图像生成装置，是由广角摄像装置与运算处理装置构成的广角图像生成装置，其特征在于，广角摄像装置是由在相对双曲面旋转中心轴垂直的任意方向上取基准光轴，具有将所述基准光轴的方向作为0度的角度范围至少是θ(θ1≤θ≤θ2、-90°≤θ1≤90°、-90°≤θ2≤90°、θ1＜θ2)的双曲面形状的反射面的双曲面反射镜、以及使所述双曲面反射镜的外部焦点位置与主点位置大致一致，使所述双曲面反射镜的反射像成像，对所述双曲面反射镜的旋转中心轴周围的至少是θ角度范围的对象物进行摄像的摄像装置构成，在包含基准光轴与所述双曲面反射镜旋转中心轴的平面内，将所述双曲面反射镜的旋转中心轴向任意的旋转中心轴的前面倾斜方向倾斜设置，运算处理装置是由对所述广角摄像装置所得到的图像，将以通过所述双曲面反射镜的内部焦点的任意轴作为假想圆筒旋转中心轴的假想圆筒作为投影面进行运算处理，生成展开图像的展开图像生成部、以及将所述展开图像的数据形式转换为用于输出的形式，并作为输出图像生成的输出图像生成部构成。
本发明的权利要求9所记载的广角图像生成装置，是在权利要求8中，其特征在于，无论所述旋转中心轴前面倾斜方向如何，在包含所述基准光轴与所述双曲面反射镜的旋转中心轴的平面内设定的基准轴与所述假想圆筒旋转中心轴平行或者一致。
本发明的权利要求10所记载的广角图像生成装置，是在权利要求9中，其特征在于，所述旋转中心轴前面倾斜方向是包含所述基准光轴与所述双曲面反射镜的旋转中心轴的平面内的所述广角摄像装置的视场角中心相对所述基准轴垂直的方向。
本发明的权利要求11所记载的广角图像生成装置，是在权利要求9或者权利要求10中，其特征在于，所述广角摄像装置或者所述运算处理装置具有检测所述旋转中心前面倾斜方向的旋转中心轴前面倾斜方向检测部，对应所述旋转中心轴前面倾斜方向检测部的输出结果，利用所述运算处理装置生成输出图像。
本发明的权利要求12所记载的广角图像生成装置，是在权利要求9或者权利要求10中，其特征在于，所述广角摄像装置或者所述运算处理装置内具有输入所述旋转中心轴前面倾斜方向的旋转中心轴前面倾斜方向输入部，对应于所述旋转中心轴前面倾斜方向输入部的输入结果，利用所述输出图像生成部生成输出图像。
本发明的权利要求13所记载的广角图像生成装置，其特征在于，设置有在相对于旋转对称体的旋转中心轴垂直的任意方向上取基准光轴，具有将所述基准光轴的方向作为0度的角度范围至少是θ(θ1≤θ≤θ2、-180°≤θ1≤180°、-180°≤θ2≤180°、θ1＜θ2)的凸面形状反射面的反射镜、在所述反射镜的旋转中心轴上具有主点，在视场角记为2α时光轴相对所述旋转中心轴朝着基准光轴方向倾斜α以下的角度，使所述反射镜的反射像成像，并对所述反射镜的旋转中心轴周围至少是θ角度范围的对象物进行摄像的摄像装置、根据由所述摄像装置得到的广角图像生成从所述旋转中心轴上观察的展开图像的展开图像生成部、以及生成包含所述展开图像生成部将所述广角图像加以展开时的所述广角图像与所述展开图像的像素对应关系信息的展开表的展开表生成部。
本发明的权利要求14所记载的广角图像生成装置，其特征在于，设置有在相对于旋转对称体的旋转中心轴垂直的任意方向上取基准光轴，具有将所述基准光轴的方向作为0度的角度范围至少是θ(θ1≤θ≤θ2、-180°≤θ1≤180°、-180°≤θ2≤180°、θ1＜θ2)的凸面形状反射面的反射镜、在所述反射镜的旋转中心轴上具有主点，在视场角记为2α时光轴相对所述旋转中心轴朝着基准光轴方向倾斜α以下角度，使所述反射镜的反射像成像，对所述反射镜的旋转中心轴周围至少是θ角度范围的对象物进行摄像的摄像装置、根据由所述摄像装置得到的广角图像生成从所述旋转中心轴上观察的展开图像的展开图像生成部、生成包含所述展开图像生成部将所述广角图像加以展开时的所述广角图像与所述展开图像的像素对应关系信息的展开表的展开表生成用运算处理装置、以及保持由所述展开表生成用运算处理装置生成的所述展开表，同时连接于所述展开图像生成部的展开表存储部。
本发明的权利要求15所记载的广角图像生成装置，其特征在于，设置有具备凸面形状的反射面的反射镜、所述反射镜的旋转中心轴上具有主点，使所述反射镜的反射像成像，对所述反射镜的旋转中心轴周围360度范围的对象物进行摄像的摄像装置、根据由所述摄像装置得到的广角图像生成从所述旋转中心轴上观察的展开图像的展开图像生成部、以及生成包含所述展开图像生成部将所述广角图像加以展开时的所述广角图像与所述展开图像的像素对应关系信息的展开表的展开表生成部。
本发明的权利要求16所记载的广角图像生成装置，其特征在于，设有具备凸面形状的反射面的反射镜、所述反射镜的旋转中心轴上具有主点，使所述反射镜的反射像成像，对所述反射镜的旋转中心轴周围360度范围的对象物进行摄像的摄像装置、根据由所述摄像装置得到的广角图像生成从所述旋转中心轴上观察的展开图像的展开图像生成部、生成包含所述展开图像生成部将所述广角图像加以展开时的所述广角图像与所述展开图像的像素对应关系信息的展开表的展开表生成用运算处理装置、以及保持由所述展开表生成用运算处理装置生成的所述展开表，同时连接于所述展开图像生成部的展开表存储部。
本发明的权利要求17所记载的广角图像生成装置，是在权利要求13～权利要求16中的任意一项中，其特征在于，所述反射镜是在旋转中心轴上具有内部焦点的双曲面形状，所述双曲面形状的外部焦点的位置与所述摄像装置的主点位置大致一致。
本发明的权利要求18所记载的广角图像生成装置，是在权利要求17中，其特征在于，构成展开表生成部或者展开表生成用运算处理装置，使其能够生成包含与摄像装置的光轴倾斜量相对应的广角图像与展开图像的像素对应关系信息的展开表。
本发明的权利要求19所记载的广角图像生成装置，是在权利要求17中，其特征在于，使展开表生成部或者展开表生成用运算处理装置形成能够根据以下数学公式生成展开表的结构，所述公式即tanα＝{(b2+c2)sinβ-2bc}/{(b2-c2)cosβ}c＝(a2+b2)0.5(x2+y2)0.5＝F·cosβ/cosγ(θ)/sin(β+γ(θ))cosφ＝cosθ/(1+tan2γ(90°)·sin2θ)0.5tanγ(θ)＝tanγ(90°)·sin(θ)其中，a、b是决定反射镜的双曲面的形状的常数，双曲面形状是在XYZ空间中表示为(X2+Y2)/a2-Z2/b2＝-1的双曲面中Z＞0的形状，α是上述反射镜的内部焦点与空间中的任意点连结的直线与XY平面形成的角度，β是从上述任意点来的入射光入射到摄像装置的摄像面上的点与上述摄像装置的主点连结的直线与XY平面形成的角度，F是上述摄像装置的焦距，θ是在XY平面中以基准光轴方向为90°时所述入射光的入射方向，γ是取决于上述入射方向θ的上述摄像面的倾斜，φ是上述入射光在上述摄像面上的入射方向。
本发明的权利要求20所记载的广角图像生成装置，是在权利要求13～权利要求17中的任意一项中，其特征在于，构成展开表生成部或展开表生成用运算处理装置，并使其能够生成包含将含有摄像装置的光学像差引起的畸变的广角图像与畸变修正后的广角图像的对应关系和上述畸变修正后的广角图像与展开图像的对应关系加以合成的像素对应关系信息的展开表。
本发明的权利要求21所记载的广角图像生成装置，是在权利要求13～权利要求17中的任意一项中，其特征在于，构成展开表生成部或展开表生成用运算处理装置，并使其能够生成通过变更考虑广角图像与展开图像的像素对应关系时的假想投影面的形状，改变所述广角图像与所述展开图像的像素对应关系的展开表。
本发明的权利要求22所记载的广角图像生成装置，是在权利要求13～权利要求17中的任意一项中，其特征在于，构成展开表生成部或展开表生成用运算处理装置，并使其能够生成任意变更展开图像上设置的任意遮掩区域内的广角图像与展开图像的像素对应关系，遮蔽所述遮掩区域内的展开图像的展开表。
本发明的权利要求23所记载的广角图像生成装置，是在权利要求13～权利要求17中的任意一项中，其特征在于，在展开图像生成部的后级，追加作为展开图像生成部的后处理，根据展开图像上的位置进行改变强调程度的高频分量强调处理的图像质量修正处理部。
本发明的权利要求24所记载的广角图像生成装置，是在权利要求17～权利要求23中的任意一项中，其特征在于，设置进行使利用展开图像生成部展开的图像的特定区域成为与原来不同的图像的图像遮蔽处理的图像遮蔽处理部。
图1是本发明实施形态1的广角图像生成装置的结构图。
图2是本发明实施形态1的对象物体a、b、c的说明图。
图3是本发明实施形态1的广角图像生成装置中摄像面上的成像示意图。
图4是本发明实施形态1的广角图像生成装置拍摄的图像的展开处理结果的示意图。
图5是输出到本发明实施形态1的TV监视器的输出图像的示意图。
图6是广角图像生成装置的旋转和旋转时的输出图像的示意图。
图7是本发明实施形态2的广角图像生成装置的结构图。
图8是从X轴方向(铅直上方)观察本发明实施形态3的广角图像生成装置的结构图。
图9是从X轴方向(铅直上方)观察本发明实施形态4的广角图像生成装置的结构图。
图10是本发明实施形态5的广角图像生成装置的结构图。
图11是本发明实施形态5的广角图像生成装置的说明图。
图12是本发明实施形态5的广角图像生成装置的摄像面上的成像示意图。
图13是本发明实施形态5的对象物体a、b、c的说明图。
图14是本发明实施形态5得到的广角图像说明图。
图15是本发明实施形态5的展开表作成流程图。
图16是本发明实施形态5的广角摄像装置的结构图。
图17是本发明实施形态5的摄像面附近的放大图。
图18是本发明实施形态5中从Z轴方向观察的情况下的双曲面反射镜和摄像面的配置图。
图19是Xa、Ya面上的角度θ与xy面上的角度φ的关系的说明图。
图20是摄像装置的光学畸变的影响的说明图。
图21是试验图案图像的说明图。
图22是展开图像的左右的析像度差的说明图。
图23是展开图像上的位置和清晰度系数的关系的说明图。
图24是本发明实施形态6的广角图像生成装置的结构图。
图25是本发明实施形态6的对象物体a、b、c的说明图。
图26是本发明实施形态6的摄像面上的成像示意图。
图27是本发明实施形态6的展开表作成流程图。
图28是表示假想投影面与操作者的关系的说明图。
图29是关于假想投影面形状的变更方法的说明图。
图30是遮蔽ATM操作面板的情况的示意图。
图31是本发明实施形态6的广角图像生成装置的结构图。
图32是本发明实施形态7的广角图像生成装置的结构图。
图33是展开处理说明图。
图34是全方位摄像机的说明图。
图35是全方位摄像机的展开处理说明图。
具体实施形态下面就图1～图9所示的实施形态1～实施形态4各实施形态，对即使是使广角摄像装置处于其旋转中心轴在垂直于基准光轴方向的面内相对于铅锤方向取倾斜状态，作为广角图像生成装置的输出，成为图像内的水平方向与TV监视器的水平方向一致的图像，不会给观众以不协调的感觉的感觉图像的生成装置进行说明。
实施形态1图1～图5表示本发明的实施形态1。
图1表示实施形态1的广角图像生成装置，将纸面上下方向上的坐标轴设定为X轴，从纸面向着读者的方向的坐标轴作为Y轴，纸面左右方向的坐标轴作为Z轴。另外，将X轴设定于铅直方向。
广角摄像装置8由双曲面反射镜1、成像透镜2以及摄像元件3构成。摄像装置由成像透镜2、摄像元件3构成。双曲面反射镜1具有双曲面旋转中心轴周围±90度大小的反射面。其0度方向，即基准光轴方向作为Y轴方向。另外，基准光轴采用通过双曲面反射镜1内部焦点4的光轴。双曲面反射镜1的旋转中心轴6以Y轴作为旋转轴且偏离铅直方向90度，与Z轴(水平方向)一致。
向内部焦点4入射的光线a、b、c在双曲面反射镜1的反射面上反射，聚焦于旋转中心轴6上的外部焦点(未图示)。配置得使该外部焦点的位置和成像透镜2的主点7的位置一致或者大致一致，光线a、b、c通过成像透镜2在摄像元件3的摄像面5上成像。
在图1中将成像透镜2描写成用一片构成，但是也可以由多片透镜构成。此外，在这里将反射镜1限定为双曲面形状，但也可以采用半球、圆锥等旋转对称形状。只是，在那种情况下，由于不存在外部焦点，成像透镜2的主点7可以是在旋转中心轴6上的任意位置上。
作为设置于广角摄像装置8的旋转中心轴面内倾斜方向检测部的旋转方式的Y轴周围角度传感器12，输出垂直于基准光轴方向的面内(XZ平面内)的旋转中心轴6相对于作为基准的轴(这里采用铅直轴)倾斜几度的信息。
演算处理装置11由展开图像生成部9以及输出图像生成部10构成。展开图像生成部9中，对利用广角摄像装置8的摄像元件3所得到的180度视场角的广角图像，按照对应于双曲面反射镜1的形状、成像透镜2以及摄像元件3的光学特性决定的算法，进行使广角图像转换为展开图像的处理。
输出图像生成部10，对利用展开图像生成部9得到的展开图像，依据Y轴周围角度传感器12的输出，进行下述倾斜修正处理，并向NTSC制式转换。13是表示来自演算处理装置11的输出图像的TV监视器。
下面根据动作对图1的构成作更详细的说明。
图1中，光线a、b、c表示来自对象物的任意光线。因此决定将各光线的对象物称为对象a、b、c。对象物a、b、c用图2(a)所示的屏幕14上所描写的「a」、「b」、「c」文字表示，考虑可以通过双曲面反射镜1看到描写对象物a、b、c的面地设置该屏幕14，以便如图2(b)所示在Z轴周围从Z轴到屏幕表面的距离保持一定的情况。
如同已经说明的那样，向着内部焦点4并入射于双曲面反射镜1的反射面上的光线全部朝着外部焦点(未图示)反射，通过将外部焦点与主点的位置设置成一致或者大致一致的成像透镜2在摄像元件3的摄像面5上成像。
从而，相对于基准光轴方向(Y轴方向)±90°的范围在摄像面5上成像。这时，由摄像元件3得到的图像示于图3。可知对象物被完全包含于其中。
演算处理装置11对由广角摄像装置8输出的图3所示的广角图像，在展开图像生成部9进行向展开图像转换的处理。
如已说明的那样，展开处理通过确定展开图像的投影面(假想圆筒面21)，考虑由广角图像向投影面的映射，以决定展开图像的各像素的广角图像中的对应点，而且可以因此确定展开图像的全部像素的辉度值，以生成展开图像。一旦对例如图3所示的广角图像进行展开处理，就将得到图4那样的展开图像。
对于通过在以上那样的展开图像生成部9的处理所制作的展开图像，在输出图像生成部10进行向输出图像变换的处理。
在输出图像生成部10进行2个处理。
首先对展开图像的倾斜修正处理进行说明。
一旦在垂直于基准光轴方向的面内使旋转中心轴6相对于铅直方向倾斜90度，展开图像将成为如图4所示那样相对该图像内的铅直方向本来应有的方向倾斜90度的图像。
因此，通过对该横長的展开图像实施图像旋转处理，对倾斜进行修正。具体方法是，采用编入广角摄像装置8的旋转方式的Y轴周围角度传感器12，将观察Y轴+方向时的顺时针旋转方向作为正方向对相对于广角摄像装置8的旋转中心轴6的铅直方向的倾斜角进行测量。
将顺时针方向作为正方向并通过图像处理演算使展开图像旋转这样得到的倾斜角大小。
接着对输出图像化处理进行说明。
广角图像的展开处理、倾斜修正处理是在将图像数字化的状态下进行的。因此，进行转换为适用于显示数字化图像的形式，例如NTSC制式的处理。具体地说，首先在数字数据的阶段追加空白区域使图像尺寸适合NTSC尺寸。该空白区域即使是采用辉度为0的区域也没有关系，并且放入某种信息(例如显示背景图像、摄像时间的标题说明等)也没关系。其次，通过采用已有的NTSC编码芯片等构成电路，将成为NTSC尺寸的数字数据转换成NTSC。即使是在图4所示的展开图像，输出图像如图5所示那样，在图像内的水平方向与实际水平方向一致或者大致一致的状态下，也能够在TV监视器13上显示。
而且，作为输出形式并非局限于NTSC，也可以是PAL等其他制式。
又，这里是采用将旋转中心轴6倾斜90度的构成，但是倾斜角并非局限于90度。但是，如果将倾斜角设定为90度，可以得到在通常的广角光学系统中难以实现的铅直方向180度的视野，因此为了能够得到从站在本装置旁边的人的脸开始到手里、脚下为止的作为一张的图像，因此具有可以适用于例如ATM(自动提款机)和自动售货机等的监视用途的优点。
又，本发明并非限定于使旋转中心轴6倾斜任意角度，将广角摄像装置8加以固定的情况。例如，如图6中示意表示的那样，将基准光轴作为旋转轴使广角摄像装置8以一定的速度旋转，将其输出图像输出到TV监视器13。这时，输出图像也以一定速度在TV监视器内旋转。但是，其图像内容成为水平方向与TV监视器的水平方向相一致的内容，并且可以作为用于事件等的特殊显示器使用。
又，实施形态1中，虽然对倾斜修正处理采用使展开图像内的水平方向与输出图像的水平方向相一致那样控制的方法，但是并非局限于此。例如也可以采用使展开图像内的水平方向与输出图像的水平方向之间的偏移保持一定那样的控制、或按照使展开图像内的水平方向与输出图像的水平方向之间的偏移保持一定的规定使其变化那样的控制。
又，实施形态1中，虽然双曲面反射镜1采用具有±90度大小的反射面，但是并非局限于此。只要是至少±90度以下的范围即可。
又，实施形态1中，是将旋转方式的Y轴周围角度传感器12安装在广角摄像装置8上得到倾斜信息。作为其他方法，也可以在演算处理装置11中采用图像处理得到倾斜信息。
具体地说，进行摄影，确定摄影条件使作为角度计量基准的对象物进入得到的展开图像中。而且通过图像处理求该对象物的展开图像内的倾斜角，确定输出图像化处理时的倾斜角使其角度为一定值。如果采用该方法，将具有无需角度传感器的优点。
又，实施形态1中，在展开图像生成部9进行由广角图像生成展开图像的处理，并在输出图像生成部10中进行展开图像的倾斜修正处理以及向NTSC等转换的输出图像化处理，但是也可以采用在展开图像生成部9生成展开图像，同时进行展开图像的倾斜修正，在输出图像生成部10只进行输出图像化处理的结构。
具体地说，采用作为已有技术说明的方法确定展开图像的各像素在广角图像中的对应点，并且按此确定展开图像的各像素的辉度值。通过将这样得到的各像素的辉度值预先依次存储在考虑到展开图像生成部9内的没有图示出的存储器上的展开图像的倾斜的位置上，以生成倾斜修正了的展开图像。在此时的展开图像的倾斜量通过Y轴周围倾斜传感器12取得。在输出图像生成部10接收倾斜修正了的展开图像并进行输出图像化处理。
采用这样的构成，由于可以同时进行展开图像的生成与倾斜修正，具有可以期待提高处理速度的优点。
这样采用实施形态1，即使将广角摄像装置8置于其旋转中心轴6在垂直于基准光轴方向的面内相对于铅直方向倾斜的状态，也可以使作为广角图像生成装置的输出成为图像内的水平方向与TV监视器13的水平方向一致的图像，并且不会给予观众以一种不协调的感觉。
实施形态2图7是本发明实施形态2的广角图像生成装置。
与图1中所示的实施形态1不同的部分是，去除作为旋转中心轴面内倾斜方向检测部的Y轴周围角度传感器12，并且将通过手动操作输入设定旋转中心轴面内倾斜方向的旋转中心轴面内倾斜方向输入部15设置于运算处理装置11。
下面对这样构成的广角图像生成装置就其动作以与所述形态1不同的部分为中心进行说明。
旋转中心轴面内倾斜方向输入部15是可变电阻器等输入设定器。通过该输入设定器，在输入图像生成部10内设定作为常数数据被确保的，相对于垂直于广角摄像装置8的旋转中心轴6的基准光轴方向的面内的铅直方向的倾斜角的值。其他动作与实施形态1相同。
这样采用实施形态2，可以采用省略Y轴周围角度传感器12的构成，因此可以更为廉价地构成装置整体。而且，在这里虽然假设旋转中心轴面内倾斜方向输入部15为可变电阻器等输入设定器，但并非限于这种形态。例如，对输出图像生成部10内确保的常数数据的改写，也可以从输出图像生成部10的外部用个人电脑进行，旋转中心轴面内倾斜方向输入部15也可以作为输出图像生成部10与所述个人电脑之间的连接部。
在上述实施形态中，将旋转中心轴面内倾斜方向输入部15设置在运算处理装置11中，但是也可以将向输出图像生成部10输入旋转中心轴面内倾斜方向用的可变电阻器等输入设定器或者输出图像生成部10与个人电脑之间的所述连接部设置在广角摄像装置8一侧。
又，在实施形态2中，双曲面反射镜1采用具有±90度大小的反射面，但是并非局限于此。只要是至少±90度以下的范围即可。
实施形态3图8所示是实施形态3的广角图像生成装置。
在该图8中，1’表示基准状态的双曲面反射镜的位置。6’表示基准状态的旋转中心轴的位置。基准状态的旋转中心轴6’采取与水平方向一致或者大致一致的中心轴，此为倾斜之前的状态。双曲面反射镜1、成像透镜2、摄像元件3、双曲面反射镜1的内部焦点4、摄像元件3的摄像面5、双曲面反射镜1的旋转中心轴6以及成像透镜2的主点7，与实施形态1的广角图像生成装置相同。
不同点是，在包含基准光轴与旋转中心轴6的面内，相对基准状态的旋转中心轴6’，以内部焦点4为中心，以倾斜角度θ倾斜设置旋转中心轴6，以及X轴周围角度传感器16的测定方向为倾斜角θ。
18’与19’表示基准状态中的广角摄像装置8的摄影界限，20’表示基准状态中的广角摄像装置8的视野范围，18与19表示使旋转中心轴6只以倾斜角θ偏离基准状态时(倾斜时)的广角摄像装置8的视野范围。20表示使旋转中心轴6只以倾斜角θ偏离基准状态时(倾斜时)的广角摄像装置8的视野范围。21表示考虑由广角图像映射为展开图像时的作为假想投影面的假想圆筒面。
接着，在展开图像生成部9，对利用广角摄像装置8得到的180度视场角的广角图像，采用X轴周围角度传感器16的输出，并且按照后述的算法进行使广角图像向展开图像转换的处理。在输出图像生成部10，对利用展开图像生成部9得到的展开图像，进行向NTSC制式的变换。
13与实施形态1的内容相同，是显示来自运算处理装置11的输出图像的TV监视器。
还有，在这里虽然基准状态的旋转中心轴6’、旋转中心轴6’与水平方向一致，但是并不限于此。
下面采用图8，以与实施形态1的不同部分为中心对其动作进行说明。
得到广角摄像装置8的180度视野的广角图像的动作与实施形态1相同。不同点是，视野只倾斜角θ大小从图8中所示的基准状态的视野范围20’变化为倾斜时的视野范围20。
运算处理装置11中，对由广角摄像装置8输出的广角图像，在展开图像生成部9进行向展开图像转换的处理。该处理中，空间内的任意点P与摄像面5上的点(即广角图像上的点)p之间的对应关系的思路与实施形态1相同。不同点是，考虑展开图像时的投影面，即空间内的点P的选取方法。具体地说，考虑图8所示的假想圆筒面21。通常是将假想圆筒面21设想为其中心轴与旋转中心轴6相一致，但是在实施形态3，将对利用X轴周围角度传感器16得到的基准状态的旋转中心轴6’的，倾斜后的旋转中心轴6的倾斜角记为θ时，使假想圆筒面21的中心轴相对倾斜后的旋转中心轴6在包含基准光轴与旋转中心轴6的平面内，以内部焦点4为中心倾斜-θ角。也就是使假想圆筒面21的中心轴与基准状态的旋转中心轴6’一致。采用对应于空间点P的广角图像上的点p的辉度值求对应于这样确定的假想圆筒面21上的任意空间点P的展开图像上的点的辉度，制作展开图像。
还有，在这里虽然将使广角摄像装置8偏离基准状态时的旋转中心作为内部焦点4，但是并不限于此。但是，如果使旋转中心与内部焦点一致或者大致一致，则具有可以使广角摄像装置8的视点大体保持稳定地对倾斜角进行调整的优点。
对在以上所述的展开图像生成部9进行的处理中制作的展开图像，在输出图像生成部10进行向输出图像的变换处理。实施形态3中，没有实施形态1中所包含的「倾斜修正处理」，只是进行输出图像化处理。输出图像化处理进行与实施形态1的输出图像化处理相同的处理。
这样采用实施形态3，通过使广角摄像装置8在包含基准光轴与旋转中心轴6的平面内倾斜，作为广角图像生成装置，可以改变旋转中心轴6的方向视野范围。
又，通过测量广角摄像装置8相对于基准状态的倾斜角，并利用其值使作为展开图像的投影面的假想圆筒面21的中心轴经常与基准状态的旋转中心轴6’一致，以此可以在不改变展开图像中的视线中心位置(展开图像中的仰角为0的位置。向着成为与成像透镜2的主点7等价的内部焦点4的光线，与作为投影面的假想圆筒面21垂直相交的位置。)的情况下能够变更视野范围。特别是，将从基准光轴到基准状态的视野界限18’为止的角度的绝对值记为φ，将从基准光轴到基准状态的视野界限19’为止的角度的绝对值记为ψ，假设θ在图8中以顺时针方向作为正方向，则即使是做成双曲面反射镜1时使φ＜ψ，如果将θ设定为(φ-ψ)/2，就可以使用整个视野范围，得到视线中心在展开图像的短边方向的中央的展开图像。
因此，可以使离展开图像中的视线中心的距离为最小，离展开图像中的视线中心远的部分由于看起来比其他部分斜所以看起来有畸变的问题能够减轻。
而且，本发明并不限于使广角视线装置8向任意角度倾斜并固定的广角图像生成装置。
具体地说，通过对应于X轴周围角度传感器16的输出动态地对假想圆筒面21中心轴的倾斜进行控制，确保与基准状态的旋转中心轴6’保持一致，可以对应包含广角摄像装置8的基准光轴(Y轴)与旋转中心轴6的面内的动态倾斜。
又，在实施形态3中虽然使双曲面反射镜1具有±90度大小的反射面，但并不限于此。只要是至少±90度以下的范围即可。
又，在实施形态3中，虽然表示了使假想圆筒面21呈-θ倾斜以抵消广角摄像装置8相对于基准状态的倾斜角θ，但是并不限于此。
例如，也可以采取例如将假想圆筒面21的中心轴相对于基准状态的旋转中心轴6’的倾斜设定为0以外的一定值那样的控制，或按照一定的规定使其改变的控制。
实施形态4图9是本发明实施形态4的广角图像生成装置。
与实施形态3不同的部分是，没有X轴周围角度传感器16，将旋转中心轴前面倾斜方向输入部17设置在运算处理装置11中。
下面根据广角图像生成装置动作，以不同于实施形态3的部分为中心，对该装置进行说明。
旋转中心轴前面倾斜方向输入部17是可变电阻器等输入设定器。该输入设定器对在展开图像生成部9内作为常数数据确保的，广角摄像装置8在包含基准光轴(Y轴)与旋转中心轴6的面内的基准状态的，旋转中心轴6相对于旋转中心轴6’的倾斜角的值进行设定、变更。其他动作与实施形态3相同。
采用该实施形态4，由于可以形成省略X轴周围角度传感器16的结构，因此可以更为廉价地构成整个装置。这里虽然将旋转中心轴前面倾斜方向输入部17设置在运算处理装置11中，但也可以将旋转中心轴前面倾斜方向输入部17设置于广角摄像装置8构成。
而且，这里虽然旋转中心轴前面倾斜方向输入部17采用可变电阻器等输入设定器，但并不限于此。例如，对展开图像生成部9内确保的常数数据的改写也可以从展开图像生成部9的外部，采用个人电脑进行，旋转中心轴前面倾斜方向输入部17也可以作为展开图像生成部9与个人电脑之间的连接部。该连接部设置在广角摄像装置8或者运算处理装置11中。
又，实施形态4中虽然使双曲面反射镜1具有±90度大小的反射面，但是并不限于此。只要是至少±90度以下的范围即可。
又，在实施形态4中，虽然也表示出使假想圆筒面21呈-θ倾斜以抵消广角摄像装置8相对于基准状态的倾斜角θ，但是不限于此。例如，广角摄像装置8相对于基准状态的倾斜角θ为0时，只使假想圆筒面21倾斜即可。如果那样的话，也能够在将广角摄像装置8固定的情况下变更视线中心。
如上所述采用本发明，则即使将广角摄像装置置于其旋转中心轴在与基准光轴方向相垂直的面内相对于铅直方向方向倾斜的状态，作为广角图像生成装置的输出，也能够成为图像内的水平方向与TV监视器的水平方向一致的图像，不会给观众一种不协调的感觉。
又，即使使广角摄像装置置于在包含其旋转中心轴与基准光轴的面内相对某个基准状态倾斜的状态，也可以通过测量其倾斜角并且利用该值使作为展开图像投影面的假想圆筒面的中心轴经常与基准状态的旋转中心轴一致，以此可以不改变展开图像中的视线中心的位置地变更视野范围。还有，可以使用整个视野范围，得到视线中心在展开图像短边方向的中央那样的展开图像。因此，可以将离展开图像中的任意点的视线中心的最大距离最小化。离展开图像中的视线中心远的部分由于比其他部分看来更倾斜，因此与其他部分相比畸变显得更明显的问题可以减轻。
根据图10～图32所示的实施形态5～实施形态7各个实施形态，在反射面形成的反射像中，在考虑以垂直于该反射面的旋转中心轴的任意方向作为基准方向，只对其大约±90度大小进行摄像的广角摄像装置的情况下，如果想要对广角图像适用与全方位摄像机的情况同样的处理以得到展开图像，则将由于摄像装置的光轴倾斜和光学像差等原因造成的图像变形而使得到的展开图像不能成为正确图像，下面对能够解决这一问题的广角图像生成装置进行说明。
实施形态5图10～图23、图30表示本发明实施形态5。
图10是本发明实施形态5的广角图像生成装置。
设定坐标轴时，将纸面的上下方向作为Z轴，将从纸面向自己这一方的方向作为Y轴，将纸面的左右方向作为X轴。另外，取Z轴于铅直方向上。
该广角图像生成装置是由对反射镜形成的反射像进行摄像的广角摄像装置8以及图像处理装置22构成的。
首先对广角摄像装置进行说明。
广角摄像装置8是由双曲面反射镜1、成像透镜2以及CCD等摄像元件3构成的。又，摄像装置由成像透镜2以及摄像元件3构成。
双曲面反射镜1具有双曲面的旋转中心轴周围的约±90°大小的反射面。以其0度的方向称为基准光轴方向，在这里采用与Y轴一致的方向。
4为双曲面反射镜1的内部焦点。5是摄像元件3的摄像面。6是双曲面反射镜1的旋转中心轴。这里，使旋转中心轴6与Z轴(铅直)方向相一致。向内部焦点4入射的光线a、b、c在双曲面反射镜1的反射面上反射，聚焦于旋转中心轴6上的外部焦点(未图示)。配置得使该外部焦点的位置和成像透镜2的主点7的位置大致一致，光线a、b、c通过成像透镜2在摄像元件3的摄像面5上成像。这里，使成像透镜2与摄像元件3所共有的光轴(未图示)相对双曲面反射镜1的旋转中心轴6朝基准光轴方向倾斜设置。有关该倾斜的结构将用图11在后面叙述。
还有，虽然图10中是将成像透镜2描写为1片结构的透镜，但是用多片构成也可以。
以下对图像处理装置22进行说明。
图像处理装置22是由展开表生成部23、展开图像生成部24、图像质量修正处理部25以及图像遮蔽处理部26构成。
在展开表生成部23中，进行使根据双曲面反射镜1的形状、成像透镜2以及摄像元件3的光学特性以及配置确定的算法算出，利用广角摄像装置8得到的广角图像向展开图像转换时所采用的展开表的计算处理。下面将对该算法进行叙述。
展开图像生成部24参考通过由展开表生成部23得到的展开表，进行使广角图像向展开图像转换的处理。
在图像质量修正处理部25，对在展开图像生成部24生成的展开图像进行后述图像质量修正处理。
图像遮蔽处理部26对在图像质量修正处理部25生成的图像质量修正后的展开图像进行后述图像遮蔽处理。27是显示图像处理装置22输出的图像的监视器。
以下用图11对广角摄像装置8的构成进行详细说明。
图11(a)是广角摄像装置8的YZ平面中的剖面图，表示基本构成。与全方位摄像机100不同的部分是双曲面反射镜1具有双曲面的旋转中心周围的±90度大小的反射面、以及一边使成像透镜2的主点7与双曲面反射镜1的外部角度大致一致，一边使成像透镜2以及摄像元件3所共有的光轴28相对旋转中心轴向基准光轴方向(Y轴方向)倾斜角度γ设置。另外，用虚线表示的20、30表示配置得与图34(a)所示的全方位摄像机100相同情况下的成像透镜、摄像元件。
向内部焦点4入射的YZ平面内的光线29a、29b在双曲面反射镜1的入射点30a、30b反射，并且聚焦于旋转中心轴6上的外部焦点(未图示)。配置得使该外部焦点的位置和成像透镜2的主点7的位置大致一致，光线29a、29b通过成像透镜2在摄像元件3的摄像面5上的成像点31a、31b上成像。
又，使用成像透镜20与摄像元件30时的光线29a、29b的成像点为31a0、31b0。因而得到的像在采用成像透镜20与摄像元件30的情况下，成为图11(b)中虚线表示的320那样的半圆形像。这恰好是将全方位摄像机100得到的图34(b)的圆形像111取一半得到的像。这样，即使采用全方位摄像机100中所使用的那样的成像透镜20与摄像元件30也能得到180度视场角的广角图像。但是如果就这样使用，摄像元件30的利用率将非常差。
另一方面，在采用图11(a)中用虚线表示的成像透镜2、摄像元件3的情况下，所得到的图像为图1(b)中加斜线表示的半圆形图像32。即通过使光轴28倾斜可以挪动半圆形图像32在摄像面5中上下方向(相当于Y轴方向)的位置。其结果是，通过如半圆形图像32那样调整倍率，又将成像位置调整到光轴28的倾斜角度γ，以此可以使摄像面5上半圆形图像32的左右方向长度最大化，并能够尽可能有效地使用摄像面5的像素进行摄像。
而且，在该实施形态5，摄像面5上半圆形图像32虽然使其圆弧部分在靠近摄像面5的边缘的位置成像，但并不限于此。也可以在例如使半圆形图像32的弦部在靠近摄像面5的边缘的位置上成像。
又，该实施形态5中虽然使双曲面反射镜1具有±90度大小的反射面，但是并不限于此。只要是±180度以下的范围也可以。采用例如具有±(90+θ)度大小的双曲面反射镜1的情况下，可以如图12所示得到±(90+θ)度大小的图像。
下面对这样构成的广角图像生成装置的动作更详细地进行说明。
首先对广角摄像装置首先对广角摄像装置8的成像的编排进行说明。
图10中，光线a、b、c表示来自对象物的任意光线。因此将各光线的对象物称为对象a、b、c。对象物a、b、c采用图13(a)所示的屏幕33上所描述的「a」、「b」、「c」文字表示，考虑可以通过双曲面反射镜1看到描述对象物a、b、c的面地设置该屏幕33，以便如图13(b)所示，在Z轴周围并且使Z轴到屏幕表面的距离保持一定的情况。
如已经说明的那样，对着内部焦点4并入射在双曲面反射镜1的反射面上的光线全部朝着外部焦点(未图示)反射，通过将外部焦点与主点的位置设置成一致或者大致一致的成像透镜2在摄像元件3的摄像面5上成像。因此，相对基准光轴方向(Y轴方向)大致±90的范围在摄像面5上成像。这时，利用摄像元件3到的广角图像示于图14中。可知包括全部对象物a、b、c。
接着，在图像处理装置22中，对从广角摄像装置8输出的图14所示的广角图像进行向展开图像转换的展开处理。首先，在开始展开处理之前的初期阶段，在展开表生成部23对用于展开处理的展开表进行计算。这里，所谓展开表，是指对应于展开图像的各个像素的广角图像上的坐标值的表。展开表生成部23中进行处理的流程图示于图15。
在图15的步骤S1中，在算出展开表的基础上，读入必要的双曲面反射镜1的反射面形状参数以及摄像装置的焦点距离等信息。只要是把这些信息预先写入例如展开表生成部23内的ROM中，将其读入的结构即可。当然，也可以采用以某些方法从外部输入的结构。
在步骤S2中，进行展开表的各个要素的计算。展开表是在确定展开图像的投影面并且考虑从广角图像映射到投影面，通过确定展开图像各个像素在广角图像中的对应点而生成。该对应点确定方法的详细情况将在以后叙述。
在步骤S3中，对步骤S2计算出的展开表，修正由成像透镜2以及摄像元件3组成的摄像装置的光学畸变影响。该修正方法的详细情况将在以后叙述。
将通过上述流程计算出的展开表存储在展开表生成部23内的RAM中。
这里，利用图16～图19对步骤S2中的广角图像与投影面之间的对应点确定方法进行详细说明。
图16是包含广角摄像装置8的旋转中心轴与基准光轴方向的面(YZ平面)中的截面的示意图。双曲面反射镜1、成像透镜2、摄像元件3、内部焦点4、摄像面5、旋转中心轴6以及主点7与图11中说明的内容相同。
34是考虑来自广角图像的映射时的假想投影面。这里将假想投影面34考虑为其旋转中心轴与双曲面反射镜1的旋转中心轴6相一致的圆筒面。而且，假想投影面34并不限于圆筒面。也可以是例如球面。
35是从假想投影面34上的任意点P(XP、YP、ZP)向内部焦点4的方向发出的光线。
空间坐标系采用Z轴与旋转中心轴一致的坐标系，将连接内部焦点4与主点7的直线的2等分点作为原点O。另外，将从纸面向自己这一方向作为X轴，将纸面的左右方向作为Y轴。广角图像上(摄像面5上)的坐标系将旋转中心轴6与摄像面5的交点作为原点O，将从纸面向自己的方向作为x轴，又，如图16中所示，将纸面的左右方向作为y轴。
考虑与假想投影面34上的任意点P(XP、YP、ZP)对应的摄像面5上的点(即广角图像上的点)p(xP、yP)。双曲面反射镜1的双曲面形状与在《背景技术》部份说明的全方位摄像机100的情况同样用(公式7)表示。
(X2+Y2)/a2-Z2/b2＝-1(公式7)这里，a、b是决定双曲面形状的常数。又，c＝(a2+b2)0.5(公式8)又，(公式9)、(公式10)也与全方位摄像机100的情况同样成立。
Z＝(X2+Y2)0.5·tanα+c (公式9)tanα＝{(b2+c2)·sinβ-2bc}/{(b2-c2)·cosβ} (公式10)这里，角度α是连接内部焦点4与任意点P的直线与XY平面之间所形成的角度。角度β是连接主点7(与双曲面反射镜的外部焦点大致一致)与摄像面5上的点p的直线与XY平面之间所形成的角度。
如果根据(公式9)确定XP、YP、ZP，α将被确定。如果根据(公式10)确定α与b、c，则β将被确定。
全方位摄像机100中，如果接着使用(公式11)确定F值，就可以得出(x2+y2)0.5，即从广角图像上的原点到p的距离。然而，实施形态5中，由于摄像面5倾斜γ角度，因此不能用(公式11)正确求出(x2+y2)0.5值。因此，这样就不能正确地进行展开处理。
因而在实施形态5中采用(公式13)。
(x2+y2)0.5＝F·cosβ/cosγ/sin(β+γ) (公式13)下面用图17就(公式13)的推导方法进行说明。
图17是将图16广角摄像装置8的摄像面5附近放大的图。图17中，将在YZ平面内，与Y轴平行并且通过摄像面5上的原点o的直线与来自任意点P的光线的交点设定为q。这时，∠pqo＝β，∠poq＝γ。另外，线段oq的长度|oq|由(公式14)表示。
|oq|＝F·tan(90°-β)/cosγ＝F/tanβ/cosγ (公式14)因此，利用Δopq中的正弦定理，|op|即(x2+y2)0.5可通过(公式13)求得。
(x2+y2)0.5＝sinβ·F/tanβ/cosγ/sin(180°-β-γ)＝F·cosβ/cosγ/sin(β+γ) (公式13)这里，F是由成像透镜2与摄像元件3构成的摄像装置的焦点距离。
如果根据(公式9)、(公式10)、(公式13)确定XP、YP、ZP以及b、c、F，就确定了(xP2+yP2)0.5、即摄像面5上的原点o到点p的距离。虽然以上的论证在包含Z轴的YZ平面以外的平面也成立，但是必须注意摄像面5的倾斜角度γ相应于是取包含Z轴的YZ平面以外的哪个平面而有变化这一点。有关这一点下面将用图18进行说明。
图18表示从Z轴方向观察时的双曲面反射镜1与摄像面5。
35表示从假想投影面34上的任意点P(图18中未图示)出发，在双曲面反射镜1上反射并到达摄像面5上的点p的光线。如图18中所示，角度θ定义为，将X轴的—方向作为0度，左旋时定义为+角度。例如，光线35在YZ平面内的情况下，θ＝90度。这时的θ与摄像面5的倾斜角度γ(θ)的关系成为像(公式15)那样的关系。
tanγ(θ)＝tanγ(90°)·sinθ (公式15)这里所谓γ(90°)，表示θ＝90°时的γ。另外，(公式13)成为像(公式13a)那样。
(x2+y2)0.5＝F·cosβ/cosγ(θ)/sin(β+γ(θ))(公式13a)通过以上的论证，可以得到在包含Z轴各平面中的原点o到点p的距离。接着考虑在XY平面中从原点O朝点P的方向θ与xy平面、即摄像面5上的从原点o朝点p的方向Φ之间的关系。这里，Φ是如图18所示那样规定将X轴的+方向作为0度的摄像面上的点的方向用的角度参数。
全方位摄像机100的情况下，θ＝Φ，XY平面以及xy平面中的点P、点p的方向一致。但是，由于在广角摄像装置8的情况下，相对于XY平面，摄像面5倾斜γ(90°)，θ与Φ的关系成为像(公式16)那样的关系。
cosΦ＝cosθ/(1+tan2γ(90°)·sin2θ)0.5(公式16)下面用图19就(公式16)的推导方法进行说明。
图19的Xa、Ya平面是以Z轴为中心使XY平面作180度旋转并且使Xa轴与x轴相一致地平行移动的结果。这里，θ将Xa轴的—方向作为0度，在Xa、Ya平面上以顺时针方向作为+方向，并且是与XY平面的θ等价的参数。
因此，在这里不变更参数名，仍旧使用θ。另外，Φ将x轴的—方向作为0度，在xy平面上以顺时针方向作为+方向。这样设定，推导出θ与Φ之间的关系。圆弧CAD是单位圆的一半。又，CBD其与Xa、Ya平面的交线为半圆CAD，并且是作为与Xa、Ya平面垂直的半圆柱与xy平面之间的交线。这时矢量oA、oB如(公式17)(公式18)所示。
oA＝(-cosθ、sinθ、0) (公式17)oB＝(-cosθ、sinθ、tanγ(90°)·sinθ) (公式18)因此，通过使用与-x方向的单位矢量-X的标积，求得(公式16)。
cosΦ＝oB·X/|oB|＝cosθ/(1+tan2γ(90°)·sin2θ)0.5(公式16)根据以上所述，如果得知β、γ(＝γ(90°))、F，通过使用(公式13)、(公式15)、(公式16)，可以一义确定与P(XP、YP、ZP)相对应的摄像面5上的点(即广角图像上的点)p(xP，yP)。XP、YP、ZP的值，在将假想投影面34的半径设为M、将展开图像的横方向(长边方向)像素数量设为ISX、将长方向(短边方向)像素数量设定为ISY，则可以表示如下。
XP＝M·cosθYP＝M·sinθZP＝2π·M·(j-j0)/ISX (公式19)其中，θ＝180°·i/ISX，I是展开图像上的X坐标值，是0≤i＜ISX的整数，j是展开图像上的Y坐标值，是0≤i＜ISY的整数，另外，j0是ZP＝c时(视线方向为水平方向时)的展开图像上的Y坐标值。通过使用(公式19)可以使展开图像上的点与假想投影面34的点P(XP、YP、ZP)一一对应。
因此，通过确定展开图像投影面(假想投影面34)，考虑从投影面映射为广角图像，可以确定展开图像限定于各个像素的，广角图像上的理想的对应点。
下面用图20对图15的步骤S3中修正成像透镜2以及摄像元件3组成的摄像装置修正光学畸变的方法进行详细说明。
图20是对光学畸变的影响的示意图。如果得到没有光学畸变的理想的图像，在视场角为180度的情况下，可以得到图20(a)所示的半圆形的像。但是，实际上光学系统中包含光学性畸变，像例如图20(b)所示那样，半圆形的像发生畸变。因此，如果不将该光学畸变考虑进去而进行展开处理，所得到的展开图像将不能成为正确的图像。
因此，在实施形态5中，预先掌握使用的光学系统的畸变量，修正步骤2中制作的展开表以消除该影响。
下面首先对畸变量的掌握方法进行简单说明。
作为用数学公式记述光学畸变的一般性的方法，经常使用高次多项式。在这里，考虑采用(公式20)中所示的多项式的情况。
Δx＝kx(x2+y2)Δy＝ky(x2+y2)这里，Δx、Δy分别是x、y方向的畸变量。K是调整畸变量的参数。公式20作为表示畸变量的公式是非常简单的公式，设定的参数只是k。在用于实际光学系统的情况下，用(公式20)记述光学歪斜量有时也不充分。在那种情况下，使用考虑到高次项的公式即可。
用成像透镜2以及摄像元件3组成的摄像装置对作为基准(即为测量畸变量，包含距离为已知的图案)的试验图案36进行摄像。作为试验图案36，也可以使用例如图21(a)所示的描绘2维方格的图案。在这里，只要例如格子的间距为已知即可。其结果得到的试验图案图像37如21(b)所示，由于光学畸变的影响，成为与原来的试验图案36不同的图案。将根据方格间距与摄像条件可以计算出的理想的方格点的坐标值与根据试验图案图像37得到的对应的方格点的坐标值作多个(n个)比较，以此取得畸变量的取样。在将取n个取样中的第i号数据的理想坐标值设为x(i)、y(i)，将那时的x方向的实测畸变量设为Δx(i)、将y方向的实测畸变量设定为Δy(i)时，根据最小二乘法求出(公式21)的2个误差函数成为最小的k。
Ex＝∑(Δx(i)-kx(i)(x(i)2+y(i)2))Ey＝∑(Δy(i)-ky(i)(x(i)2+y(i)2)) (公式21)通过以上处理，确定表示摄像装置的畸变量的(公式20)。接着用其修正步骤S2求得的理想的展开表。展开表的x方向、y方向的各个像素(各要素)中，包含与不考虑光学畸变时的各个像素对应的广角图像的像素值。将其记为(x0(X，Y)、y0(X，Y))。这里，(X，Y)是当前作为对象的展开表的像素(要素)的坐标值。将该值代入(公式20)，计算出修正后的值(x1(X，Y)、y1(X，Y))。具体地说，是对各像素(要素)进行(公式22)的计算。
x1(X，Y)＝x0(X，Y)+k·x0(X，Y)·(x0(X，Y)2+y0(X，Y)2)y1(X，Y)＝y0(X，Y)+k·y0(X，Y)·(x0(X，Y)2+y0(X，Y)2)(公式22)通过对展开表的所有像素(要素)进行该处理，可以得到修正摄像装置的光学畸变的展开表。因此，假如使用这样的展开表进行展开处理，就可以得到排除摄像装置光学畸变影响的展开图像。
又，这样的光学畸变修正处理也可以在一旦在制作展开图像之后对该展开图像进行，但是那种情况下必须在每一次制作展开图像时进行(公式22)所示的复杂运算处理。然而在实施形态5中，由于通过将光学畸变修正处理添加入展开表，可以只在展开表生成部23中的初期展开表制作时进行(公式22)那样的复杂运算处理，也可以在展开图像制作时只进行通常的展开处理，因此从运算成本方面来看也是非常有价值的。
下面对展开图像生成部24进行说明。
展开图像生成部24中，参考由展开表生成部23产生成展开表，将利用广角摄像装置8得到的广角图像变换为展开图像。这时，与坐标值为整数值的展开图像的各个像素对应的广角图像的像素位置通常其坐标值不为整数值。但是，广角图像只存在整数坐标位置的数据。作为该对策，处理速度相比图像质量优先的情况下，通过将展开表的坐标值的数据四舍五入等的手段，使其整数化，用本来必要的像素近旁的像素的辉度值代用也可以。图像质量比处理速度优先的情况下，也可以根据本来必要的像素近旁的4个像素的辉度数据进行插补运算，以此作出本来必要的像素的辉度数据。
下面对图像质量修正处理部25进行说明。
图像质量修正处理部25对展开图像生成部25制作的展开图像进行图像质量修正处理。以下对该图像质量修正处理进行说明。
在展开图像生成部24中生成的展开图像存在解像度在图像内的上部与下部不同的问题。即如图22所示，在广角图像与通过对其实施展开处理所得到的展开图像39之间的对应关系中，由于展开图像39的上端下端的关系成了广角图像38的外环内环的关系，因为信息量之差而在解像度产生差异。因此，在展开图像39中，与外围部所对应的部分相比，内圆部所对应的部分的焦点显得模糊。此外，作为其他主要因素，由成像透镜2与摄像元件3所构成的摄像装置中有视场深度，虽然是一点点，但是也有在半圆形状的广角图像38的半径方向上产生焦点不模糊(例如，在广角图像38的内圆部分中焦点非常符合，在外围部分中焦点稍微不准的模糊)的情况。作为展开图像39最终得到的图像，包含使上述2种主要因素重合在一起的结果所导致的模糊。
在图像质量修正处理部25，相对这样的展开图像39，沿着展开图像39的上下方向(即对应于作为原图像的广角图像38的半径方向)确定与该每个场所相对的清晰化系数，并且采用该系数进行强调图像高频率成分的清晰化处理。
作为清晰化处理，采用例如称为“不清晰遮掩”(アンシヤ一プマスキンダ)法。该方法表现为(公式23)。
B’(i，j)＝B(i，j)+C(B(i，j)-B-(i，j)) (公式23)这里，B(i，j)作为坐标(i，j)的像素的辉度值。B-(i，j)作为坐标(i，j)的像素近旁的局部平均辉度值(例如近旁3×3范围的平均辉度值)，并且为低频分量组成的辉度值。因此，(B(i，j)-B-(i，j)为从原图像中扣除低频分量，取出高频成分的操作。C为清晰化系数。通过将高频分量放大C倍合并加入原图像，可以得到强调高频成分的清晰化图像。
使清晰化系数C对应展开图像39上下方向的位置变化，进行清晰化处理。首先对采用摄像装置可以理想地不模糊地对双曲面反射镜1上的像进行摄像的情况进行说明。
这种情况下得到的展开图像39如图23(a)所示那样，其下端部成为因原广角图像的内圆部与外围部的信息量之间的差所产生的模糊区域40。这里，模糊区域40并非同样模糊，随着从展开图像39的中央附近向下端靠近而逐渐模糊。这时，通过如图23(a)中图表所示那样使清晰化系数C相应于模糊情况从0开始变化，对应模糊情况进行修正处理(清晰化处理)。
而且，这里显示从展开图像39的上下方向的大约中央附近开始增加清晰化系数C的值的情况的图表，但是并不限于此。本发明的主旨是随着逐渐接近下端，恶化的模糊情况增加，与其相应，增加清晰化系数C的值，例如，使清晰化系数C大于0的地方，即使是展开图像39的上端也没有关系。又，增加清晰化系数C的方法也可以根据模糊情况以及摄影对象等进行调整，也可以正比于离使清晰化系数C大于0的场所的距离的3次方的比例增加。
下面就用摄像装置对双曲面反射镜1上的像进行摄像时，因场所的不同而产生对焦情况的差异的情况，用图23(b)进行说明。
这种情况下，通过调整摄像装置的焦点，对得到的展开图像39的模糊区域进行调整。由于清晰化处理是强调图像的高频分量的处理，作为对象的图像一旦模糊到某种程度以上，即使进行处理也不能发挥有意义的效果。因此尽可能调整焦点以改善最模糊状态(模糊严重)的部分。具体地说，如果调整焦点使性焦点模糊部分出现在广角图像38的内环部，就使模糊状态在内环部分恶化的条件叠加，变得不能完全修正好。为了避免这种情况，进行调整时使焦点的峰值从广角图像38的半径方向的中央稍微向内环部分靠近，并且对焦点进行调整，在展开图像中，最终使上下端的模糊区域40如图23(b)所示，可以取得大致平衡。这时，模糊区域40并也非同样模糊，随着从展开图像39从中央附近向上下端靠近而逐渐模糊。这时，如图23(b)的图表所示，通过将清晰化系数C与模糊情况相对照，并且随着从展开图像39的中央附近向上下端靠近使其从0开始变化，以此进行与模糊情况相对应的修正处理(清晰化处理)。
下面对图像遮蔽处理部26进行说明。
对在图像质量处理部25生成的图像质量修正后的展开图像进行图像遮蔽处理的图像遮蔽处理部26构成如下。
图30(a)表示不进行遮蔽处理时的展开图像，图30(b)表示进行遮蔽处理时的展开图像。展开图像中的41是自动提款机(ATM)终端，42是操作者，47是ATM终端41的操作面板。由于遮蔽处理前的图30(a)中可以看到全视场，且操作者42的操作以及输入结果等映入眼底，密码等私人信息有向外泄漏的危险。因此，通过图像遮蔽处理部26采用辉度值0将ROM中存储的遮蔽区域48全部涂满，采用这样的处理，可以造成如图30(b)所示的看不见操作者42的操作以及输入结果等的情况。
而且，在这里虽然采用以辉度值0进行涂抹，但并不限于此。如果能够将遮蔽区域48内的图像用不同于本来图像的图像填补也可以，即使描绘0以外的辉度值或者随机模式图像也可以。
实施以上那样的处理所生成的展开图像在未图示出的图像形式变换部变换为NTSC那样的视频信号，并且从图像处理装置22输出。监视器27接收该信号并显示展开图像。
这样采用实施形态5，即使将广角摄像装置8的光学系统作为由摄像透镜2以及摄像元件3构成的摄像装置的光轴28相对旋转中心轴6倾斜的构成，也可以确定相对于展开图像的各个像素的，广角图像上的理想的对应点，并且对进一步考虑到摄像装置的光学性畸变的影响的展开表进行修正，因此可以进行正确的展开处理。又，通过图像质量修正处理，可以减轻展开图像在不同场所所产生的解像度的差异。
另外，通过利用图像遮蔽处理部26对展开图像的一部分实施遮蔽处理，并且在使其看不见之后立即输出，可以使操作者的操作内容、输入内容不被看见，防止私人信息泄漏。
而且，在该实施形态5中，虽然采用在相对旋转对称体的旋转中心轴垂直的任意方向上取基准光轴，并将所述基准光轴的方向设置为0度，且具有大约±90度或者±90度以上范围的凸面形状的反射面的反射镜，呈旋转中心轴上具有内部焦点的双曲面形状，且所述双曲面形状的外部焦点的位置与所述摄像装置的主点的位置大约一致，但即使是该反射镜的形状不是双曲面也可以。
另外，实施形态5中，虽然表示出广角摄像装置8对旋转中心轴周围大约±90度大小的范围进行摄像的情况，但即使是采用对图34(a)所示的旋转中心轴周围大约360度大小范围进行摄像的全方位摄像机100作为广角摄像装置，并且在图像处理装置22进行与全方位摄像机100相对应的展开处理的情况，在此前说明的光学畸变的影响修正、图像质量修正处理、以及图像遮蔽处理也具有与实施形态5的情况同样的效果。
实施形态6图24～图31表示本发明实施形态6。
图24表示本发明实施形态6中的广角图像生成装置。
设定坐标轴时，将纸面的上下方向作X轴，将从纸面向着自己的方向作为Y轴，将纸面的左右方向作为Z轴。另外，Z轴方向为水平方向。实施形态6与实施形态5之间的构成上的不同点是，设置广角摄像装置8使Z轴与水平方向一致。处理上的不同之处是，在图像处理装置22的展开表生成部23中，使其展开表生成时所采用的假想投影面34的形状具有特征，以及相对展开图像生成部24中对于实施形态5的情况倾斜90度，生成图像顶部底部变正确的展开图像。以下对这些不同点进行说明。
在图24中，光线a、b、c表示来自对象物的任意光线。因此决定将各光线的对象物称为a、b、c。对象物a、b、c用图25(a)所示的屏幕33上所描述的「a」、「b」、「c」文字表示，考虑可以通过双曲面反射镜1看到描绘对象物a、b、c的面地设置该画面33，以便如图25(b)所示围绕着Z轴并且使Z轴到屏幕表面的距离保持一定的情况。这时将在摄像元件3所得到的广角图像在图26中表示。已知包含全部对象物a、b、c。
作为这样将广角摄像装置8设置得使旋转中心轴6与水平方向一致的情况下的用途例，有对ATM终端以及自动售货机等的监视的情况。用于得到在通常的广角光学系统中难以实现的铅直方向180度左右的视野，可以得到站在本装置旁边的人的脸到手头的一张像，因此可以适用于ATM(自动提款机)以及自动售货机等的监视用途。
以下对图像处理装置22的处理中与实施形态的主要不同点进行说明。
首先，与实施形态5的情况相同，在开始展开处理之前的初期阶段，在展开表生成部23对用于展开处理的展开表进行计算。用图27对展开表生成部23中进行的处理的流程进行说明。在图27所示的流程中进行的处理中与实施形态5的情况不同的2点中的1点是，在决定广角图像与投影面之间的理想的对应点的步骤S2中，变更假设的假想投影面34的形状。下面用图28对该点进行详细说明。
图28表示操作ATM终端41的操作者42与广角摄像装置8以及假想投影面34之间的关系。34是其旋转中心轴通过广角摄像装置8的双曲面反射镜1的内部焦点4，并作为垂直于纸面的圆筒形的假想投影面，以往是考虑投影在这样的投影面上的图像的重放。ATM终端41的操作者42在使用ATM终端41时通常采取向15～30度左右的前方倾斜，倾斜角43。由于脸部与胸部相比离作为广角摄像装置8的观察点的内部焦点的距离更远，因此在可得到的展开图像内胸部附近的图像较大，越靠近脸部图像显得越小，致使视觉产生不协调感。
因此在实施形态6中，如图28所示，对与成为得到的视野中心方向的基准光轴方向相反方向上设定其中心轴45的新的假想投影面44进行设定。所谓考虑向该新的假想投影面44的投影，相当于将作为广角摄像装置8的观察点的内部焦点4假想性地向着与基准光轴方向46的相反方向移动到中心轴45的位置为止。因此，可以减缓操作者42使用ATM终端41时的，相对于广角摄像装置8的观察点，脸部位置与胸部位置的距离之差。
下面用图29对具体的假想投影面形状的变更方法进行说明。
图29与图28相同，表示对从Z轴方观察的已有的假想投影面34和改变形状的假想投影面44。θ是以X轴方向作为0度对从假想投影面44上的点P向着广角摄像装置8的未图示的内部焦点4的光线在XY平面上的方位角进行的设定的。α是以X轴方向作为0度对从假想投影面44上的点P向着假想投影面44的中心轴上的未图示的假想内部焦点(即、通过内部焦点的基准光轴与中心轴的45的交点)的光线在XY平面上的方位角进行的设定的。另外，图29中将内部焦点4的位置记为O1，将中心轴45的位置记为O2。
与实施形态5同样采用(公式9)、(公式10)、(公式13a)、(公式15)以及(公式16)决定与假想投影面上的点P(XP、YP、ZP)相对应的广角图像的点p(xP，yP)，但与这时的实施形态5不同之处是公式16中θ的给定方法。实施形态5中，特别是将展开图像的宽方向(长边方向)像素数量设定为ISX、将横方向的视野角设定为180°时，只要使θ＝180°·i/ISX(其中，i为整数，0≤i＜ISX)地等间隔地取θ就可以。在实施形态6中以与等间隔地取α的情况等价地决定θ即可。ΔPO1O2中根据正弦定理公式24成立。
R/sin(90°+θ)＝r/sin(90°-α)(公式24)对公式24进行整理，就得到公式25。
θ＝cos-1/(R·cosα/r)(公式25)其中，α1≤α＜α2因此，将α＝(α2-α1)·i/ISX(其中n为整数，0≤i＜ISX)代入公式25的α，求出θ，只要用该θ制作展开表，就可以变更假想投影面的形状。
还有，在这里虽然考虑圆筒为假想投影面34，但即使是球面等其他形状也没有关系。
以下是在图27所示的在流程中进行的处理中与实施形态5的情况不同的2点中的另外一点，即用图30对进行光学畸变影响修正的步骤S3后面进行的遮蔽处理(步骤S4)进行说明。
图30(a)是不进行遮蔽处理的情况下的展开图像，图30(b)是进行遮蔽处理情况下的展开图像。展开图像中的41是ATM终端，42是操作者，47是ATM终端41的操作面板。由于遮蔽处理前的图30(a)中可以看到整个视野，操作者42的操作以及输入结果等被映入眼底，因此密码等私人信息有向外泄漏的危险。这里，通过在广角图像中指定来自双曲面反射镜1的像没有成像的左上角等那样置换相当于遮蔽区域48的部分的展开表的坐标值数据以及与原来内容不同的内容，例如相当于遮蔽区域48的所有展开表要素，实现遮蔽处理。
如以上所述，通过将遮蔽处理信息填入展开表，可以在图24的展开图像生成部24中进行展开处理时，能够无需增加运算负荷地进行遮蔽处理。
以下在展开图像生成部24中，通过进行以上那样的处理，用展开表生成部23中生成的展开表生成展开图像。与这时的实施形态5不同之处是，如图30所示，进行纵方向成为视场角180度的展开处理，使展开图像的顶部底部正确。
下面在图像质量修正处理部25进行与实施形态5的情况相同的处理，在未图示的图像形式转换部变换成NTSC那样的视频信号并将展开图像显示在监视器27上。
这样采用实施形态6，由于可以通过变更假想投影面44的形状，假想性地变更广角摄像装置8的观察点，因此可以减轻离开广角摄像装置8的内部焦点4的距离之差所引起的展开图像的不协调感。另外，通过对展开图像的一部分实施遮蔽处理，且在看不见之后输出，可以使操作者的操作内容、输入内容不被看见，防止私人信息泄漏。
而且，在这里虽然显示将遮蔽处理的信息填入展开表的方法，但是在生成展开图像之后进行图像遮蔽处理也可以。如图31所示，即使在紧接图像质量修正处理部25之后设置图像遮蔽处理部49，并且在这里也可以进行将遮蔽区域48内部涂满以使辉度值为0那样的处理。
而且，在实施形态6中，虽然使双曲面反射镜1具有±90度大小的反射面，但是并不限于此。只要是±180度以下的范围就可以。
又，实施形态6中，虽然表示出广角摄像装置8对旋转中心轴周围大约±90度大小的范围进行摄像的情况，但即使在采用对图34(a)所示的旋转中心轴周围大约360度大小范围进行摄像的全方位摄像机100作为广角摄像装置8，并且在图像处理装置22进行与全方位摄像机100相对应的展开处理的情况下，在此之前说明的假想投影面形状的变更以及遮蔽处理也具有与实施形态6的情况相同的效果。另外，用全方位摄像机进行假想投影面形状变更的情况下，由于可以采用一张广角图像表现观察点的移动，因此可以使用将摄像场所稍微挪动的多张广角图像，实现观察点可以平滑移动的步行通过软件。
实施形态7图32表示本发明实施形态7。
与实施形态6不同的部份是，使图像处理装置22内的处理单元之一、即展开表生成部23独立开来，新设置展开表生成用运算处理装置51，在图像处理装置22内设置展开表存储部代替展开表生成部23。
下面以与实施形态6不同的部份为中心对该图32的动作进行说明。
广角摄像装置8与实施形态6中使用的相同。展开表生成用运算处理装置51，具体地说，是微机或个人电脑等的运算装置，在这里进行实施形态6的展开表生成部23进行的展开表的生成。生成的展开表被送到图像处理装置22，存储于展开表存储部50。
展开表的传送方法采用例如SD卡(Secure Digital卡 注册商标)等存储卡52。展开表生成用运算处理装置51和图像处理装置22两者设置有未图示的SD卡槽(slot)。在展开表生成用运算处理装置51，生成的展开表记录于SD卡。将该SD卡插入图像处理装置22的SD卡槽，读取SD卡记录内记录的展开表，存储于展开表存储部50。
接着，展开图像生成部24读入展开表存储部50存储的展开表进行展开处理。以后的处理与实施形态6相同。
这样采用实施形态7，在图像处理装置22的展开表生成处理不再需要，因此装置启动时的展开表生成处理用的启动时间可以不要。
还有，在实施形态7，表示出使实施形态6的图像处理装置22内的处理单元之一、即展开表生成部23独立开来，新设置展开表生成用运算处理装置51，在图像处理装置22内设置展开表存储部50代替展开表生成部23的情况。在实施形态5的情况下进行同样的变更时，也能够与实施形态7的情况下得到同样的效果。又，不管哪一种情况，采用对图34(a)所示的旋转中心轴周围大约360度大小范围进行摄像的全方位摄像机100作为广角摄像装置8，并且用图像处理装置22和展开表生成用运算处理装置51进行与全方位摄像机100对应的处理那样的变更，也能够得到与实施形态7相同的效果。
如上所述采用本发明，作为广角摄像装置的光学系统，采用以摄像透镜和摄像元件构成的摄像装置的光轴相对于旋转中心轴倾斜的结构，也能够决定对于展开图像的各像素的，广角图像上的理想的对应点，由于进行考虑摄像装置的光学畸变的影响的，展开表的修正，能够进行正确的展开处理。又可以利用图像质量修正处理，减轻展开图像的处所的不同引起的析像度差。
又由于通过变更假想投影面的形状能够假想地变更广角摄像装置的观察点，能够减轻与广角摄像装置的内部焦点的距离造成的展开图像的不协调感。又，对展开图像的一部分实施遮蔽处理，使其看不见置后将其输出，以此使操作者的操作内容、输入内容不被摄入，能够防止私人信息的泄漏。
还有，如果采用与图像处理装置分开另行设置展开表生成用运算处理装置的结构，则图像处理装置中的展开表生成处理不再必要，因此装置启动时的展开表生成处理用的启动时间可以不要。
权利要求
1.一种广角图像生成装置，由广角摄像装置与运算处理装置构成，其特征在于，广角摄像装置由在相对于旋转对称体的旋转中心轴垂直的任意方向上取基准光轴，且具有将所述基准光轴的方向作为0度的角度范围至少是θ的凸面形状的反射面的反射镜、以及所述反射镜的旋转中心轴上具有主点，且使所述反射镜的反射像成像，对所述反射镜的旋转中心轴周围的至少是θ角度的范围的对象物进行摄像的摄像装置构成，在相对于所述基准光轴垂直的平面内，将所述反射镜的旋转中心轴向任意的旋转中心轴面内的倾斜方向倾斜设置，其中，θ1≤θ≤θ2、-90°≤θ1≤90°、-90°≤θ2≤90°、θ1＜θ2，运算处理装置由对所述广角摄像装置得到的图像进行运算处理，生成展开图像的展开图像生成部、以及对应所述旋转中心轴面内倾斜方向使所述展开图像倾斜，并将所述展开图像的数据形式转换为用于输出的形式，作为输出图像生成的输出图像生成部构成。
2.一种广角图像生成装置，由广角摄像装置与运算处理装置构成，其特征在于，广角摄像装置由在相对于旋转对称体的旋转中心轴垂直的任意方向上取基准光轴，具有将所述基准光轴的方向作为0度，角度范围至少是θ的凸面形状的反射面的反射镜、以及所述反射镜的旋转中心轴上具有主点，使所述反射镜的反射像成像，对所述反射镜的旋转中心轴周围的至少θ角度范围内的对象物进行摄像的摄像装置构成，在相对于所述基准光轴垂直的平面内，将所述反射镜的旋转中心轴向任意的旋转中心轴面内的倾斜方向倾斜设置，其中，θ1≤θ≤θ2、-90°≤θ1≤90°、-90°≤θ2≤90°、θ1＜θ2，运算处理装置由对所述广角摄像装置得到的图像进行运算处理，生成对应于所述旋转中心轴面内倾斜方向倾斜的展开图像的展开图像生成部、以及将所述展开图像的数据形式转换为用于输出的形式，作为输出图像生成的输出图像生成部构成。
3.根据权利要求1或2所述的广角图像生成装置，其特征在于，所述反射镜为在旋转中心轴上具有内部焦点的双曲面形状，并且使所述双曲面形状的外部焦点的位置与所述摄像装置的主点位置一致或者大致一致。
4.根据权利要求1或2或3所述的广角图像生成装置，使所述旋转中心轴面内倾斜方向与水平方向一致或者大致一致。
5.根据权利要求1～4中的任意一项所述的广角图像生成装置，其特征在于，所述广角摄像装置或者所述运算处理装置具有检测所述旋转中心轴面内倾斜方向的旋转中心轴面内倾斜方向检测部，对应所述旋转中心轴面内倾斜方向检测部的输出结果，利用所述运算处理装置使所述展开图像倾斜，生成输出图像。
6.根据权利要求5所述的广角图像生成装置，其特征在于，设置于所述运算处理装置内的旋转中心轴面内倾斜方向检测部，形成可以进行图像处理并检测旋转中心轴面内倾斜方向的结构。
7.根据权利要求1～4中的任意一项所述的广角图像生成装置，其特征在于，所述广角摄像装置或者所述运算处理装置具有输入所述旋转中心轴面内倾斜方向的旋转中心轴面内倾斜方向输入部，对应于所述旋转中心轴面内倾斜方向输入部的输入结果，利用所述运算处理装置使所述展开图像倾斜，生成输出图像。
8.一种广角图像生成装置，由广角摄像装置与运算处理装置构成，其特征在于，广角摄像装置是由在相对双曲面旋转中心轴垂直的任意方向上取基准光轴，具有将所述基准光轴的方向作为0度的角度范围至少是θ的双曲面形状的反射面的双曲面反射镜、以及使所述双曲面反射镜的外部焦点位置与主点位置大致一致，使所述双曲面反射镜的反射像成像，对所述双曲面反射镜的旋转中心轴周围的至少是θ角度范围的对象物进行摄像的摄像装置构成，在包含基准光轴与所述双曲面反射镜旋转中心轴的平面内，将所述双曲面反射镜的旋转中心轴向任意的旋转中心轴的前面倾斜方向倾斜设置，其中，θ1≤θ≤θ2、-90°≤θ1≤90°、-90°≤θ2≤90°、θ1＜θ2，运算处理装置是由对所述广角摄像装置所得到的图像，将以通过所述双曲面反射镜的内部焦点的任意轴作为假想圆筒旋转中心轴的假想圆筒作为投影面进行运算处理，生成展开图像的展开图像生成部、以及将所述展开图像的数据形式转换为用于输出的形式，并作为输出图像生成的输出图像生成部构成。
9.根据权利要求8所述的广角图像生成装置，其特征在于，无论所述旋转中心轴前面倾斜方向如何，在包含所述基准光轴与所述双曲面反射镜的旋转中心轴的平面内设定的基准轴与所述假想圆筒旋转中心轴平行或者一致。
10.根据权利要求9所述的广角图像生成装置，其特征在于，所述旋转中心轴前面倾斜方向是包含所述基准光轴与所述双曲面反射镜的旋转中心轴的平面内的所述广角摄像装置的视场角中心相对所述基准轴垂直的方向。
11.根据权利要求9或10所述的广角图像生成装置，其特征在于，所述广角摄像装置或者所述运算处理装置具有检测所述旋转中心前面倾斜方向的旋转中心轴前面倾斜方向检测部，对应所述旋转中心轴前面倾斜方向检测部的输出结果，利用所述运算处理装置生成输出图像。
12.根据权利要求9或10所述的广角图像生成装置，其特征在于，所述广角摄像装置或者所述运算处理装置内具有输入所述旋转中心轴前面倾斜方向的旋转中心轴前面倾斜方向输入部，对应于所述旋转中心轴前面倾斜方向输入部的输入结果，利用所述输出图像生成部生成输出图像。
13.一种广角图像生成装置，其特征在于，设置有在相对于旋转对称体的旋转中心轴垂直的任意方向上取基准光轴，具有将所述基准光轴的方向作为0度的角度范围至少是θ的凸面形状反射面的反射镜，其中，θ1≤θ≤θ2、-180°≤θ1≤180°、-180°≤θ2≤180°、θ1＜θ2、在所述反射镜的旋转中心轴上具有主点，在视场角记为2α时光轴相对所述旋转中心轴朝着基准光轴方向倾斜α以下的角度，使所述反射镜的反射像成像，并对所述反射镜的旋转中心轴周围至少是θ角度范围的对象物进行摄像的摄像装置、根据由所述摄像装置得到的广角图像生成从所述旋转中心轴上观察的展开图像的展开图像生成部、以及生成包含所述展开图像生成部将所述广角图像加以展开时的所述广角图像与所述展开图像的像素对应关系信息的展开表的展开表生成部。
14.一种广角图像生成装置，其特征在于，设置有在相对于旋转对称体的旋转中心轴垂直的任意方向上取基准光轴，具有将所述基准光轴的方向作为0度的角度范围至少是θ的凸面形状反射面的反射镜，其中，θ1≤θ≤θ2、-180°≤θ1≤180°、-180°≤θ2≤180°、θ1＜θ2、在所述反射镜的旋转中心轴上具有主点，在视场角记为2α时光轴相对所述旋转中心轴朝着基准光轴方向倾斜α以下角度，使所述反射镜的反射像成像，对所述反射镜的旋转中心轴周围至少是θ角度范围的对象物进行摄像的摄像装置、根据由所述摄像装置得到的广角图像生成从所述旋转中心轴上观察的展开图像的展开图像生成部、生成包含所述展开图像生成部将所述广角图像加以展开时的所述广角图像与所述展开图像的像素对应关系信息的展开表的展开表生成用运算处理装置、以及保持由所述展开表生成用运算处理装置生成的所述展开表，同时连接于所述展开图像生成部的展开表存储部。
15.一种的广角图像生成装置，其特征在于，设置有具备凸面形状的反射面的反射镜、所述反射镜的旋转中心轴上具有主点，使所述反射镜的反射像成像，对所述反射镜的旋转中心轴周围360度范围的对象物进行摄像的摄像装置、根据由所述摄像装置得到的广角图像生成从所述旋转中心轴上观察的展开图像的展开图像生成部、以及生成包含所述展开图像生成部将所述广角图像加以展开时的所述广角图像与所述展开图像的像素对应关系信息的展开表的展开表生成部。
16.一种广角图像生成装置，其特征在于，设有具备凸面形状的反射面的反射镜、所述反射镜的旋转中心轴上具有主点，使所述反射镜的反射像成像，对所述反射镜的旋转中心轴周围360度范围的对象物进行摄像的摄像装置、根据由所述摄像装置得到的广角图像生成从所述旋转中心轴上观察的展开图像的展开图像生成部、生成包含所述展开图像生成部将所述广角图像加以展开时的所述广角图像与所述展开图像的像素对应关系信息的展开表的展开表生成用运算处理装置、以及保持由所述展开表生成用运算处理装置生成的所述展开表，同时连接于所述展开图像生成部的展开表存储部。
17.根据权利要求13～16中的任意一项所述的广角图像生成装置，其特征在于，所述反射镜是在旋转中心轴上具有内部焦点的双曲面形状，所述双曲面形状的外部焦点的位置与所述摄像装置的主点位置大致一致。
18.根据权利要求17所述的广角图像生成装置，其特征在于，构成展开表生成部或者展开表生成用运算处理装置，使其能够生成包含与摄像装置的光轴倾斜量相对应的广角图像与展开图像的像素对应关系信息的展开表。
19.根据权利要求17所述的广角图像生成装置，其特征在于，使展开表生成部或者展开表生成用运算处理装置形成能够根据以下数学公式生成展开表的结构，所述公式即tanα＝{(b2+c2)sinβ-2bc}/{(b2-c2)cosβ}c＝(a2+b2)0.5(x2+y2)0.5＝F·cosβ/cosγ(θ)/sin(β+γ(θ))cosφ＝cosθ/(1+tan2γ(90°)·sin2θ)0.5tanγ(θ)＝tanγ(90°)·sin(θ)其中，a、b是决定反射镜的双曲面的形状的常数，双曲面形状是在XYZ空间中表示为(X2+Y2)/a2-Z2/b2＝-1的双曲面中Z＞0的形状，α是上述反射镜的内部焦点与空间中的任意点连结的直线与XY平面形成的角度，β是从上述任意点来的入射光入射到摄像装置的摄像面上的点与上述摄像装置的主点连结的直线与XY平面形成的角度，F是上述摄像装置的焦距，θ是在XY平面中以基准光轴方向为90°时所述入射光的入射方向，γ是取决于上述入射方向θ的上述摄像面的倾斜，φ是上述入射光在上述摄像面上的入射方向。
20.根据权利要求13～17中的任一项所述的广角图像生成装置，其特征在于，构成展开表生成部或展开表生成用运算处理装置，并使其能够生成包含将含有摄像装置的光学像差引起的畸变的广角图像与畸变修正后的广角图像的对应关系和上述畸变修正后的广角图像与展开图像的对应关系加以合成的像素对应关系信息的展开表。
21.根据权利要求13～17中的任一项所述的广角图像生成装置，其特征在于，构成展开表生成部或展开表生成用运算处理装置，并使其能够生成通过变更考虑广角图像与展开图像的像素对应关系时的假想投影面的形状，改变所述广角图像与所述展开图像的像素对应关系的展开表。
22.根据权利要求13～17中的任一项所述的广角图像生成装置，其特征在于，构成展开表生成部或展开表生成用运算处理装置，并使其能够生成任意变更展开图像上设置的任意遮掩区域内的广角图像与展开图像的像素对应关系，遮蔽所述遮掩区域内的展开图像的展开表。
23.根据权利要求13～17中的任一项所述的广角图像生成装置，其特征在于，在展开图像生成部的后级，追加作为展开图像生成部的后处理，根据展开图像上的位置进行改变强调程度的高频分量强调处理的图像质量修正处理部。
24.根据权利要求17～23中的任一项所述的广角图像生成装置，其特征在于，设置进行使利用展开图像生成部展开的图像的特定区域成为与原来不同的图像的图像遮蔽处理的图像遮蔽处理部。
全文摘要
在使用具有旋转对称的凸面形状的反射镜对大致有±90°大小的广角图像进行摄像，实施运算处理，以得到展开图像的广角图像生成装置中，反射面的旋转中心轴在垂直于0°方向的面内偏离铅直方向倾斜的情况下，得到的图像，其内容倾斜了反射面的旋转中心轴的倾斜程度，存在着使观察者有不协调感觉的问题。本发明在用反射镜(1)对大致有±90°大小的广角图像进行摄像的摄像装置内设置角度传感器(12)，测定垂直于0°方向的面内的倾斜。用该值在运算处理装置11进行展开处理，同时进行展开图像的旋转处理，使展开图像内的水平与输出监视器(13)的水平一致。
文档编号H04N5/225GK1535449SQ0281492
公开日2004年10月6日 申请日期2002年5月20日 优先权日2001年5月25日
发明者林谦一, 曾我部靖, 村田茂树, 树, 靖 申请人:松下电器产业株式会社