摄像装置、方法、系统集成电路及程序的制作方法

专利名称：摄像装置、方法、系统集成电路及程序的制作方法
技术领域：
本发明涉及一种摄像装置，尤其涉及一种使用传感器的图像校正技术。
背景技术：
近年来出现了一种摄像装置(例如可佩带照相机)，使用者平常将该 装置佩带在身上，可以持续记录使用者经历的日常生活来作为生活日志
(life log)。可佩带照相机是指可以佩带在身上的小型终端，其可以如
下佩带例如，将带有带子的可佩带照相机佩带在使用者的头部等、通过 身体的规定部位为基准来支撑。可佩带照相机具有如下特性即使不进行 手的操作这样的明显操作，也可以进行摄像和拾音。
但是，通过可佩带照相机对被摄体进行摄影的情况下，会有在可佩带 照相机倾斜的状态下对被摄体进行摄影的情况。这是因为，由于使用者的 动作的影响，可佩带照相机的位置产生了偏移，而在不能恰当保持可佩带 照相机的姿势的状态下进行摄影时，会在倾斜的状态下对被摄体进行摄影， 将会得到使用者非常难以辨认的图像。
因此，以往，作为将倾斜状态下摄取的图像校正为不倾斜的图像的方 法，已知如下方法在可佩带照相机上设有加速度传感器，通过用加速度 传感器测定重力加速度，可以检测出可佩带照相机相对于地轴的旋转角， 并根据检测出的旋转角来校正摄取的图像的倾斜(参见专利文献l)。作为 其他现有技术，还有专利文献2、中记载的技术。
专利文献1: JP特开2006-245726号公报 专利文献2: JP特开2002-207232号公报 专利文献3: JP特开2003-304486号公报 专利文献4: JP特开2003-153072号公报
但是，加速度传感器具有外壳固有的误差，因此，即使根据检测出的 旋转角进行校正，仍然会有使用者难以辨认图像的情况。另外，加速度传感器在其原理上，会叠加重力加速度和由照相机的运动产生的加速度来进行检测，并且不能对它们进行区别。即，可以认为由摄像机的运动产生的加速度的影响将表现为误差。这意味着，在进行佩带在身上的特性摄影时，在外壳剧烈运动的可佩带照相机中，很难由加速度传感器仅准确检测出重力加速度。现状是根据现有的加速度传感器的使用方法，很难提高图像的易辨认程度。
而且，虽然有通过角速度传感器检测摄像装置的运动并根据检测到的运动驱动透镜组校正图像的抖动的、所谓防抖校正(手；扎補正)的技术，但是这是用于校正摄像机的摄像元件的曝光时间内的、摄像机的相对运动的变化的技术，作为校正基准的是按快门的瞬间的姿势。
因此，例如希望校正图像的相对于水平方向的倾斜的情况下，如果按快门的瞬间摄像机已经相对于水平方向倾斜，即使适用防抖校正，所摄影的图像也不会变得水平。
艮P，虽然防抖校正技术可以补偿摄像机的运动引起的相对角度，但是，不能补偿以水平等为基准的绝对角度。

发明内容
本发明的目的是提供一种高精度地校正图像的倾斜的摄像装置。为了解决上述问题，本发明的摄像装置，通过对摄像图像实施旋转变换，校正摄像图像中的被摄体的倾斜，其具备摄像部；检测摄像部的物理倾斜的传感器；以及处理部，其基于由传感器检测到的物理倾斜，选择摄像图像的被摄体上表现出的多个角度成分中满足某一定基准的角度成分，作为用于旋转变换的旋转角。
发明效果
本发明通过具备上述结构，并非直接将由传感器检测到的物理倾斜用于摄像图像的校正，而是在从摄像图像的被摄体上表现出的多个角度成分选择旋转角时进行利用。由于基于由传感器检测到的物理倾斜和摄像图像的被摄体上表现出的角度成分来选择用于旋转变换的旋转角，因此，不会由外壳固有的误差左右校正后的图像的可看性。另外，选择旋转角时，选择摄像图像的被摄体上表现出的多个角度成 分中满足某一定基准的角度成分作为旋转角，因此，可以提高校正的精度。
而且，摄像图像的被摄体上表现出的角度成分，与摄像图像中的线段 的倾斜角或摄像图像的被摄体上表现出的亮度梯度所成的角度等相当。
这里也可以是所述处理部基于由传感器检测到的物理倾斜，对摄像 图像进行图像处理，以检测摄像图像的被摄体上表现出的多个角度成分， 并执行对检测到的多个角度成分的统计处理，选择多个角度成分中满足某 一定基准的角度成分，作为用于旋转变换的旋转角。
基于由传感器检测到的物理倾斜来对摄像图像进行图像处理，由此， 可以检测摄像图像的被摄体上表现出的多个角度成分。执行对多个角度成 分的统计处理，并选择满足某一定基准的角度成分作为旋转角，因此，可 以提高校正的精度。
但是，通常图像处理中使用Hough变换，根据可作为图像处理对象的 图像使特征点的数量变得庞大，结果，图像处理中的处理负荷变重，即使 根据检测到的角度成分进行校正，也未必能准确校正，并且在处理负荷和 精度两方面都有问题。
因此，为了降低校正图像时的处理负荷并提高校正精度而希望上述 图像处理是将摄像图像中的线段和其倾斜角一起检测出的处理，基于上述 物理倾斜的图像处理，是在以上述物理倾斜为基准确定了作为图像处理对 象的角度范围之后，进行图像处理，上述统计处理用于制作表示多个角度 成分的频度分布的柱状图，多个角度成分中满足某一定基准的角度成分， 是制作的柱状图中具有满足某一定基准的频度的角度成分。
由此，可以将由传感器检测到的物理倾斜用作检测线段时的角度范围 的基准。图像处理部并非检测图像中的所有线段，而是检测处于角度范围 内的线段，因此，可以降低线段检测中的处理负荷，并且不会检测不需要 的线段，因此可以实现精度的提高。
这里也可以上述处理部对摄像部的摄像图像进行图像处理，以检测 出摄像图像的被摄体上表现出的多个角度成分，基于由传感器检测到的物 理倾斜来执行对检测到的多个角度成分的统计处理，并选择多个角度成分 中满足某一定基准的角度成分，作为用于旋转变换的旋转角。通过对摄像图像进行图像处理，可以检测摄像图像的被摄体上表现出的多个角度成分。基于由传感器检测到的物理倾斜来执行对检测到的多个角度成分的统计处理，并选择满足某一定基准的角度成分作为用于旋转变换的旋转角，因此，可以提高校正的精度。
这里也可以是摄像图像的被摄体上表现出的多个角度成分，是摄像图像的被摄体上表现出的亮度梯度所成的角度，所述统计处理用于制作表示多个角度成分的频度分布的柱状图，基于所述物理倾斜的统计处理，是在以所述物理倾斜为基准确定了作为统计处理对象的角度范围之后，执行统计处理。
由此，可以将由传感器检测到的物理倾斜用作制作柱状图时的角度范围的基准。并非对摄像图像的被摄体上表现出的亮度梯度所成的所有角度制作柱状图，而是制作角度范围内的柱状图，因此，可以除掉不需要的角度成分，可以实现校正精度的提高。
这里也可以是上述校正处理部选择具有满足所述某一定基准的频度的角度成分中、具有所述柱状图中的最大频度的角度成分，作为用于旋转变换的旋转角。
由此，由于选择具有柱状图中的最大频度的角度成分作为旋转角，因此，可以提高校正的可靠度。
这里也可以是不存在满足所述某一定基准的角度成分的情况下，所述处理部选择由所述传感器检测出的倾斜，作为用于旋转变换的旋转角。
由此，不存在满足某一定基准的角度成分的情况下，即对摄像图像的被摄体上表现出的多个角度成分的可靠度低的情况下，选择由所述传感器检测出的倾斜作为用于旋转变换的旋转角，因此，可以提高校正的可靠度。
这里也可以是上述处理部还具备从上述摄像图像检测特定的被摄体的检测部，不存在满足所述某一定基准的角度成分的情况下，所述处理部选择所述特定的被摄体的倾斜，作为用于旋转变换的旋转角。
由此，不存在满足某一定基准的角度成分的情况下，即对摄像图像的被摄体上表现出的多个角度成分的可靠度低的情况下，选择特定的被摄体的倾斜作为用于旋转变换的旋转角，因此，可以提高校正的可靠度。
这里也可以是上述处理部还具备检测出自身装置位置的位置检测部，不存在满足所述某一定基准的角度成分并且由所述位置检测部检测出的位置是预先设定的特定位置的情况下，所述校正处理部选择具有所述柱状图中的最大频度的角度成分，作为用于旋转变换的旋转角。
由此，除了是否满足某一定基准外，还根据由所述位置检测部检测出的位置是不是特定位置，来选择旋转角，因此，可以提高校正的可靠度。
这里也可以是上述处理部还具备存储部，用于存储每单位角度的误差分布；以及误差分布取得部，其基于由所述传感器检测到的物理倾斜，从所述存储部取得与该倾斜相当的误差分布，其中所述校正处理部选择与根据所述柱状图和由所述误差分布取得部取得的误差分布来计算的倾斜似然中最大的倾斜似然相当的角度成分，作为用于所述旋转变换的旋转角。
另外也可以是该摄像装置还具备存储部，用于存储每单位角度的误差分布的关系式；以及误差分布计算部，其基于由所述传感器检测到的物理倾斜，根据所述关系式计算误差分布，其中所述校正处理部选择与根据所述柱状图和由所述误差分布计算部计算出的误差分布来计算的倾斜似然中最大的倾斜似然相当的角度成分，作为用于所述旋转变换的旋转角。
由此，由于反映传感器的误差分布而旋转旋转角，因此，可以以更高精度选择旋转角，并且可以以更高精度进行校正。
但是，如上所述，加速度传感器本身由于使用者的动作而受到加速度时，不能将其与重力加速度相区别测定，即使基于检测到的角度进行校正，仍然只能得到使用者难以辨认的图像。
因此希望为了对使用者在动作中摄影的图像也能进行准确校正，上述存储部分别存储着自身装置的静止状态下的误差分布和动作状态下的误差分布，所述误差分布取得部基于由所述传感器检测到的物理倾斜判定启身装置的动作状态，判定的结果如果是静止状态，则取得所述静止状态下的误差分布，如果是动作状态，则取得所述动作状态下的误差分布。
另外也可以是上述存储部分别存储着自身装置的静止状态下的误差分布的关系式和动作状态下的误差分布的关系式，所述误差分布计算部基于由所述传感器检测到的物理倾斜判定自身装置的动作状态，判定的结果如果是静止状态，则根据所述静止状态下的误差分布的关系式计算误差分布，如果是动作状态，则根据所述动作状态下的误差分布的关系式计算误差分布。
由此，由于取得与摄像装置的动作状态对应的误差分布，因此，即使 使用者在动作中，也可以以更高精度进行校正。
这里也可以是所述处理部还具备校正所述摄像图像的失真的失真校 正部，所述图像处理部对校正后的摄像图像进行图像处理。
由此，即使由于摄像装置的光学系统引起的图像的失真而使线段歪斜 着被摄像，也可以检测出正确的线段，可以以更高精度进行校正。
这里也可以是所述校正处理部在所述柱状图示出多个角度成分的频 度分布吋，进行对各角度成分的频度的加权，从所述摄像图像检测到的线 段的长度越长则所述加权越大。
由此，例如在有跨越图像的一端到另一端的显眼的线段的情况下，通 过提高其重要度，在存在很多短的线段的环境下也可以稳定地选择全局性 的角度成分。
这里也可以是上述校正处理部，在所述柱状图示出多个角度成分的 频度分布时，进行对各角度成分的频度的加权，从所述摄像图像检测到的 线段越接近垂直则所述加权越大。
图像中存在的线段中，现实世界中接近垂直的角度的线段可靠度高， 因此，通过提高对其的加权，可以以更高精度进行校正。
这里也可以是上述校正处理部在所述柱状图示出多个角度成分的频 度分布时，进行对各角度成分的频度的加权，由所述传感器检测的物理倾 斜和从所述摄像图像检测的线段的倾斜角的差分越小则所述加权越大。
由此，根据由所述传感器检测到的物理倾斜和从所述摄像图像检测到 的线段的倾斜角的差分来进行加权，因此，可以以更高精度进行校正。


图1 (a)是表示佩带着可佩带照相机的状态的模式图。
图l (b)是表示图像的旋转轴的模式图。
图2是表示受光面的倾斜引起的图像变化的图。
图3是表示可佩带照相机100的功能框图。
图4是校正处理部30的功能框图。图5是表示通过双轴加速度传感器计算绕辊轴(roll轴)的旋转角的方法的图。
图6是表示检测出传感器的输出和线段的角度范围的关系的模式图。图7是用于说明Hough变换的原理的图。
图8是表示使以某视场角所摄影的图像与以其它视场角所摄影的图像相对应时的关系的模式图。
图9是表示可佩带照相机100的动作流程的流程图。
图10是表示Hough变换的线段检测处理流程的流程图。
图ll (a)是表示由摄像部10摄像的图像(校正前图像)的图。
图ll (b)是表示检测出图ll (a)所示图像中全部线段的图像的图。
图12 (a)是表示检测出图像中的全部线段时频度最高的倾斜角的图。
图12 (b)是表示与图12 (a)对应的角度柱状图的图。
图13 (a)是表示限制了线段检测范围时频度最高的倾斜角的图。
图13 (b)是表示与图13 (a)对应的角度柱状图的图。
图14是表示校正后图像的图。
图15是可佩带照相机100a的功能框图。
图16是表示误差概率分布表的图。
图17是表示校正处理部30a的详细功能的图。
图18是表示可佩带照相机100a的动作流程的流程图。
图19是表示误差概率分布的例子的图。
图20 (a)是表示静止状态下的误差概率分布表的图。
图20 (b)是表示动作状态下的误差概率分布表的图。
图21是表示校正处理部30b的详细功能的图。
图22是表示可佩带照相机100b的工作流程的流程图。
图23是可佩带照相机100c的功能框图。
图24是用于说明如何求出像素的对比度的变化方向的图。
图25是表示Sobel滤波器的图。
附图标记
100、 100a、 100b:可佩带照相机10:摄像部
1320:传感部
30、 30a、 30b:校正处理部
31:角度范围决定部
32:线段检测部
33:柱状图制作部
34:图像处理部
35:误差概率分布取得部
36:似然计算部
37:动作状态判定部
40:输出部
50:通信部
60:显示部
70:帧存储器
80、 80b:存储部
具体实施例方式
(实施方式1) 〈概要〉
本实施方式中，作为摄像装置以可佩带照相机为例进行说明。 可佩带照相机包括摄像机和话筒、加速度传感器，并将由摄像机和话
筒所摄取的图像及声音记录在记录介质中。
对可佩带照相机所摄影的图像的特征进行说明，则可佩带照相机所摄
影的图像中，由伴随着佩带者动作的身体的运动而产生旋转。关于产生的
旋转的种类，使用图l进行说明。图1 (a)是表示佩带着可佩带照相机的 状态的模式图。可佩带照相机具有安装部，安装部上带有带子，佩带在头 部等、以身体的规定部位为基准来支撑。如图1 (a)所示，在水平方向上 设定x轴，在垂直方向上设定y轴，在与x轴和y轴构成的平面正交的方 向、即可佩带照相机的光轴方向上设定z轴的情况下，如图1 (b)所示， 将绕x轴的旋转称为俯仰(Pitch)、将绕y轴的旋转称为横摆(Yaw)、 将绕z轴的旋转称为滚动(Roll)。
14可佩带照相机在滚动方向上旋转时，如图2 (a) 、 (b) 、 (c)所示， 视场角变动，所摄影的图像分别如图2 (d) 、 (e) 、 (f)所示。而且， 图2(a)、 (b) 、 (c)的黑点表示旋转中心。
实际上，除了滚动方向上的旋转，还要加上俯仰方向、横摆方向的旋 转，而本实施方式中，特别集中在对滚动方向上的旋转、即绕与x轴和y 轴构成的平面的光轴相对于水平或垂直的旋转进行校正的方法，并叙述其 结构。这是因为，上述3轴的旋转中，在阅览图像时用户感觉最不协调的 是滚动方向上的旋转，对其进行校正会对画质产生最大影响。
因此，本实施方式中，可佩带照相机检测出滚动方向的旋转角，并根 据传感器的误差分布来决定以所检测出的旋转角为基准的角度范围。所摄 像的图像中，在决定的角度范围内检测出线段，并根据检测出的线段的倾 斜角进行图像校正。S卩，由传感器检测出的旋转角并非直接用于校正，旋 转角只是用于图像处理中的线段检测范围的限制。可用于图像校正的线段 是从基于误差分布的角度范围检测出的，实际的校正是基于检测出的线段 的倾斜角来进行的，因此，即使传感器本身有误差，也能以更高精度进行 校正。
下面，参照附图对本实施方式中的可佩带照相机进行详细说明。
〈可佩带照相机100的结构〉 图3是表示可佩带照相机100的功能框图。
具体来说，可佩带照相机100是由微处理器、ROM (Read Only Memory)、 RAM (Random Access Memory) 、 DSP (Digital Signal Processor)等构 成的计算机系统。上述ROM中存储着计算机程序。上述微处理器按照上述 计算机程序进行动作，由此，可佩带照相机100实现其功能。
可佩带照相机100包括摄像部10、传感部20、校正处理部30、输出 部40、通信部50、显示部60及帧存储器70。
摄像部10具体包括CCD (Charge Coupled Device)和CMOS (Complementray Metal-Oxide Semiconductor)这样的摄像元件和透镜部， 具有对图像进行摄像的功能。
传感部20具体包括压敏电阻型加速度传感器等 用于检测相对光轴垂 直的面即受光面的、从水平或垂直开始绕光轴的旋转角。其详细内容在〈压200880021915.3
敏电阻型加速度传感器〉、〈滚动方向的旋转角测定方法〉中进行说明。
校正处理部30根据由传感部20检测出的旋转角，对由摄像部10摄像 的图像，进行校正该图像的图像处理。其详细内容在〈校正处理部30的功 能〉中进行说明。
输出部40具体包括SD存储卡等记录介质，用于将由校正处理部30校 正处理的图像等记录在记录介质中。
通信部50具体包括包括调制电路和解调电路等的收发电路，通过天 线等将由摄像部10摄影的图像和修改后的图像、由传感部20检测出的旋 转角等发送到外部网络。
显示部60具体包括液晶显示器等，用于显示由摄像部10摄影的图像 和由校正处理部30校正处理的图像。
帧存储器70 (70a、 70b、……)是用于存储图像(1帧)的专用存储 器。例如，帧存储器70中存储从摄像部10输入的校正前的图像和从图像 处理部35输入的修改后的图像。 〈校正处理部30的功能〉
接着，对校正处理部30的详细功能进行说明。图4是校正处理部30 的功能框图。校正处理部30包括角度范围决定部31、线段检测部32、柱 状图制作部33和图像处理部34。
角度范围决定部31根据从传感部20输入的旋转角决定检测线段时的 角度范围e士4)，并发送到线段检测部32。具体在〈角度范围〉中进行说 明。
线段检测部32从帧存储器70a取得由摄像部10摄像的图像，将构成 取得的图像的线段中、从角度范围决定部31输入的角度范围6±4)中的 线段和其倾斜角一起检测出来，并将检测出的倾斜角输出到柱状图制作部 33。关于线段检测的详细内容在〈Hough变换〉、〈线段检测处理〉中进行 说明。
柱状图制作部33对从线段检测部32输入的各线段的倾斜角的频度进 行统计，制作表示该每个倾斜角的频度的角度柱状图。此后，选择频度最 高的倾斜角并发送到图像处理部34。而且，这里所说的角度柱状图具体为 一维数组的角度柱状图。而且，制作角度柱状图时，也可以以水平或垂直的任意其一为基准， 这时，最终选择的倾斜角相当于从作为基准的水平或垂直的任意其一开始 的旋转角。
图像处理部34从帧存储器70a取得作为校正对象的图像，根据从柱状 图制作部33输入的倾斜角进行图像处理，并将处理后的图像存储在帧存储 器70b中。关于图像处理的详细内容，在〈图像旋转的校正〉中进行说明。 〈压敏电阻型加速度传感器〉
接着，对压敏电阻型加速度传感器进行说明。所谓压敏电阻效果，是 指通过改变导体的长度和截面积使电阻改变的现象。具体来说，长度L、截 面积S、电阻率p的导体的电阻R用数学式1表示。<formula>formula see original document page 17</formula>
如果在长度方向上拉伸该导体，使长度变成L'、截面积变成S'，这 时的电阻R'用数学式2表示。<formula>formula see original document page 17</formula>
根据数学式1、 2，如果使L' > L、 S' < S，则R， > R成立。由此 可知，通过在导体上施加机械力，电阻改变。压敏电阻型加速度传感器具 有受到伴随着加速度而产生的力会产生变形的压敏电阻元件，可以测量伴 随着加速度的电阻变化，作为电压和电流的变化量。g卩，可以根据电压和 电流的值得到作用在压敏电阻元件上的加速度。另外，通过将压敏电阻元 件设在多个方向上，可以测量各个方向上的加速度。 〈滚动方向上的旋转角测定方法〉
参照图5说明实际使用压敏电阻型加速度传感器测定滚动方向上的旋 转角的方法。用于使用加速度传感器测定相互正交的x轴、y轴这两个方向 上的加速度。设y轴从竖直方向倾斜e，则静止状态下，y轴方向上的加 速度gy可以表示为gy二g cos e 。其中g表示重力加速度。同样，x轴方向
上的加速度gx可以表示为gx=g sin6 。因此，倾斜角6可以使用gx、 gy 表示为数学式3。<formula>formula see original document page 17</formula>
如数学式3所示，求出加速度传感器的各轴方向的输出的比，并求出
其反正切，由此可以检测出倾斜角e 。〈角度范围〉
接着，对如何决定角度范围进行说明。由传感部20检测出倾斜角e时， 角度范围决定部3i如图6所示决定e±*的范围，作为角度范围。而且， 也可以从水平及垂直分别决定e ±4>的范围，作为角度范围。这里，可以
认为小的值为相对于加速度传感器的输出值e的界限(margin)，因此， 例如，可以根据加速度传感器的误差分布决定4的值。在加速度传感器的 误差遵从平均ix、标准偏差o的正态分布的情况下，可以认为d>=ao。 由此，可以认为能实现抑制在使4>的值固定的情况下产生的下述的缺点的 效果。
使固定值的角度范围为4)c，由加速度传感器的误差分布决定的角度范 围为》。在4>c>4)的情况下，比4>大的范围的线段很可能不是正水平或
正垂直，检测出这种线段不仅导致无谓的运算量的增加，还可能对最终的 校正结果产生不好的影响。反之，在4>c<4)的情况下，误差比4)c大时， 不能检测出本来应该水平或垂直的线段，可能对最终校正结果产生不好的 影响。
而且，根据普通的正态分布的性质，使a的值为a二2时，输出的大约 95%，为a二3时，输出的大约99%包含在误差范围内。因此，可以根据情况
适当判断何种程度的误差可以允许、需要抑制到何种程度的运算量，并决 定最恰当的a的值。 〈Hough变换〉
接着，对从摄像图像检测出线段的方法进行说明。这里，线段的检测 中使用被称为Hough变换的方法。下面，参照图7对Hough变换的线段检 测方法进行说明。根据图7 (a)，通过图像中的点(xi， yi)的直线满足 由参数(P ， e)表示的数学式4。
P=xi cos 0+yi sin 0 (数学式4)
这意味着，通过点(xi， yi)的直线群对应图7 (b)中的1条曲线。 另一方面，对位于相同直线上的多个点进行基于数学式4的对应时，得到 的多条曲线在某一点相交。对应于该交点的参数表示通过这些点的直线。 实际上，参数(P ， e)被分散处理。即，按每一定大小△ e来划分(P ，
e)的参数空间，边使e按顺序改变边求出p的值，并统计其频度。可
18以认为与频度高的参数(p ， e )组对应的直线实际上很可能存在于图像 中。此外，这时的划分的间隔a e越小，检测出的直线的角度分辨能力越 高，可以表示更准确的角度。
但是，如果减小a e，则求p的值的次数会变多，这样会有处理时间 变长的缺点。对此，通过使e在由角度范围决定部31决定的角度范围内 变动，可以保持高分解能力的同时减少处理次数。
另外，会有线段检测时需要存储器的问题。即，为了提高要检测的线 段的倾斜角的精度，需要精密设定并计算9，并且必须将参数平面设定地 大到那种程度，需要大的数组用存储器。
本实施方式中，将检测出线段的范围集中在从检测出的倾斜角e加减 4>的范围，因此，可以削减需要的存储器的容量。 〈图像旋转的校正〉
接着，对图像的校正进行说明。如下所述进行图像旋转的校正。通常， 用以摄像机为中心的坐标系即摄像机坐标系xyz来表示图像平面上的点p=
(x， y)，将该点设为P^ (xl， yl， zl)时，下述数学式5所表示的关系 成立。
sP， =KP1， (数学式5)
其中，P， 、 Pl，分别是用齐次坐标表示P、 Pl， P， =(x， y， 1) ， Pl，= (xl， yl， zl， 1)。另外，K是被称为内部参数矩阵的3X4的矩阵，由焦 距、长宽比、图像平面和光轴的交点即图像中心的坐标等来决定。另外，s 是尺度参数。
另外，将以另外的摄像机坐标系X' Y' Z'表示Pl时的坐标设为P2= (x2， y2， z2)时，下述数学式6所表示的关系成立。 P2， =[R]P1， (数学式6)
其中，P2，是用齐次坐标表示P2， P2， 二 (x2， y2， z2, 1)。另外， [R]是从P1到P2的4X4的旋转矩阵。此外，将用图像坐标系表示P2的点 设为0= (u， v)时，和数学式5—样，由数学式7表示的关系成立。
SQ， =KP2， (数学式7)
其中，Q，是用齐次坐标表示Q， Q， = (u， v， 1)。另外，只要摄像机 的内部参数不变，K是一定的。汇总这些数学式，P和Q的关系中，由数学
19式8表示的关系成立。
Q， 二K[R]K—'P， (数学式8)
其中，K—'是K的逆矩阵。视场角由于可佩带照相机的佩带者的运动而 变化，这相当于增加上述摄像机坐标系的变换。认为内部参数矩阵K 一定 时，通过测定从之前对图像进行摄影时开始到下一次对图像进行摄影为止 的旋转，可以进行所摄影的图像间的对应。图8中总结了上述关系。而且， 也可以测定旋转来作为从规定在任意位置的原点和坐标轴开始的变化量， 以取代测定旋转来作为从之前对图像进行摄影时开始的变化量。 〈传感器的读取周期和图像处理的定时〉
接着，对传感器的读取周期和图像处理的定时进行说明。关于将哪个 时刻的传感器输出用于线段检测，理想的是希望传感器输出和摄影的定时 同步。
关于传感器的读取周期，如果在直接使用传感器的信号的情况下，可 以每33ms (每个帧)得到传感器的输出。而且，为了降低噪声，也可以每 1帧例如读取5次传感器的输出，并将其平均值作为与该帧对应的传感器输 出值。
可以以利用DSP等专用处理器为前提，例如每隔5帧进行图像处理的 定时。这种情况下，得到处理结果时，其是"200ms前的图像中的线段的角 度"，相对于"当前的图像中的线段的角度"产生偏差，但是，如果假定 该期间的运动很小，则不会产生问题。
综上所述，例如以30帧每秒的摄影为前提时，每帧(33ms)读出传感 器输出，每隔5帧(200ms)进行图像处理。 〈摄像装置的动作〉
图9是表示可佩带照相机100的动作流程的流程图。首先，摄像部IO 对图像进行摄像(步骤SIOI)。
传感部20与摄像部10的图像摄像同步，检测出表示受光面从水平或 垂直绕光轴旋转何种程度的旋转角(步骤S102)。具体来说，使用加速度 传感器的各轴方向的输出值，根据数学式3求出旋转角。
角度范围决定部31根据检测出的旋转角决定检测线段的角度范围(步 骤S103)。具体来说，设由传感部20得到的旋转角为e时，决定e土d)的范围，作为角度范围。
接着，线段检测部32从摄像图像中检测出1个以上的所决定的角度范 围的线段(步骤S104)。具体处理内容在〈线段检测处理〉中进行说明。
柱状图制作部33统计所检测的各线段的倾斜角，制作表示每个该角度 的频度的角度柱状图(步骤S105)。
图像处理部34判断所制作的角度柱状图中最高频度是否在预定的规定 阈值以上(步骤S106)。在规定阈值以上的情况下(步骤S106中Yes)， 判断为是实际旋转了对应该最高频度的倾斜角的角度，并用于对其进行校 正的处理(步骤S107)。具体来说，通过将反向旋转施加到所摄像的图像 上来进行校正，该反向旋转用于消除被判断为实际旋转的角度的倾斜角。 在小于规定阈值的情况下(步骤S106中No)，不进行校正，直接过渡到步 骤S亂
输出部40将图像记录在记录介质中(步骤S108)。
以上是可佩带照相机100的动作流程。如上所述，并非将由传感器检 测出的旋转角直接用于摄像图像的校正，而是将由传感器检测出的旋转角 用于限定进行线段检测处理时的角度范围，因此，可以减轻线段检测中的 处理负荷，并且实现精度的提高。 〈线段检测处理〉
接着，参照图10对Hough变换的线段检测处理的具体流程进行说明。 图10是表示Hough变换的线段检测处理流程的流程图。该流程图中，9 1、 0 2分别是基于传感部2O检测出的角度9由角度范围决定部31决定的角
度范围的下限值(e-(to和上限值(e+cb)。另外，变量i表示提取的
一个特征点，N表示特征点的总数。
首先，线段检测部32从所摄像的图像中提取可以认为线段存在的可能 性高的点即特征点(步骤S201)。特征点的提取中，可以应用适用检测图 像的边缘的滤波器等现有的方法。
将用于确定是第几个特征点的变量i的值初始化为1 (步骤S202)， 并将Hough变换的参数8的值初始化为9 1 (步骤S203)。
接着，对与参数空间相关的二维数组的单元进行投票(步骤S204)。 具体来说，关于提取的第i个特征点(xi， yi)，基于当前角度e的值，根据数学式4计算出p的值，使与参数空间中的(p， e)相关的二维数 组所对应的地址的频度仅增加i。通过这样的处理，数组的各地址中，存储 得到与该地址对应的(p， e)的频度。即，对于所有的特征点，通过执 行"投票"，可以得到一个二维数组u( p ， e)，基于该数组进行后述的 判断处理，检测出线段。
接着，判断角度e是否达到了角度范围的上限即上限值e2(步骤
S205)，未达到上限值6 2的情况下(步骤S205中No)，在角度8中加 上a 9成为新的角度e后(步骤S206)，过渡到步骤S204。
达到了上限值e 2的情况下(步骤S205中Yes)，判断i的值是否达 到了N(步骤S207)。未达到的情况下(步骤S207中No)，将i加上1 (步 骤S208)，并过渡到步骤S203。在达到了的情况下(步骤S207中Yes)， 进行判断处理(步骤S209)。具体来说，首先，选出频度大于规定阈值的
参数(p， e )的组，判断在与选出的参数(p ， e)对应的直线上是否
连续存在规定数量以上的特征点。在存在规定数量以上的情况下，判断为 实际存在线段。这是因为，并不限于直线上的全部像素成为特征点，还有 断断续续地存在特征点的情况。而且，在判断为实际存在线段的同时，根 据连续存在的特征点的起点和终点的位置可以知道线段的长度。对选择的
全部(p ， e )的组进行该处理，结束判定处理。 〈具体例子〉
接着，列举具体例子(图11 图14)，说明限制检测线段的角度范围 带来的效果。图11 (a)是表示由摄像部IO摄像的图像(校正前图像)的 图。摄像的图像约倾斜20。。
首先，对不限制检测线段的角度范围的情况进行描述。这种情况下， 通过线段检测处理，如图ll (b)所示，可以检测出图ll (a)所示的图像 中的全部线段。其结果是，如图12 (b)所示，用角度柱状图表示-90° ~90 °的范围的线段的倾斜角的频度。根据图12 (b)可知，可用于图像校正的 倾斜角为20。，但是，实际上-90°附近的倾斜角频度最高。因此，校正要 基于频度最高的倾斜角即-90°附近的倾斜角来进行。
这里，图12 (a)的实线所描绘的线段的倾斜角相当于频度最高的倾斜 角(即-90°附近的倾斜角)，而对本来应该是水平的建筑物和道路的边界线倾斜着进行摄影的结果是，这些线段在图像上看起来是倾斜的，在旋转 图像使这些线段在图像上是正横向即水平时，实际的水平不会成为图像的 正横向，结果成为倾斜的图像。
对此，在限制检测线段的角度范围的情况下，仅检测出由角度范围决
定部31决定的范围内的1条以上的线段，如图13 (b)所示，将该范围内 的各线段的倾斜角制作成角度柱状图。通过限制检测线段的范围，如图13 (b)所示可知，角度柱状图中频度最高的不是图12 (b)中频度最高的-90 °附近，而是可用于图像校正的倾斜角20° 。
这里，图13 (a)中，通过加速度传感器判断向下箭头的方向为竖直向 下，表示图13 (a)中除了箭头以外的实线所描绘的线段的倾斜角相当于频 度最高的角度。使图像旋转以使这些线段在图像上成为纵向即垂直，由此， 如图14所示，可以准确校正倾斜角。
这样，线段检测处理中，并非检测图像中的全部线段，而是仅检测从 由传感部20检测出的倾斜角e加减4)的范围内的线段，因此，可以实现
高效处理，并预先排除可能对最终的旋转角的推定产生不好影响的线段， 由此，可以实现精度的提高。
如上所述，根据本实施方式，根据传感器的误差分布决定检测线段的 范围，并在该范围内检测线段，由此，可以实现高效处理，并且，即使传 感器有误差，也可以从基于误差分布的范围内检测出线段，因此，可以高 精度地校正图像。
传感器输出的用法和以往大不相同，仅用作线段检测时的角度范围的 基准，图像校正根据柱状图中频度最高的角度来进行，因此，不会由外壳 固有的误差左右校正后的图像的可看性。
(实施方式2) 本实施方式中，使用似然函数推定倾斜角。 〈结构〉
下面，对本实施方式的可佩带照相机进行说明。
图15是本实施方式的可佩带照相机100a的功能框 。可佩带照相机 100a是在实施方式1的可佩带照相机100中追加存储部80的结构，另夕卜，和实施方 式1的可佩带照相机100相同。下面，仅对和可佩带照相机100不同的部 分进行说明。
存储部80存储着传感部20所具备的加速度传感器的每个角度的误差 概率分布数据，被校正处理部30a所参照，将误差概率分布数据输出到校 正处理部30a。每个角度的误差概率分布，例如在可佩带照相机出厂时预先 测定，并以可参照的形式存储。图16是误差概率分布表的例子，表示相对 于传感器的输出值的误差分布概率。例如，传感器的输出角度为2度的情 况下，和准确值的误差为O度的概率是O. 3818，误差为1度的概率是0. 2415。
图17是表示校正处理部30a的详细功能的图。校正处理部30a包括 从存储部80取得与由检测部20检测出的旋转角6对应的误差概率分布的 误差概率分布取得部35;以及根据误差概率分布和角度柱状图计算角度似 然的似然计算部36。 〈动作〉
接着，图18是表示可佩带照相机100a的动作流程的流程图。
和可佩带照相机100的区别在于步骤S303、 307、 308，其他步骤和可 佩带照相机100进行同样处理。
步骤S303中，误差概率分布取得部35从存储部80取得与步骤S302 中取得的传感器的输出对应的误差概率分布。图19表示误差概率分布的例 子，是传感器的角度输出为22.0。的情况下的概率分布。
步骤S307中，根据步骤S303中取得的误差概率分布和步骤S306中制 作的角度柱状图计算出角度似然。角度似然是表示正确角度的近似度的程
度，设角度为e 、角度柱状图为h (e)、误差概率分布为p (e)时，角
度似然y (9 )由数学式9定义。
y (e) = h (e) xp (e) (数学式9)
步骤S308中，比较y ( 0 )的最大值y max和预定的阈值，在y max 为阈值以上的情况下(步骤S308的Yes)，根据与ymax对应的角度9进 行图像校正。具体来说，通过使图像仅反向旋转与角度6相同的值，进行 图像校正。
如上所述，根据本实施方式，步骤S306中，即使在多个接近的角度、例如23°和28° ，柱状图的值变大的情况下，也可以根据数学式9的似然 函数反映传感器的误差分布，以推定图像的倾斜角，可以以更高精度进行 倾斜角的推定和校正。
(实施方式3)
实施方式2中，为了计算角度似然y ( 6 )而取得误差概率分布。不过， 传感部12使用加速度传感器的情况下，以由重力产生的加速度为基准测量 旋转角，因此，在动作状态下，混合测定了由动作引起的运动加速度和重 力加速度，与静止状态相比，测定误差变大。
因此，本实施方式中，分别存储静止时和动作时的误差概率分布，判 定可佩带照相机的动作状态并取得与动作状态对应的误差概率分布，由此 准确推定图像的倾斜角。 〈结构〉
本实施方式中的可佩带照相机100b，除了实施方式1的可佩带照相机 100的结构以外，还具有分别单独存储静止状态和动作状态的误差概率分布 的存储部80b，另外，具有校正处理部30b代替校正处理部30。其它的构 成部件的功能和实施方式1的可佩带照相机100相同。下面，仅对和可佩 带照相机100不同的部分进行说明。
存储部80b分别存储静止状态和动作状态的误差概率分布。图20 (a) 表示静止状态下的误差概率分布表。图20 (b)表示动作状态下的误差概率 分布表。在动作状态下，与静止状态相比误差变大，可知差分不为0的概 率变高。
图21是表示校正处理部30b的详细功能的图。校正处理部30b除了校 正处理部30a的结构以外，还包括根据传感器的输出值判定可佩带照相机 100b的动作状态的动作状态判定部37。
本实施方式中的误差概率分布取得部35b根据检测出的角度及判定的 动作状态，从存储部80b取得对应的误差概率分布。 〈动作〉
接着，图22是表示可佩带照相机100b的动作流程的流程图。 和可佩带照相机100a的区别在于步骤S403、 404，其他步骤和可佩带照相机100a进行同样处理。
步骤S403中，根据在步骤S402中取得的传感器的输出值推定可佩带 照相机100b的动作状态。动作状态表示静止中、动作中等可佩带照相机100b 的运动状态。动作状态判定部37例如计算出步骤S402的输出值的时序变 化，在该变化在预定的阈值以下的情况下判定为静止中，在比阈值大的情 况下判定为动作中。
另外，步骤S404中，根据步骤S403中判定的状态及步骤S402中取得
的传感器的输出值，取得对应的误差概率分布。
如上所述，根据本实施方式，可以判定可佩带照相机100b的动作状态， 并取得与动作状态对应的误差概率分布，可以更准确地校正图像。
(实施方式4)
上述实施方式中，每当计算出角度柱状图，就检测出摄像图像中的线 段，但是，也可以不检测摄像图像中的线段，而是计算图像中的各像素所 具有的亮度梯度即对比度的变化方向，并将其频度作为角度柱状图来处理。 这是因为，由于与其它区域的对比度的差较大，通过和其它区域的不同可 以察觉线段的存在，因此，即使将线段的检测作为局部对比度变化的检测， 也可以获得同样的效果。
图23表示本实施方式中的可佩带照相机100c的功能框图。可佩带照 相机100c具有校正处理部30c代替实施方式1的可佩带照相机100的校正 处理部30。其它的构成部件的功能和实施方式1的可佩带照相机100相同。 下面，仅对和可佩带照相机100不同的部分进行说明。
角度范围决定部31c根据从传感部20输入的旋转角，来决定制作角度 柱状图时的角度范围e ±》，并发送到柱状图制作部33c。
亮度梯度计算部32c从帧存储器70a取得由摄像部10摄像的图像，计 算所取得的图像中的各像素所具有的亮度梯度，并输出到柱状图制作部 33c。亮度梯度的计算的详细内容在〈亮度梯度的计算〉中进行说明。
柱状图制作部33c在从角度范围决定部31c输入的角度范围6 ±4>内， 统计从亮度梯度计算部32c输入的各像素具有的亮度梯度的频度，制作表 示每个亮度梯度的频度的角度柱状图。此后，选择频度最高的亮度梯度，并发送到图像处理部34c。
图像处理部34c从帧存储器70a取得作为校正对象的图像，根据从柱 状图制作部33c输入的亮度梯度进行图像处理，并将处理后的图像存储到 帧存储器70b 。
〈亮度梯度的计算〉
下面，参照图24、 25对求出像素的对比度的变化方向的方法进行说明。 图24中，将位置P上的图像I的像素值设为I (P)。位置P上的x方向、 y方向的对比度变化dx、 dy分别由dx=3 1 (P) /3 x， dy=3 1 (P) /3 y表 示。这时，将对比度的变化方向设为e时，e可以通过数学式IO求出。 e二tarT1 (dy/dx) (数学式10)
另外，如图24所示，当有通过位置P的线段时，该线段的方向是与e 正交的方向。
作为求出dx、 dy的方法，例如使用Sobel滤波器等滤波器。Sobel滤 波器是具有图25的系数的滤波器，用于分别测定图像的横向、纵向的对比 度的变化。
如上所述，根据本实施方式，在由角度范围决定部31c决定的角度范 围e±4>内，制作表示每个亮度梯度的频度的角度柱状图，根据其中频度 最高的亮度梯度进行校正，因此，可以提高校正的精度。
(变形例)
上面基于实施方式对本发明的摄像装置进行了说明，当然，本发明并 不限于上述实施方式。
(1)上述实施方式中，例如，也可以具有校正摄像部10所摄影的图 像的失真的失真校正部，并由校正处理部30根据校正后的图像进行校正。 这里所说的图像的失真特指由摄像部10的光学系统引起的畸变像差 (歪曲収差)。在残留有畸变像差的影响的情况下，本来现实世界中直线 状的物体在所摄影的图像上拍摄得弯曲。即使从这样的图像取得与倾斜角 相关的信息，也有可能不能正确反映现实世界的信息。通过对其进行校正， 可以将现实世界中直线状的物体在图像上也准确拍摄为直线，可以提高校 正的精度。而且，关于畸变像差的校正方法，例如可以使用下述非专利文献l所述的方法等。
非专利文献1: Roger Y. Tsai: "An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision" ， IEEE Conference on Computer Vision and Pattern Recognition, pp. 364-374， 1986
(2) 上述实施方式中，在制作角度柱状图时，例如，也可以进行对应 各线段长度的加权。由此，例如在有跨越图像的一端到另一端的显眼的线 段的情况下，通过提高其重要度，在存在很多短的线段的环境下也可以稳 定地推定全局性的倾斜角。
另外，也可以进行对应各线段角度的加权。例如，现实世界中垂直的 物体即使在摄影时俯仰方向、横摆方向改变，在图像中仍然会拍摄为垂直。 但是，现实世界中水平的物体，在不是正对其的情况下，在图像中会拍摄 得倾斜，实际的角度和图像中的角度很难取得对应。因此，图像中存在的 线段中，现实世界中接近垂直的角度的线段被认为对角度的可靠度高。这 时的加权的赋予方法，例如可以对对规定角度范围一律施以加权，也可以 越接近垂直越提高加权。另外，也可以根据传感部20具有的传感器的误差 分布来决定，例如，传感器的误差遵从平均u、标准偏差o的正态分布的 情况下，可以将该正态分布的概率密度函数的值本身用作加权。并且，也 可以以由传感器检测出的旋转角和构成图像的线段的倾斜角的差分越小越 增大加权的方式进行加权。
(3) 上述实施方式中，使用了压敏电阻型加速度传感器，但并不仅限 于此。例如，也可以是电容型或热检测型加速度传感器，或者罗盘(gyros)。
(4) 上述实施方式中，输出部40将由校正处理部30校正处理的图像 记录在记录介质中，但是，也可以在由摄像部10摄像的图像中附加并记录 旋转角，作为元数据。作为元数据的格式，存在EXIF (Exchangeable Image File Format)和MPEG (Moving Picture Expert Group) 7、 MPEG21这样 的标准规格，可以以符合这些规格的形式赋予元数据。另外元数据的格式 并不限于这里列举的例子，也可以是除此以外的标准规格或单独规格。另 外，也可以将元数据作为水印(透力、LO埋入图像数据内。
另外，也可以是，将表示由传感部20检测出的受光面的倾斜角的信息 作为元数据附加到由摄像部10摄影的图像中后，通信部50将附加了元数据的图像发送到外部的服务器，并在该服务器内进行图像校正。
(5) 上述实施方式中，》二ao，但是，也可以使4>的值为预先设定的值。
(6) 另外，上述实施方式中，当存在多个与角度柱状图中的最大频度 相当的角度时，也可以根据传感器的误差分布选择最适合校正的倾斜角。 具体方法是，可以考虑选择误差小的一方即接近传感器的输出角度的一方 的角度，作为最适合校正的角度。
(7) 上述实施方式1中，在步骤S106中最高频度的值小于阈值的情 况下(步骤S106中No)，图像处理部34不进行校正就结束处理，但是， 角度柱状图的最大频度小于规定阈值的情况下，也可以抑制根据与该最大 频度相当的倾斜角进行的图像校正，使用由传感部20检测出的旋转角进行 校正所摄像的图像的处理。
另外，进行从图像提取、识别特定的被摄体的处理，其结果是，在检 测出被摄体的情况下，也可以进行步骤S107的校正处理。作为这时可检测 出的被摄体，优选垂直站立着、和普通的树或电线杆或大楼一样以其存在 指示某方向的物体。具体来说，例如，在可以预先存储电线杆或大厦等的 图像，并使用图像识别技术，识别从所摄影的图像中提取的提取图像是所 存储的图像中的哪一个的情况下，根据提取图像的倾斜角进行校正。
而且，在传感部20中具备GPS (Global Positioning System)等位置
检测装置，由位置检测装置测定对图像进行摄影的位置，例如是在建有很 多大楼、即很可能存在很多水平或垂直的线段的城市中等特定位置摄影的 图像的情况下，也可以进行步骤S107的校正处理，来代替从图像检测出特 定的被摄体。具体来说，例如，使纬度、经度信息和表示城市等的场所信 息相对应地进行保存，在与相当于由GPS检测出的位置信息的纬度、经度 信息相对应的场所信息为预先设定的场所信息的情况下，进行校正。另外， 也可以不在可佩带照相机中保存使纬度、经度信息和表示城市等的场所信 息相对应的信息，而是从外部的服务器查询与由GPS检测出的位置信息对 应的场所信息。
(8) 另外，图9的流程图中，直接通过图像处理从所摄影的图像推定 倾斜角，但是，也可以进行利用由传感部20得到的角度等来校正图像的处理和从图像推定倾斜角的处理这两种处理。作为具体的方式，可以考虑首
先基于由传感部20得到的角度来校正图像，并在图像处理中补偿相当于传 感器误差的部分。
上述实施方式l中，如图10所示，图9的步骤S103中设定的角度范
围为i个范围，但是，也可以将角度范围设定为ei《e《e2、 e3《e《64……等多个范围，在这种情况下，分别对各范围反复进行图
10的步骤S203以后的步骤即可。
(9) 上述实施方式2中，如图16所示，按加速度传感器的角度的每1 度来列举误差概率分布，但是，也可以在其中间的角度值、例如1.5度等 值的情况下，对相对于前后的传感器角度的误差概率进行线性插补并使用。 同样，对于差分角度，也可以使用在相邻的角度间进行线性插补的值。
(10) 上述实施方式2中，存储部80中存储的加速度传感器的误差概 率分布，如图16所示，按照每个角度以表格的形式进行保存，但是，也可 以表现为以加速度传感器的输出角度为变量的数式模型。例如，也可以假 定加速度传感器的误差为高斯分布，将表现高斯分布的参数保存在存储部 80中，并在步骤S303中根据该参数进行计算。
同样，上述实施方式3中，也可以在存储部80b中分别存储静止状态 和动作状态的参数，并在步骤S404中根据对应于动作状态的参数计算误差 分布。
(11) 上述实施方式中，根据加速度传感器的误差分布确定以由传感 部20具备的加速度传感器检测出的旋转角为基准的范围，并从所摄像的图 像检测出该范围内的线段，但是，也可以在线段检测时不限制范围，从所 摄像的图像检测出线段，并制作表示每个检测出的线段的倾斜角的频度的 角度柱状图。此外，也可以在根据角度柱状图选择最适合校正的倾斜角时， 根据加速度传感器的误差分布确定以由传感部20具备的加速度传感器检测 出的旋转角为基准的范围，对制作的角度柱状图的该范围进行加权，并从 加权的范围选择最适合校正的倾斜角。
(12) 上述实施方式3中，也可以定义多个状态作为动作状态，并在 其每一个中定义误差概率分布。例如，可佩带照相机的佩戴者步行时和行
车时，由于运动的剧烈程度不同，可以认为产生的误差的分布也不同。通过对这些状态的每一种分别定义误差分布，可以根据动作状态更准确地推 定倾斜角。
(13) 上述实施方式中，作为摄像装置，以可佩带照相机为例进行了 说明，但是，也可以不限于可佩带照相机，例如是数字静态照相机、数字 摄像机及移动电话等。
(14) 上述实施方式中，对摄像装置进行了说明，但是，本发明也可 以是包含上述流程图所示步骤的方法、以及包含使计算机执行上述流程图 所示步骤的程序代码的程序，还可以是存储该程序的记录介质。
另外，上述各实施方式的构成也可以由作为典型的集成电路的LSI (Large Scale Integration)来实现。它们可以单独地单片化，也可以以 包含所有构成或部分构成的方式单片化。集成电路由于集成度的不同也被 称为IC、系统LSI、超大LSI、特大LSI。另外，集成电路的方法不限于LSI, 也可以使用专用电路或通用处理器来实现。并且，也可以使用FPGA (Field Programmable Gate Array)、或可以重构LSI内部的电路单元的连接或设 定的可重构(Reconfigurable)处理器。
并且，如果通过半导体技术的进步，或者通过衍生出来的另外的技术， 而出现替换现有的半导体技术的集成电路化技术，当然也可以使用该技术 进行功能块的集成。例如，可以考虑生物技术("、才技術)的应用等。
也可以分别组合上述实施方式及上述变形例。
另外，本发明的摄像装置，只要不脱离其范围，当然可以按照本发明 的主旨进行各种变形或修正。
产业上的可利用性
本发明的摄像装置，可用作校正由于照相机的运动引起的视场角的变 动的装置，可适用于以数字静态照相机为首的摄像装置，尤其是可佩带在 身上的摄像装置。
权利要求
1、一种摄像装置，通过对摄像图像实施旋转变换，校正摄像图像中的被摄体的倾斜，其特征在于，其具备摄像部；检测摄像部的物理倾斜的传感器；以及处理部，其基于由传感器检测到的物理倾斜，选择摄像图像的被摄体上表现出的多个角度成分中满足某一定基准的角度成分，作为用于旋转变换的旋转角。
2、 根据权利要求1所述的摄像装置，其特征在于 所述处理部具备图像处理部，其基于由传感器检测到的物理倾斜，对摄像图像进行图 像处理，以检测摄像图像的被摄体上表现出的多个角度成分；以及校正处理部，其执行对摄像图像的被摄体上表现出的多个角度成分的 统计处理，并选择多个角度成分中满足某一定基准的角度成分，作为用于 旋转变换的旋转角。
3、 根据权利要求2所述的摄像装置，其特征在于 所述图像处理是将摄像图像中的线段和其倾斜角一起检测出的处理， 基于所述物理倾斜的图像处理，是在以所述物理倾斜为基准确定了作为图像处理对象的角度范围之后，进行图像处理，所述统计处理，用于制作表示多个角度成分的频度分布的柱状图， 多个角度成分中满足某一定基准的角度成分，是制作的柱状图中具有满足某一定基准的频度的角度成分。
4、 根据权利要求1所述的摄像装置，其特征在于 所述处理部具备图像处理部，其对摄像部的摄像图像进行图像处理，以检测出摄像图 像的被摄体上表现出的多个角度成分；以及校正处理部，其基于由传感器检测到的物理倾斜，执行对摄像图像的 被摄体上表现出的多个角度成分的统计处理，并选择多个角度成分中满足 某一定基准的角度成分，作为用于旋转变换的旋转角。
5、 根据权利要求4所述的摄像装置，其特征在于摄像图像的被摄体上表现出的多个角度成分，是摄像图像的被摄体上表现出的亮度梯度所成的角度，所述统计处理用于制作表示多个角度成分的频度分布的柱状图， 基于所述物理倾斜的统计处理，是在以所述物理倾斜为基准确定了作为统计处理对象的角度范围之后，执行统计处理。
6、 根据权利要求3所述的摄像装置，其特征在于所述校正处理部，选择具有满足所述某一定基准的频度的角度成分中、 具有所述柱状图中的最大频度的角度成分，作为用于旋转变换的旋转角。
7、 根据权利要求1所述的摄像装置，其特征在于不存在满足所述某一定基准的角度成分的情况下，所述处理部选择由 所述传感器检测出的倾斜，作为用于旋转变换的旋转角。
8、 根据权利要求1所述的摄像装置，其特征在于 所述处理部还具备从所述摄像图像检测特定的被摄体的检测部， 不存在满足所述某一定基准的角度成分的情况下，所述处理部选择所述特定的被摄体的倾斜，作为用于旋转变换的旋转角。
9、 根据权利要求3所述的摄像装置，其特征在于 所述处理部还具备检测出自身装置位置的位置检测部， 不存在满足所述某一定基准的角度成分，并且由所述位置检测部检测出的位置是预先设定的特定位置的情况下，所述校正处理部选择具有所述 柱状图中的最大频度的角度成分，作为用于旋转变换的旋转角。
10、 根据权利要求3所述的摄像装置，其特征在于所述处理部还具备存储部，用于存储每单位角度的误差分布；以及误差分布取得部，其基于由所述传感器检测到的物理倾斜，从所述存储部取得与该倾斜相当的误差分布，所述校正处理部，选择与根据所述柱状图和由所述误差分布取得部取得的误差分布来计算的倾斜似然中最大的倾斜似然相当的角度成分，作为用于所述旋转变换的旋转角。
11、 根据权利要求3所述的摄像装置，其特征在于，其还具备-存储部，用于存储每单位角度的误差分布的关系式；以及误差分布计算部，其基于由所述传感器检测到的物理倾斜，根据所述关系式计算误差分布，所述校正处理部，选择与根据所述柱状图和由所述误差分布计算部计算出的误差分布来计算的倾斜似然中最大的倾斜似然相当的角度成分，作为用于所述旋转变换的旋转角。
12、 根据权利要求10所述的摄像装置，其特征在于所述存储部分别存储着自身装置的静止状态下的误差分布和动作状态下的误差分布，所述误差分布取得部基于由所述传感器检测到的物理倾斜判定自身装置的动作状态，判定的结果如果是静止状态，则取得所述静止状态下的误差分布，如果是动作状态，则取得所述动作状态下的误差分布。
13、 根据权利要求ll所述的摄像装置，其特征在于所述存储部分别存储着自身装置的静止状态下的误差分布的关系式和动作状态下的误差分布的关系式，所述误差分布计算部基于由所述传感器检测到的物理倾斜判定自身装置的动作状态，判定的结果如果是静止状态，则根据所述静止状态下的误差分布的关系式计算误差分布，如果是动作状态，则根据所述动作状态下的误差分布的关系式计算误差分布。
14、 根据权利要求2所述的摄像装置，其特征在于所述处理部还具备校正所述摄像图像的失真的失真校正部，所述图像处理部对校正后的摄像图像进行图像处理。
15、 根据权利要求3所述的摄像装置，其特征在于所述校正处理部，在所述柱状图示出多个角度成分的频度分布时，进行对各角度成分的频度的加权，从所述摄像图像检测到的线段的长度越长则所述加权越大。
16、 根据权利要求3所述的摄像装置，其特征在于所述校正处理部，在所述柱状图示出多个角度成分的频度分布时，进行对各角度成分的频度的加权，从所述摄像图像检测到的线段越接近垂直则所述加权越大。
17、 根据权利要求3所述的摄像装置，其特征在于所述校正处理部，在所述柱状图示出多个角度成分的频度分布时，进行对各角度成分的频度的加权，由所述传感器检测到的物理倾斜和从所述摄像图像检测到的线段的倾斜角的差分越小则所述加权越大。
18、 一种方法，通过对摄像图像实施旋转变换，校正摄像图像中的被摄体的倾斜，其特征在于，其具备检测摄像部的物理倾斜的步骤；以及根据检测到的物理倾斜，选择摄像图像的被摄体上表现出的多个角度成分中满足某一定基准的角度成分，作为用于旋转变换的旋转角的步骤。
19、 一种系统集成电路，其设在摄像装置中，该摄像装置通过对摄像图像实施旋转变换，校正摄像图像中的被摄体的倾斜，其特征在于，其具备摄像部；检测摄像部的物理倾斜的传感器；以及处理部，其基于由传感器检测到的物理倾斜，选择摄像图像的被摄体上表现出的多个角度成分中满足某一定基准的角度成分，作为用于旋转变换的旋转角。
20、 一种程序，用于使计算机执行通过对摄像图像实施旋转变换来校正摄像图像中的被摄体的倾斜的处理，其特征在于，其具备检测摄像部的物理倾斜的程序；以及根据检测到的物理倾斜，选择摄像图像的被摄体上表现出的多个角度成分中满足某一定基准的角度成分，作为用于旋转变换的旋转角的程序。
全文摘要
本发明提供一种摄像装置，通过对摄像图像实施旋转变换，校正摄像图像中的被摄体的倾斜，该摄像装置在以传感器检测到的物理倾斜为基准确定了作为图像处理对象的角度范围之后，对摄像图像进行图像处理，以将摄像图像中的线段和其倾斜角一起检测出来，此后，制作表示线段的倾斜角的频度分布的柱状图，并选择制作的柱状图中具有满足某一定基准的频度的倾斜角，作为用于旋转变换的旋转角。
文档编号H04N1/387GK101690166SQ20088002191
公开日2010年3月31日 申请日期2008年6月5日 优先权日2007年6月27日
发明者木村雅之, 田川润一 申请人:松下电器产业株式会社