专利名称：图像模糊补偿装置的制作方法
技术领域：
本发明主要涉及根据图像信号来检测由监视照相机的振动或摇晃引起的画面整体的运动向量的装置、及对监视照相机的振动或摇晃引起的画面整体的无用的模糊进行补偿的装置。
背景技术：
作为现有的运动向量检测装置，图10是应用了该现有的运动向量检测装置的图 像模糊补偿装置的框图。1001是图像信号的输入端子，1002是各检测区域的区域向量检测部。1003是向量的可靠度判定部，1006是图像向量决定部。1007是模糊补偿部。在如上所述构成的图像模糊补偿装置中，首先向输入端子1001输入至少2帧以上的时间上连续的图像信号。在各检测区域的区域向量检测部1002中，如图11的1101、1102、1103、1104所示，在图像内预先确定4个向量检测区域，针对2帧之间的各检测区域，作为相关值而分别求出偏移了规定范围的量(i，j) imin < i < imax、jmin < j < jmax的位置上的信号之差Σ |AL|(i，j)，检测给出其值的最小值的偏移(i'，j,)，这就成为各检测区域的向量。再有，求出该相关值的最小值、平均值、最大值，与向量的值一起向可靠度判定部1003及图像向量决定部1006输出。在可靠度判定部1003及图像向量决定部1006中，如图12的流程图所示，根据各区域的相关值的最小值、平均值、最大值来判定向量的可靠性，若判定为有可靠性的区域的向量的大小和方向性一致，则将它们的向量的平均值决定为画面整体的运动向量来输出。另外，在并不一致的情况下，输出O向量。模糊补偿部1007具备存储I帧以上的图像信号的存储单元，通过控制从此处读取图像信号的读取位置而对模糊进行补偿。具体是，如图13所示，在输入模糊较大的图像时，针对第η-I帧1301及第η帧1302的输入图像信号，以由图像向量决定部1006输入的运动向量1303为基础，在对该运动进行补偿的方向1304上，使读出的图像信号的画面从1305向1306并行地移动。再有，通过插值等执行画面放大等操作，输出模糊少的I个画面大小的图像信号1307、1308(例如，参照专利文献I)。以上所说明的是根据相关值的最小值、平均值、最大值来判定向量的可靠性，但也存在以下各种方法根据相关值的最小点及其周围的点的值之差、即最小点周围的斜率来判定向量的可靠性的方法；还有仅利用最小值进行判定等根据相关值的状态来判定可靠性的方法。再有，也有时以权重表示可靠性的判定，将利用该权重对向量进行加权平均之后的值作为画面整体的运动向量来输出。还有，现有的运动向量检测装置大多在移动物进入了画面内的情况下输出O向量，或者检测将移动物的运动相加之后的向量。因而，现有的模糊补偿装置可以防止补偿被中断或者检测将移动物的运动相加后的向量而在与摄影者的意图方向不同的方向上补偿画面的状况。具体是，如图14的流程图所示，在画面中设置多个检测区域，按照每个检测区域求出运动向量，并判定可靠性，根据对画面整体的运动向量的一致度，进行判定结果从无可靠性到有可靠性的变更，从而进行运动向量的可靠性判定。再有，如图15的1501、1502、1503、1504所示，在画面中并不是在纵向、横向上排列而是错开设置多个检测区域来求出运动向量，并判定运动向量的可靠性，由此即便在移动物通过画面的情况下，时间模糊补偿也不会中断，不会产生在不是摄影者想要的方向上对画面进行补偿的误动作(例如，参照专利文献2) ο在先技术文献专利文献专利文献I JP特开昭61-269475号公报专利文献2 JP特开平2-157980号公报
发明内容
(发明要解決的技术课题)然而，在上述的构成中，在照相机被固定设置的情况下，会产生以下问题若检测区域始终为可靠性低的状态，则输出O向量，或者由于检测出相加了大的误差的向量，故无法进行正常的补偿。再有，在按照照相机旋转的方式使画面整体移动的情况下，由于检测出相加了照相机旋转的运动量的向量，故会产生在未意图的方向上画面被补偿的误动作。鉴于以上情况，本发明的课题是基于可靠性高的图像整体的运动向量而正常补偿图像整体的模糊。(用于解決课题的技术手段)为了解决上述课题，根据本发明提出了以下的解决方法。即，图像模糊补偿装置具备分别检测图像内的多个区域的运动向量的区域向量检测部；判定多个区域的运动向量各自的可靠度的可靠度判定部；取代已检测出被判定为可靠度低的运动向量的区域而向区域向量检测部指示新的检测对象区域的区域指示部；根据被判定为可靠度高的运动向量来计算图像整体的运动向量的图像向量计算部；以及根据图像整体的运动向量而使应该输出的图像整体移动以补偿图像的模糊的模糊补偿部。由此，在区域的运动向量的可靠度低的情况下，重复进行新的检测对象区域的运动向量的检测、和可靠度的判定。由此，由于在各区域内检测到的运动向量的可靠度得到提高，故计算出的图像整体的运动向量的可靠性提高。优选上述图像模糊补偿装置还具备旋转判定部，判定生成被输入到该图像模糊补偿装置中的图像的摄影单元是否正在进行旋转动作；以及旋转向量计算部，计算因摄影单元的旋转动作引起的图像的运动向量，该旋转向量计算部基于由图像向量计算部计算出的运动向量、和自身最近刚刚计算出的运动向量，重新计算运动向量。而且，模糊补偿部还根据由旋转向量计算部计算出的运动向量来补偿图像的模糊。由此，通过取相加了照相机旋转时画面整体移动了的时候得到的照相机旋转的运动量之后的运动向量、与照相机旋转的运动向量之差，从而能够仅求出照相机摇晃的运动向量，因此即便在照相机旋转时也能够进行正常的模糊补偿。由此，不需要使照相机旋转的机械控制的动作精密且使其以均衡的速度工作的机械动作引起的防振设计，故可以实现成本的削减。或者，上述图像模糊补偿装置也可以具备获取被输入到摄影单元中的外部信息的外部信息获取部，该摄影单元生成被输入到该图像模糊补偿装置中的图像。此时，区域指示部基于外部信息来决定新的检测对象区域。(发明效果)根据本发明，即便在照相机旋转的情况下，也能够基于可靠性高的图像整体的运动向量来正常补偿图像整体的模糊。
图I是表示本发明一实施方式涉及的图像模糊补偿装置的构成的框图。图2是表示图I的图像模糊补偿装置的动作的流程图。图3是表示图I的区域向量检测部的动作的流程图。图4是用于说明运动向量的图。图5是用于对图I的图像模糊补偿装置的自动聚焦信息的获取方法进行说明的图。图6是用于对图I的图像模糊补偿装置的新检测对象区域的决定方法进行说明的图。图7是表示由图I的外部信息获取部获取了外部信息时的动作的流程图。图8是表示照相机旋转时的图像整体的运动向量、和因照相机的旋转动作引起运动向量被删除的图像整体的运动向量的图表。图9是搭载了图I的图像模糊补偿装置的网络监视照相机的构成图。图10是表示应用了现有的运动向量检测装置的图像模糊补偿装置的构成的框图。图11是表示在图10的图像模糊补偿装置中检测区域的运动向量的检测区域的图。图12是表示图10的图像模糊补偿装置的动作的流程图。图13是用于对通过图10的图像模糊补偿装置补偿了图像的模糊的情况进行说明的图。图14是表示现有的其他图像模糊补偿装置的动作的流程图。图15是表示图14的图像模糊补偿装置的检测区域的配置例的图。
具体实施例方式图I是本发明一实施方式涉及的图像模糊补偿装置的框图。本实施方式中的图像模糊补偿装置对从作为摄影单元的照相机输入的图像的模糊进行补偿。向输入端子101输入利用照相机拍摄到的图像。区域向量检测部102分别检测图像内的多个检测区域的运动向量。可靠度判定部103对多个检测区域的运动向量各自的可靠度进行判定。照相机控制部104从照相机的例如自动聚焦(以下称为AF)信息中获取图像内的多个区域的频率分量。照相机控制部104也可以根据照相机的自动曝光(以下称为AE)信息获取图像内的多个区域的亮度信息。再有，照相机控制部104还可获取照相机的白平衡信息。或者，照相机控制部104在照相机构成为例如通过电机等机械控制而能够进行旋转动作的情况下也可以获取表示照相机是否正在进行旋转动作的信息。区域指示部105取代检测到由可靠度判定部103判定为无可靠性的运动向量的检测区域，向区域向量检测部102指示新的检测对象区域。再有，区域指示部105也可以将由照相机控制部104获取的频率分量、亮度比较高的区域设为有可靠性来决定为新的检测对象区域。或者，区域指示部105还可以基于由外部信息获取部108获取的外部信息来决定新的检测对象区域。图像向量计算部106根据由可靠度判定部103判定为有可靠性的运动向量，计算图像整体的运动向量。模糊补偿部107根据图像整体的运动向量，使应该输出的图像整体移动，以补偿图像的模糊。外部信息获取部108获取被输入到照相机中的例如时刻信息、天气信息或者风向、风量等外部信息。旋转向量计算部109计算因照相机的旋转动作引起的图像的运动向 量。具体是，旋转向量计算部109在由照相机控制部104判定为照相机处于旋转动作中的情况下，基于自身上一次计算出的向量、和由图像向量计算部106计算出的向量，重新计算出向量。再有，旋转向量计算部109也可以计算从对照相机指示停止旋转动作起直到照相机实际停止为止的向量。由此，可以计算因对照相机的旋转动作进行控制的机械惯性力消失而引起的微小的运动向量。利用图2对所输入的摄影图像因外在原因而发生变化时的动作进行说明。在步骤S201中，从输入端子101输入η帧的图像信号。在步骤S202中，由区域向量检测部102获取各区域的运动向量的相关值。在步骤S203中，由可靠度判定部103判定各区域的相关值的状态，将不符合条件的相关值判定为无可靠性，作为判定结果(判定I)。接着，在步骤S204中，取被判定为有可靠性的区域的向量、和上一帧的后述判定3的判定结果的“与”逻辑，在判定2中，仅将两个判定结果均为有可靠性的向量判定为有可靠性。其中，最初的帧由于未得到上一帧的判定3的判定结果，故判定2与判定I的结果相同。接着，在步骤S205中，将在判定2的判定结果中被判定为有可靠性的各区域的运动向量的中间值(按照大小顺序排列时位于中间的值，其中若是偶数个则是靠近中间的位置处的2个值的平均值)决定为图像整体的运动向量。再有，图像整体的运动向量被反馈到步骤S207的各区域的向量的可靠性判定3。在判定3中，被反馈的向量和各区域的向量在规定范围内一致，且判定I的判定结果成为有可靠性的区域被判定为有可靠性。该结果在下一帧中用于判定2。接着，在S208中,在判定3的判定结果为无可靠性的区域中，在任意的恒定期间内都为无可靠性的情况下，该区域就被判定为作为向量的检测区域而言是不恰当的区域。于是，由照相机控制部104获取的例如频率分量比较高的区域被决定为新的检测对象区域。其中，决定新的检测对象区域之后的第I帧是对来自决定前的图像的向量进行检测的，故不会成为正常的值，因此在新的检测对象区域中通过将判定3的结果设为无可靠度，从而决定新的检测对象区域之后，从2帧后开始正常地実施处理。接着，利用图3对S202的各检测区域的向量检测方法进行说明。在S301中，输入图像和上一次输入时的代表点存储器的信息，根据上一次代表点和本次代表点的差分来检测运动向量。此时，在S302中保管本次代表点，以便在下一次输入时使用。利用图4说明运动向量。在图4中，401为第η帧图像的代表点、402为第η+1帧图像的代表点、403为第η+2帧图像的代表点、404为第η帧图像的代表点、405为第η+1帧图像的代表点、406为第η+2帧图像的代表点。407、408分别是在第η+1帧、第η+2帧中被检测的帧间的运动向量。接着，对S208中的AF信息的获取方法和新的检测对象区域的决定方法进行说明。图5的501表示输入图像整体，502表示AF的I个框，503表示在AF框的最大设定框数为9个时设有9个框的区域。通过以输入图像的I帧为单位，如504的箭头所示那样使9个框移动，从而数帧(I帧以上)之后可获取图像整体的频率分量。AF的获取信息并非一定要从画面整体获取，也可以仅使用特定的区域。接着，对根据所获取的频率分量来决定新的检测对象区域的方法进行说明。图6的601表示输入图像整体，602、603、604、605表示检测区域，606表示通过图5示出的方法获取的各AF框。例如607是根据AF信息而言频率分量低且为低对比度区域，且处于检测区域602没有可靠性的状态。而且，608是根据AF信息而言频率分量高且高对比度区域。此时，在S208的处理中，作为取代检测区域602的新的检测对象区域，根据AF信息，决定高对比度区域且不与其他检测区域重叠的区域。
除了 AF信息以外，也可以利用AE等亮度信息，在设置低亮度及高亮度的阈值且是阈值以上的低亮度或高亮度的情况下，且在检测区域的可靠性不存在的情况下，将亮度处于阈值内的区域决定为新的检测对象区域。再有，作为在S208中不使用来自照相机控制部104的信息的情况下决定新的检测对象区域的方法，利用图7对使用在S209中获取的外部信息的情况进行说明。在S701中，由外部信息获取部108获取时刻、天气、风向风量等外部信息。在S702中判定伴随于所获取的信息的结果，照相机的设置场所周边的状况是否发生了变化(如果是时刻、天气信息，则是根据时间的不同而日照条件或照明的点亮引起的摄影图像的变化；如果是风向风量，则是进入了旗或布类等的与摄影图像相关的风引起的旗或布类等的运动的变化)。假设在没有状况变化的情况下，在S705中基于可靠度来决定新的检测对象区域(S208的处理)。在S706中，将外部信息与具有可靠性的检测区域的位置信息建立对应关系后记录。另一方面，在存在状况变化的情况下，在S703的处理中，根据S706中记录的过去的履历来获取与当前的外部信息一致的检测区域中的可靠性最高的检测区域。在S704中，将所获取的检测区域作为新的检测对象区域的候补来通知。在S705中，在存在通知的情况下，取代恒定期间内无可靠性的检测区域，将有通知的检测区域决定为新的检测对象区域。接着，利用图8，对在图2的S210中照相机执行旋转动作的情况进行说明。图8表示照相机旋转时的模糊补偿向量值，801表示按每帧决定的向量值。802表示从照相机的旋转动作开始到照相机的旋转动作停止为止的期间。该期间802的补偿向量值由于相加了因照相机的旋转动作引起的运动量，故比稳定时的向量值大。在期间802内，每次照相机进行旋转动作时，在旋转向量计算部109中计算照相机旋转量Ms (η)。具体是,如果将由图像向量计算部106计算出的向量值设为Μ(η)、将由旋转向量计算部109上一次计算出的照相机旋转量设为Ms (η-1)、将系数设为K (例如O. I),则Ms (η)可以表示为Ms (η)=(Μ(n) XK+Ms(n-1) X (l_K))/2。而且，通过将Ms (n)与Μ(η)之差作为照相机的模糊向量来进行模糊补偿处理，从而如803所示，可以仅对删除了照相机旋转的运动量的照相机的模糊进行补偿。另外，作为Ms (η)的计算方法，也可以采用卡尔曼滤波器等推断滤波器或图形识别等。〈应用例〉
图9是搭载了图I的图像模糊补偿装置的网络监视照相机的构成图。该网络监视照相机由摄像元件901、摄像元件驱动部902、LSI部903、外部存储器910、监视管理部911构成。被摄体的像在摄像元件901中成像，根据摄像元件驱动部902的驱动定时而被光电变换之后，作为模拟信号来输出。而且，进行模拟信号的放大或除噪等处理，将模拟信号变换为数字信号之后输入给LSI部903。LSI部903将外部存储器910用作工作区域，由作为图I的图像模糊补偿装置的数字信号前处理部904对已被变换为数字信号的摄像信号进行补偿之后输出。在数字信号前处理部904中，从照相机控制部906向模糊补偿部905输入照相机信息，从监视管理部911经由网络并通过网络收发部909而向模糊补偿部905输入外部信息。数字信号前处理部904以输入信息为基础，利用图2的S201 S210的处理来求出图像整体的运动向量，并依据所求出的运动向量对图像进行补偿之后输出。颜色信号处理部907根据经过补偿的信号，生成并输出由亮度信号与颜色信号组成的影像信号。图像信号压缩处理部908对图像进行压缩，向网络收发部909输出压缩数据。网络收发部909 经由网络向监视管理部911发送压缩后的数据，监视管理部911对接收到的压缩数据进行解压缩，以进行监视。(产业上的可利用性)本发明涉及的图像模糊补偿装置由于不管照相机的设置场所如何都能够进行模糊补偿，且不需要检测摇晃的特殊的传感器，再有不需要使照相机旋转的机械控制动作精密且使其以均衡的速度工作的机械动作所带来的防振设计，故可以实现成本的削减，因此例如对监视照相机、WEB照相机等网络照相机、或车载照相机、行车记录仪等汽车搭载用照相机等来说是有用的。符号说明102区域向量检测部103可靠度判定部104照相机控制部(亮度获取部、频率分量获取部、旋转判定部)105区域指示部106图像向量计算部107模糊补偿部108外部信息获取部109旋转向量计算部
权利要求
1.一种图像模糊补偿装置，具备 区域向量检测部，其分别检测图像内的多个区域的运动向量； 可靠度判定部，其判定所述多个区域的运动向量各自的可靠度； 区域指示部，其取代已检测出被判定为所述可靠度低的运动向量的区域而向所述区域向量检测部指示新的检测对象区域； 图像向量计算部，其根据被判定为所述可靠度高的运动向量，计算图像整体的运动向量;和 模糊补偿部，其根据所述图像整体的运动向量，使应该输出的图像整体移动，由此对图像的模糊进行补偿。
2.根据权利要求I所述的图像模糊补偿装置，其中， 该图像模糊补偿装置还具备获取图像内的多个区域的亮度的亮度获取部， 所述区域指示部将亮度比较高的区域决定为所述新的检测对象区域。
3.根据权利要求I所述的图像模糊补偿装置，其中， 该图像模糊补偿装置还具备获取图像内的多个区域的频率分量的频率分量获取部， 所述区域指示部将频率分量比较高的区域决定为所述新的检测对象区域。
4.根据权利要求3所述的图像模糊补偿装置，其中， 所述频率分量获取部根据生成被输入到该图像模糊补偿装置的图像的摄影单元的自动聚焦信息，获取所述频率分量。
5.根据权利要求I所述的图像模糊补偿装置，其中， 所述图像模糊补偿装置还具备 旋转判定部，其判定生成被输入到该图像模糊补偿装置的图像的摄影单元是否正在进行旋转动作；以及 旋转向量计算部，其计算因所述摄影单元的旋转动作引起的图像的运动向量，该旋转向量计算部基于由所述图像向量计算部计算出运动向量、和自身最近刚刚计算出的运动向量，来重新计算运动向量， 所述模糊补偿部还根据所述旋转向量计算部计算出的运动向量来补偿图像的模糊。
6.根据权利要求5所述的图像模糊补偿装置，其中， 所述旋转向量计算部计算出从向所述摄影单元指示旋转动作的停止开始直到实际上旋转动作停止为止的所述摄影单元的旋转动作引起的图像的运动向量。
7.根据权利要求I所述的图像模糊补偿装置，其中， 所述图像模糊补偿装置还具备获取被输入到摄影单元中的外部信息的外部信息获取部，其中，所述摄影单元生成被输入到该图像模糊补偿装置中的图像， 所述区域指示部基于所述外部信息来决定所述新的检测对象区域。
8.根据权利要求7所述的图像模糊补偿装置，其中， 所述外部信息是时刻信息。
9.根据权利要求7所述的图像模糊补偿装置，其中， 所述外部信息是天气信息。
10.根据权利要求7所述的图像模糊补偿装置，其中， 所述外部信息是风量及风向。
11.根据权利要求7所述的图像模糊补偿装置，其中， 所述区域指示部将所述外部信息和所述新的检测对象区域建立对应关系之后进行记录，在由所述外部信息获取部最近刚刚获取的外部信息和该记录的外部信息一致的情况下，将与该记录的外部信息建立了对应关系的区域决定为所述新的检测对象区域。
12.一种监视照相机系统，其中，具备权利要求I所述的图像模糊补偿装置。
全文摘要
本发明提供一种图像模糊补偿装置，其具备分别检测图像内的多个区域的运动向量的区域向量检测部(102)；判定多个区域的运动向量各自的可靠度的可靠度判定部(103)；取代已检测出被判定为可靠度低的运动向量的区域而向区域向量检测部指示新的检测对象区域的区域指示部(105)；根据被判定为可靠度高的运动向量来计算图像整体的运动向量的图像向量计算部(106)；以及根据图像整体的运动向量而使应该输出的图像整体移动以补偿图像的模糊的模糊补偿部(107)。
文档编号H04N5/225GK102792673SQ20118001288
公开日2012年11月21日 申请日期2011年1月21日 优先权日2010年3月10日
发明者岩桥贤二 申请人:松下电器产业株式会社