专利名称：用于图像稳定的系统和方法及使用该方法的变焦相机的制作方法
技术领域：
与示例性实施例一致的方法和设备涉及通过图像处理进行图像稳定以及一种包括图像稳定功能的变焦相机(zoom camera)。
背景技术：
近来，在建筑物和街道安装了很多监视相机，以防止犯罪和偷窃。通过警察局或大楼管理处中的监视器，监视相机拍摄的图像显示安装有监视相机的地方的当前状态。通常，监视相机具有变焦功能以放大或缩小目标，从而为用户提供更多的便利。然而，在具有变焦功能的监视相机中，当诸如多个透镜组和电荷耦合装置(CCD)的成像装置安装在监视相机中时，或者由于诸如光学系统的公差的各种因素，会出现光轴误差，因此，监视相机的光轴根据可变焦距的变化而改变。图1A至图1C是示出在变焦相机拍摄的图像中出现光轴误差时的图像。参照图1，图1A中标记有“ + ”的部分表示图像的中心区域。然而，比较图1A中的图像与图1B中的图像，图1A中的标记有“ + ”的中心部分移动，如图1B所示，这表明出现了光轴误差。因此，如图1C所示，需要一种补偿光轴误差的方法，从而即使在图像被放大之后，图像的中心区域也保持在其原始位置处。通常，已经提出了机械的图像稳定的方法。然而，这种方法的问题在于，如果物理冲击在补偿光轴误差之后施加到相机，或者如果经过了很长的时间，则应该再次对相机应用物理补偿。
发明内容
一个或多个示例性实施例提供了这样一种方法和系统，S卩，通过图像处理确定输入图像是否包括代表性特征部分，当输入图像包括代表性特征部分时通过使用图像匹配方法进行图像稳定，如果输入图像不包括代表性特征部分，则通过使用光流信息补偿光轴误差；一个或多个示例性实施例还提供了一种包括图像稳定功能的变焦相机。根据示例性实施例的一方面，提供了一种图像稳定的方法，所述方法包括:确定输入图像是否包括代表性特征部分；如果确定输入图像包括代表性特征部分，则对代表性特征部分进行采样，以产生采样图像；放大采样图像，将放大图像与采样图像进行匹配，并获得匹配图像的中心坐标；以及通过计算匹配图像的中心坐标和采样图像的中心坐标之间的差使光轴对准。代表性特征部分可具有高于预定等级的亮度等级或者包括预定的形状，并且从输入图像中的多个特征部分中选择代表性特征部分。确定输入图像是否包括代表性特征部分的步骤可包括:从输入图像提取多个特征部分；从提取的特征部分中选择具有预定特征的候选特征部分；以及如果放大的采样图像包括候选特征部分，则确定输入图像包括代表性特征部分，如果放大的采样图像不包括候选特征部分，则确定输入图像不包括代表性特征部分。将放大的采样图像与采样图像进行匹配的步骤可包括:如果以等于或小于2.5的放大率放大采样图像，则执行尺度不变特征变换(SIFT)匹配。将放大的采样图像与采样图像进行匹配的步骤可包括:如果以等于或大于2.5的放大率放大采样图像，则通过以放大采样图像所采用的放大率调整采样图像的大小来执行模板匹配。根据另一示例性实施例的方面，提供了一种图像稳定的方法，所述方法包括:确定输入图像是否包括代表性特征部分；如果确定输入图像不包括代表性特征部分，则在输入图像的放大过程中计算输入图像的光流；通过使用从计算的光流获得的光流信息来获得光轴误差信息；通过使用获得的光轴误差信息使光轴对准。计算光流的步骤可包括:在输入图像的放大过程中根据预定数量的帧获得输入图像。获得光轴误差信息的步骤可包括:基于距离输入图像的中心的至少一个距离和在所述至少一个距离中的每个距离处的至少一个方向形成光流柱状图。只有在所述至少一个距离中的每个距离处的光流的最小值和最大值的方向相互对称的情况下，才可获得光轴误差信息。可基于在所述至少一个距离的每个距离处的光流的平均值和最小值的差获得光
轴误差信息。根据另一示例性实施例的方面，提供一种图像稳定系统，所述图像稳定系统包括:代表性特征部分存在确定单元，确定输入图像是否包括代表性特征部分；采样单元，如果确定输入图像包括代表性特征部分，则采样单元对代表性特征部分进行采样以产生采样图像；匹配单元，放大采样图像，将放大图像与采样图像进行匹配，并获得匹配图像的中心坐标；以及光轴对准单元，通过计算匹配图像的中心坐标和采样图像的中心坐标之间的差使光轴对准。代表性特征部分可具有高于预定等级的亮度等级或者包括预定的形状，并且从输入图像中的多个特征部分中选择代表性特征部分。代表性特征部分存在确定单元可从输入图像提取多个特征部分，从提取的特征部分中选择具有预定特征的候选特征部分，如果放大的采样图像包括候选特征部分，则确定输入图像包括代表性特征部分，如果放大的采样图像不包括候选特征部分，则确定输入图像不包括代表性特征部分。如果以等于或小于2.5的放大率放大采样图像，则匹配单元通过尺度不变特征变换(SIFT)匹配将放大的采样图像和采样图像进行匹配。如果以等于或大于2.5的放大率放大采样图像，则匹配单元通过以放大采样图像所采用的放大率调整采样图像的大小来通过模板匹配将放大的采样图像和采样图像进行匹配。根据另一示例性实施例的方面，提供了一种图像稳定系统，所述图像稳定系统包括:代表性特征部分存在确定单元，确定输入图像是否包括代表性特征部分；光流计算单元，如果确定输入图像不包括代表性特征部分，则光流计算单元在输入图像的放大过程中计算输入图像的光流；误差信息提取单元，通过使用从计算的光流获得的光流信息来获得光轴误差信息；光轴对准单元，通过使用获得的光轴误差信息使光轴对准。光流计算单元可通过在输入图像的放大过程中根据预定数量的帧获得输入图像来计算光流。误差信息提取单元可基于距离输入图像的中心的至少一个距离和在所述至少一个距离中的每个距离处的至少一个方向形成光流柱状图来获得光轴误差信息。只有在所述至少一个距离中的每个距离处的光流的最小值和最大值的方向相互对称的情况下，误差信息提取单元才可获得光轴误差信息。误差信息提取单元可基于在所述至少一个距离的每个距离处的光流的平均值和最小值的差获得光轴误差信息。根据另一示例性实施例，提供了一种变焦相机，所述变焦相机包括:代表性特征部分存在确定单元，确定输入图像是否包括代表性特征部分；光轴误差计算单元，如果代表性特征部分存在确定单元确定输入图像包括代表性特征部分，则通过将包括代表性特征部分的采样部分与放大的采样部分进行匹配来获得光轴误差信息，如果代表性特征部分存在确定单元确定输入图像不包括代表性特征部分，则通过计算与输入图像对应的至少两个图像之间的光流信息来计算光轴误差信息；以及光轴对准单元，通过使用获得的光轴误差信息补偿光轴误差。
通过参照附图详细地描述以上和其它方面的示例性实施例，以上和其它方面将变得更清楚，在附图中:图1A至图1C是示出在变焦相机拍摄的图像中出现光轴误差时的图像；图2是根据示例性实施例的图像稳定系统的框图；图3A至图3D是示出根据示例性实施例的用于检测代表性特征部分的示例的示图；图4是示出根据示例性实施例的可能出现光轴误差的方向近似为八个方向的示图；图5A至图5C是分别示出了根据示例性实施例的通过对图1A至图1C中的图像进行采样获得的图像、对采样采样的图像进行放大获得的图像以及将区域进行匹配获得的图像的示图；图6是示出了根据示例性实施例的当光轴向右上方移动时根据距离图像中心的距离的光流的大小信息的示图；图7是用于描述根据示例性实施例的图像稳定系统的流程图；图8是用于描述根据示例性实施例的确定图像是否包括代表性特征部分的方法的流程图；图9是用于描述根据示例性实施例的光流计算单元计算光流的过程的流程图；和图10是用于描述根据示例性实施例的误差信息提取单元通过使用光流信息提取光轴误差的过程的流程图。
具体实施例方式现在将参照附图更充分地描述本发明构思，在附图中示出了本发明构思的示例性实施例。将详细地描述示例性实施例，从而本领域的普通技术人员可以容易地实现本发明构思。应该理解的是，本发明构思的示例性实施例可改变，但不是相互排斥的。例如，在不脱离本发明构思的精神和范围的情况下，根据本说明书中的预定实施例的具体形状、结构和性能可在其它实施例中进行变型。另外，在不脱离本发明构思的精神和范围的情况下，每个示例性实施例的单独组件的位置或布局也可以进行变型。因此，下面的详细描述不应该被解释为具有限制的意思，而是应该被解释为包含权利要求的范围及任何与权利要求的范围等同的范围。在附图中，在各个方面，相同的标号表示相同的元件。在下文中，现在将参照附图更充分地描述本发明构思，在附图中示出了本发明构思的示例性实施例，从而本领域的普通技术人员可容易地实现本发明构思。图2是根据示例性实施例的图像稳定系统的框图。参照图2，图像稳定系统包括变焦相机1、图像预处理器10、代表性特征部分存在确定单元20、采样单元31、匹配单元32、光流计算单元33、误差信息提取单元34和光轴对准单元40。变焦相机I安装在需要图像拍摄的区域中，并提供拍摄该区域而获得的图像。变焦相机I是能够拍摄图像的设备，例如，相机、可携式摄像机或闭路电视(CCTV)。在当前的实施例中，变焦相机I可提供使输入图像放大的功能。图像预处理器10将变焦相机I输入的图像数据的模拟信号转换成数字信号。尽管在图2中图像预处理器10设置在变焦相机I的外部，但是图像预处理器10也可以设置在变焦相机I内。代表性特征部分存在确定单元20确定从变焦相机I获得的输入图像是否具有特征部分。在当前的实施例中，图像的代表性特征部分指的是图像中的作为用于确定输入图像中的光轴误差的标准的部分。换言之，代表性特征部分指的是图像中的具有显著的高亮和区别形状的部分，从而即使在图像处理过程中将放大后的图像与其放大前的图像相比，用户可以清楚地识别两个图像是相同的。在当前的实施例中，输入图像可具有一个或多个代表性特征部分。图3A至图3D是示出根据示例性实施例的用于检测代表性特征部分的示例的示图。参照图3A，当图像中用星星标记的部分被称作特征部分时，图3A中的图像具有多个特征部分。在这样的情况下，代表性特征部分存在确定单元20可将多个特征部分中的一些特征部分相互重叠的部分或者强特征部分确定为候选特征部分。在图3A至图3C中，被代表性特征部分存在确定单元20确定为代表性特征部分的候选特征部分用黑色星星标记。参照图3A，当图像被放大时，放大区域Zl可不包括候选特征部分。在这种情况下，代表性特征部分存在确定单元20可在放大区域Zl中重新确定候选特征部分。通过重复上述的处理，假设图3C中的图像是最终放大图像，如果图3C中的图像包括候选特征部分，则代表性特征部分存在确定单元20可将候选特征部分确定为代表性特征部分。
可选地，假设图3D中的图像是最终放大图像，如图3A至图3D所示，则即使当最终放大图像不包括特征部分时，或者不包括作为代表性特征部分的特征部分时，代表性特征部分存在确定单元20可确定图像不包括代表性特征部分。如果图像不包括代表性特征部分，则可通过使用光流信息获得光轴误差信息，如后面所述。另外，代表性特征部分存在确定单元20可确定输入图像是否仅在特定方向上包括代表性特征部分。在变焦相机I中，由于光轴误差通常仅出现在一个方向上，所以代表性特征部分存在确定单元20可仅在出现光轴误差的方向上确定特征部分的存在，以减少操作量。图4是示出根据示例性实施例的可出现光轴误差的方向近似为八个方向的示图。参照图4，假设仅在第I至第8的8个方向上出现光轴误差。具体地讲，在-22.5度和+22.5度之间的光轴误差被近似，使得该光轴误差出现在+0度的方向上。与在所有方向上检测代表性特征部分的存在时相比，代表性特征部分存在确定单元20可仅在如图4所示的八个方向上确定代表性特征部分的存在，从而减少了操作量。在下文中，将描述如果代表性特征部分存在确定单元20确定图像包括特征部分的图像稳定的方法。后面将描述如果代表性特征部分存在确定单元20确定图像不包括特征部分的图像稳定的方法。采样单元31对图像中包括特征部分的部分进行采样。采样单元31执行采样的区域包括特征部分，并可具有适于在图像之间进行匹配的大小。在当前的实施例中，如果输入图像包括多个特征部分，则输入图像也可以包括多个采样区域。另外，采样单元31可获得采样区域的中心坐标。从采样区域获得的中心坐标可用(x_s，y_s)表不。图5A至图5C是分别示出了根据示例性实施例的对图1A至图1C中的图像进行采样获得的图像、放大采样图像获得的图像以及对区域进行匹配获得的图像的示图。参照图5A，对在图1A的图像中用“ + ”标记的部分(即，图像的中心区域和外围区域)进行采样。换言之，如果代表性特征部分存在确定单元20确定图像中心的光为代表性特征部分，则可获得包括该光的预定区域作为如图5A所示的采样图像。另外，采样单元31可调整采样图像的大小，如图5B所示，以执行将在后面描述的模板匹配。返回参照图2，匹配单元32将采样图像与采样图像的放大图像进行匹配。如果以等于或小于2.5的放大率放大采样图像，则匹配单元32通过尺度不变特征变换(SIFT)匹配执行匹配。即使图像由于例如大小的改变、旋转或光的变化而改变时，SIFT匹配也可以用于通过提取在目标的边缘或顶点(vertex)产生的特征点作为矢量来对图像进行平滑地匹配。换言之，根据SIFT匹配的特性，无论图像的大小和方向如何，SIFT匹配可将放大图像与采样图像进行匹配大小。相反，如果以等于或大于2.5的放大率放大采样图像，则匹配单元32可以以匹配之后的剩余放大率放大采样图像，并且如果光轴移动，则匹配单元32可执行包括匹配和补偿采样图像的重复性补偿方法。因此，如果以等于或大于2.5的放大率放大采样图像，则匹配单元32可通过以放大采样部分所采用的放大率调整采样图像的大小来执行模板匹配。另外，匹配单元32获得匹配后的匹配区域的中心坐标。返回参照图5A至图5C，匹配单元32可获得图5A的图像中的匹配区域的中心坐标，例如，即最亮区域的中心坐标。获得的中心坐标可用(x_m，y_m)表示。光轴对准单元40可通过使用获得的中心坐标，使变焦相机I在平移方向(pan direction)上移动(x_s_x_m)并在倾斜方向上移动(y_s_y_m)。在下文中，将描述如果代表性特征部分存在确定单元20确定图像不包括特征部分的图像稳定的方法。如果代表性特征部分存在确定单元20确定图像不包括代表性特征部分并且多个特征点分散在整个图像中，则不会使用通常的SIFT匹配方法或模板匹配方法，因此，代表性特征部分存在确定单元20通过计算图像之间的光流来提取并补偿变焦相机I的光轴误差。根据示例性实施例，如果图像没有任何部分的亮度水平高于预定水平，则代表性特征部分存在确定单元20可确定图像不包括代表性特征部分。详细地讲,光流计算单元33计算变焦相机I放大图像时图像之间的光流。光流计算单元33可将放大之前的图像设置为图像A_0，并可将预定的时间段流逝之后(N帧之后)的图像设置为图像A_l，其中，N是大于或等于I的整数。为了在每帧中计算图像的光流，操作量增大，因而处理效率会降低。因此，在当前的实施例中，通过在预定的帧计算图像的光流，在不丢失特征部分的情况下，可减少操作的数量。光流计算单元33可将使用图像A_0和图像A_1进行放大时的光流信息存储为0F_1 ο通过使用这种方法，光流计算单兀33可在每第(N+1)巾贞获得图像彳目息A_0、A_l、A_2、...、A_k,并获得图像之间的光流信息0F_0、0F_1、0F_2、...、0F_k_l，其中，k为大于或等于I的整数。误差信息提取单元34通过使用获得的光流信息获得距离光流的图像的中心的距离，然后形成关于L个距离和M个方向的二维(2D)柱状图。误差信息提取单元34参照形成的2D柱状图，在每个距离处相对于每个方向提取光流的最小值和最大值。这里，由于根据相机曲率的特性，距离图像的中心的距离与光流的大小成比例，所以可通过针对每个距离获得光流的方向和大小来提取可靠的信息，因此，误差信息提取单元34获得光流特征部分距离图像的中心的距离。图6是示出根据示例性实施例的当光轴朝向右上侧移动时根据距离图像的中心的距离的光流的大小信息的示图。图6示出了当变焦相机I朝向右上方移动(沿方向(a)移动)时。如果变焦相机I的光轴没有移动，则与图像的中心C分隔开距离d的区域Cl的光流将具有等大小的位于圆环外侧的射线形式。然而，参照图6，在与图像的中心C分隔开距离d的区域Cl的光流中，方向(a)的大小小于方向(b)的大小。换言之，位于区域Cl的方向(a)上的光流和方向(b)上的光流具有不同的大小，与没出现光轴误差的情况不同。类似的，在与图像的中心C分隔开不同距离的区域C2和C3中，由于与其放大前的图像相比，图像的中心C沿方向(a)移动，所以方向(a)上的光流小于方向(b)上的光流。另外，参照图6，随着距离图像的中心C的距离增大，光流的大小增大。由于当通过使用变焦相机I放大图像时，远离图像的中心C的区域移动得更远，所以光流的大小按照区域C1、C2和C3的顺序增大。返回参照图2，误差信息提取单元34可通过使用光流计算单元33获得的光流信息形成关于L个距离的在M个方向上的柱状图。关于L个距离，误差信息提取单元34可在不过于增加操作量的范围内以近似的水平设置L个距离。例如，L可为3，如图6中所示。另外，如以上参照图4所描述的，M个方向可设置为8。如果整个角度区域被划分成8个区域，如图4所示，则执行关于角度的近似，因此，可考虑相对于相邻方向的近似值以减小误差。基于形成的柱状图，误差信息提取单元34在每个距离提取相对于每个方向的最小值和最大值。这里，由于根据变焦相机I的光轴误差的特性，距离图像的中心的距离与光流的大小成比例，所以光流的方向和大小彼此不同，因此，误差信息提取单元34提取最小值和最大值。换言之，返回参照图6，在距离中心C的相同距离的区域(例如，Cl)中的光流的大小彼此不同，并且光流的大小在与图像的中心C距离不同距离的区域C1、C2和C3中彼此不同。换言之，当距离图像的中心C的距离增大时，光流的大小增大，并且与光轴误差的方向相同的方向(a)上的光流小于方向(b)上的光流。因此，可通过获得关于距离和方向的光轴误差数据来执行可靠的误差补偿。误差信息提取单元34确定最小值和最大值的方向是否相互对称。当最小值和最大值的方向相互对称时，误差信息提取单元34可通过使用最大值和最小值之间的差的平均值来提取误差信息。这里，由于光轴通常移动，所以最小值和最大值的方向相互对称。换言之，如图6所示，光流的大小在光轴移动所沿的方向(a)上小，而在与方向(a)相反的方向(b)上大,最小值和最大值的方向相互对称。如果最小值和最大值的方向不相互对称，则由于光轴没有向任何一个方向移动，所以难以通过使用光流的变化来提取光轴误差/[目息O如果最小值和最大值的方向经过了上述的对称检查，则误差信息提取单元34在对应的距离计算光流的平均值和最小值的差。误差信息提取单元34可通过使用计算的平均值获得光轴误差信息。参照回到图6，可通过计算光流的平均值与光流(在方向(a)上)的最小值之间的差来获得方向(a)上的光轴误差信息。最终，光轴对准单元40通过使用匹配单元32和误差信息提取单元34获得的光轴误差信息补偿光轴误差。这里，替代使用物理方法，可通过将光轴移动的程度转换成坐标的图像处理来执行对光轴误差的补偿。图7是用于描述根据示例性实施例的图像稳定系统的流程图。参照图7，图像稳定系统通过使用变焦相机I获得具有特定变焦值的输入图像(操作 Si)。接下来，代表性特征部分存在确定单元20确定获得的输入图像是否包括代表性特征部分(操作S2)。如上所述，代表性特征部分可指输入图像的设置为代表性值以在图像处理过程中从多个区别特征部分中补偿光轴误差的部分。接下来，如果代表性特征部分存在确定单元20确定输入图像包括代表性特征部分，则对输入图像的代表性特征部分进行采样以产生采样图像，并且获得采样区域的中心坐标且中心坐标被设置为(X_s, y_s)(操作Fl)。接下来，使用变焦相机I放大输入图像，并获得输入图像的放大区域的图像信息(操作F2) ο然后，确定采样图像是否是以等于或小于2.5的放大率放大(操作F3)。如果采样图像以等于或小于2.5的放大率放大，则采样图像和放大图像通过SIFT匹配而相互匹配(操作F4)。相反，如果采样图像以大于2.5的放大率放大，则可通过放大采样图像所采用的放大率来调整采样图像的大小，然后采样图像和放大图像通过模板匹配而相互匹配(操作F5)。接下来，获得放大图像中的匹配区域的中心坐标(x_m，y_m)(操作F6)。最终，光轴对准单元40通过使中心坐标在平移方向上移动(x_s_x_m)并在倾斜方向上移动(y_s_y_m)以补偿光轴误差来使移动的光轴对准。另一方面,如果代表性特征部分存在确定单元20确定输入图像不包括代表性特征部分，则光流计算单元33获得使输入图像放大之前的图像(操作01)。接下来，光流计算单元33通过使用变焦相机I使图像放大，并在图像的放大过程中计算图像的光流(操作02)。接下来，误差信息提取单元34通过使用光流信息提取光轴误差信息(操作03)。如上所述，通过利用光轴仅沿一个方向移动的事实，误差信息提取单元34基于光流的移动方向和与光流的移动方向相反的方向上的光流信息获得光轴误差信息。最后，光轴对准单元40通过在与光轴误差信息的方向相反的方向上使平移值和倾斜值移动光轴误差信息的大小来补偿光轴误差(操作04)。图8是用于描述根据示例性实施例的确定图像是否包括代表性特征部分的方法的流程图。参照图8，代表性特征部分存在确定单元20从放大之前的图像提取全部特征部分(操作S21)。接下来，将可作为图像中的代表性特征部分的特征部分设置为候选特征部分(操作S22)，然后对图像进行放大(操作S23)。接下来，确定放大的图像是否包括候选特征部分(操作S24)。如果放大的图像不包括候选特征部分，则在放大的图像中重新设置候选特征部分(操作S25)。否则，如果放大的图像包括候选特征部分，则确定图像是否需要被另外放大(操作S26)。如果图像需要被另外放大，则该方法返回至操作S23，并重复该操作。否则，如果图像不需要被另外放大，则代表性特征部分存在确定单元20将设置的候选特征部分设置为代表性特征部分(操作S27)。尽管在图8中未示出，与图8中示出的处理无关，当代表性特征部分存在确定单元20可不设置代表性特征部分时，代表性特征部分存在确定单元20可确定输入图像不包括代表性特征部分。图9是用于描述根据示例性实施例的光流计算单元33计算光流的过程的流程图。参照图9，光流计算单元33获得放大之前的图像，并将该图像存储为图像A_0 (操作 021)。接下来，光流计算单元33计算图像A_0和N帧之后的图像A_1之间的光流，并将该光流存储为0F_1 (操作022)。接下来，光流计算单元33计算图像A_1和从图像A_1的帧之后的N帧之后的图像A_2之间的光流，并将该光流存储为0F_2 (操作023)。通过使用上述的方法，光流计算单元33以N个帧为间隔计算图像A_k_l和图像A_k的光流，并将所述光流存储为0F_k-l (操作024)。为了运算效率，光流计算单元33在每第(N+1)巾贞计算光流，而不是在每巾贞计算图像的光流。
图10是用于描述根据示例性实施例的误差信息提取单元34通过使用光流信息提取光轴误差的过程的流程图。参照图10，误差信息提取单元34计算存储的光流特征部分与图像的中心的距离(操作031)。接下来，误差信息提取单元34针对距离图像的中心的L个距离形成M个方向上的光流柱状图(操作032)。如上所述，参照图4和图6，误差信息提取单元34可形成关于距离图像中心的三个距离在8个方向上的柱状图。接下来，误差信息提取单元34针对L个距离提取每个方向上的最大值和最小值(操作033)。如上所述，当光轴沿任何一个方向移动时，光轴移动所沿的方向上的光流具有最小值，而与光轴移动所沿的方向相反的方向上的光流具有最大值。误差信息提取单元34可通过使用最大值和最小值之间的差计算光轴误差信息。接下来，误差信息提取单元34在L个距离中的每个距离处确定最小值和最大值的方向是否相互对称(操作034)。如果光轴在任何一个方向上移动，则最小值和最大值的方向相互对称。如果最小值和最大值的方向相互对称，则误差信息提取单元34在L个距离中的每个距离处提取光流的平均值，并将该平均值存储为(Avg_l，...Avg_L)(操作035)。另一方面,如果最大值和最小值的方向相互不对称，则光轴在各个方向移动，因此，误差信息提取单元34可不使用对应距离的特征部分信息(操作036)。最后，误差信息提取单元34可通过用L除在对应的距离值中的每个距离值处的光流的平均值和最小值之差的和来获得光轴误差信息。换言之，可通过等式Σ (Avg_a-Min_a) /L来获得光轴误差信息，其中，a为I至L (操作037)。根据以上的示例性实施例，光轴误差系统可通过图像处理有效地补偿光轴误差。另外，在无需物理改变变焦相机的设置的情况下，可通过图像处理补偿光轴误差。尽管已经参照本发明构思的示例性实施例具体地示出和描述了本发明构思，但是本领域的普通技术人员将理解的是，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可以在此在形式和细节上做出各种改变。
权利要求
1.一种图像稳定的方法，所述方法包括以下步骤: 确定输入图像是否包括代表性特征部分； 如果确定输入图像包括代表性特征部分，则对代表性特征部分进行采样，以产生采样图像； 放大采样图像，将放大图像与采样图像进行匹配，并获得匹配图像的中心坐标；和 通过计算匹配图像的中心坐标和采样图像的中心坐标之间的差使光轴对准。
2.根据权利要求1所述的方法，其中，代表性特征部分具有高于预定等级的亮度等级或者包括预定的形状，并且从输入图像中的多个特征部分中选择代表性特征部分。
3.根据权利要求1所述的方法，其中，确定输入图像是否包括代表性特征部分的步骤包括: 从输入图像提取多个特征部分；从提取的特征部分中选择具有预定特征的候选特征部分；和 如果放大的采样图像包括候选特征部分，则确定输入图像包括代表性特征部分，如果放大的采样图像不包括候选特征部分，则确定输入图像不包括代表性特征部分。
4.根据权利要求1所述的方法，其中，将放大的采样图像与采样图像进行匹配的步骤包括:如果以等于或小于2.5的放大率放大采样图像，则执行尺度不变特征变换SIFT匹配。
5.根据权利要求1所述的方法，其中，将放大的采样图像与采样图像进行匹配的步骤包括:如果以大于2.5的放大率放大采样图像，则通过以放大采样图像所采用的放大率调整采样图像的大小来执行模板匹配。
6.一种图像稳定的方法，所述方法包括: 确定输入图像是否包括代表性特征部分； 如果确定输入图像不包括代表性特征部分，则在输入图像的放大过程中计算输入图像的光流； 通过使用由计算的光流获得的光流信息来获得光轴误差信息； 通过使用获得的光轴误差信息使光轴对准。
7.根据权利要求6所述的方法，其中，计算光流的步骤包括:在输入图像的放大过程中根据预定数量的帧获得输入图像。
8.根据权利要求6所述的方法，其中，获得光轴误差信息的步骤包括:基于距离输入图像的中心的至少一个距离和在所述至少一个距离中的每个距离处的至少一个方向形成光流柱状图。
9.根据权利要求8所述的方法，其中，只有在所述至少一个距离中的每个距离处的光流的最小值和最大值的方向相互对称的情况下，才能获得光轴误差信息。
10.根据权利要求6所述的方法，其中，基于在所述至少一个距离的每个距离处的光流的平均值和最小值的差获得光轴误差信息。
11.一种图像稳定系统，所述图像稳定系统包括: 代表性特征部分存在确定单元，确定输入图像是否包括代表性特征部分； 采样单元，如果确定输入图像包括代表性特征部分，则采样单元对代表性特征部分进行采样以产生采样图像； 匹配单元，放大采样图像，将放大图像与采样图像进行匹配，并获得匹配图像的中心坐标；和 光轴对准单元，通过计算匹配图像的中心坐标和采样图像的中心坐标之间的差使光轴对准。
12.根据权利要求11所述的图像稳定系统，其中，代表性特征部分具有高于预定等级的亮度等级或者包括预定的形状，并且从输入图像中的多个特征部分中选择代表性特征部分。
13.根据权利要求11所述的图像稳定系统，其中，代表性特征部分存在确定单元从输入图像提取多个特征部分，从提取的特征部分中选择具有预定特征的候选特征部分，如果放大的采样图像包括候选特征部分，则确定输入图像包括代表性特征部分，如果放大的采样图像不包括候选特征部分，则确定输入图像不包括代表性特征部分。
14.根据权利要求11所述的图像稳定系统，其中，如果以等于或小于2.5的放大率放大采样图像，则匹配单元通过尺度不变特征变换SIFT匹配将放大的采样图像和采样图像进行匹配。
15.根据权利要求11所述的图像稳定系统，其中，如果以等于或大于2.5的放大率放大采样图像，则匹配单元通过以放大采样图像所采用的放大率调整采样图像的大小来通过模板匹配将放大的采样图像和采样图像进行匹配。
16.一种图像稳定系统，所述图像稳定系统包括: 代表性特征部分存在确定单元，确定输入图像是否包括代表性特征部分； 光流计算单元，如果确定输入图像不包括代表性特征部分，则光流计算单元在输入图像的放大过程中计算输入图像的光流； 误差信息提取单元，通过使 用从计算的光流获得的光流信息来获得光轴误差信息； 光轴对准单元，通过使用获得的光轴误差信息使光轴对准。
17.根据权利要求16的图像稳定系统，其中，光流计算单元通过在输入图像的放大过程中根据预定数量的帧获得输入图像来计算光流。
18.根据权利要求16的图像稳定系统，其中，误差信息提取单元基于距离输入图像的中心的至少一个距离和在所述至少一个距离中的每个距离处的至少一个方向形成光流柱状图来获得光轴误差信息。
19.根据权利要求18的图像稳定系统，其中，只有在所述至少一个距离中的每个距离处的光流的最小值和最大值的方向相互对称的情况下，误差信息提取单元才能获得光轴误差/[目息。
20.根据权利要求16的图像稳定系统，其中，误差信息提取单元基于在所述至少一个距离的每个距离处的光流的平均值和最小值的差获得光轴误差信息。
21.一种变焦相机，所述变焦相机包括: 代表性特征部分存在确定单元，确定输入图像是否包括代表性特征部分； 光轴误差计算单元，如果代表性特征部分存在确定单元确定输入图像包括代表性特征部分，则通过将包括代表性特征部分的采样部分与放大的采样部分进行匹配来获得光轴误差信息，如果代表性特征部分存在确定单元确定输入图像不包括代表性特征部分，则通过计算与输入图像对应的至少两个图像之间的光流信息来计算光轴误差信息；和 光轴对准单元，通过使用获得的光轴误差信息补偿光轴误差。
全文摘要
本发明提供了一种通过图像处理的图像稳定的方法和系统以及一种包括图像稳定功能的变焦相机。所述方法包括确定输入图像是否包括代表性特征部分；如果确定输入图像包括代表性特征部分，则对代表性特征部分进行采样，以产生采样图像；放大采样图像，将放大图像与采样图像进行匹配，并获得匹配图像的中心坐标；以及通过计算匹配图像的中心坐标和采样图像的中心坐标之间的差使光轴对准。
文档编号H04N5/232GK103188442SQ20121058386
公开日2013年7月3日 申请日期2012年12月28日 优先权日2011年12月29日
发明者全材烈 申请人:三星泰科威株式会社