专利名称：图像处理方法和图像处理设备的制作方法
技术领域：
本发明涉及图像处理，更具体地涉及确定图像中对象区域的轮廓的方法和设备，以及基于轮廓对图像进行矫正的方法和设备。
背景技术：
为了将纸件文件信息输入到计算机中，经常需要采用成像设备。成像设备例如是传统的扫描成像设备，例如平板式扫描仪和滚筒式扫描仪等。使用传统的扫描成像设备时，由于纸件文件(即扫描对象)平展地固定在扫描平面上，纸件文件(即扫描对象)的各个角点相对于传统的扫描成像设备的图像传感器是固定的和确定的，因此利用传统的扫描成像设备获得的图像基本上没有失真和变形。另外，随着技术的发展，出现了一些曲面成像设备，例如数码相机和顶置式扫描仪。使用曲面成像设备时，例如使用数码相机或顶置式扫描 仪从倾斜角度对打开的较厚书籍，例如字典、百科全书或手册等进行成像时，由于从上方以倾斜角度对打开的较厚书籍进行成像，所以在获得的图像中产生由透视变换引起的透视变换失真和变形；而且，由于打开的较厚书籍的纸面会弯曲，所以也会在获得的图像中产生拉伸、压缩等失真和变形。因此，在使用曲面成像设备时，需要对获得的失真和变形图像进行矫正，以生成没有失真和变形的图像。为了对失真和变形图像进行矫正，存在基于内容的方法，其基本原理是，首先搜索纸件文件中的文本行或线条，然后根据搜索出的文本行或线条对获得的失真和变形图像进行估计。但是，基于内容的方法的缺点在于，其对纸件文件的内容有诸多要求，例如要求纸件文件中有足够多的文本行或线条等信息。如果纸件文件中的内容主要是图片等，而文本行或线条较少，则该基于内容的方法的矫正效果很差，甚至根本无法实现矫正。
发明内容
因此，存在对改进的图像矫正方法和设备的需求，该改进的图像矫正方法和设备可不依赖于纸件文件自身所包含的文本行或线条等信息来对失真和变形图像进行矫正，从而对纸件文件的内容没有过多限制，可以适用于更广泛的纸件文件。根据本发明的一个实施例，提供了一种图像处理方法，包括估计获得的图像中对象区域的轮廓的角点；分别在沿离开对象区域的方向在预定程度内偏离所估计的角点的两个点之间，搜索对象区域的轮廓线，以及将轮廓线的交点确定为对象区域的轮廓的最终角点；以及将最终角点之间的轮廓线确定为对象区域的最终轮廓。上述搜索步骤包括分别沿离开对象区域的主取向和沿离开对象区域的与主取向垂直的方向在预定程度内偏离所估计的角点，以分别获得主取向上的偏离后的点和与主取向垂直的方向上的偏离后的点；分别在主取向上的偏离后的两个点之间，跟踪对象区域在主取向上的轮廓线，以及分别在与主取向垂直的方向上的偏离后的两个点之间，跟踪对象区域在与主取向垂直的方向上的轮廓线；以及确定对象区域在主取向上的轮廓线和在与主取向垂直的方向上的轮廓线的交点。
在上述搜索步骤中，如果对象区域在主取向上的一条轮廓线和在与主取向垂直的方向上的一条轮廓线存在多个交点，则选择多个交点中的指定交点作为对象区域的最终角点。上述估计获得的图像中对象区域的轮廓的角点的步骤包括估计对象区域在主取向上的中线；基于中线估计与中线垂直的对象区域的轮廓线；以及根据对象区域的轮廓线来确定对象区域的角点。上述图像处理方法还包括根据所确定的对象区域的最终轮廓，采用基于轮廓的矫正算法来矫正图像中的对象区域。根据本发明的另一实施例，提供了一种图像处理设备，包括角点估计单元，用于估计获得的图像中对象区域的轮廓的角点；轮廓线搜索单元，用于分别在沿离开对象区域的方向在预定程度内偏离所估计的角点的两个点之间，搜索对象区域的轮廓线，以及将轮廓线的交点确定为对象区域的轮廓的最终角点；以及轮廓确定单元，用于将最终角点之间的轮廓线确定为对象区域的最终轮廓。
上述轮廓线搜索单元包括角点偏离单元，用于分别沿离开对象区域的主取向和沿离开对象区域的与主取向垂直的方向在预定程度内偏离所估计的角点，以分别获得主取向上的偏离后的点和与主取向垂直的方向上的偏离后的点；轮廓线跟踪单元，用于分别在主取向上的偏离后的两个点之间，跟踪对象区域在主取向上的轮廓线，以及分别在与主取向垂直的方向上的偏离后的两个点之间，跟踪对象区域在与主取向垂直的方向上的轮廓线；以及交点确定单元，用于确定对象区域在主取向上的轮廓线和在与主取向垂直的方向上的轮廓线的交点。在上述交点确定单元中，如果对象区域在主取向上的一条轮廓线和在与主取向垂直的方向上的一条轮廓线存在多个交点，则选择多个交点中的指定交点作为对象区域的最终角点。上述估计单元包括用于估计对象区域在主取向上的中线的单元；用于基于中线估计与中线垂直的对象区域的轮廓线的单元；以及用于根据对象区域的轮廓线来确定对象区域的角点的单元。上述图像处理设备还包括用于根据所确定的对象区域的最终轮廓，采用基于轮廓的矫正算法来矫正图像中的对象区域的单元。本发明通过对估计的对象区域的角点进行偏离并基于偏离后的点，可以确定获得的图像中对象区域的准确轮廓；而且，根据确定的对象区域的准确轮廓，采用基于轮廓的矫正算法，可不依赖于纸件文件自身所包含的文本行或线条等信息来对获得的图像进行矫正，因此对纸件文件的内容没有过多限制，可以适用于更广泛的纸件文件。
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示，其中图IA是示出使用曲面成像设备对纸件文件进行成像的示意图；图IB是示出使用曲面成像设备对纸件文件进行成像后获得的失真和变形图像的示意图；图2是示出根据本发明的一个实施例的确定图像中对象区域的轮廓的图像处理方法的流程图；图3是示出根据本发明的一个实施例的估计获得的图像中对象区域的轮廓的角点的方法的流程图；图4A是示出经过缩小和平滑处理后的图像的示意图；图4B是示出被分割成背景区域和对象区域的二值化图像的示意图；图5是示出根据本发明的一个实施例的将经过缩小和平滑处理后的图像分割成二值化图像的方法的流程图；图6是示出根据本发明的一个实施例的检测二值化图像中对象区域的轮廓的角点的方法的流程图； 图7A是示出对象区域在主取向上的中线的示意图；图7B是示出与中线垂直的对象区域的轮廓线的示意图；图7C是示出根据对象区域的轮廓线确定的对象区域的角点的示意图；图8是示出根据本发明的一个实施例的在从估计的角点偏离后的两个点之间搜索对象区域的轮廓线的方法的流程图；图9A是示出对象区域的估计的角点的示意图；图9B是示出在从估计的角点偏离后的两个点之间搜索对象区域的轮廓线的示意图；图9C是示出搜索到的对象区域的轮廓线及其交点的示意图；图10是示出确定的对象区域的最终轮廓的示意图；图11是示出根据本发明的另一实施例的用于确定图像中对象区域的轮廓的图像处理设备的方框图；图12是示出根据本发明的另一实施例的角点估计单元的方框图；图13是示出根据本发明的另一实施例的分割单元的方框图；图14是示出根据本发明的另一实施例的角点检测单元的方框图；图15是示出根据本发明的另一实施例的轮廓线搜索单元的方框图；图16是示出其中实现本发明的计算机的示例性结构的方框图。
具体实施例方式本文中所用的术语，仅仅是为了描述特定的实施例，而不意图限定本发明。本文中所用的单数形式的“一”和“该”，旨在也包括复数形式，除非上下文中明确地另行指出。还要知道，“包含”一词在本说明书中使用时，说明存在所指出的特征、整体、步骤、操作、单元和/或组件，但是并不排除存在或增加一个或多个其它特征、整体、步骤、操作、单元和/或组件，以及/或者它们的组合。下面参照附图来说明本发明的实施例。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得通过计算机或其它可编程数据处理装置执行的这些指令，产生实现流程图和/或框图中的方框中规定的功能/操作的装置。也可以把这些计算机程序指令存储在能指令计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令产生一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品。也可以把计算机程序指令加载到计算机或其它可编程数据处理装置上，使得在计算机或其它可编程数据处理装置上执行一系列操作步骤，以产生计算机实现的过程，从而在计算机或其它可编程装置上执行的指令就提供实现流程图和/或框图中的方框中规定的功能/操作的过程。应当明白，附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中， 方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。参考图IA和图1B，考虑典型的使用曲面成像设备对纸件文件进行成像的情形。图IA是示出使用曲面成像设备对纸件文件进行成像的示意图。图IB是示出使用曲面成像设备对纸件文件进行成像后获得的失真和变形图像的示意图。如图IA所示，当使用曲面成像设备(未示出)对纸件文件100进行成像时，例如使用顶置式的行扫描仪(未示出)对纸件文件100进行成像时，利用如图IA中虚线102所示的顶置式的行扫描仪的行扫描带，按照如图IA中箭头104所示的从上到下的顺序依次进行成像。如图IB所示，使用曲面成像设备(未示出)对纸件文件100进行成像后获得的失真和变形图像103包括对应于纸件文件100的对象区域105，该对象区域105的轮廓包括在左上角点CCO与右上角点CCl之间的上轮廓线106、在左下角点CC3与右下角点CC2之间的下轮廓线110、在左上角点CCO与左下角点CC3之间的左轮廓线112和在右上角点CCl与右下角点CC2之间的右轮廓线108，其中，上轮廓线106和下轮廓线110为曲线，而左轮廓线112和右轮廓线108为直线。由此可见，不管纸件文件的内容具体是什么，例如不管纸件文件的内容中的文本行或线条是多还是少，基本上都能获得纸件文件对应的对象区域105的轮廓。因此，申请人认识到，可以基于获得的对象区域105的轮廓，采用基于轮廓的矫正算法来对获得的图像进行矫正，从而可不依赖于纸件文件自身所包含的文本行或线条等信息来对获得的图像进行矫正，因此对纸件文件的内容没有过多限制，可以适用于更广泛的纸件文件。但是，由于使用曲面成像设备(未示出)对纸件文件100进行成像时存在失真和变形，所以获得的失真和变形图像103中对应于纸件文件100的对象区域105的轮廓一般与纸件文件100的实际轮廓存在误差。因此，本发明所要解决的问题是，如何使获得的图像中对象区域105的轮廓更接近于纸件文件100的实际轮廓，即如何确定获得的图像中对象区域105的准确轮廓。下面参考图2来描述根据本发明的一个实施例的确定图像中对象区域的轮廓的图像处理方法。图2是示出根据本发明的一个实施例的确定图像中对象区域的轮廓的图像处理方法的流程图。如图2所示，该方法从步骤200开始。接着，在步骤202中，估计获得的图像中对象区域的轮廓的角点。可以通过曲面成像设备，例如数码相机或顶置式的行扫描仪，对纸件文件进行扫描，以获得纸件文件的图像。参考图1B，使用曲面成像设备(未示出)对纸件文件100进行成像后获得的图像103包括对应于纸件文件100的对象区域105，该对象区域105的轮廓包括上轮廓线106、下轮廓线110、左轮廓线112和右轮廓线108。其中，上轮廓线106和左轮廓线112的交点为左上角点CC0，上轮廓线106和右轮廓线112的交点为右上角点CC1，下轮廓线110和左轮廓线112的交点为左下角点CC3，下轮廓线110和右轮廓线112的交点为 右下角点CC2。一般，在确定了对象区域的四个角点之后，根据上述四个角点基本上就能确 定对象区域的轮廓。因此，为了确定对象区域的轮廓，首先需要检测对象区域的四个角点。目前已经存在一些检测对象区域的角点的方法，其基本原理是，利用每个像素点周围的局部图像信息，根据角点的特征来进行检测。但是，现有的检测对象区域的角点的方法通常会检测出多个候选点，因此在检测出多个候选点之后，需要从多个候选点中挑选出最终的角点。为了从多个候选点中挑选出最终的角点，不仅需要局部图像信息，而且还需要角点的特征。因此，仅根据局部图像信息，难以检测出准确的角点。 本发明提出了一种新的检测对象区域的角点的方法，首先估计对象区域的角点的粗略位置，再根据角点的粗略位置，通过本发明的独创性的方法，来确定角点的准确位置。因此，本发明按照从粗略定位到准确定位的顺序，逐步地确定角点的准确位置，从而能提高角点检测的准确性和鲁棒性。稍后将参考图3-7描述估计对象区域的角点的粗略位置的详细过程。接着，该方法进行到步骤204。在步骤204中，分别在沿离开对象区域的方向在预定程度内偏离所估计的角点的两个点之间，搜索对象区域的轮廓线，以及将轮廓线的交点确定为对象区域的轮廓的最终角点。参考图1B，假设经过步骤202估计的对象区域105的轮廓的四个粗略角点分别为左上角点CC0、右上角点CC1、右下角点CC2和左下角点CC3。对于左上角点CC0，可将左上角点CCO沿离开对象区域105的上轮廓线106和左轮廓线112的方向偏离一定的距离，例如可以将左上角点CCO向其左边偏离一定的距离、或向其上方偏离一定的距离、或向其左上方偏离一定的距离。本领域技术人员可以理解，还可以将左上角点CCO向其它方向偏离一定的距离，只要该其它方向是离开对象区域105的上轮廓线106和左轮廓线112的方向即可。类似地，对于右上角点CC1，可将右上角点CCl沿离开对象区域105的上轮廓线106和右轮廓线108的方向偏离一定的距离，例如可以将右上角点CCl向其右边偏离一定的距离、或向其上方偏离一定的距离、或向其右上方偏离一定的距离。本领域技术人员可以理解，还可以将右上角点CCl向其它方向偏离一定的距离，只要该其它方向是离开对象区域105的上轮廓线106和右轮廓线108的方向即可。
类似地，对于右下角点CC2，可将右下角点CC2沿离开对象区域105的下轮廓线110和右轮廓线108的方向偏离一定的距离，例如可以将右下角点CC2向其右边偏离一定的距离、或向其下方偏离一定的距离、或向其右下方偏离一定的距离。本领域技术人员可以理解，还可以将右下角点CC2向其它方向偏离一定的距离，只要该其它方向是离开对象区域105的下轮廓线110和右轮廓线108的方向即可。类似地，对于左下角点CC3，可将左下角点CC3沿离开对象区域105的下轮廓线110和左轮廓线112的方向偏离一定的距离，例如可以将左下角点CC3向其左边偏离一定的距离、或向其下方偏离一定的距离、或向其左下方偏离一定的距离。本领域技术人员可以理解，还可以将左下角点CC3向其它方向偏离一定的距离，只要该其它方向是离开对象区域105的下轮廓线106和左轮廓线112的方向即可。本领域技术人员可以理解，上述偏离的一定的距离应当能够涵盖对象区域的准确角点的位置，同时偏离对象区域的准确角点的位置应当不是太远，例如上述偏离的一定的距离可以根据实验来确定，或者根据经验来确定，或者根据各次检测结果的统计值分析来确定。 在沿离开对象区域的方向在预定程度内偏离所估计的角点之后，可在偏离所估计的角点的两个点之间，搜索对象区域的轮廓线。对于左上角点CCO和右上角点CCl，例如在将左上角点CCO向其左边偏移一定的距离得到左上角点左偏移点CC0L、以及将右上角点CCl向其右边偏移一定的距离得到右上角点右偏移点CClR之后，可在左上角点左偏移点CCOL与右上角点右偏移点CClR之间搜索对象区域105的上轮廓线。类似地，对于左下角点CC3和右下角点CC2，例如在将左下角点CC3向其左边偏移一定的距离得到左下角点左偏移点CC3L、以及将右下角点CC2向其右边偏移一定的距离得到右下角点右偏移点CC2R之后，可在左下角点左偏移点CC3L与右下角点右偏移点CC2R之间搜索对象区域105的下轮廓线。类似地，对于左上角点CCO和左下角点CC3，例如在将左上角点CCO向其上方偏移一定的距离得到左上角点上偏移点CC0U、以及将左下角点CC3向其下方偏移一定的距离得到左下角点下偏移点CC3D之后，可在左上角点上偏移点CCOU与左下角点下偏移点CC3D之间搜索对象区域105的左轮廓线。类似地，对于右上角点CCl和右下角点CC2，例如在将右上角点CCl向其上方偏移一定的距离得到右上角点上偏移点CC1U、以及将右下角点CC2向其下方偏移一定的距离得到右下角点下偏移点CC2D之后，可在右上角点上偏移点CClU与右下角点下偏移点CC2D之间搜索对象区域105的右轮廓线。本领域存在多种在两点之间搜索线的方法，例如可以采用基于图搜索的方法或者动态规划的方法，例如 J. F. Wang and P. J. Howarth,“Automatic Road Network ExtractionFrom Landsat TM Imagery，，，In processing of ASPRS-ACSM annual convention,Baltimore, USA,Vol,1，pp.429-438。本领域技术人员可以理解，还可以采用其它偏离角点的点来搜索对象区域的轮廓线，只要能由其它偏离角点的点获得对象区域的延长的轮廓线即可。在搜索到对象区域105的延长的轮廓线后，可以计算两条轮廓线之间的交点。本领域存在多种计算两条线之间的交点的方法，可以采用任何一种计算两条线之间的交点的方法来计算两条轮廓线之间的交点，其具体细节在此不再赘述。如果两条轮廓线之间只有一个交点，则该交点即可被当作对象区域的最终角点。如果两条轮廓线之间存在多个交点，则可以选择多个交点中的指定交点作为对象区域的最终角点，例如可以计算这些多个交点的坐标值的平均值，并选择其坐标值最接近坐标值的平均值的交点作为对象区域的最终角点。接着，该方法进行到步骤206。在步骤206中，将最终角点之间的轮廓线确定为对象区域的最终轮廓。在确定了对象区域的最终角点之后，截取两个最终角点之间的轮廓线，并由角点之间截取的轮廓线组成对象区域的最终轮廓。参考图10，图10是示出确定的对象区域的最终轮廓的示意图。如图10所示,将对象区域的最终角点确定为CO、Cl、C2和C3。然后,截取角点CO与Cl之间的轮廓线作为对象区域的上轮廓线ΕΒ0，截取角点Cl与C2之间的轮廓线作为对象区域的右轮廓线EB3，截取角点C2与C3之间的轮廓线作为对象区域的下轮廓线EB1，以及截取角点C3与Cl之间的轮廓线作为对象区域的左轮廓线EB2。最后，由上轮 廓线ΕΒ0、下轮廓线EB1、左轮廓线EB2和右轮廓线EB3组成对象区域的最终轮廓。接着，该方法进行到步骤208。在步骤208中，根据所确定的对象区域的轮廓，采用基于轮廓的矫正算法来矫正图像中的对象区域。在本领域中，存在多种基于轮廓的图像矫正算法。本领域技术人员可以理解，可以采用任何一种基于轮廓的图像矫正算法，来根据所确定的对象区域的最终轮廓对图像中的对象区域进行矫正，其具体细节在此不再赘述。最后，该方法进行到步骤210。在步骤210中，该方法结束。下面，参考图3-4来描述估计获得的图像中对象区域的轮廓的角点的详细过程。图3是示出根据本发明的一个实施例的估计获得的图像中对象区域的轮廓的角点的方法的流程图；图4八是示出经过缩小和平滑处理后的图像的示意图；以及图4B是示出被分割成背景区域和对象区域的二值化图像的示意图。如图3所示，在步骤302中，对获得的图像进行缩小和平滑处理。通过曲面成像设备，例如数码相机或顶置式的行扫描仪，对纸件文件进行扫描而获得的图像，一般分辨率较高、包含的像素较多，而且可能包含较多的图像噪音。因此，需要对获得的图像进行一些预处理，例如缩小和平滑处理等。通过缩小处理，可以减小获得的图像的大小，从而能够提高后续处理的速度。另外，通过平滑处理，可以抑制图像噪音的影响。参考图4A，图4A示出了经过缩小和平滑处理后的图像的示意图。接着，该方法进行到步骤304。在步骤304中，将经过缩小和平滑处理的图像分割为背景区域和对象区域。参考图4B，图4B是示出被分割成背景区域和对象区域的二值化图像的示意图。如图4B所示，将经过缩小和平滑处理的图像400分割成背景区域402和对象区域404。其中，背景区域402为对应于除纸件文件以外区域的区域，而对象区域404为对应于纸件文件区域的区域。如图4B所示，用两种不同的颜色分别表示背景区域402和对象区域404，例如用白色表示背景区域402，而用黑色表示对象区域404，或相反，以得到二值化图像。本领域技术人员可以理解，还可以采用其它不同的颜色来表示二值化图像。稍后将参考图5详细描述将图像分割成背景区域和对象区域的二值化图像的过程。
接着，该方法进行到步骤306。在步骤306中，基于二值化图像检测对象区域的轮廓的角点。在经过步骤304得到背景区域和对象区域的二值化图像之后，可基于该二值化图像检测对象区域的轮廓的角点。例如，可首先估计二值化图像的中线，接着基于中线估计与中线垂直的轮廓线，然后根据轮廓线的交点来确定对象区域的轮廓的角点。稍后将参考图6-7详细描述基于二值化图像检测对象区域的轮廓的角点的过程。下面参考图5来详细描述将图像分割成背景区域和对象区域的二值化图像的过程。图5是示出根据本发明的一个实施例的将经过缩小和平滑处理后的图像分割成二值化图像的方法的流程图。如图5所示，在步骤502中，估计经过缩小和平滑处理的图像的背景颜色。一般，在通过曲面成像设备扫描纸件文件而获得的图像中，背景具有统一的颜色， 而纸件文件所对应的对象区域位于获得的图像的中央。因此，可以根据图像的外部边缘区域估计背景的颜色，例如可以首先将外部边缘区域中的所有像素的颜色统计到颜色直方图中，然后将其中出现频率最高的颜色作为背景颜色。其中，外部边缘区域的范围例如可以根据实验来确定。接着，该方法进行到步骤504。在步骤504中，计算图像中各个像素与背景颜色的距离。在经过步骤502估计出图像的背景颜色之后，计算图像中的各个像素的颜色与背景颜色之间的差异度。该差异度可以用图像中的各个像素的颜色与背景颜色之间的距离来度量。该距离例如可以为欧式距离等。因此，通过计算图像中的各个像素的颜色与背景颜色之间的距离，能够得到对应于图像中的所有像素的距离图，在该距离图中各像素的灰度值对应于颜色空间中的距离。本领域技术人员可以理解，上述距离还可以采用本领域中其它的距离计算方法，只要其能能够计算图像中的各个像素的颜色与背景颜色之间的差异度即可。接着，该方法进行到步骤506。在步骤506中，根据二值化算法将图像分割成包括背景区域和对象区域的二值化图像。在经过步骤504计算出图像中各个像素与背景颜色的距离之后，可以采用二值化算法对生成的距离图进行分割，从而将与背景颜色距离大的像素分割到背景区域，而将与背景颜色距离小的像素分割到对象区域。然后，将背景区域内的每个像素的颜色的值转换为二种颜色的值中的一个，而将对象区域内的每个像素的颜色的值转换为二种颜色的值中的另一个，从而得到包括背景区域和对象区域的二值化图像。两种颜色例如为黑和白两种颜色。本领域技术人员可以理解，上述两种颜色还可以采用其它颜色。二值化算法例如可以为Ostu全局二值化算法。本领域技术人员可以理解，还可以采用本领域的其它二值化算法。参见图4B，例如将背景区域402内的每个像素的颜色转换成白色，而将对象区域404内的每个像素的颜色转换成黑色。下面参考图6-7来详细描述检测二值化图像中对象区域的轮廓的角点的方法。图6是示出根据本发明的一个实施例的检测二值化图像中对象区域的轮廓的角点的方法的流程图。图7A是示出对象区域在主取向上的中线的示意图。图7B是示出与中线垂直的对象区域的轮廓线的示意图。图7C是示出根据对象区域的轮廓线确定的对象区域的角点的示意图。如图6所示，在步骤602中，估计对象区域在主取向上的中线。参考图7A，在图7A所示的图像中，对象区域700水平放置，即对象区域700的左右两条轮廓线为直线，而对象区域700的上下两条轮廓线为曲线，此水平方向被称为对象区域的主取向。如果对象区域在图像中不是水平放置的，而是与水平方向成一定的倾斜度，则可以首先对图像中的对象区域进行预处理，例如将图像中的对象区域旋转一定的角度，以将图像中的对象区域变换到水平方向(即主取向)。当对象区域700在图像中位于主取向时，可以采用例如直线拟合方法或主成分分析(PCA)方法等直线估计方法来估计对象区域在主取向上的中线。再次参考图7A，假设整个对象区域700为一条直线，然后采用直线拟合方法对对象区域700内的所有的点进行拟合，从而得到对象区域700在主取向上的中线702，如图7A中的水平实线所示。本领域技术人员可以理解，还可以采用本领域中的其它直线估计方法来估计对象区域在主取向上的中线。
接着，该方法进行到步骤604。在步骤604中，基于中线估计与中线垂直的对象区域的轮廓线。参考图7B，图像中对象区域700的左轮廓线703和右轮廓线704基本上垂直于主取向上的中线702。因此，可以通过对图像中对象区域700的边缘像素，即对象区域700中与背景区域相邻的像素，进行拟合来估计对象区域700的左轮廓线703和右轮廓线704。类似地，可以采用例如直线拟合方法或主成分分析(PCA)方法等直线估计方法来估计对象区域700的左轮廓线703和右轮廓线704。本领域技术人员可以理解，还可以采用本领域中的其它直线估计方法来估计对象区域700的左轮廓线703和右轮廓线704。另外，可以依次计算对象区域700在主取向上的中线702与对象区域700之间的一系列交点，这些一系列交点分别组成了对象区域700的左轮廓线703和右轮廓线704。接着，该方法进行到步骤606。在步骤606中，根据对象区域的轮廓线来确定对象区域的角点。在经过步骤604得到对象区域700的左轮廓线703和右轮廓线704之后，可以根据对象区域700的左轮廓线703和右轮廓线704来估计对象区域700的四个粗略的角点。参见图7C，以左上角点CCO为例，左上角点CCO对应于左轮廓线703与上轮廓线的交点。一般，在接近左轮廓线的一定距离以内，上轮廓线近似为直线。本领域技术人员可以理解，上述一定距离可以根据实验来确定。基于上述认识，可以通过以下方法来估计对象区域700的粗略的左上角点CCO :首先,计算上轮廓像素点,上轮廓像素点是当前像素点在对象区域内而其上邻接像素在背景区域内的像素点；接着，分别将计算出的上轮廓像素点垂直投影到左轮廓线703上；最后，统计在左轮廓线703的各位置上投影得到的上轮廓像素点的数量，并将数量最多的左轮廓线703上的点选择为粗略的左上角点CC0。同理，可以分别得到对象区域700的粗略的右上角点CC1、右下角点CC2和左下角点CC3。下面参考图8-9来详细描述在从估计的角点偏离后的两个点之间搜索对象区域的轮廓线的方法。图8是示出根据本发明的一个实施例的在从估计的角点偏离后的两个点之间搜索对象区域的轮廓线的方法的流程图。图9A是示出对象区域的估计的角点的示意图。图9B是示出在从估计的角点偏离后的两个点之间搜索对象区域的轮廓线的示意图。图9C是示出搜索到的对象区域的轮廓线及其交点的示意图。如图8所示，在步骤802中，分别沿离开对象区域的主取向和沿离开对象区域的与主取向垂直的方向在预定程度内偏离所估计的角点，以分别获得主取向上的偏离后的点和与主取向垂直的方向上的偏离后的点。参考图9A，如图9A所示，估计的对象区域105的轮廓的四个粗略角点分别为左上角点CCO (x0, yO)、右上角点CCKxl, yl)、右下角点CC2 (x2, y2)和左下角点CC3 (x3, y3)。参考图9B，对于左上角点CC0(x0，y0)，可将左上角点CC0(x0，y0)沿对象区域的主取向向左移动距离t，以得到偏离后的点CCOl (X0-t，yO)。如上所述，对象区域的主取向指的是对象区域水平放置时的水平方向，即对象区域的左右两条轮廓线为直线、而上下两条轮廓线为曲线时的水平方向。另外，可将左上角点CC0(x0，y0)沿与主取向垂直的方向向上移动距离t，以得到偏离后的点CC02(x0，yO+t)。
类似地，对于右上角点CCl (xl，yI)，可将右上角点CCl (xl，yI)沿对象区域的主取向向右移动距离t，以得到偏离后的点CCll(xl+t，yl);另外，可将右上角点CCl(xl，yl)沿与主取向垂直的方向向上移动距离t，以得到偏离后的点CC12(xl，yl+t)。类似地，对于右下角点CC2(x2，y2)，可将右下角点CC2(x2，y2)沿对象区域的主取向向右移动距离t，以得到偏离后的点CC21(x2+t，y2);另外，可将右下角点CC2(x2，y2)沿与主取向垂直的方向向下移动距离t，以得到偏离后的点CC22(x2，y2-t)。类似地，对于左下角点CC3(x3，y3)，可将左下角点CC3(x3，y3)沿对象区域的主取向向左移动距离t，以得到偏离后的点CC31(x3-t，y3);另外，可将左下角点左下角点CC3 (x3, y3)沿与主取向垂直的方向向下移动距离t，以得到偏离后的点CC32(x3，y3_t)。本领域技术人员可以理解，还可以将左上角点CC0(x0，yO)、右上角点CCl (xl，yl)、右下角点CC2(x2，y2)和左下角点CC3(x3，y3)分别向其它方向偏离一定的距离，只要该其它方向是离开对象区域的方向即可。另外，本领域技术人员可以理解，上述距离t应当能够涵盖对象区域的准确角点的位置，同时偏离对象区域的准确角点的位置应当不是太远，例如上述距离t可以根据实验来确定，或者根据经验来确定，或者根据各次检测结果的统计值分析来确定。接着，该方法进行到步骤804。在步骤804中，分别在主取向上的偏离后的两个点之间，跟踪对象区域在主取向上的轮廓线，以及分别在与主取向垂直的方向上的偏离后的两个点之间，跟踪对象区域在与主取向垂直的方向上的轮廓线。再次参考图9B，在经过步骤802将左上角点CCO (x0，y0)沿主取向向左移动距离t得到偏离后的点CC01(x0_t，y0)、以及将右上角点CCl(xl，yl)沿主取向向右移动距离t得到偏离后的点CCll (xl+t，yl)之后，可在点CCOl (x0-t, yO)与点CCll (xl+t，yl)之间跟踪对象区域的延长的上轮廓线ΕΒ0。类似地，可在点CC31(x3-t，y3)与点CC21(x2+t，y2)之间跟踪对象区域的延长的下轮廓线EBl ;可在点CC02(x0，y0+t)与CC32(x3，y3_t)之间跟踪对象区域的延长的左轮廓线EB2 ;以及可在CC12(xl，yl+t)与CC22(x2，y2-t)之间跟踪对象区域的延长的右轮廓线EB3。最终结果如图9C所示。如上所述，本领域存在多种在两点之间跟踪线的方法，例如可以采用基于图搜索的方法或者动态规划的方法，例如J. F. Wang and P. J. Howarth, “Automatic RoadNetwork Extraction From Landsat TM Imagery，，，In processing of ASPRS-ACSM annualconvention, Baltimore，USA, Vol, 1，pp. 429—438。本领域技术人员可以理解，还可以采用其它偏离角点的点来搜索对象区域的轮廓线，只要能由其它偏离角点的点获得对象区域的延长的轮廓线即可。接着，该方法进行到步骤806。在步骤806中，确定对象区域在主取向上的轮廓线和在与主取向垂直的方向上的轮廓线的交点。如图9C所示，分别确定延长的上轮廓线EBO与延长的左轮廓线EB2之间的交点CO，延长的上轮廓线EBO与延长的右轮廓线EB3之间的交点Cl，延长的下轮廓线EBl与延长的左轮廓线EB2之间的交点C3，以及延长的下轮廓线EBl与延长的右轮廓线EB3之间的交点C2。本领域存在多种计算两条线之间的交点的方法，可以采用任何一种计算两条线之间的交点的方法来计算两条轮廓线之间的交点，其具体细节在此不再赘述。如果两条轮廓线之间只有一个交点，则该交点即可被当作对象区域的最终角点。如果两条轮廓线之间存 在多个交点，则可以选择多个交点中的指定交点作为对象区域的最终角点，例如可以计算这些多个交点的坐标值的平均值，并选择其坐标值最接近坐标值的平均值的交点作为对象区域的最终角点。下面，参考图11来详细描述用于确定图像中对象区域的轮廓的图像处理设备。图11是示出根据本发明的另一实施例的用于确定图像中对象区域的轮廓的图像处理设备的方框图。如图11所示，用于确定图像中对象区域的轮廓的图像处理设备1100包括角点估计单元1102、轮廓线搜索单元1104、轮廓确定单元1106和图像校正单元1108。其中，角点估计单元1102用于估计获得的图像中对象区域的轮廓的角点；轮廓线搜索单元1104用于分别在沿离开对象区域的方向在预定程度内偏离所估计的角点的两个点之间，搜索对象区域的轮廓线，以及将轮廓线的交点确定为对象区域的轮廓的最终角点；轮廓确定单元1106用于将最终角点之间的轮廓线确定为对象区域的最终轮廓；以及图像校正单元1108用于根据所确定的对象区域的轮廓，采用基于轮廓的矫正算法来矫正图像中的对象区域。图像处理设备1100是与图2所示的方法相对应的设备，其具体细节在此不再赘述。下面参考图12来详细描述角点估计单元。图12是示出根据本发明的另一实施例的角点估计单元的方框图。如图12所示，角点估计单元1102包括缩小和平滑单元1200、分割单元1202和角点检测单元1204。其中，缩小和平滑单元1200用于对获得的图像进行缩小和平滑处理；分割单元1202用于将经过缩小和平滑处理的图像分割为背景区域和对象区域；以及角点检测单元1204用于基于二值化图像检测对象区域的轮廓的角点。角点估计单元1102是与图3所示的方法相对应的设备，其具体细节在此不再赘述。下面参考图13来详细描述分割单元。图13是示出根据本发明的另一实施例的分割单元的方框图。如图13所示，分割单元1202包括背景颜色估计单元1300、距离计算单元1302和二值化分割单元1304。其中，背景颜色估计单元1300用于估计经过缩小和平滑处理的图像的背景颜色；距离计算单元1302用于计算图像中各个像素与背景颜色的距离；以及二值化分割单元1304用于根据二值化算法将图像分割成包括背景区域和对象区域的二值化图像。分割单元1202是与图5所示的方法相对应的设备，其具体细节在此不再赘述。下面参考图14来详细描述角点检测单元。图14是示出根据本发明的另一实施例的角点检测单元的方框图。如图14所示，角点检测单元1204包括水平中线检测单元1400、左右垂直轮廓检测单元1402和角点计算单元1404。其中，水平中线检测单元1400用于；左右垂直轮廓检测单元1402用于；角点计算单元1404用于。角点检测单元1204是与图6所示的方法相对应的设备，其具体细节在此不再赘述。 下面参考图15来详细描述轮廓线搜索单元。图15是示出根据本发明的另一实施例的轮廓线搜索单元的方框图。如图15所示，轮廓线搜索单元1104包括角点偏离单元1500、轮廓线跟踪单元1502和交点确定单元1504。其中，角点偏离单元1500用于分别沿离开对象区域的主取向和沿离开对象区域的与主取向垂直的方向在预定程度内偏离所估计的角点，以分别获得主取向上的偏离后的点和与主取向垂直的方向上的偏离后的点；轮廓线跟踪单元1502用于分别在主取向上的偏离后的两个点之间，跟踪对象区域在主取向上的轮廓线，以及分别在与主取向垂直的方向上的偏离后的两个点之间，跟踪对象区域在与主取向垂直的方向上的轮廓线；以及交点确定单元1504用于确定对象区域在主取向上的轮廓线和在与主取向垂直的方向上的轮廓线的交点。轮廓线搜索单元1104是与图8所示的方法相对应的设备，其具体细节在此不再赘述。图16是示出其中实现本发明的设备和方法的计算机的示例性结构的方框图。在图16中，中央处理单元(CPU) 1601根据只读存储器(ROM) 1602中存储的程序或从存储部分1608加载到随机存取存储器(RAM) 1603的程序执行各种处理。在RAM 1603中，也根据需要存储当CPU 1601执行各种处理等等时所需的数据。CPU 160KROM 1602和RAM 1603经由总线1604彼此连接。输入/输出接口 1605也连接到总线1604。下述部件连接到输入/输出接口 1605 :输入部分1606，包括键盘、鼠标等等；输出部分1607，包括显示器，比如阴极射线管(CRT)、液晶显示器(IXD)等等，和扬声器等等；存储部分1608，包括硬盘等等；和通信部分1609，包括网络接口卡比如LAN卡、调制解调器等等。通信部分1609经由网络比如因特网执行通信处理。根据需要，驱动器1610也连接到输入/输出接口 1605。可拆卸介质1611比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1610上，使得从中读出的计算机程序根据需要被安装到存储部分1608中。在通过软件实现上述步骤和处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1611安装构成软件的程序。本领域的技术人员应当理解，这种存储介质不局限于图16所示的其中存储有程序、与方法相分离地分发以向用户提供程序的可拆卸介质1611。可拆卸介质1611的例子包含磁盘、光盘(包含光盘只读存储器(⑶-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)和半导体存储器。或者，存储介质可以是ROM 1602、存储部分1608中包含的硬盘等等，其中存有程序，并且与包 含它们的方法一起被分发给用户。在前面的说明书中参照特定实施例描述了本发明。然而本领域的普通技术人员理解，在不偏离如权利要求书限定的本发明的范围的前提下可以进行各种修改和改变。
权利要求
1.ー种图像处理方法，包括估计获得的图像中对象区域的轮廓的角点；分别在沿离开所述对象区域的方向在预定程度内偏离所估计的角点的两个点之间，搜索所述对象区域的轮廓线，以及将所述轮廓线的交点确定为所述对象区域的轮廓的最終角点；以及将所述最終角点之间的轮廓线确定为所述对象区域的最终轮廓。
2.根据权利要求I所述的方法，其中，所述搜索步骤包括分别沿离开所述对象区域的主取向和沿离开所述对象区域的与所述主取向垂直的方向在预定程度内偏离所估计的角点，以分别获得所述主取向上的偏离后的点和所述与主取向垂直的方向上的偏离后的点；分别在所述主取向上的偏离后的两个点之间，跟踪所述对象区域在所述主取向上的轮廓线，以及分别在所述与主取向垂直的方向上的偏离后的两个点之间，跟踪所述对象区域在所述与主取向垂直的方向上的轮廓线；以及确定所述对象区域在所述主取向上的轮廓线和在所述与主取向垂直的方向上的轮廓线的交点。
3.如权利要求2所述的方法，其中，如果所述对象区域在主取向上的一条轮廓线和在与主取向垂直的方向上的一条轮廓线存在多个交点，则选择所述多个交点中的指定交点作为所述对象区域的所述最终角点。
4.如权利要求I所述的方法，其中，所述估计获得的图像中对象区域的轮廓的角点的步骤包括估计所述对象区域在主取向上的中线；基于所述中线估计与所述中线垂直的对象区域的轮廓线；以及根据所述对象区域的轮廓线来确定所述对象区域的角点。
5.如权利要求1-4中任一项所述的方法，还包括根据所确定的所述对象区域的最终轮廓，采用基于轮廓的矫正算法来矫正所述图像中的对象区域。
6.ー种图像处理设备，包括角点估计单元，用于估计获得的图像中对象区域的轮廓的角点；轮廓线搜索单元，用于分别在沿离开所述对象区域的方向在预定程度内偏离所估计的角点的两个点之间，捜索所述对象区域的轮廓线，以及将所述轮廓线的交点确定为所述对象区域的轮廓的最終角点；以及轮廓确定单元，用于将所述最终角点之间的轮廓线确定为所述对象区域的最终轮廓。
7.根据权利要求6所述的设备，其中，所述轮廓线搜索単元包括角点偏离单元，用于分别沿离开所述对象区域的主取向和沿离开所述对象区域的与所述主取向垂直的方向在预定程度内偏离所估计的角点，以分别获得所述主取向上的偏离后的点和与所述主取向垂直的方向上的偏离后的点；轮廓线跟踪单元，用于分别在所述主取向上的偏离后的两个点之间，跟踪所述对象区域在所述主取向上的轮廓线，以及分别在所述与主取向垂直的方向上的偏离后的两个点之间，跟踪所述对象区域在所述与主取向垂直的方向上的轮廓线；以及交点确定单元，用于确定所述对象区域在所述主取向上的轮廓线和在所述与主取向垂直的方向上的轮廓线的交点。
8.根据权利要求7所述的设备，其中，如果所述对象区域在主取向上的一条轮廓线和在与主取向垂直的方向上的一条轮廓线存在多个交点，则选择所述多个交点中的指定交点作为所述对象区域的所述最终角点。
9.根据权利要求6所述的设备，其中，所述估计単元包括用于估计所述对象区域在主取向上的中线的单元；用于基于所述中线估计与所述中线垂直的对象区域的轮廓线的単元；以及用于根据所述对象区域的轮廓线来确定所述对象区域的角点的単元。
10.如权利要求6-9中任一项所述的设备,还包括用于根据所确定的所述对象区域的最终轮廓，采用基于轮廓的矫正算法来矫正所述图像中的对象区域的单元。
全文摘要
公开了一种图像处理方法和图像处理设备，该图像处理方法包括估计获得的图像中对象区域的轮廓的角点；分别在沿离开对象区域的方向在预定程度内偏离所估计的角点的两个点之间，搜索对象区域的轮廓线，以及将轮廓线的交点确定为对象区域的轮廓的最终角点；以及将最终角点之间的轮廓线确定为对象区域的最终轮廓。
文档编号G06T7/00GK102831578SQ201110159928
公开日2012年12月19日 申请日期2011年6月15日 优先权日2011年6月15日
发明者何源, 孙俊, 于浩, 直井聪 申请人:富士通株式会社