专利名称：图像处理设备和方法
技术领域：
本发明涉及图像处理设备和方法，特别涉及使用单指令多数据(SIMD)的图像处理设备和方法，其中像素被重新扫描，以便更好地利用SIMD处理器的并行处理能力。
SIMD处理是对具有大规模并行性(parallelism)的应用的强有力的计算范例。采取使用SIMD处理的一个这样的应用是图像处理。SIMD处理器，例如Xetal，对于每个数据项执行它们的操作(例如，对Xetal在一行中的每个像素)，不管它们是否需要。换句话说，对整个行执行处理操作，而不管是否需要处理操作。取决于数据分布或稀疏性，使用这种技术因此会浪费许多计算能力。
越来越多的图像处理算法开始作对图像的一些部分起作用。例如，在电视处理，工业视觉或医疗成像中，对图像边缘进行处理(即，线处理)是已知的。另外，在诸如图像通信或3D呈现那样的应用中，对图像内分开的对象进行处理(即，对象处理)是已知的，由此减小不必要的处理操作量。
在其它应用中，处理的是整个帧，以及为此可能要使用非常强大和有效的SIMD处理器。然而，对于对象或线处理，由于对象的分散性或在图像中对象的布局，SIMD不提供有效的处理方法。这意味着，SIMD对于处理这样的处理技术是不经济的，因为它处理了大部分不感兴趣的数据。
对于有效使用SIMD计算资源，存在几个解决方案。例如，一个方法是在多个SIMD处理器上的负荷平衡。另一个方法是提供使用专门的数据结构来有效地作用在稀疏结构的算法中。例如，这样的技术在“Massive parallelism for sparse images”(用于稀疏图像的大规模并行性)，Shankar等人，IEEE International Conference on Decision Aiding forComplex Systems，1991中描述。
然而，上述的方法要遭受硬件附加开销，并且它们具有这样的缺点处理图像数据的方式不能完全与SIMD处理相兼容。
本发明的目的是提供不会遭受上述的缺点的图像处理设备和方法。
按照本发明的一个方面，提供了一种图像处理设备，包括用于识别图像信号中感兴趣的区域的装置；用于把相应于感兴趣的区域的图像数据限制在一个具有第一维和第二维的正交区域中；以及处理器阵列，用于处理该正交区域中的图像数据。
通过把一个区域重新扫描到正交网格中，本发明通过聚集线上的数据块而使得处理器阵列能够有效地执行高效的基于线或基于矩形的处理。
按照本发明的另一方面，提供了在具有并行处理单元的阵列的处理器中处理图像信号的方法，该方法包括以下步骤识别图像信号中感兴趣的区域；把感兴趣的区域限制在一个具有第一维和第二维的正交区域中；以及在该处理器中处理该正交区域的图像数据。
为了更好地了解本发明，和为了更清晰地显示可以如何实施本发明，现在作为例子来参考附图，其中
图1显示已知的智能照相机的基本部件；图2显示按照本发明具有重新扫描处理的用于边缘或线的图像处理方法；图3显示按照本发明具有重新扫描处理的用于对象的图像处理方法；图4是详细描述本发明的步骤的流程图；图5显示如何把对象线创建到存储器；以及图6显示图像数据如何存储到图5的存储器。
图1显示已知的智能照相机1的主要部件的框图。智能照相机1包括芯片3，它具有传感器阵列4，例如CMOS传感器阵列，该传感器阵列接收要获取的图像。一个芯片上SIMD处理阵列就像传感器阵列4那样被集成在同一芯片3上，并包括SIMD处理单元阵列(PE)5和分布的存储器7。在芯片上的SIMD处理阵列利用芯片外的通用处理器8而被扩充。智能照相机1还包括其它用于处理图像信号的功能性单元，诸如数据RAM 9、指令RAM 11、ILP(指令级并行性)处理器13、和输入输出联网单元15。
通用处理器8提供高级别图像处理功能，诸如特征提取、对象检测和跟踪。本发明根据由诸如图1描述那样的智能照相机1提供的对象检测功能提供增强的图像处理能力。
图2显示按照本发明的处理图像的边缘和或线的方法。图像帧20具有在其中被识别的一些感兴趣的区域，例如线段22a到22c。每个线段22a到22c被规定是在正交区域内，即路程限制块(bounding block)内。例如，图2显示为线段22a规定的路程限制块21a。接着，路程限制块21a被用来规定“最佳拟合的”边界块(boundary block)23a。优选地，最佳拟合的边界块23a垂直于线段22a的边缘，并具有例如5个像素的跨距。
最佳拟合的边界块23a然后被重新扫描到正交网格25a中。这牵涉到把网格施加到最佳拟合的限制块23a，如24a所示。然后，通过使用内插技术根据24a中的正交网格计算正交网格25a的各个像素值。结果，线段22a因而被“弯曲”，从而使它要由二维阵列来表示，线段22a的整个长度是在第一维中，在线段22a的左面和右面的像素数据是在第二维中。在重新扫描操作期间，图像处理设备把扫描信息保持在存储器供以后使用，正如下面描述的。
然后由SIMD处理器26处理正交网格25a以进行像素并行处理，例如线数据的边缘寻找、增强、内插。由于线段22a被重新扫描使得它的整个长度是在一个维上求得的，因此图像数据更加适合于由SIMD处理器26进行基于线区域的处理。优选地，第一维相应于图像中的行，以及第二维相应于图像中的列。提供正交网格具有这样的优点，即保证每个处理器对像素执行类似的指令从而是SIMD兼容的。因此，按照本发明，用于线算法的指令流典型地在线上是正交的。
一旦像素数据被SIMD处理器处理，在重新扫描操作期间所存储的扫描信息就用来把图像数据重新扫描到原先的网格27中。原先的网格27然后通过把线段从第一维再弯曲回到它的原先的形式而被变换成正常的线段22a。如果需要的话，线段然后可由SIMD处理器作了处理之后被重新插入到图像帧20。在这一阶段，执行逆扫描，以把处理过的线放置回到原先的图像。替换地，如果不需要图像(例如因为只需要测量值)，则最后阶段可以省略。
图3显示按照本发明的处理图像中的对象或斑点的方法。对象32a到32c在图像帧30中被识别。每个对象32a到32c具有正交的区域，即以与它的关系规定的路程限制块。例如，图3显示对于对象32a规定的路程限制块31a，接着，按照一个实施例，路程限制块31a被用来规定最佳拟合的限制块33a。虽然图3只显示了一个最佳拟合的限制块33a，但一个或多个最佳拟合的限制块33a可被用来根据对象32a的特征来规定对象。最佳拟合的限制块33a使用已知的算法来确定，或通过确定对象在不同的旋转下何时最佳拟合而确定。然后，在重新扫描到二维正交网格36a中之前，把网格施加到最佳拟合的限制块33a，如35a所示。在重新扫描操作期间，图像处理设备保存扫描信息供以后使用，正如下面描述的。
然后SIMD处理器处理正交网格36a，以便进行像素并行处理，例如滤波、识别等等。图像数据得到更有效地处理，因为对象数据被变换成二维网格，因而使得它更适合于由SIMD处理器处理。由于上述的操作的结果，对象在由SIMD处理器处理之前被有效地重新映射，使得对象处在比以前更少的行中，由此避免必须处理整个帧的需要。一旦像素数据被SIMD处理器处理，在重新扫描操作期间存储的扫描信息就被用于把SIMD处理器38a的输出重新扫描成图像39a，如果需要，它被重新插入已由SIMD处理器处理过的图像帧30。替换地，如果不需要图像信号，例如如果从对象只需要数字或测量值，诸如区域或彩色，则以38a和39a表示的重新扫描步骤可以省略。
上述的本发明提供一种图像处理设备和方法，其中当处理图像上的对象时更有效地使用SIMD处理。
应当指出，在图3的实施例中，在处理对象时牵涉到的某些阶段仅仅是任选的，所以可以省略，而仍旧有效地保持SIMD处理器中非常高的处理能力。例如，由于由路程限制块31a规定的区域已是正交的，重新扫描阶段33a，35a，和36a(连同相应的后向扫描(scan back)阶段39a一起)可被省略。换句话说，虽然图3的优选实施例显示，最佳拟合的限制块33a被确定，它然后被重新扫描到正交块36a，但本发明也可以只利用由路程限制块31a规定的正交区域。虽然这个替换实施例没有包括所有阶段的实施例那样有效，但无论如何，它仍旧提供高度的有效性，因为在正交路程限制块31a中的像素数据被处理，而不是整个帧。
图4概述在按照本发明的处理图像信号中的对象的方法中牵涉到的步骤。首先，对于接收的图像信号中感兴趣的区域确定路程限制块，步骤401。然后使用路程限制块来规定最佳拟合的限制块，步骤403。在最佳拟合的限制块中的图像数据然后被重新扫描到正交网格，步骤405。响应于从程序源408接收的指令，经重新扫描的图像数据由SIMD处理器处理，步骤407。然后通过使用在重新扫描过程期间存储的扫描信息406，向后扫描经处理的图像数据，步骤409。
如上所述，步骤403，405，409是任选的，因为SIMD处理器可被配置成直接处理在正交路程限制块中的像素数据。
图5显示如何把对象线创建到存储器503。处理器501执行对象和线的识别和标记以及对接收的信号进行一般的处理。在第二级502，分别对于对象和线确定限制块和执行重新扫描和/或弯曲。来自第二级502的输出数据502a和控制信息502b被传送到存储器503。存储器以在第二阶段中所作的变换的方式存储图像数据(下面参照图6讨论)。SIMD处理器504处理被存储在存储器503中的图像数据。SIMD处理器的输出或者被用于测量505，或者被传送到执行逆重新扫描和/或弯曲操作的级506。逆重新扫描和/或弯曲是通过使用从第二级502接收的控制信息502b而对对象或线执行的。来自级506的经处理的对象/线然后被传送到组合器507，组合器组合原先的图像信号与经处理的图像信号，以产生最终得到的图像信号508。
图6显示图像数据如何存储到图5的存储器。可以看到，由SIMD处理器进行的处理限于与对象数据相对应的图像帧的行以及与线数据相对应的行(该线数据已被变换成直线段，即不是第一维)。结果，不是处理整个帧，而是SIMD处理器只处理经变换的与线处理器正交的数据。
因此，上述的本发明把图像数据重新扫描成相应于图像中的行或列的预定的维中，由此使得图像数据更适合于由SIMD阵列进行处理。
本发明可被用于许多不同的应用，包括电视图像的处理以提高图像质量；在计算机视频应用中执行对象识别；执行用于计算机游戏、教育或CAD/CAM的图像呈现；为MPEG4，H263+执行基于对象的编码；为医疗系统执行图像处理。
应当指出，虽然优选实施例涉及到重新扫描到二维正交网格，但应当看到，当处理诸如视频数据那样的三维图像数据时，网格可以是三维的，而不是二维的。
应当指出，上述的实施例是说明而不是限制本发明，本领域技术人员将能够设计许多替换实施例，而不背离如所附权利要求规定的本发明的范围。在权利要求中，放置在括号中的任何标号不应当看作为限制权利要求。单字“包括”不排除与在任何权利要求或专利说明书中整体地列出的那些不同的单元或步骤的存在。单元的单数标号不排除这样的单元的多数标号，以及反之亦然。本发明可以藉助于包括几种不同的单元的硬件和藉助于适当地编程的计算机被实施。在枚举几个装置的权利要求中，几个这样的装置可以由同一个硬件项实施。某些措施在互相不同的附属权利要求中被阐述的事实不表示这些措施的组合不能被使用来获益。
权利要求
1.一种在具有并行处理单元的阵列的处理器中处理图像信号的方法，该方法包括以下步骤识别图像信号中感兴趣的区域；把感兴趣的区域限制在具有第一维和第二维的正交区域；以及在处理器中处理该正交区域的图像数据。
2.如权利要求1中要求的方法，还包括把图像信号中的线段数据变换到第一维中的步骤。
3.如权利要求2中要求的方法，还包括把线段数据的左面和或右面的像素数据变换到第二维中的步骤。
4.如权利要求2或3中要求的方法，还包括以下步骤对图像信号中的信道数据确定最佳拟合的限制块；以及在处理步骤以前把最佳拟合的限制块重新扫描到正交网格中。
5.如权利要求1中要求的方法，还包括以下步骤对图像信号中的对象确定最佳拟合的限制块；以及在处理步骤以前把最佳拟合的限制块重新扫描到正交网格中。
6.如权利要求4或5中要求的方法，还包括在重新扫描步骤期间存储重新扫描信息的步骤。
7.如权利要求6中要求的方法，还包括下列步骤使用在重新扫描步骤期间存储的信息对处理过的图像数据执行逆重新扫描步骤。
8.如权利要求7中要求的方法，还包括把线段数据从第一维重新变换回它的变换前的维。
9.如前述权利要求的任一项中要求的方法，其中第一维相应于图像帧的行。
10.如前述权利要求的任一项中要求的方法，其中第二维相应于图像帧的列。
11.一种图像处理设备，包括用于识别图像信号中感兴趣的区域的装置；用于把感兴趣的区域限制在具有第一维和第二维的正交区域的装置；以及处理器阵列，用于处理正交区域中的图像数据。
12.如权利要求1中要求的图像处理设备，还包括用于把图像信号中的线段数据变换成第一维的装置。
13.如权利要求12中要求的图像处理设备，还包括用于把线段数据的左面和或右面的像素数据变换成第二维的装置。
14.如权利要求12或13中要求的图像处理设备，还包括用于对图像信号中的线段数据确定最佳拟合的限制块的装置；以及用于把最佳拟合的限制块重新扫描到正交网格中的装置。
15.如权利要求11中要求的图像处理设备，还包括用于对图像信号中的对象确定最佳拟合的限制块的装置；以及用于把最佳拟合的限制块重新扫描到正交网格中的装置。
16.如权利要求11到15的任一项中要求的图像处理设备，还包括用于存储由重新扫描装置提供的重新扫描信息的存储装置。
17.如权利要求16中要求的图像处理设备，还包括用于通过使用在存储装置中存储的信息对处理过的图像数据执行逆重新扫描操作的装置。
18.如权利要求17中要求的图像处理设备，还包括用于把线段数据从第一维重新变换回它变换前的维的装置。
19.如权利要求11到18的任一项中要求的图像处理设备，其中处理器是SIMD处理器。
全文摘要
图像处理设备和方法识别在图像帧中感兴趣的区域22a，例如一个线段。优选地，感兴趣的区域被定义在路程限制块21a内，它被使用来规定“最佳拟合的”边界块23a。最佳拟合的边界块23a然后被重新扫描到正交网格25a。因此线段22a由二维阵列表示，并且该线段22a的整个长度在第一维内，在线段22a左面和右面的像素数据在第二维内。正交网格25然后由SIMD处理器26处理，用于进行像素并行处理，例如线数据的边缘寻找、增强、内插。由于线段22a被重新扫描以使得它的整个长度在一个维内求得，所以图像数据更适合于由SIMD处理器26进行基于线区域的处理。优选地，第一维相应于图像中的行，以及第二维相应于图像中的列。一旦像素数据被SIMD处理器处理，在重新扫描操作期间存储的扫描信息就被用来把图像数据扫描回原始图像帧。
文档编号G06T1/20GK1950846SQ200580013676
公开日2007年4月18日 申请日期2005年4月26日 优先权日2004年4月29日
发明者R·P·克雷霍斯特, A·J·宾克, H·布罗尔斯, W·卡尔斯, S·H·法特米 申请人:皇家飞利浦电子股份有限公司