专利名称：图像处理装置及图像处理程序的制作方法
技术领域：
本发明涉及一种使用图像的运动信息来进行图像处理的图像处理装置 及图像处理程序。
技术背景以往，由相机等摄像装置所拍摄的图像中表示运动着的物体的信息(以 下，称为运动信息)，被利用在各种图像处理中。作为其一例，可列举降低图像噪声的循环型噪声降低处理(cyclic type noise reduction processing)。此 循环型噪声降低处理是动画的时间方向上的可变参数低通滤波器，可以用以 1帧为单位使用帧存储器而如以下所示的传递函数来表示。H (zF (O)) = (1—K) / (1—KzF (-l))其中，zF (-1)是l帧的单位延迟算子。由于此循环型噪声降低处理是如上所述的时间方向上的低通滤波器，所 以运动部分在时间上会变得模糊。为了将此模糊抑制在视觉残像的范围内， 以免造成视觉上的干扰，对于图像的运动部分，使参数K在0〈K〈1的范 围内变化。在该情况下，对于静止部分，使K—1 (原理上不会产生模糊)， 而对于运动部分，使K^0 (虽然不会产生模糊，但噪声降低效果减弱)。另 外，除了所述情况以外，此运动信息也用于各种应用，如"三维亮度色彩分 离"、"隔行/逐行转换"、"运动物体检测"以及"编码"等。在现有的图像处理装置中，有时将亮度色彩信号分离电路与噪声降低电 路一体化来共享存储器(例如，参看专利文献1)。图5是表示专利文献1 中所揭示的亮度色彩信号分离电路及噪声降低电路的大致结构的框图。在该 图中，提供给输入端子1的合成视频输入信号，通过(1一K)倍的加权电路 2而提供给加法器3及加法器4。而且，来自加权电路2的信号通过选择器5 而存储在存储器6中，例如1帧前的信号通过反转电路7而提供给加法器3， 并且直接提供给加法器4。并且，分别从输出端子8及输出端子9取出来自 所述加法器3及加法器4的信号。进一步，来自加法器3及加法器4的信号
分别通过K倍的加权电路10及加权电路11，并由加法器12进行加法运算 后，通过选择器5而存储到存储器6中，并且利用提供给端子13的运动检 测信号来控制选择器5的切换。并且，例如针对合成视频输入信号中检测出 了运动的像素，选择来自加权电路2的信号。对于没有检测出运动的像素而言，不规则的噪声成分得到降低，并且进 行从合成视频信号中分离出亮度信号及色彩信号的处理。并且，可以通过增 大加权K的值来增强噪声降低效果。g卩，由于噪声成分得到降低的像素仅限 于没有检测出运动的像素，因此可以增大K的值，以增强噪声降低效果。该 图像处理装置中，通过共享存储器而使与此相关的成本得到削减(专利文献 1)。专利文献1:日本专利特开2002-330447号公报然而，现有的技术中所述的图像处理装置的运动信息，是以像素为单位 的，如果想要从对此运动信息去除噪声后的图像中识别出运动物体，则需要 另 一个运动检测部件，所以存在难以获取同步且电路规模变大的问题。发明内容本发明是有鉴于以上情况而研制的，目的在于提供一种图像处理装置及 图像处理程序，对不同的图像处理，将从图像中检测出的运动信息与图像信 息相对应而使用，从而能够容易地使图像与运动信息同步，并縮小电路规模。所述目的是利用以下结构及程序来实现的。 (1) 一种图像处理装置，其对由图像获取部件所获取的图像信号进行图像处理，其包括运动检测部件，其从由所述图像获取部件所获取的多帧 图像信息中检测出运动信息；噪声降低部件，其使用由所述运动检测部件所 检测出的运动信息，来降低图像信号中所含的噪声；运动物体检测部件，其 使用由所述运动检测部件所检测出的运动信息，从噪声降低处理后的图像信 号中检测出运动物体；隔行/逐行转换部件，当由所述图像获取部件进行处理 的图像信号是隔行图像格式时，使用由所述运动检测部件所检测出的运动信 息，将所述图像信号转换成逐行图像格式；以及编码部件，其使用由所述运 动检测部件所检测出的运动信息，对来自所述隔行/逐行转换部件或者所述运 动物体检测部件中任一者的图像信息进行编码。根据此结构，在需要多个运动信息的信号处理中，即在噪声降低处理、
运动物体检测处理、隔行/逐行转换处理以及编码处理各处理中，通过取得同 步并共享而使用检测出的运动信息，因此可以实现电路的共享，从而能够以 小电路规模来进行利用运动信息的图像信号处理。(2) 根据以上(1)所述的图像处理装置，其包括使用富余位的运动 信息转换部件，其在来自所述图像获取部件的视频信号的富余位中加入运动 信息；运动信息展开部件，其使图像信息与加入到视频信号的富余位中的运 动信息的相位相匹配；以及使用消隐期间的运动信息转换部件，其在所述视 频信号的消隐期间内加入运动信息。根据此结构，在处理延迟，尤其是在以帧为单位的处理延迟补偿时，可 以有效地使用存储器容量或存储器数据总线，虽然电路数量有少许增加，但 图像信号处理位置并不受限制，在需要多个运动信息的信号处理中，即在噪 声降低处理、运动物体检测处理、隔行/逐行转换处理、编码处理、使用多余 位的运动信息转换处理、运动信息展开处理以及使用水平消隐的运动信息转 换处理各处理中，通过取得同步并共享而使用检测出的运动信息，因此可以 实现电路的共享，从而能够以小电路规模来进行利用运动信息的图像信号处 理。(3) —种图像处理程序，其对由摄像装置所获取的图像信号进行图像 处理，其中，包括使计算机执行的以下步骤运动检测步骤，从由所述摄像 装置所获取的多帧图像信息中检测出运动信息；噪声降低步骤，使用所检测 出的运动信息来降低图像信号中所含的噪声；运动物体检测步骤，使用所述 检测出的运动信息，从噪声降低处理后的图像信号中检测出运动物体；隔行 /逐行转换步骤，当由所述摄像装置进行处理的图像信号是隔行图像格式时， 使用所检测出的运动信息，将所述图像信号转换成逐行图像格式；以及编码 步骤，使用所检测出的运动信息，对逐行图像格式转换后的图像信息或者运 动物体检测后的图像信息的任一者进行编码，并且，使计算机执行所述各个由此，在需要多个运动信息的信号处理中，即在噪声降低处理、运动物 体检测处理、隔行/逐行转换处理以及编码处理各处理中，通过取得同步并共 享所检测出的运动信息，因此可以实现电路的共享，从而能够以小电路规模 来进行利用运动信息的图像信号处理。
(4)根据以上(3)所述的图像处理程序，其中，包括使用富余位的 运动信息转换步骤，在来自所述摄像装置的视频信号的富余位中加入运动信 息；运动信息展开步骤，使图像信息与加入到视频信号的富余位中的运动信 息的相位相匹配；以及使用消隐期间的运动信息转换步骤，在视频信号的消 隐期间内加入运动信息。由此，在处理延迟，尤其是在以帧为单位的处理延迟补偿时，可以有效 地使用存储器容量或存储器数据总线，虽然电路数量有少许增加，但图像信 号处理位置并不受限制，在需要多个运动信息的信号处理中，即在噪声降低 处理、运动物体检测处理、隔行/逐行转换处理、编码处理、使用多余位的运 动信息转换处理、运动信息展开处理以及使用水平消隐的运动信息转换处理 各处理中，通过取得同步并共享而使用检测出的运动信息，因此可以实现电 路的共享，从而能够以小电路规模来进行利用运动信息的图像信号处理。发明效果本发明的图像处理装置，在需要多个运动信息的信号处理中，即在噪声 降低处理、运动物体检测处理、隔行/逐行转换处理以及编码处理各处理中， 通过取得同步并共享而使用检测出的运动信息，因此可以实现电路的共享， 从而能够以小电路规模来进行利用运动信息的图像信号处理。
图1是表示本发明实施方式1的图像处理装置的大致结构的框图。 图2是表示本发明实施方式2的图像处理装置的大致结构的框图。 图3是概要表示图2的图像处理装置中使用多余位的运动信息转换及运动信息展开处理的图。图4是概要表示图2的图像处理装置的使用水平消隐运动信息转换处理的图。图5是表示现有的亮度色彩信号分离及噪声降低电路的大致结构的框图。附图标记100、 200 图像处理装置101 图像获取部102 运动检测部 103 噪声降低部104 存储器105 运动检测部106 隔行/逐行转换部107 编码部201 使用多余位的运动信息转换部202 运动信息展开部203 使用水平消隐的运动信息转换部具体实施方式
以下，参看附图，详细说明用来实施本发明的优选实施方式。 (实施方式l)图1是表示本发明实施方式1的图像处理装置的大致结构的框图。在该图中，本实施方式的图像处理装置100包括获取图像信号的图像获取部 101;检测图像中的运动的运动检测部102;使用帧存储器进行噪声降低处理 的噪声降低部103;存储器104;检测出图像中的运动物体的Mdet (运动检 测)部105; IP (隔行/逐行)转换部106;以及编码部107。在所述结构中，需要运动信息的处理是在噪声降低部103、 Mdet部105、 IP转换部106以及编码部107中执行的。图像获取部101获取图像信号。在 该情况下，所获取的图像信号不管是为彩色或是黑白、分时彩色(补色、原 色)、样本化及量子化的程度等均可。运动检测部102通过将由图像获取部 101所获取的图像信号与存储在存储器104中的图像信号进行比较，从而获 取运动信息。在该情况下，存储在存储器104中的图像信号是与在当前时刻 由图像获取部101所获取的图像具有时间差的图像。而且，优选的是，在空 间上进行相同像素的比较。这里，优选的是，例如要在不同的半帧间获得运动信息时，通过对其中 一个图像信号进行内插等，从而与另一个图像信号在空间位置上对准后再进 行比较，从而获得运动信息。关于运动信息的检测方法，可以利用对每个像 素的信号电平进行比较的这一简单处理。而且，如果处理能力有富余，则也 可以通过块匹配处理等来检测出运动向量。本实施方式中，包括以上的所有 情况，以下称为运动信息m。
噪声降低部103进行时间方向的低通滤波处理。低通滤波器的形式优选循环型，这是因为其能够以小的帧存储器获得高的噪声降低效果。将滤波器 作为可变参数低通滤波器，并用以下的传递函数来表示。H (zF (O)) = (1_K) / (1—KzF (-l)) 其中，zF (-1)是l帧的单位延迟算子。为了防止视觉上的干扰，对于图像的运动部分，使参数K在0〈K〈1 的范围内变化。参数K是作为由运动检测部102所检测出的运动信息m的 映射而产生，对于静止部分，使K—1，而对于运动部分，使K一O，以此可 以进行不易产生模糊的循环型噪声降低处理。这里，如果将进行噪声降低处理的图像信号以帧为单位暂时存储在存储 器104中，则通过调整从存储器104中读出像素的顺序，可以进行上下反转或 左右反转、垂直方向的比例尺转换(放大或縮小)、桶形转换或枕形转换。 在该情况下，运动信息也需要进行上下反转或左右反转、放大縮小处理等， 并保持与像素的空间位置关系。如果不需要所述转换，则也可以将噪声降低 处理的输出直接输入到下一段的Mdet部105中。在本实施方式中采取以下形 态，即，作为不实施所述转换的状态，而将噪声降低处理输出图像信号直接 输入到下一段的Mdet部105中。Mdet部105从由运动检测部102所获得的运动信息检测出现实世界中 真正运动的物体。当图像获取部101是能够水平旋转及垂直旋转的带有水平 垂直旋转功能的相机，其在进行水平垂直旋转时，当发生场景改变、相机本 身的物理振动或摇晃(相机设置场所的振动或相机本身的摇晃)时，在整个 画面中检测出运动。在这种状况下，如果作为运动信息检测运动量，则在整 个画面中可获得大致相同量的运动信息，如果检测出运动向量，则在整个画 面中可获得大致相同向量的方向及大小的运动信息。即，虽然从整个画面中 检测出运动，但并非整个画面都被现实世界中运动的物体所占据。在该情况 下，检测被拍摄物，即在现实世界中真正运动的物体。为了对运动物体进行检测，也可以检测出在整个画面中获得同样的运动 信息的状态，以补偿运动信息m。而且，如果获知作为水平垂直旋转信息的 角度或角速度(未图示)，则可以根据该信息来计算出将同样地会出现在图 像信号上的运动信息m，以补偿实际获得的运动信息m。在图像获取部101 上安装角速度传感器(未图示)等，从而使得获得振动或摇晃的信息时，同样也可以根据运动信息m而检测出运动物体。接着，如果处理对象图像信号是隔行格式，则可以将图像信号暂时存储 在存储器104中，利用IP转换部106转换成逐行图像。隔行图像即通过内 扫描而获得的图像，可以通过将在空间位置上相互内插的多张图像按空间相 位的顺序重新排列，从而获得一张原始图像(逐行顺次扫描图像)。如果是2: 1隔行图像，则通过将空间相位彼此不同的两张图像按空间相位的顺序重新排列，从而可获得一张原始图像。但是，由于隔行图像的拍摄具有时 间差，因此当图像中存在运动物体、照度等图像获取条件产生变化或图像获取部IOI自身进行物理运动(即振动、摇晃、水平垂直旋转等)时，如果单 纯地进行重新排列，则图像的运动产生部分会出现梳状的图像错乱。从而，利用由运动检测部102所检测出的运动信息m，对检测出运动的 部分进行像素内插。当由A半帧图像与B半帧图像来制作逐行图像时，对 于没有检测出运动的部分，AB交替地重新排列图像信号，而对于检测出运. 动的部分，例如对其中一个半帧的图像信号进行内插，从而生成另一个半帧 空间相位的图像信号。另外，当由图像获取部101所获取的图像信号是逐行图像时，则可穿过 IP转换部106，将Mdet部105的输出直接输入到编码部107中(信号路径 未图示)。接着，通过编码部107对运动图像进行编码。 一般而言，在对运动图像 进行编码时使用帧间预测编码，此帧间预测编码利用与前一帧的像素关联。 此编码中，虽然对帧间差分进行编码，但为了提高预测效果，而使用运动补 偿帧间预测。对每个相对较小的区域检测出帧间的空间运动，并进行相应的 移动的基础上，进行帧间预测。如果运动信息m是运动量，则当所检测出的 运动量大时，可以进行帧内预测，而在所检测出的运动量小时，可以进行帧 间预测。如果是运动向量，则可以根据运动补偿帧间预测来进行编码。这样，根据本实施方式的图像处理装置100，在需要多个运动信息的信 号处理，g卩，在噪声降低处理、运动物体检测处理、隔行/逐行转换处理以及 编码处理各处理中，可以共享而使用检测出的运动信息，因此通过电路的共 享，从而能够以小电路规模来进行利用运动信息的图像信号处理。
另外，所述实施方式1的图像处理装置100的功能，可以作为程序而记 录在磁碟、光磁碟、ROM等记录媒体中。因此，可以利用计算机来读取所 述记录媒体，并由微处理器(MPU， Micro Processing Unit)、数字信号处理 器(DSP， Digital Signal Processor)等来执行程序，从而可以实现图像处理 装置的功能。所述程序包括以下步骤运动检测步骤，从由图像获取部101所获取的多帧图像信息中检测出运 动信息；噪声降低步骤，使用所检测出的运动信息来降低图像信号中所含的噪声；运动物体检测步骤，使用所述检测出的运动信息，从噪声降低处理后的 图像信号中检测出运动物体；隔行/逐行转换步骤，当由图像获取部101进行处理的图像信号是隔行图 像格式时，使用所检测出的运动信息，将所述图像信号转换成逐行图像格式； 以及编码步骤，使用所检测出的运动信息，对逐行图像格式转换后的图像信 息或者运动物体检测后的图像信息中的任一者进行编码。 (实施方式2)图2是表示本发明实施方式2的图像处理装置的大致结构的框图。其结 构与前面所述的实施方式l (图O大致相同。以下，将参看图2、图3及图 4，对与实施方式1的不同点进行说明。在图2中，实施方式2的图像处理装置200除了实施方式1的图像处理 装置100之外，还具备使用多余位的运动信息转换部201、运动信息展开部 202、以及使用水平消隐的运动信息转换部203。这里，对于一般的图像而言 多数情况下，如果是一般的彩色图像，则每一像素具有16位左右的数据量 作为YUV422，而如果是来自摄像元件的原始数据，则具有10位以上的数 据量。这里，所谓YUV，是指通过亮度信号(Y)、亮度信号与蓝色成分之 差(U)、以及亮度信号与红色成分之差(V)这3种信息来表示色彩的形式。 而且在实施方式1中，噪声降低部103的输出是输入到Mdet部105中的， 而相对与此，在实施方式2中，在两者之间加入了使用多余位的运动信息转 换部201、存储器104、以及运动信息展开部202。
在本实施方式中，将由图像获取部101所获取的图像信号视为每1像素具有10位，而将由Mdet部105输出的图像信号视为每1像素具有16位。 此外，本实施方式中的存储器104的数据总线宽度设为32位。而且，使本 实施方式中的结构如下通过将噪声降低部103的输出信号以帧为单位暂时 存储在存储器104中，并调整从存储器104中读出像素的顺序，从而可以进 行例如上下反转或左右反转、垂直方向的比例尺转换(放大或縮小)、以及 桶形转换或枕形转换。在该情况下，运动信息也进行上下反转或左右反转、 放大縮小处理等，以保持与像素的空间位置关系。即，运动信息也有必要存 储在存储器104中。这里，考虑由运动检测部102所检测出的运动信息。使用多余位的运动 信息转换部201将3像素量的运动信息转换为2位，并将此2位插入到噪声 降低部103输出的3像素量的像素数据30位中，以此构成与数据总线宽度 相同的32位。图3是概要表示使用多余位的运动信息转换及运动信息展开 处理的图，如该图所示，每1像素具有10位像素数据的3像素量为30位， 并且将3像素量的运动信息转换为2位。
当存储器数据总线有富余时，可以将图像信号与运动信息有效地存储在 存储器104中。为了将3像素量的运动信息汇集成2位，考虑以下方法计 算出3个运动信息的最大值、最小值及平均值，而取高2位；或者，通过选 择或加法平均而从3个运动信息中获得两个数据，并通过阈值处理使之为1 位的运动信息，将这两个赋值到2位。例如，通过实验可以明确，为了进行 后段处理之一的IP转换处理，优选的是，对3值中的最大值的高2位进行 赋值的方法。当32位的3像素+运动信息从存储器104中读出时，通过运动 信息展开部202，在像素与运动信息的空间相位相匹配的状态下，其输入到 后段的Mdet部105。进一步，考虑由Mdet部105输出的图像信号与运动信息。使用水平消 隐的运动信息转换部203中，图像信号是每1像素16位，所以2像素量构 成32位。在该时点与存储器数据总线宽度相等，因而在该情况下，将多个 运动信息汇集在一起成32位，而在视频的水平消隐(H消隐)中加入运动 信息。图4是概要表示使用水平消隐的运动信息转换处理的图。当存储器数 据总线不富余时，可以将图像信号与运动信息存储在存储器中。将存储在H
消隐中的运动信息展开而用于IP转换，以使像素与运动信息的空间相位相 互匹配。这样，本实施方式中，通过以单一或多个像素为单位来保持运动信 息与图像信息，从而取得运动信息与图像信息的同步，也可以减少保持的数 据量。而且，根据本实施方式的图像处理装置200，在处理延迟，尤其是在以 帧为单位的处理延迟补偿时，可以有效地使用存储器容量或存储器数据总 线，虽然电路数量少许增加，但视频信号处理位置并不受限制，在需要多个 运动信息的信号处理中，即在噪声降低处理、运动物体检测处理、隔行/逐行 转换处理、编码处理、使用多余位的运动信息转换处理、运动信息展开处理 以及使用水平消隐的运动信息转换处理的各处理中，共享而使用所检测出的 运动信息，因此可以实现电路的共享，从而能够以小电路规模来进行利用运 动信息的图像信号处理。另外，所述实施方式2的图像处理装置200的功能与所述实施方式1的 图像处理装置100相同，可以作为程序而记录在磁碟、磁光碟、ROM等记 录媒体中。因此，可以利用计算机来读取所述记录媒体，并通过MPU、 DSP 等来执行程序，从而可以实现图像处理装置的功能。所述程序包括实施方式 l所示的步骤，除此之外，还包括以下步骤使用富余位的运动信息转换步骤，在来自图像获取部IOI的视频信号的 富余位中加入运动信息；运动信息展开步骤，使图像信息与加入到视频信号的富余位中的运动信 息的相位相匹配；以及使用消隐期间的运动信息转换步骤，在视频信号的消隐期间内加入运动 信息。以上参看特定的实施方式并详细地对本发明进行了说明，但对于本领域 技术人员而言可明确的是，在不脱离本发明的精神与范围的情况下可进行各 种变更及修改。本申请基于2005年4月19日申请的日本专利申请案(日本专利特愿 2005 — 121218)，其内容以引用的方式并入本文中。 工业利用可能性本发明具有以下效果通过电路的共享，从而能够以小电路规模来进行
利用运动信息的图像处理，本发明例如可应用于对人物进行跟踪的人物跟踪 装置等监视装置等中。
权利要求
1、一种图像处理装置，其对由图像获取部件所获取的图像信号进行图像处理，其中，包括运动检测部件，其从由所述图像获取部件所获取的多帧图像信息中检测出运动信息；噪声降低部件，其使用由所述运动检测部件所检测出的运动信息，来降低图像信号中所含的噪声；运动物体检测部件，其使用由所述运动检测部件所检测出的运动信息，从噪声降低处理后的图像信号中检测出运动物体；隔行/逐行转换部件，当由所述图像获取部件进行处理的图像信号是隔行图像格式时，使用由所述运动检测部件所检测出的运动信息，将所述图像信号转换成逐行图像格式；以及编码部件，其使用由所述运动检测部件所检测出的运动信息，对来自所述隔行/逐行转换部件或者所述运动物体检测部件中任一者的图像信息进行编码。
2、 根据权利要求l所述的图像处理装置，其中， 包括-使用富余位的运动信息转换部件，其在来自所述图像获取部件的视频信 号的富余位中加入运动信息；运动信息展开部件，其使图像信息与加入到视频信号的富余位中的运动 信息的相位相匹配；以及使用消隐期间的运动信息转换部件，其在所述视频信号的消隐期间内加 入运动信息。
3、 一种图像处理程序，其对由摄像装置所获取的图像信号进行图像处 理，其中，包括使计算机执行的以下步骤运动检测步骤，从由所述摄像装置所获取的多帧图像信息中检测出运动 信息；噪声降低步骤，使用所检测出的运动信息来降低图像信号中所含的噪运动物体检测步骤，使用所述检测出的运动信息，从噪声降低处理后的 图像信号中检测出运动物体；隔行/逐行转换步骤，当由所述摄像装置进行处理的图像信号是隔行图像 格式时，使用所检测出的运动信息，将所述图像信号转换成逐行图像格式； 以及编码步骤，使用所检测出的运动信息，对逐行图像格式转换后的图像信 息或者运动物体检测后的图像信息的任一者进行编码， 并且，使计算机执行所述各个步骤。
4、根据权利要求3所述的图像处理程序，其中，包括使用富余位的运动信息转换步骤，在来自所述摄像装置的视频信号的富 余位中加入运动信息；运动信息展开步骤，使图像信息与加入到视频信号的富余位中的运动信 息的相位相匹配；以及使用消隐期间的运动信息转换步骤，在视频信号的消隐期间内加入运动 信息。
全文摘要
本发明的课题在于提供一种图像处理装置及图像处理程序，对不同的图像处理，其与图像信息相对应地使用从图像中检测出的运动信息，从而能够容易地使图像与运动信息同步，并缩小电路规模。在运动检测部(102)从输入到图像获取部(101)的图像信号与存储在存储器(104)中的图像信号中检测出运动信息，在噪声降低部(103)使用所检测出的运动信息来降低噪声，在运动检测部(105)检测出运动物体，IP转换部(106)进行隔行/逐行转换，进而在编码部(107)进行图像的编码处理。
文档编号H04N5/21GK101164332SQ20068001308
公开日2008年4月16日 申请日期2006年3月16日 优先权日2005年4月19日
发明者佐野俊幸, 樋爪太郎, 矢田学, 隅谷一德 申请人:松下电器产业株式会社