专利名称：图像处理设备、图像处理方法以及计算机产品的制作方法
技术领域：
本发明涉及一种图像处理设备、图像处理方法以及计算机产品。
技术背景近年来，数码相机得到广泛使用，数码相机功能作为默认功能被安装在 移动电话终端上。利用数码相机或者数码相机功能摄制的照片通常存储作为 图像数据，图像数据不会像印刷在相纸上的照片那样褪色，并且易于通过图 像处理进行改善。图像处理领域的一项基本技术是轮廓抽取。对于将数码相机摄制的图像 转换为手工绘制图像，或者自动设定将例如颜色层次等效果添加到数码相机摄制的图像中的范围，轮廓抽取过程是必要的。通常，如"c语言中的实用图像处理(Practical image processing in C language) " (Seiki Inoue， Nobuyuki Yagi， Masaki Hayashi, Eisuke Nakasu以及Kouji Mitani著，1999年Ohmsha Ltd. 出版，第38-50页)所述，轮廓抽取是通过对图像数据中各个像素的亮度 (intensity)与其相邻像素的亮度进行比较来实现的。在传统的轮廓抽取方法中，是将像素的亮度与其相邻像素的亮度进行比 较，抽取的轮廓范围比应该抽取的轮廓范围宽。当亮度高的像素与亮度低的像素相邻时，希望单独抽取亮度低的像素作 为轮廓。但是，由于给定区域中像素之间亮度的差异，亮度高的像素也被抽 取作为轮廓，这使得抽取的轮廓比应该抽取的轮廓宽。发明内容本发明的目的是至少部分地解决传统技术中的问题。根据本发明的一个方案，提供一种图像处理设备，用于产生指示原始图 像数据中轮廓的轮廓图像数据。所述图像处理设备包括计算单元，计算所 述原始图像数据中各个像素与其周围像素之间的亮度差；轮廓抽取单元，当
第一像素的亮度与邻近所述第一像素的第二像素的亮度之间的亮度差的绝 对值大于阈值时，抽取所述第一像素作为属于所述轮廓图像数据中的轮廓； 以及轮廓校正单元，基于所述第一像素的亮度是否高于所述第二像素的亮 度，来校正所述轮廓。根据本发明的另一方案，提供一种产生轮廓图像数据的方法，所述轮廓 图像数据指示原始图像数据中的轮廓。所述方法包括计算所述原始图像数 据中各个像素与其周围像素之间的亮度差；当第一像素的亮度与邻近所述第 一像素的第二像素的亮度之间的亮度差的绝对值大于阈值时，抽取所述第一 像素作为属于所述轮廓图像数据中的轮廓；以及基于所述第一像素的亮度是 否高于所述第二像素的亮度，来校正所述轮廓。根据本发明的再一方案，提供一种计算机可读记录介质，用于存储在计 算机中实施上述方法的计算机程序。利用本发明，能够对轮廓图像数据中轮廓的范围进行优化，从而提供所 期望质量的轮廓图像数据。通过阅读以下对于本发明优选实施例的详细描述并结合附图，能够更好 地理解本发明的上述以及其它目的、特征、优点以及在技术和工业上的重要意义。
图1为说明根据本发明实施例的图像处理方法的示意图； 图2A为人物图像的图像数据的实例；图2B为通过简单的轮廓抽取过程产生的轮廓图像数据的实例；图2C为图像处理方法中产生的轮廓图像数据的实例；图2D为调节像素亮度之后轮廓图像数据的实例；图2E为草图式(sketch-type)单色图像数据的实例；图2F为草图式有色图像数据的实例；图3为根据本实施例的图像处理设备的方框图；图4为利用图3所示图像处理设备进行产生轮廓图像数据过程的流程图；图5为产生草图式单色图像数据过程的流程图； 图6为产生草图式有色图像数据过程的流程图； 图7为执行图像处理程序的计算机的方框图； 图8为说明传统图像处理方法的示意图； 图9A为风景图像数据的实例；图9B为通过简单的轮廓抽取过程产生的轮廓图像数据的实例； 图9C为图像处理方法中产生的轮廓图像数据的实例； 图9D为图像处理方法中产生的草图式图像数据的实例； 图IOA为室内图像数据的实例；图10B为通过简单的轮廓抽取过程产生的轮廓图像数据的实例; 图IOC为图像处理方法中产生的轮廓图像数据的实例； 图IOD为图像处理方法中产生的草图式图像数据的实例； 图ll为传统技术产生的草图式图像数据的实例；以及 图12为另一种传统技术产生的草图式图像数据的实例。
具体实施方式
以下参照附图详细说明本发明的示例性实施例。 下文所述为与传统的图像处理方法相比，根据本发明实施例的图像处理方法的概要。当像素A至F在图像数据中排列在一条线上时，假定各个像素的亮度为A>B>C=D<E<F。下文所述为轮廓抽取的过程。图8为说明传统图像处理方法的示意图。在传统的图像处理方法中，像 素与其周围像素之间的亮度差被确定，并且评估为像素之间的亮度梯度越大，则轮廓清晰度(sharpness of a contour)程度越高。这里，术语"轮廓清晰度"表示轮廓清晰的程度。因此，当如上所述，像素A至F基于它们的亮度排列时，评估为位于中间的像素B和E的轮廓清晰度高。如果假定亮度低的像素C和D为两个像素宽的线的一部分，则虽然像素 C和D应该在抽取轮廓之前在图像中形成轮廓，但是根据传统方法，很可能 将像素C和D的外部区域识别为轮廓。图1为说明根据本实施例的图像处理方法的示意图。在图像处理方法中， 如果是利用传统的图像处理方法抽取轮廓，则根据亮度梯度的倾斜(slant)， 通过将像素清晰度在预定方向上移动一个亮度梯度的绝对值来校正轮廓范
围，这个绝对值比阈值大。当亮度梯度的倾斜向上(为正)时，将轮廓清晰度向低亮度移动。另一 方面，当亮度梯度的倾斜向下(为负)时，将轮廓清晰度向低亮度移动。假定在评估像素B的轮廓清晰度时确定的亮度梯度的绝对值大于阈值。 因为像素B的亮度梯度的倾斜向下，因此将像素B的轮廓清晰度向像素C 的轮廓清晰度移动，其中像素C的亮度比像素B的亮度低。此外，假定在评 估像素E的轮廓清晰度时确定的亮度梯度的绝对值大于阈值。因为像素E的 亮度梯度的倾斜向上，因此将像素E的轮廓清晰度向像素D的轮廓清晰度移 动，其中像素D的亮度比像素E的亮度低。作为上述校正的结果，如图1所示，确定像素C和D为轮廓清晰度高的 像素，而不是像素B和E。因此，能够适当地抽取在轮廓抽取过程之前识别 的图像轮廓。这样，就可以根据亮度梯度的倾斜，通过将轮廓清晰度向预定 方向移动，将轮廓的范围校正到适当的范围。当在亮度低的像素方向上移动轮廓清晰度时，对于亮度梯度的倾斜向上 和向下这两种情况，都能够适当地抽取亮度低的部分的轮廓。但是，亮度高 的部分的轮廓变宽了。另一方面，当在亮度高的像素方向上移动轮廓清晰度 时，对于亮度梯度的倾斜向上和向下这两种情况，都能够适当地抽取亮度高 的部分的轮廓。但是，亮度低的部分的轮廓变宽了。通常，当亮度梯度的倾斜向上时，可以将轮廓清晰度向高亮度移动，而 当亮度梯度的倾斜向下时，可以将轮廓清晰度向低亮度移动。在另一种情况 下，当亮度梯度的倾斜向上时，可以将轮廓清晰度向低亮度移动，而当亮度 梯度的倾斜向下时，可以将轮廓清晰度向高亮度移动。在上述实例中，为了便于说明，将图像数据中的像素排列为一维。但是， 在实际的图像数据中，像素排列为二维。因此，对于每个像素要在四个方向 上确定亮度的梯度，这四个方向即X方向、Y方向以及两个对角方向。能够 基于倾斜的大小或者所抽取轮廓的形状来确定待校正的轮廓，也就是说，能 够基于相对于各个轮廓在接近垂直的方向上的倾斜，来确定待校正的轮廓。图2A为人物图像的图像数据的实例。图2B为通过简单的轮廓抽取过程， 根据图2A所示的图像数据产生的轮廓图像数据的实例。图2C为在根据本实 施例的图像处理方法中，图2B中产生的轮廓图像数据的校正的实例。当比
较图2B和图2C时，例如在图2B示出的图像数据中，眼睛的轮廓粗而模糊， 相反，在经过校正后，图2C示出的图像数据中，眼睛的轮廓被校正为适当 的宽度。图3为根据本实施例的图像处理设备100的方框图。图像处理设备100 包括控制单元110、显示单元120、输入单元130、存储器140、介质读取单 元150以及网络接口 160。显示单元120为液晶显示器，用于显示图像、各种消息等等。输入单元 130为键盘，由用户使用来输入信息，例如操作指令。存储器140用于存储 图像数据等等。介质读取单元150从存储器读取图像数据。网络接口160与 通过网络连接到图像处理设备100的其它装置交换例如图像数据等信息。控制单元110用于控制图像处理设备100，并且包括图像数据获取单元 111、轮廓抽取单元112、轮廓校正单元113、亮度调节单元114、草图效果 应用单元115以及图像数据存储单元116。图像数据获取单元111从存储器140、介质读取单元150以及网络接口 160获取待处理的图像数据。轮廓抽取单元112根据图像数据获取单元111 获取的图像数据产生轮廓图像数据。特别地，轮廓抽取单元112将图像数据获取单元111获取的原始图像数 据转换为灰度数据。各个灰度化像素与其周围像素之间的亮度差被确定，并 且基于亮度梯度的大小来评估轮廓清晰度，以确定轮廓图像数据中像素的亮 度。轮廓校正单元113通过上述图像处理方法校正轮廓图像数据中轮廓的范 围。用于确定是否移动轮廓清晰度的参数(例如梯度绝对值的阈值)、以及 移动轮廓清晰度的方向可以以固定形式设定在轮廓校正单元113中，以可转 换文件的形式设定在存储器140中，或者也可以由用户利用输入单元130来 指定。亮度调节单元114评估轮廓校正单元113校正的轮廓图像数据的清晰度 的分布。基于评估结果，调节轮廓图像数据的亮度以获得平衡图像。草图效果应用单元115利用亮度经亮度调节单元114调节的轮廓图像数 据产生草图式图像数据。特别地，草图效果应用单元115根据轮廓图像数据 中各个与原始图像数据以及灰度数据中的像素位置相同的像素的亮度水平， 校正原始图像数据以及灰度数据中的像素的亮度。在使得原始图像数据以及灰度数据的亮度均匀以后，通过结合轮廓图像数据与草图式图像数据来加强轮廓，从而完成处理。图像数据存储单元116中存储轮廓图像数据以及草图式图像数据。 虽然图像处理设备100包括利用轮廓图像数据将图像数据转换为草图式图像数据的处理单元，它也可以包括利用轮廓图像数据的其它处理单元。图4为通过图像处理设备100产生轮廓图像数据的过程的流程图。在步骤S101，图像数据获取单元111从存储器140获取原始图像数据。在步骤S102，轮廓抽取单元112根据原始图像数据产生灰度数据。在步 骤S103，各个像素与其周围像素之间的亮度差被确定，并基于亮度梯度的大 小来抽取轮廓，以根据灰度数据产生轮廓图像数据。在步骤S104，轮廓校正 单元113基于抽取轮廓时获得的各个像素的亮度梯度，校正轮廓图像数据中 轮廓的范围。在步骤S105，亮度调节单元114调节轮廓图像数据中像素的亮 度。在步骤S106，图像数据存储单元116将轮廓图像数据存储在存储器140 等装置中。图2A为步骤S101中获取的原始图像数据的实例。图2B为步骤S103 中产生的轮廓图像数据的实例。图2C为步骤S104校正之后的轮廓图像数据 的实例。图2D为步骤S105调节像素亮度之后的轮廓图像数据的实例。图5为产生草图式单色图像数据过程的流程图。因为步骤S201至S205 执行的操作与步骤S101至S105相同，所以省略其相关说明。在步骤S206，在调节了轮廓图像数据的亮度以后，草图效果应用单元 115根据轮廓图像数据中各个像素的亮度水平，对与步骤S202中产生的灰度 数据中的像素位置相同的像素的亮度进行校正。在步骤S207，将灰度数据与 轮廓图像数据相结合。在步骤S208，图像数据存储单元116将结合的图像数 据存储在存储器140等装置中。图6为产生草图式有色图像数据过程的流程图。因为步骤S301至S305 执行的操作与步骤S201至S205相同，所以省略其相关说明。在步骤S306，在调节了轮廓图像数据的亮度以后，草图效果应用单元 115根据轮廓图像数据中各个像素的亮度水平，对与步骤S301中获得的原始 图像数据中的像素位置相同的像素的亮度进行校正。在步骤S307，将原始图 像数据与轮廓图像数据相结合。在步骤S308，图像数据存储单元116将结合 的图像数据存储在存储器140等装置中。图2E为步骤S207中产生的草图式单色图像数据的实例。图2F为步骤 S307中产生的草图式有色图像数据的实例。将上述草图式图像数据与图11 和图12中示出的草图式图像数据相比较，显然，轮廓的宽度适当，整幅图 像的亮度均匀。对于图像处理设备100的结构可以作各种变化而不脱离本发明的范围。 例如，可以将图像处理设备100安装在数码相机或者安装在带有数码相机的 移动电话上。控制单元110的功能可以通过软件实现。换而言之，通过在计算机上执 行计算机程序，能够实现与图像处理设备100相同的功能。以下说明执行计 算机程序(在下文中称作"图像处理程序1071")的计算机的实例。图7为执行图像处理程序1071的计算机1000的方框图。计算机1000 包括中央处理单元(CPU) 1010、输入装置1020、监视器1030、介质读取 装置1040、网络接口装置1050、随机存取存储器(RAM) 1060、硬盘1070 以及连接上述元件的总线1080。 CPU 1010执行各种程序。输入装置1020接 收用户的数据。监视器1030显示信息。介质读取装置1040从记录介质中读 取例如程序等信息。网络接口装置1050通过网络与其它计算机之间收发数 据。RAM 1060中临时存储各种信息。如图7所示，硬盘1070中存储图像处理程序1071以及基于图像处理程 序1071进行处理的图像数据1072。图像数据1072也可以存储在经由网络连 接到计算机1000的其它计算机上。CPU 1010将图像处理程序1071从硬盘1070载入RAM 1060并执行， 使得图像处理程序1071作为图像处理过程1061执行。通过图像处理过程 1061，图像数据1072被读取并传送到RAM 1060中分配给图像处理过程1061 的区域。基于传送的数据执行各种数据处理。图像处理程序1071不需要存储在硬盘1070中，例如可以存储在构成为 连接至计算机1000的存储介质例如压縮盘只读存储器(CD-ROM)中，并 且在被读取后可以由计算机执行。图像处理程序1071也可以存储在经由网 络连接到计算机1000的其它计算机(或者服务器)上，并可以下载到计算 机IOOO，其中，所述网络例如为公用线路、因特网、局域网(LAN)以及广 域网(WAN)。图9A为根据本实施例的风景图像数据的实例。图9B为通过简单的轮廓 抽取过程根据图9A中图像产生的轮廓图像数据的实例。图9C为图像处理方 法中校正轮廓区域之后的轮廓图像数据的实例。图9D为根据图9C所示轮廓 图像数据产生的草图式图像数据的实例。图10A为根据本实施例的室内图像数据的实例。图10B为通过简单的轮 廓抽取过程根据图10A中所示图像产生的轮廓图像数据的实例。图IOC为图 像处理方法中校正轮廓区域之后的轮廓图像数据的实例。图10D为根据图 10C所示轮廓图像数据产生的草图式图像数据的实例。如上所述，基于在抽取轮廓时获取的亮度梯度来校正轮廓图像数据中轮 廓的范围。因此，能够对轮廓图像数据中轮廓的范围进行优化，从而提供所 期望质量的轮廓图像数据。在根据本实施例的图像处理方法中，能够使用比较简单的逻辑(logic) 来抽取轮廓。因此，该图像处理方法能够用于处理能力低的装置例如数码相 机以及带有相机的移动电话终端。根据本发明的一个方案，能够基于在抽取轮廓时获取的像素的亮度梯度 来校正图像数据中轮廓的范围。因此，能够对轮廓的范围进行优化，从而提 供所期望质量的图像数据。虽然为了完整、清楚地公开而参照具体实施例描述了本发明，但是所附 权利要求书不因此受限，而是应解释为可实施为本领域技术人员可构思出来 的所有改型和替换结构，这些改型和替换结构完全落入在此提出的基本原理 范围之内。
权利要求
1、一种图像处理设备，用于产生指示原始图像数据中轮廓的轮廓图像数据，所述图像处理设备包括计算单元，计算所述原始图像数据中各个像素与其周围像素之间的亮度差；轮廓抽取单元，当第一像素的亮度与邻近所述第一像素的第二像素的亮度之间的亮度差的绝对值大于阈值时，抽取所述第一像素作为属于所述轮廓图像数据中的轮廓；以及轮廓校正单元，基于所述第一像素的亮度是否高于所述第二像素的亮度，来校正所述轮廓。
2、 如权利要求1所述的图像处理设备，还包括调节单元，根据所述轮廓图像数据中处于与所述原始图像数据中的原始像素的位置相对应位置的目标像素的亮度，调节所述原始像素的亮度；以及 产生单元，通过将所述原始图像数据与所述轮廓图像数据相结合，产生 草图式图像数据。
3、 如权利要求l所述的图像处理设备，还包括 灰度数据产生单元，依据所述原始图像数据产生灰度数据； 调节单元，根据所述轮廓图像数据中处于与所述灰度数据中的原始像素的位置相对应位置的目标像素的亮度，调节所述原始像素的亮度；以及草图式数据产生单元，通过将所述灰度数据与所述轮廓图像数据相结 合，产生草图式图像数据。
4、 如权利要求1所述的图像处理设备，其中，所述轮廓校正单元当所 述第一像素的亮度低于所述第二像素的亮度时，将所述轮廓从所述第一像素 移动到所述第二像素，当所述第一像素的亮度高于所述第二像素的亮度时， 将所述轮廓从所述第一像素移动到所述第二像素。
5、 如权利要求1所述的图像处理设备，其中，所述轮廓校正单元当所 述第一像素的亮度低于所述第二像素的亮度时，将所述轮廓从所述第二像素 移动到所述第一像素，当所述第一像素的亮度高于所述第二像素的亮度时， 将所述轮廓从所述第二像素移动到所述第一像素。
6、 如权利要求1所述的图像处理设备，其中，所述轮廓校正单元当所述第一像素的亮度低于所述第二像素的亮度时，将所述轮廓从所述第一像素 移动到所述第二像素，当所述第一像素的亮度高于所述第二像素的亮度时， 将所述轮廓从所述第二像素移动到所述第一像素。
7、 如权利要求1所述的图像处理设备，其中，所述轮廓校正单元当所 述第一像素的亮度低于所述第二像素的亮度时，将所述轮廓从所述第二像素 移动到所述第一像素，当所述第一像素的亮度高于所述第二像素的亮度时， 将所述轮廓从所述第一像素移动到所述第二像素。
8、 一种产生轮廓图像数据的方法，所述轮廓图像数据指示原始图像数 据中的轮廓，所述方法包括计算所述原始图像数据中各个像素与其周围像素之间的亮度差； 当第一像素的亮度与邻近所述第一像素的第二像素的亮度之间的亮度 差的绝对值大于阈值时，抽取所述第一像素作为属于所述轮廓图像数据中的轮廓；以及基于所述第一像素的亮度是否高于所述第二像素的亮度，来校正所述轮廓。
9、 如权利要求8所述的方法，还包括根据所述轮廓图像数据中处于与所述原始图像数据中的原始像素的位 置相对应位置的目标像素的亮度，调节所述原始像素的亮度；以及通过将所述原始图像数据与所述轮廓图像数据相结合，产生草图式图像 数据。
10、 如权利要求8所述的方法，还包括 依据所述原始图像数据产生灰度数据；根据所述轮廓图像数据中处于与所述灰度数据中的原始像素的位置相 对应位置的目标像素的亮度，调节所述原始像素的亮度；以及通过将所述灰度数据与所述轮廓图像数据相结合，产生草图式图像数据。
11、 如权利要求8所述的方法，其中，所述校正包括当所述第一像素 的亮度低于所述第二像素的亮度时，将所述轮廓从所述第一像素移动到所述 第二像素，当所述第一像素的亮度高于所述第二像素的亮度时，将所述轮廓 从所述第一像素移动到所述第二像素。
12、 如权利要求8所述的方法，其中，所述校正包括当所述第一像素 的亮度低于所述第二像素的亮度时，将所述轮廓从所述第二像素移动到所述 第一像素，当所述第一像素的亮度高于所述第二像素的亮度时，将所述轮廓 从所述第二像素移动到所述第一像素。
13、 如权利要求8所述的方法，其中，所述校正包括当所述第一像素 的亮度低于所述第二像素的亮度时，将所述轮廓从所述第一像素移动到所述 第二像素，当所述第一像素的亮度高于所述第二像素的亮度时，将所述轮廓 从所述第二像素移动到所述第一像素。
14、 如权利要求8所述的方法，其中，所述校正包括当所述第一像素 的亮度低于所述第二像素的亮度时，将所述轮廓从所述第二像素移动到所述 第一像素，当所述第一像素的亮度高于所述第二像素的亮度时，将所述轮廓 从所述第一像素移动到所述第二像素。
15、 一种计算机可读记录介质，用于存储使计算机产生指示原始图像数 据中轮廓的轮廓图像数据的计算机程序，所述计算机程序使计算机执行以下 步骤计算所述原始图像数据中各个像素与其周围像素之间的亮度差； 当第一像素的亮度与邻近所述第一像素的第二像素的亮度之间的亮度差的绝对值大于阈值时，抽取所述第一像素作为属于所述轮廓图像数据中的轮廓；以及基于所述第一像素的亮度是否高于所述第二像素的亮度，来校正所述轮廓。
全文摘要
一种图像处理设备，包括轮廓抽取单元以及轮廓校正单元。轮廓抽取单元确定原始图像数据中各个像素与其周围像素之间的亮度差，并基于像素的亮度梯度评估轮廓清晰度以确定轮廓图像数据中像素的亮度。当亮度梯度的绝对值大于阈值时，轮廓校正单元基于亮度梯度的倾斜方向，在预定方向上移动像素的轮廓。本发明还提供一种图像处理方法以及计算机产品。利用本发明，能够对轮廓图像数据中轮廓的范围进行优化，从而提供所期望质量的轮廓图像数据。
文档编号H04N1/409GK101155248SQ20071015428
公开日2008年4月2日 申请日期2007年9月17日 优先权日2006年9月26日
发明者石丸义博 申请人:富士通株式会社