专利名称：图像处理装置、方法、以及程序的制作方法
技术领域：
本发明涉及用于对具有多种颜色成分的彩色图像数据的缺陷部分进行修正的图像处理装置、方法、以及程序，尤其涉及即使在图像数据的缺陷部分上存在图案、边界等的情况下，也可以进行可反映这些要素地适当地修正的插补处理的图像处理装置、方法、以及程序。
背景技术：
在照相胶片上，有时在其表面会存在伤痕、灰尘、污垢等的缺陷。因此，已知有以下的技术，即，从存在这样的缺陷的照相胶片上读取图像并记录在印相纸上或者显示在显示器上等而进行输出时，通过辉度调整处理、插补处理等图像处理来对这样的缺陷部进行修正。
作为这样的技术，已知有以下的技术，即，比如红外光，与可见光不同，当将其照射到照相胶片上时，基本不受在其上拍照的图像的影响，而仅仅受伤痕、灰尘的影响，利用这一特性，通过辉度调整处理进行修正。该技术，具体地说是将红外光以及可见光照射到照相胶片上，将红外光的图像数据的像素值处于一定阈值以下的部分视为缺陷部，并在该缺陷部的各颜色成分(红色(R)、绿色(G)、蓝色(B))的像素值上，追加与缺陷部相对于正常部的红外光的衰减量相应的值，以提高辉度，由此使缺陷部的各颜色成分的像素值与正常部一致而调整辉度(比如，参照专利文献1)。
但是，这样的辉度调整处理，由于以在缺陷部中各颜色成分的像素值只相互衰减同样的量为前提，当由于照相胶片的乳剂面带有伤痕的情况而使每种颜色成分的像素值的衰减量不同的情况下，就无法适当地对缺陷部进行修正。
在这种情况下，虽然可以采用利用周围的正常像素的像素值对缺陷部进行修正的插补处理的技术，但是如果只是单纯地用邻接的正常像素的像素值适用于缺陷部，当在缺陷部上存在图案、边界等的情况下，就不能进行适当的修正。因此，已知有以下的技术，即，比如，通过检测出图像边界的方向，以沿着其边界的方向而存在的正常像素的像素值适用于缺陷部，就可以进行反映图案、边界等的修正。该技术具体地说就是从缺陷部沿着相互不同的多个方向，运算正常像素的像素值的差、正常像素间的距离等图像特征量，进而从所述多个方向上存在的正常像素的像素值求出每个方向的插补值，并将所述图像特征量作为权，通过运算各方向的插补值的加权平均值而求出最终的修正值并进行插补(比如，参照专利文献2)。
专利文献1特开平11-98370号公报(第15-16页、图4)专利文献2特开2001-78038号公报(第7-8页、图4-5、图8)但是，在所述的专利文献2中所记载的以往的基于插补处理的修正中，存在以下的问题。即，由于是以缺陷部为中心，沿着相互不同的多个方向，放射状地进行图像特征量、插补值的运算，因此，虽然在缺陷部的周围不存在图像的边界、图案的情况下，或者在从缺陷部以放射状延伸的方向存在图像的边界、图案的情况下能够正确地进行修正，但是，当在缺陷部内存在复杂的边界、图案的情况下，采用这样沿着以放射状延伸的方向而存在的正常像素的像素值而进行插补的方法，则难以进行正确的插补。特别是，当缺陷部的区域很宽的情况下，在缺陷部内存在复杂的边界、图案的可能性很高，要进行正确的修正是困难的。
而且，为了检测出图像的边界、图案的方向，就必须沿着缺陷部的周围的全方向放射状地对图像特征量、插补值进行运算，进而为了正确地检测出图像的边界、图案的方向，就必须使放射状的各个方向的角度间隔很小，因此，在进行图像特征量、插补值的运算时的运算量就会很多，也就会产生难以提高处理速度的问题。
发明内容
本发明是鉴于上述课题而提出的，其目的在于提供一种即使在缺陷部内存在复杂的边界、图案的情况下，也可以通过反映这些要素的插补处理正确地修正缺陷，并且可以减少运算量，提高处理速度的图像处理装置。
用于实现所述目的的本发明的图像处理装置的第一特征构成在于具有对缺陷像素的辉度进行调整处理的辉度调整装置；从由缺陷像素中选择的对象像素的周围选择多个正常像素的正常像素选择装置；对由所述正常像素选择装置所选择的各正常像素，按照各颜色成分，求出与由所述辉度调整装置调整辉度后的所述对象像素之间的像素值的差分，并采用各正常像素的各颜色成分的差分的最小值，将该最小值越小加权越大的系数作为各正常像素的各颜色成分共同的加权系数而进行运算的加权系数运算装置；采用由所述加权系数运算装置所运算出的加权系数，对所述多个正常像素的各颜色成分的加权平均值进行运算的加权平均值运算装置；采用由所述加权平均值运算装置所运算出的各颜色成分的加权平均值，对所述对象像素进行修正的修正装置。
这里，一般在照相胶片的基面上带有伤痕的情况下、或者在照相胶片的表面带有灰尘或污垢的情况下，由于包含在读取的图像数据中的缺陷像素的各颜色成分的像素值只相互衰减同一量，因此，可以通过辉度调整而适当地修正缺陷。另一方面，当在照相胶片的乳剂面上带有伤痕的情况下，由于只有颜色成分的特定层有损伤，各颜色成分的像素值的衰减量不同，因此，只是通过将各种颜色成分的像素值同样变更的辉度调整处理并不能适当地修正缺陷，而必须通过插补处理对缺陷进行修正。但是，即使是在照相胶片的乳剂面上带有伤痕的情况下，造成颜色成分的所有的层都有损伤那样的深的伤痕也是非常稀少的。所以，对于从这样在乳剂面上带有伤痕的照相胶片上读取的图像数据中包含的缺陷像素进行辉度调整处理后，对于没有损伤的一种颜色或两种颜色的颜色成分的像素值，可以修正到与正常像素基本相同的状态。也就是说，即使有乳剂面的伤痕造成的图像数据的缺陷像素，未由该伤痕造成损伤的一种颜色或两种颜色的颜色成分的层的像素值，也可以通过辉度调整修正到与本来就没有缺陷的状态基本相同的状态。另外，通常，在缺陷像素的周围的正常像素中，考虑到存在与无该当缺陷像素的缺陷的状态类似的像素。所以，在辉度调整后的缺陷像素的各颜色成分的像素值与其周围的若干正常像素的各颜色成分的像素值之间，表现出对一种颜色或两种颜色类似度很高的倾向。
根据所述第一特征构成，将辉度调整后的对象像素的各颜色成分的像素值与其周围的正常像素的各颜色成分的像素值进行比较，使对于一种颜色或两种颜色成分的像素值类似的正常像素的影响变大地运算对象像素的修正值，因此，以大的比例，将与对象像素没有缺陷的状态接近的正常像素的像素值用于修正像素值来进行插补，可以正确地再现没有缺陷的状态而进行修正。所以，即使在缺陷部内存在有复杂的边界或图案的情况下，也可以反映这些而正确地对缺陷进行修正。而且，在对象像素的修正中，由于只要在由正常像素选择装置选择的正常像素之中有1～3个左右与对象像素没有缺陷的状态接近的正常像素，就可以进行修正，因此由正常像素选择装置选择并成为运算对象的正常像素的数为5～10个左右，也可以进行正确的修正。所以，可以减少运算量，提高运算处理速度。此外，当处理速度有富裕的情况下，能够可靠地、或者更多地探索与没有对象像素之缺陷的状态接近的正常像素，可以提高修正精度，因而也可以进一步增加由正常像素选择装置选择的正常像素的数量。
本发明的图像处理装置的第二特征构成在于，在所述第一特征构成基础上，所述正常像素选择装置，一边从所述对象像素的近旁顺序地向外侧扩展探索区域，一边对正常像素进行探索直到检测出预先设定的一定量为止，并对检测出的正常像素进行选择。这里，检测正常像素的‘一定量’，并不限定为单纯以正常像素的个数设定的量(10个等)，比如，也可以以由加权系数运算装置运算的加权系数的和成为一定的值的正常像素的量(此时，随着检测的正常像素的像素值，探索的正常像素的个数变化)等来设定。
根据该第二特征构成，由于选择与对象像素接近的正常像素，所以从对象像素离开较远的正常像素的像素值不用于对象像素的修正，从而进一步提高了修正精度。而且，在检测出预先设定的一定量的正常像素的时刻，即停止探索，因此，限定了成为运算对象的像素数，从而可以提高运算速度。
本发明的图像处理装置的第三特征构成在于，在所述第一特征构成或第二特征构成的基础上，具有调整系数运算装置，对由所述正常像素选择装置所选择的各正常像素，按照各颜色成分，求出与由所述辉度调整装置调整辉度后的所述对象像素之间的像素值的差分，并求出各正常像素的各颜色成分的差分的最大值和最小值，并采用这些最大值和最小值的差分，对调整系数进行运算；所述修正装置，以对应于由所述调整系数运算装置所运算出的调整系数的比例，将由所述加权平均值运算装置所运算出的各颜色成分的加权平均值适用于所述辉度调整后的对象像素的像素值，并对所述对象像素进行修正。
根据该第三特征构成，对各颜色成分求出对象像素的周围的多个正常像素和辉度调整后的对象像素之间的像素值的差分，根据各正常像素的各颜色成分的差分的最大值和最小值的差分的大小，来判断对象像素的缺陷源于乳剂面的伤痕的可能性并表示在调整系数中，并且可以如下所述进行修正即，如果源于乳剂面的伤痕的可能性高，就提高对对象像素进行插补处理的适用比例并降低辉度调整处理的适用比例，而如果源于乳剂面的伤痕的可能性低，就提高对对象像素进行辉度调整处理的适用比例并降低插补处理的适用比例。由此，可以对应于对象像素的各颜色成分的像素值的状态而调节辉度调整处理与插补处理的适用比例来进行最适的缺陷修正。而且，即使是判断对象像素的缺陷是否源于乳剂面的伤痕的边界线附近的像素值的情况下，由于也可以对应其可能性调节插补处理与辉度调整处理的适用比例，因此在修正后的图像上也不会有不舒服的感觉，而不会象只选择性地适用插补处理或者辉度调整处理中的任何一方的情况那样，明确地显示出适用了不同的修正处理的部分之间的边界。
本发明的图像处理方法的特征构成在于进行对缺陷像素的辉度进行调整的辉度调整处理，从由缺陷像素中选择的对象像素的周围选择多个正常像素，对所述选择的各正常像素，按照各颜色成分，求出与所述辉度调整处理后的所述对象像素之间的像素值的差分，并采用各正常像素的各颜色成分的差分的最小值，将该最小值越小加权越大的系数作为各正常像素的各颜色成分共同的加权系数而进行运算，并采用该加权系数，对所述多个正常像素的各颜色成分的加权平均值进行运算，并采用各颜色成分的加权平均值，对所述对象像素进行修正。
根据该特征构成，与所述第一特征构成的效果相同，即使在缺陷部内存在复杂的边界或图案等，也可以反映这些而正确地修正缺陷，而且，可以减少运算量，提高运算处理速度。
本发明的图像处理程序的特征构成在于让计算机执行以下的处理进行对缺陷像素的辉度进行调整的辉度调整处理，从由缺陷像素中选择的对象像素的周围选择多个正常像素，对所述选择的各正常像素，按照各颜色成分，求出与所述辉度调整处理后的所述对象像素之间的像素值的差分，并采用各正常像素的各颜色成分的差分的最小值，将该最小值越小加权越大的系数作为各正常像素的各颜色成分共同的加权系数而进行运算，并采用该加权系数，对所述多个正常像素的各颜色成分的加权平均值进行运算，并采用各颜色成分的加权平均值，对所述对象像素进行修正。
根据该特征构成，与所述第一特征构成的效果相同，即使在缺陷部内存在复杂的边界或图案，也可以反映这些而正确地修正缺陷，而且，可以减少运算量，提高运算处理速度。
图1是表示本发明的实施方式的图像印刷系统的外观的立体图。
图2是表示本发明的实施方式的图像印刷系统的概要构成的模式图。
图3是表示本发明的实施方式的图像处理装置的功能的帧图。
图4是表示本发明的实施方式的缺陷像素的修正处理的流程图。
图5是表示在本发明的实施方式的缺陷像素的修正处理中，选择对象像素的周围的多个正常像素时的选择方法的一例的说明图。
图中1-图像处理装置，4-图像印刷系统，5-图像读取装置，6-图像记录装置，17-CPU，18-存储器，19-缺陷像素修正部，25-缺陷像素判定部，26-辉度调整部，27-正常像素选择部，28-加权系数运算部，29-加权平均值运算部，30-调整系数运算部，31-修正部，Wgtx+i，y+j-加权系数，Wgt2x， y-调整系数。
具体实施例方式
以下，作为本发明的实施方式，根据附图对将本发明的图像处理装置1适用于从照相胶片2读取图像并记录在印相纸3上的图像印刷系统4的情况进行说明。图1是表示本实施方式的图像印刷系统4的外观的立体图，图2是表示本实施方式的图像印刷系统4的概要构成的模式图，图3是表示本实施方式的图像处理装置1的功能的帧图。
如在这些图中所示，该图像印刷系统4，具备将利用未图示的胶片显影机进行了显影处理的照相胶片2的摄影图像帧作为数字图像数据进行读取的图像读取装置5；对读取的图像数据进行图像处理并生成印刷数据的图像处理装置1；以及根据来自图像处理装置1的印刷数据进行曝光处理和显影处理并将图像记录到印相纸3上的图像记录装置6而构成。
图像读取装置5是所谓的胶片扫描器，作为主要的构成要素，如图2所示，具备照明光学系统7；变焦镜头等摄影光学系统8；将入射的光分为可见光和红外光的分色镜9；可见光传感器装置10；红外光传感器装置11。照明光学系统7，具备作为光源的碘钨灯或发光二极管；对从该光源来的光进行调光的镜片隧道、扩散板等而构成。可见光用传感器装置10，具备为了检测由照相胶片2的三个基本颜色成分，在本实施方式中为R(红色)光、G(绿色)光、B(蓝色)光构成的可见光图像，而安装各自适合的彩色滤光器的三个CCD阵列10a；处理由这些CCD阵列10a检测出的可见光信号，并生成由基本颜色成分构成的R光、G光、以及B光的各自的图像数据，并向图像处理装置1传送的可见光用信号处理电路10b。而且，红外光用传感器装置11，具备为了将附在照相胶片2上的伤痕的状态作为红外光图像检测出来，而只接收从分色镜9分出来的红外光地配置的CCD阵列11a；处理由该CCD阵列11a检测出的红外光信号，生成红外光图像数据并向图像处理装置1进行传送的红外光用信号处理电路11b。
在这样构成的图像读取装置5中，将照相胶片2的摄影图像帧定位在规定的读取位置上后，就开始进行摄影图像帧的读取处理，然而此时摄影图像帧的投影光像，通过向胶片传送机构12的照相胶片2的副扫描方向的送进操作，以分割成多个切槽图像的形状，顺次地由可见光用传感器装置10以及红外光用传感器装置11进行读取，并光电变换成R、G、B的各颜色成分的图像信号以及红外成分的图像信号，并作为数字图像数据传送到图像处理装置1。这样，由图像处理装置1对照明光学系统7、摄像光学系统8、可见光用传感器装置10以及红外光用传感器装置11进行各种控制，在本实施方式中，图像处理装置1的一部分功能部分成为图像读取装置5的构成要素。
图像处理装置1，在这里基本上由通用的微机构成，另外，还具有如下的一些附属设备显示该图像印刷系统4的操作画面的监视器13、从数字相机等的存储卡等读入图像的介质读取器14、用于操作者操作输入的键盘15以及鼠标16等。
图像处理装置1，将CPU17作为核心部件，其用于对输入的数据进行各种处理的功能部安装在硬件上或者软件上或者同时安装在硬件和软件上。作为与本发明有特殊关系的功能部，如图3所示，可以举出为了进行各种处理而暂时存储可见光图像数据以及红外光图像数据的存储器18；利用存储在存储器18中的可见光图像数据以及红外光图像数据进行缺陷像素修正的缺陷像素修正部19；对展开在存储器18中的可见光图像数据实施色调补正、滤光(色差模糊或锋利等)、修剪等缺陷以外的各种图像处理的图像调整部20；将图像数据或其它的显示项目读取到视频存储器，并且将展开在该视频存储器中的映像通过视频控制器变换成视频信号，传送到监视器13上的视频控制部21；将在缺陷像素修正部19以及图像调整部20上处理的最终的图像数据变换成印刷数据并传送到图像记录装置6的曝光印刷部22的印刷数据生成部23；根据在采用图形用户接口(GUI)做出的操作画面下，通过键盘15以及鼠标16等输入的操作指令或预先程序化的操作指令对各功能部进行控制的印刷管理部24。
缺陷像素修正部19，具备采用存储在存储器18中的红外光图像数据，对包含在可见光图象数据中的各像素是否是缺陷像素进行判定，并生成缺陷像素图的缺陷像素判定部25；在缺陷像素判定部25中，对判定为缺陷像素的像素的辉度进行调整处理的辉度调整部26；从缺陷像素中选择的对象像素的周围选择一定量的正常像素的正常像素选择部27；对由正常像素选择部27选择的各正常像素，按照各颜色成分(在本实施方式中为RGB，以下简称RGB)求出与由辉度调整部26进行辉度调整后的对象像素之间的像素值的差分，并采用各正常像素的该各RGB的差分的最小值，将该最小值越小其加权越大的系数作为对于各正常像素的RGB共同的加权系数(Wgtx+i，y+j)进行运算的加权系数运算部28；利用由加权系数运算部28运算出的加权系数(Wgtx+i，y+j)，运算多个正常像素的各RGB的加权平均值的加权平均值运算部29；对于由正常图像选择部27选择的各正常图像，按照各RGB，求出与辉度调整后的对象像素之间的像素值的差分，并求出该各正常像素的各RGB的差分的最大值和最小值，再利用这些最大值和最小值的差分运算调整系数(Wgt2x，y)的调整系数运算部30；以对应于由调整系数运算部30运算的调整系数(Wgt2x，y)的比例，将由加权平均值运算部29运算的各RGB的加权平均值，适用于辉度调整后的对象像素的像素值，并对对象像素进行修正的修正部31。这里，本实施方式中的辉度调整部26、正常像素选择部27、加权系数运算部28、加权平均值运算部29、调整系数运算部30以及修正部31分别相当于权利要求范围中的辉度调整装置、正常像素选择装置、加权系数运算装置、加权平均值运算装置、调整系数运算装置以及修正装置。另外，以后将要详细说明该缺陷像素修正部19中的对象像素的缺陷的修正处理。
图像记录装置6，如图2所示，将收容在两个印相纸箱32中的滚筒状的印相纸3拉出并由切纸刀33切成印刷的尺寸，并且由背面印刷部将颜色补正信息、帧编号等印刷处理信息印刷到这样切成的印相纸3的背面，同时在曝光印刷部22对印相纸3的表面进行摄影图像的曝光，并且将该曝光后的印相纸3传送到具有多个显影处理槽的处理槽装置35中进行显影处理。干燥后从装置上部横向传送输送带36传送到分类器37的印相纸3，以按照顺序单位分送到该分类器37的多个托盘38中的状态而进行集中(参考图1)。
而且，在图像记录装置6中，为了以与对印相纸3的各种处理一致的传送速度传送印相纸3，还敷设了印相纸传送机构39。印相纸传送机构39，由在印相纸传送方向上、配置在曝光印刷部22的前后的、包含卡盘式印相纸传送单元39a的多个夹持传送滚轮对而构成。在曝光印刷部22中，设置着沿着主扫描方向、根据来自图像记录装置6的印刷数据而向沿副扫描方向传送的印相纸3，进行R、G、B的3原色的激光光线的照射的行曝光头。处理槽装置35，具备贮存发色显影处理液的发色显影槽35a、贮存漂白定影处理液的漂白定影槽35b、贮存稳定处理液的稳定槽35c。
接着，根据图4所示的流程图，对本实施方式中的缺陷像素的修正处理进行详细说明。
首先，将由图像读取装置5的可见光用传感器装置10以及红外光用传感器装置11取得的可见光图像数据和红外光图像数据读入到存储器18中(#01)。然后，在缺陷像素判定部25中，采用由#01的处理而保存到存储器18中的红外光图像数据，对包含于可见光图像数据中的各像素是否是缺陷像素进行判定，并生成缺陷像素图(#02)。当包含于红外光图像数据中的各像素的像素值，低于预先设定的一定的阈值的情况下，判定为缺陷像素，并可以通过在缺陷像素图上登录其位置而进行该处理。这里使用的一定的阈值，最好是根据包含于红外光图像数据中的全像素的像素值的平均值来设定。
接着，在辉度调整部26中，进行将在#02的处理中判定为缺陷像素并登录到缺陷像素图上的像素辉度与无缺陷状态匹配并调整的辉度调整处理(#03)。作为在该处理中使用的辉度调整方法，比如可以使用如下的方法通过将包含于红外光图像数据中的全部的正常像素的像素值的平均值与各缺陷像素的像素值的差分作为各缺陷像素的由于伤痕所导致的像素值的衰减量，而将其分别加到包含于可见光图像数据的各缺陷像素的各颜色成分(RGB)的像素值上，从而对包含于可见光图像数据中的全部的缺陷像素的辉度进行调整。另外，在该辉度调整处理中使用的辉度调整方法并不限定于此，可以使用背景技术中说明的方法等、任意的辉度调整方法。
然后，从在#02的处理中判定为缺陷像素并登录到缺陷像素图上的缺陷像素中选择通过插补进行修正处理的对象像素(#04)。作为对象像素，可以从登录到缺陷像素图上的缺陷像素、即尚未通过插补而进行修正处理的像素中选择任意的像素。
接着，在正常像素选择部27中，从对象像素的周围选择一定量的正常像素(#05)。这里作为正常像素的选择方法，最好是选择一边从对象像素的近旁顺序地向外侧扩展探索的区域，一边进行正常像素的探索直到检测出预先设定的一定量为止，并选择检测出的正常像素的方法。作为这样的选择方法，可以使用如下的方法，即，比如图5所示，将对象像素作为中心，首先设定3×3像素的正方形区域并沿着各边在四个方向同时探索正常像素，接着设定5×5像素的正方形区域同样地沿着各边向四个方向探索正常像素，直到预先设定的一定量的正常像素检测出来为止，顺序地将m×m像素的正方形区域的外形向外侧扩展并进行探索。另外，探索正常像素的方法，并不限定于此，也可以使用一边从对象像素向外侧呈螺旋状地扩展正方形区域一边进行探索的方法。
检测出正常像素的‘一定量’，可以单纯地以正常像素的个数进行设定。这里，由于将选择的正常像素的像素值作为缺陷像素的修正值使用，因此选择的正常像素的数越多越可以得到精度更高的修正效果。但是，实际上如后述的那样，由于运算多个正常像素的像素值的加权平均值，因此在选择的正常像素中，只要有1～3个左右接近于对象像素的无缺陷的状态的正常像素，就可以充分正确地进行修正，而且通常在对象像素的周围的正常像素中，包含接近于对象像素的无缺陷的状态的像素的可能性很高。所以，比如是在2000×3000像素左右大小的像素数据的情况下，选择的正常像素的数量为5～10个左右的话，就可以充分正确地进行修正。但是，如果将处于距离对象像素较远的位置的正常像素的像素值用于修正值的运算，得不到正确的修正结果的可能性增高，因此比如将15×15像素的正方形区域作为上限而设定，当在该区域内不能检测出预先设定的一定量的正常像素的情况下，即使不满足该一定量，也中止正常像素的探索，仅将到此为止检测出的正常像素的像素值用于修正值的运算，这样的处理是适当的。另外，检测出正常像素的‘一定量’的设定，并不限定于正常像素的个数的设定，比如，也可以将由加权系数运算部28运算的加权系数(Wgtx+i，y+j)的和作为一定值的正常像素的数量而进行设定。此时，根据检测出的正常像素的像素值，探索的正常像素的个数变动。
接着，对于在#05的处理中选择的各正常像素，按照各RGB，运算与由辉度调整部26进行辉度调整后的对象像素之间的像素值的差分(#06)。具体地，根据以下的公式(1)、(2)、(3)进行运算。
数1Rdefx+i，y+j＝|r1x，y-r2x+i，y+j| ……(1)Gdefx+i，y+j＝|g1x，y-g2x+i，y+j| ……(2)Bdefx+i，y+j＝|b1x，y-b2x+i，y+j| ……(1)这里，(x，y)是对象像素的坐标，(i，j)是从对象像素的x方向以及y方向各自以像素数表示的距离，对象像素的周围的像素的坐标以(x+i，y+j)的坐标来表示。而且，r1、g1、b1分别是辉度调整后的缺陷像素的各RGB的像素值，r2、g2、b2分别是正常像素的各RGB的像素值。另外，Rdefx+i，y+j、Gdefx+i，y+j、Bdefx+i，y+j，分别是位于(X+i，Y+j)坐标的正常像素与辉度调整后的对象像素之间的像素值的差分的绝对值，并对#05的处理所选择的全部的正常像素(包含于探索的m×m像素的正方形区域中的所有的正常像素)进行运算。
接着，对在#06的处理中所求出的各正常像素的各RGB的差分(Rdefx+i，y+j、Gdefx+i，y+j、Bdefx+i，y+j)的最小值进行运算(#07)。具体地根据以下的公式(4)进行运算。
数2Simx+i，y+j＝min(Rdefx+i，y+j、Gdefx+i，y+j、Bdefx+i，y+j，α)……(4)该最小值(Simx+i，y+j)的值越小，表示对象像素与位于该(x+i，y+j)坐标上的正常像素的像素值在RGB的任意一种颜色上越接近(类似度越高)。这里，min是最小值运算函数。而Simx+i，y+j是在#06的处理中求出的各正常像素的各RGB的差分的最小值，来对在#05的处理中选择的全部的正常像素进行运算。在本实施方式中，将最小值(Simx+i，y+j)的上限设定为‘α’，在RGB的各个差分的基础上，将‘α’作为min(最小值运算函数)的比较对象而进行运算。最小值(Simx+i，y+j)的上限‘α’，有辉度调整后的对象像素的像素值和正常像素的像素值类似的可能性，并将该正常像素的像素值作为可以用于基于插补的修正值的运算的界限值而进行设定。所以，当在#06的处理中求出的各RGB的差分(Rdefx+i，y+j、Gdefx+i， y+j、Bdefx+i，y+j)全部在‘α’以上时，如后所述，其位于(x+i，y+j)坐标的正常像素的加权系数(Wgtx+i，y+j)成为‘0’，而不能用于基于插补的修正值的运算。另外，作为这样的‘α’的值，比如，各像素对各RGB具有12位的数据量，像素值取0～4095的值，如果用各像素值的自然对数进行运算的话，则取‘α＝1’左右是优选的。
而且，在所述公式(4)中，求出的是RGB全部颜色成分的最小值，但是，当乳剂面有伤痕的情况下，也可以取无视最初损伤之层的颜色成分的值的运算式。也就是说，比如，当从表面开始以B、G、R的顺序配置照相胶片2的乳剂面的各种颜色成分的层时，也有可能不将B成分的差分(Bdefx+i，y+j)的值用于最小值(Simx+i，y+j)的运算。这样，通过不将损伤而不能正确地进行辉度调整的可能性高的对象像素的颜色成分的像素值用于运算，就可以进一步提高运算的正确性。
而且，在与#07的处理的同时或者与之连续地，对在#06的处理中求出的各正常像素的各RGB的差分(Rdefx+i，y+j、Gdefx+i，y+j、Bdefx+i，y+j)的最大值进行运算(#08)。具体地，由以下的公式(5)进行运算。
数3Adjx+i，y+j＝max(Rdefx+i，y+j、Gdefx+i，y+j、Bdefx+i，y+j)……(5)该最大值(Adjx+i，y+j)在用于求后面的调整系数(Wgt2x，y)的运算(#11的处理)中使用。这里，max是最大值运算函数。而Adjx+i，y+j，是位于在#06的处理中求出的(x+i，y+j)坐标上的正常像素的各RGB的差分的最大值，对在#05的处理中选择的所有的正常像素进行运算。
另外，#06以及#07的处理，是由加权系数运算装置进行的处理，#06～#08的处理是由调整系数运算装置进行的处理。所以，这些处理都是在加权系数运算部28以及调整系数运算部30中的任意一个或者在两个中进行的。
接着，在加权系数运算部28中，将在07的处理中求出的最小值(Simx+i， y+j)越小加权越大的系数作为各正常像素的RGB共通的加权系数(Wgtx+i， y+j)而进行运算(#09)。具体地，根据以下的公式(6)进行运算。
数4(Wgtx+i，y+j)＝(α-Simx+i，y+j)/α……(6)该加权系数(Wgtx+i，y+j)，对各正常像素进行运算，是其值越大的的正常像素，其像素值对对象像素的修正值的影响越大地设定的系数。这里，Wgtx+i，y+j是对应于位于在#07的处理中求出的(x+i，y+j)坐标的正常像素的加权系数(Wgtx+i，y+j)，对在#05的处理中选择的所有的正常像素进行运算。在本实施方式中，由于将Simx+i，y+j的上限设定为‘α’，因此通过根据所述公式(6)运算，加权系数(Wgtx+i，y+j)，取0≤Wgtx+i，y+j)≤1的范围内的值。另外，当最小值(Simx+i，y+j)为‘0’的情况下，也就是说，在辉度调整后的对象像素的像素值与正常像素的像素值的任意的颜色成分(RGB)中，取同一值的情况下，加权系数(Wgtx+i，y+j)，成为最大值‘1’，相反，当最小值(Simx+i，y+j)为‘α’的情况下，也就是说，在辉度调整后的对象像素的像素值与正常像素的像素值的任意的颜色成分(RGB)中，都以‘α’以上的差而离开的情况下，加权系数(Wgtx+i，y+j)，成为最小值‘0’。
然后，在加权系数平均值运算部29中，采用#09的处理中求出的加权系数(Wgtx+i，y+j)，对在#05的处理中选择的所有的正常像素的各RGB的加权平均值进行运算(#10)。具体地，是根据以下的公式(7)、(8)以及(9)进行运算。
数5Ravex,y=Σi=-nnΣj=-nn(r2x+i,y+j×Wgtx+i,y+j)Σi=-nnΣj=-nnWgtx+i,y+j----(7)]]>Gavex,y=Σi=-nnΣj=-nn(g2x+i,y+j×Wgtx+i,y+j)Σi=-nnΣj=-nnWgtx+i,y+j----(8)]]>Bavex,y=Σi=-nnΣj=-nn(b2x+i,y+j×Wgtx+i,y+j)Σi=-nnΣj=-nnWgtx+i,y+j----(9)]]>该加权平均值(Ravex，y、Gavex，y、Bavex，y)，为基于对象像素的插补处理的各RGB的修正值。这里，n表示在#05的处理中、在探索正常像素的范围即m×m像素的正方形区域中，(i，j)所能够取的最大值，而如果所述正方形区域为3×3像素的区域的话，则n取-1～1之间的整数值，如果所述正方形区域为5×5像素的区域的话，则n取-2～2之间的整数值。而且，如上所述，由于r2、g2、b2，分别是正常像素的各RGB的像素值，因此，缺陷像素(包含对象像素)不作为运算的对象。另外，通过所述的公式(7)、(8)、(9)，可以对各RGB运算加权平均值(Ravex，y、Gavex，y、Bavex，y)即，在由#05的处理选择的各正常像素的像素值上乘以该正常像素的加权系数(Wgtx+i，y+j)的值，以所有的正常像素的和除以加权系数(Wgtx+i，y+j)的和。
接着，在调整系数运算部30中，对在#08的处理中求出的最大值(Adjx+i，y+j)与在#07的处理中求出的最小值(Minx+i，y+j)的差分进行运算(#11)。具体地，通过以下的公式(10)进行运算。
数6MaxMinx+i，y+j＝Adjx+i，y+j-Simx+i，y+j……(10)对在#05的处理中选择的所有的正常像素，运算该最大值和最小值的差分(MaxMinx+i，y+j)。通过该最大值和最小值的差分(MaxMinx+i，y+j)，可以判断出对象像素的缺陷是由乳剂面的伤痕而造成的。也就是，当该最大值与最小值的差分(MaxMinx+i，y+j)小的情况下，表示对象像素与位于(x+i，y+j)坐标的正常像素的像素值的差分为在RGB间的接近的值，并可以推测出各RGB的像素值的衰减量为同一程度，因而判断对象像素的缺陷是由乳剂面的伤痕而造成的可能性很低，相反，当该最大值与最小值的差分(MaxMinx+i，y+j)大的情况下，表示对象像素与位于(x+i，y+j)坐标的正常像素的像素值的差分为在RGB间差别很大的值，并可以推测出各RGB的像素值的衰减量相互不同，因而判断对象像素的缺陷是由乳剂面的伤痕而造成的可能性很高。
另外，在调整系数运算部30中，根据在#11的处理中求出的最大值和最小值的差分(MaxMinx+i，y+j)，运算调整系数(Wgt2x，y)(#12)。具体地，由以下的公式(11)进行运算。
数7Wgt2x,y=Σi=-nnΣj=-nnMaxMinx+i,y+jcount×β----(11)]]>
这里，当Wgt2x，y＞1时，将Wgt2x，y定为1。
该调整系数(Wgt2x，y)，是用于调整插补处理的适用比例，也就是用于调整对在#10的处理中求出的加权平均值(Ravex，y、Gavex，y、Bavex，y)对象像素的最终修正值的适用比例的系数。这里，count是在#11的处理中求出的最大值和最小值的差分(MaxMinx+i，y+j)的数，为与#05的处理中选择的正常像素数相等的值。而且，‘β’，是将在#11的处理中求出的最大值和最小值的差分(MaxMinx-i，y+j)的平均值(MaxMinx+i，y+j/count)作为当判断对象像素的缺陷完全是由于乳剂面的伤痕造成的界限时的取值而进行设定。所以，最大值和最小值的差分的平均值(MaxMinx+i，y+j/count)越是取距‘β’近的大的值，调整系数(Wgt2x，y)就是越接近于‘1’的值，对加权平均值(Ravex，y、Gavex，y、Bavex，y)的最终修正值的适用比例越高，相反，最大值和最小值的差分的平均值(MaxMinx+i，y+j/count)越是取接近于‘0’的小的值，调整系数(Wgt2x，y)越成为接近于‘0’的值，辉度调整处理的适用比例越高，对加权平均值(Ravex，y、Gavex，y、Bavex，y)的最终修正值的适用比例越低。而且，当最大值和最小值的差分的平均值(MaxMinx+i，y+j/count)取比‘β’大的值的情况下，由于可以判断对象像素的缺陷完全由乳剂面的伤痕所造成，因此，将调整系数(Wgt2x， y)设为‘1’，将辉度调整处理的适用比例设为‘0’，将在#10的处理中求出的加权平均值(Ravex，y、Gavex，y、Bavex，y)作为最终修正值。另外，当公式(11)的运算结果成为大于‘1’的值时，将调整系数(Wgt2x，y)，设为‘1’是因为为了计算上方便，将调整系数(Wgt2x，y)的上限确定为了‘1’。
接着，根据在#03的处理中求出的辉度调整后的对象像素的像素值(r1x，y、g1x，y、b1x，y)、在#10的处理中求出的加权平均值(Ravex，y、Gavex， y、Bavex，y)、在#12的处理中求出的调整系数(Wgt2x，y)，对对象像素的最终修正值进行运算(#13)。也就是，通过以对应于调整系数(Wgt2x，y)的比例，将加权平均值(Ravex，y、Gavex，y、Bavex，y)适用于辉度调整后的对象像素的像素值(r1x，y、g1x，y、b1x，y)，来对各RGB运算对象像素的最终修正值(Ransx，y、Gansx，y、Bansx，y)。具体地，根据以下的公式(12)、(13)以及公式(14)进行运算。
数8Ransx，y＝Ravex，y×Wgt2x，y+r1x，y×(1-Wgt2x，y)……(12)Gansx，y＝Gavex，y×Wgt2x，y+g1x，y×(1-Wgt2x，y)……(13)Bansx，y＝Bavex，y×Wgt2x，y+b1x，y×(1-Wgt2x，y)……(14)根据这些公式(12)、(13)以及公式(14)，调整系数(Wgt2x，y)越是取大的值，也就是接近于‘1’的值，就判断对象像素的缺陷是由于乳剂面的伤痕造成的可能性越高，加权平均值(Ravex，y、Gavex，y、Bavex，y)对最终修正值造成的影响也就越大，而调整系数(Wgt2x，y)越是取小的值，也就是接近于‘0’的值，则判断对象像素的缺陷是由于乳剂面的伤痕造成的可能性越低，辉度调整后的对象像素的像素值(r1x，y、g1x，y、b1x， y)对最终修正值造成的影响也就越大。由此，就可以以对应于对象像素的缺陷由乳剂面的伤痕所引起的可能性的比例而适用插补处理和辉度调整处理，并运算对象像素的最终修正值。
另外，由在#13的处理中求出的最终修正值，来修正对象像素的像素值(#14)。具体地，是通过对各RGB将对象像素的像素值(r1x，y、g1x，y、b1x，y)置换成在#13的处理中求出的最终修正值(Ransx，y、Gansx，y、Bansx， y)来进行。
接着，对由#02的处理判定为缺陷像素的所有的像素，判断是否完成了从#04到#14为止的修正处理(#15)。当还没有完成对所有的缺陷像素的修正处理的情况下(#15否)，则返回到#04的处理，对下一个对象像素进行与上述同样的处理。而当所有的缺陷像素的修正处理完成的情况下(#15是)，则完成对象像素的修正处理。
其它实施方式(1)在上述实施方式中，对如下构成的情况进行了说明，即，在缺陷像素修正部19中具备构成调整系数运算装置的调整系数运算部30，对对象像素的缺陷是源于乳剂面的伤痕的可能性进行判断，并表现在调整系数中，并且对应该可能性调节辉度调整处理和插补处理的适用比例，但是，本发明的图像处理装置1，也可以是不具备这样的调整系数运算装置的构成。在这种情况下，不管对象像素的缺陷是否源于乳剂面的伤痕，对象像素的最终修正值都成为加权平均值(Ravex，y、Gavex，y、Bavex，y)，因此，最好在#04的对象像素选择处理时，加上缺陷像素的缺陷是否源于乳剂面的伤痕的判定处理，只将判定为源于乳剂面的伤痕的像素作为对象像素进行选择。
(2)在上述实施方式中，对适用于从照相胶片2读取图像，并记录到印相纸3上的图像印刷系统4的情况进行了说明，但是，适用本发明的对象并不限定于此，只要是修正由于某种缺陷而造成各颜色成分的衰减量失去平衡的缺陷像素的场合，则也可以适用于其它的图像处理装置等。
本发明在对具有多个颜色成分的彩色图像数据的缺陷部分进行修正时，即使在缺陷部内存在复杂的边界或图案的情况下，也可以进行反应这些要素的正确的插补处理，可应用于各种图像处理装置或程序等。
权利要求
1.一种图像处理装置，其特征在于具有对缺陷像素的辉度进行调整处理的辉度调整装置；从由缺陷像素中选择的对象像素的周围选择多个正常像素的正常像素选择装置；对由所述正常像素选择装置所选择的各正常像素，按照各颜色成分，求出与由所述辉度调整装置调整辉度后的所述对象像素之间的像素值的差分，并采用各正常像素的各颜色成分的差分的最小值，将该最小值越小加权越大的系数作为各正常像素的各颜色成分共同的加权系数而进行运算的加权系数运算装置；采用由所述加权系数运算装置所运算出的加权系数，对所述多个正常像素的各颜色成分的加权平均值进行运算的加权平均值运算装置；采用由所述加权平均值运算装置所运算出的各颜色成分的加权平均值，对所述对象像素进行修正的修正装置。
2.如权利要求1所述的图像处理装置，其特征在于所述正常像素选择装置，一边从所述对象像素的近旁顺序地向外侧扩展探索区域，一边对正常像素进行探索直到检测出预先设定的一定量为止，并对检测出的正常像素进行选择。
3.如权利要求1或2所述的图像处理装置，其特征在于具有调整系数运算装置，对由所述正常像素选择装置所选择的各正常像素，按照各颜色成分，求出与由所述辉度调整装置调整辉度后的所述对象像素之间的像素值的差分，并求出各正常像素的各颜色成分的差分的最大值和最小值，并采用这些最大值和最小值的差分，对调整系数进行运算，所述修正装置，以对应于由所述调整系数运算装置所运算出的调整系数的比例，将由所述加权平均值运算装置所运算出的各颜色成分的加权平均值适用于所述辉度调整后的对象像素的像素值，并对所述对象像素进行修正。
4.一种图像处理方法，其特征在于进行对缺陷像素的辉度进行调整的辉度调整处理，从由缺陷像素中选择的对象像素的周围选择多个正常像素，对所述选择的各正常像素，按照各颜色成分，求出与所述辉度调整处理后的所述对象像素之间的像素值的差分，并采用各正常像素的各颜色成分的差分的最小值，将该最小值越小加权越大的系数作为各正常像素的各颜色成分共同的加权系数而进行运算，并采用该加权系数，对所述多个正常像素的各颜色成分的加权平均值进行运算，并采用各颜色成分的加权平均值，对所述对象像素进行修正。
5.一种图像处理程序，用于使计算机执行下面的处理进行对缺陷像素的辉度进行调整的辉度调整处理，从由缺陷像素中选择的对象像素的周围选择多个正常像素，对所述选择的各正常像素，按照各颜色成分，求出与所述辉度调整处理后的所述对象像素之间的像素值的差分，并采用各正常像素的各颜色成分的差分的最小值，将该最小值越小加权越大的系数作为各正常像素的各颜色成分共同的加权系数而进行运算，并采用该加权系数，对所述多个正常像素的各颜色成分的加权平均值进行运算，并采用各颜色成分的加权平均值，对所述对象像素进行修正。
全文摘要
本发明提供一种图像处理装置，具有调整缺陷像素的辉度的装置；从对象像素的周围选择多个正常像素的装置；对所选择的各正常像素，按照各颜色成分，求出与辉度调整后的所述对象像素之间的像素值的差分，并采用各正常像素的各颜色成分的差分的最小值，将该最小值越小加权越大的系数作为各正常像素的各颜色成分共同的加权系数而进行运算的装置；采用运算出的加权系数，对所述多个正常像素的各颜色成分的加权平均值进行运算的装置；采用运算出的各颜色成分的加权平均值，对所述对象像素进行修正的装置。由此，即使在缺陷部内存在复杂的边界或图案，也可以通过反映这些要素的插补处理而正确地修正缺陷，并且可以减少运算量，提高运算处理速度。
文档编号H04N1/60GK1592352SQ20041007483
公开日2005年3月9日 申请日期2004年8月30日 优先权日2003年8月29日
发明者北耕次 申请人:诺日士钢机株式会社