专利名称：一种图像坏点的校正方法、系统及图像传感器的制作方法
技术领域：
本发明属于图像处理领域，尤其涉及一种图像坏点的校正方法、系统及图像传感器。
背景技术：
目前一般的电脑摄像头、手机摄像头、数码相机和摄像机等数码成像产品，所用的图像传感器多为RGB Bayer类型，其在采集图像时是通过Bayer色彩矩阵得到图像，在数字图像处理过程中，需要对通过Bayer色彩矩阵得到的图像进行色彩插值，以使图像的色彩得以恢复。由于目前制造图像传感器的工艺水平有限，使图像传感器采集的图像中可能出现坏点(dead pixel)。在对图像进行插值时，如果不对图像中的坏点进行校正，则对图像插值以后，坏点可能会扩展到临近的插值中去，严重影响色彩插值的效果，降低图像的质量。
现有的一种坏点校正方法是将Bayer数据经过插值处理后，再对插值处理得到的全彩图像逐点的进行坏点校正。由于对图像进行插值处理后，坏点可能扩展到临近的插值中，因此，这种坏点校正方法的计算量大，处理复杂。
现有的另一种坏点校正方法是先逐点的校正Bayer数据中的坏点，再对Bayer数据进行插值处理。这种坏点校正方法虽然简单易实现，但由于坏点校正与插值操作是分开进行的，其需要更多的空间用于存储中间数据，从而不利于减小图像传感器芯片的面积，降低图像传感器的成本。
发明内容
本发明实施例的目的在于提供一种图像坏点的校正方法，旨在解决现有技术由于在对图像进行插值操作之前或者之后逐点的对图像的坏点进行校正，造成的计算量大，增加图像传感器成本的问题。
本发明实施例是这样实现的，一种图像坏点的校正方法，所述方法包括下述步骤 以插值点为中心建立5×5Bayer色彩矩阵； 根据所述5×5Bayer色彩矩阵中的像素点的隔行隔列的相同颜色像素点的色值和/或像素点的周围其他像素点的色值变化趋势，对所述5×5Bayer色彩矩阵中的像素点进行坏点预判； 对判定为坏点的像素点进行校正。
本发明实施例的另一目的在于提供一种图像坏点校正系统，所述系统包括 临域创建单元，用于以插值点为中心建立5×5Bayer色彩矩阵； 坏点预判单元，用于根据所述临域创建单元建立的5×5Bayer色彩矩阵中的像素点的隔行隔列的相同颜色像素点的色值和/或像素点的周围其他像素点的色值变化趋势，对5×5Bayer色彩矩阵中的像素点进行坏点预判； 坏点校正单元，用于对所述坏点预判单元判定为坏点的像素点进行校正。
本发明实施例的另一目的在于提供一种包括所述图像坏点校正系统的图像传感器。
本发明实施例的另一目的在于提供一种图像插值方法，所述方法包括下述步骤 以插值点为中心建立5×5Bayer色彩矩阵； 根据所述5×5Bayer色彩矩阵中的像素点的隔行隔列的相同颜色像素点的色值和/或像素点的周围其他像素点的色值变化趋势，对所述5×5Bayer色彩矩阵中的像素点进行坏点预判； 对判定为坏点的像素点进行校正； 对所述插值点进行插值处理，再循环执行上述步骤。
本发明实施例的另一目的在于提供一种图像插值系统，所述系统包括 临域创建单元，用于以插值点为中心建立5×5Bayer色彩矩阵； 坏点预判单元，用于根据所述临域创建单元建立的5×5Bayer色彩矩阵中的像素点的隔行隔列的相同颜色像素点的色值和/或像素点的周围其他像素点的色值变化趋势，对5×5Bayer色彩矩阵中的像素点进行坏点预判； 坏点校正单元，用于对所述坏点预判单元判定为坏点的像素点进行校正； 插值处理单元，用于对所述插值点进行插值处理。
本发明实施例的另一目的在于提供一种包括所述图像插值系统的图像传感器。
在本发明实施例中，在对像素点进行插值处理之前，先以插值点为中心建立5×5Bayer色彩矩阵，通过对5×5Bayer色彩矩阵中像素点进行坏点预判，并对判定为坏点的像素点进行校正，从而使坏点对插值处理的影响降至最低，提高了图像的质量；同时由于对该插值点的临域中的像素点进行坏点预判并校正后，即对该插值点进行插值处理，接着再以下一个插值点为中心建立插值点的临域，循环进行，使图像坏点校正与插值处理交替进行，从而使坏点校正与插值处理可以共用一个SRAM，节省了单独进行坏点校正需要的SRAM，减小了图像传感器芯片的面积，降低了图像传感器的成本。
图1、图2、图3、图4是本发明实施例提供的5×5Bayer色彩矩阵的示意图； 图5是本发明实施例提供的图像坏点的校正方法的实现流程图； 图6是本发明实施例提供的图像插值方法的实现流程图； 图7是本发明实施例提供的图像坏点校正系统的结构组成图。
具体实施例方式 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明实施例中，在对图像进行插值处理时，先以插值点为中心，建立5×5Bayer色彩矩阵，再对该5×5Bayer色彩矩阵中的像素点进行坏点预判，并对判定为坏点的像素点进行校正，对该插值点进行插值处理后，再以下一个插值点为中心，建立5×5Bayer色彩矩阵，循环上述过程，使坏点校正与插值操作交替进行，不仅简单易实现，提高了图像的质量，而且减小了图像传感器芯片的面积，降低了图像传感器的成本。
本发明实施例提供的图像坏点校正方法是基于图像的RGB Bayer色彩矩阵的。RGB Bayer色彩矩阵的图像交替使用一组红色和绿色像素点以及一组绿色和蓝色像素点，其中绿色像素的总数为红色和蓝色像素数之和。采用RGBBayer色彩矩阵的原始图像的像素排列格式如图1，2，3，4所示。主要包括两种情况，一种是中心像素点为蓝色(如图1所示)或者红色(如图2所示)的RGB Bayer色彩矩阵；另一种是中心像素点为绿色，而红色点和蓝色点的位置可以互换的RGB Bayer色彩矩阵，如图3和图4所示。
图5示出了本发明实施例提供的图像坏点的校正方法的实现流程，详述如下 在步骤S501中，以插值点为中心建立5×5Bayer色彩矩阵。
在本发明实施例中，采用Aij表示位于5×5Bayer色彩矩阵中第i行、第j列的像素点，如位于5×5Bayer色彩矩阵中第5行、第5列的像素点采用A55表示等。其中该5×5Bayer色彩矩阵可以是中心点为蓝色(如图1所示)或者红色(如图2所示)，绿色点的位置一致的5×5Bayer色彩矩阵，也可以是中心点为绿色，红色点和蓝色点的位置可以互换的5×5Bayer色彩矩阵，如图3和图4所示。在本发明实施例中，采用R代表红色、G代表绿色、B代表蓝色。
在步骤S502中，根据上述5×5Bayer色彩矩阵中的像素点的隔行隔列的相同颜色像素点的色值，或者隔行隔列的相同颜色像素点的色值和周围其他像素点的色值变化趋势，对5×5Bayer色彩矩阵中的像素点进行坏点预判，如果该5×5Bayer色彩矩阵中的像素点为坏点，则执行步骤S503，如果5×5Bayer色彩矩阵中的像素点为正常点，则执行步骤S504。
其中像素点的隔行隔列的相同颜色像素点是指5×5Bayer色彩矩阵中与该像素点所在行中间隔了一行的所有像素点中与该像素点的颜色相同的所有像素点，以及与该像素点所在列中间隔了一列的所有像素点中与该像素点的颜色相同的所有像素点。像素点的周围其他像素点是指5×5Bayer色彩矩阵的像素点中可以被该像素点的隔行隔列的相同颜色像素点包围或者半包围的像素点。
在本发明实施例中，由于坏点校正与插值交替进行，为了避免由于坏点的扩展，在对插值点进行插值操作后，形成一个坏块，在对插值点进行插值处理之前，需要保证以插值点为中心的5×5Bayer色彩矩阵中的坏点已被预判成功并被校正，或者在进行插值操作时，不使用5×5Bayer色彩矩阵中坏点的数据。
由于采用串行处理方式对插值点进行插值处理，因此，只要5×5Bayer色彩矩阵中像素点A55(如图1中的B55，图2中的R55，图3中的G55以及图4中的G55)被预判成功并被校正，则整个5×5Bayer色彩矩阵将不存在坏点的影响，因此，在本发明实施例中，不仅需要对5×5Bayer色彩矩阵中的中心像素点A33(如图1中的B33，图2中的R33，图3和图4中的G33)进行坏点预判，同时需要对最后一个进入5×5Bayer色彩矩阵的像素点A55进行坏点预判。请参阅图1至图4，由于A55(图1中的B55，图2中的R55，图3中的G55以及图4中的G55)隔行隔列的相同颜色像素点太少，没有形成A55的包围圈，从而容易将A55误判为坏点。而对于像素点A54(如图1中的B54，图2中的R54，图3中的G54以及图4中的G54)也存在上述缺陷。为了避免上述缺陷，在本发明实施例中，对像素点A53(如图1中的B53，图2中的R53，图3中的G53以及图4中的G53)进行坏点预判，如果对像素点A53预判成功并进行了校正，则整个5×5Bayer色彩矩阵除像素点A54和A55可能为坏点外，其余像素点均为正常像素点，此时，在采用相应的插值算法对插值点进行插值处理时，通过尽量少用或者不用像素点A54和A55，即可最大限度的降低坏点给插值操作带来的影响。
请参阅图1至图4，由于像素点A53与像素点A33相隔较远，如果在对像素点A53进行坏点预判时，出现漏判，即像素点A53为坏点且未被校正，此时，只有等到对像素点A33进行插值处理时才能校正像素点A53，使像素点A53影响像素点A33到像素点A53之间的所有像素点的插值，从而在插值操作结束后，将形成一个坏块，严重影响图像的质量。因此，在本发明实施例中，为了避免上述缺陷，不仅对5×5Bayer色彩矩阵中的像素点A53进行坏点预判，同时对像素点A43(如图1中的B43，图2中的R43，图3中的G43以及图4中的G43)进行坏点预判，从而当像素点A53出现漏判，但像素点A43被成功预判时，只有像素点A33到像素点A43之间的像素点的插值会受到坏点的影响，由于此时坏点离插值像素点较远，对图像的质量影响较小，可以忽略不计。
综上所述，在根据5×5Bayer色彩矩阵中像素点的隔行隔列的相同颜色像素点的色值，或者隔行隔列的相同颜色像素点的色值和周围其他像素点的色值变化趋势，对5×5Bayer色彩矩阵中的像素点进行坏点预判时，需要对5×5Bayer色彩矩阵中的像素点A33、A43以及A53进行坏点预判。
请参阅图1至图4，由于像素点A53处于5×5Bayer色彩矩阵边缘，像素点A53的隔行隔列的相同颜色像素点不能将像素点A53完全包围，如果只根据像素点A53的隔行隔列的相同颜色像素点的色值对像素点A53进行坏点预判，则很容易将像素点A53误判为坏点，在本发明实施例中，根据色彩非突变原理(临近像素点的颜色不会突然变化很大的原理)，在对像素点A53进行坏点预判时，不仅参考像素点A53的隔行隔列的相同颜色像素点的色值，同时参考像素点A53的周围其他像素点的色值变化趋势。其中选择A53的周围其他像素点的依据是该像素点在5×5Bayer色彩矩阵中，且该像素点的隔行隔列的相同颜色像素点可以将该像素点包围或者半包围。对像素点A43进行坏点预判时，基于上述理由，也同时参考像素点A43的隔行隔列的相同颜色像素点的色值，以及像素点A43的周围其他像素点的色值变化趋势。由于像素点A33处于5×5Bayer色彩矩阵中心，像素点A33的隔行隔列的相同颜色像素点可以将A33完全包围，因此，在对像素点A33进行坏点预判时，只需要参考像素点A33的隔行隔列的相同颜色像素点的色值。
其中根据像素点A33的隔行隔列的相同颜色像素点的色值对像素点A33进行坏点预判的步骤具体为 A、确定像素点A33的域值[TH_min，TH_max]； 其中TH_max＝(1+x％)*A33，TH_min＝(1-x％)*A33，x％是预先设置的像素点的允许误差值。
B、判断像素点A33的隔行隔列的相同颜色像素点的色值是否均大于TH_max，或者像素点A33的隔行隔列的相同颜色像素点的色值是否均小于TH_min，如果是，则像素点A33为坏点，如果否，则像素点A33为正常点。
其中根据像素点A43、A53的隔行隔列的相同颜色像素点的色值以及周围其他像素点的色值变化趋势对像素点A43、A53进行坏点预判的步骤具体为 A、分别根据像素点A43、A53的周围其他像素点的色值确定像素点A43、A53的周围其他像素点的色值变化趋势； 在确定像素点A43的周围其他像素点的色值变化趋势时，由于像素点A32、A33、A34的隔行隔列相同颜色像素点均可以分别将A32、A33、A34全包围或者半包围，因此，可以根据A32、A33、A34中的任意两个像素点，也可以同时根据A32、A33、A34三个像素点的色值确定像素点A43的周围其他像素点的色值变化趋势。由于离像素点越近的像素点对像素点的域值判断影响越大，因此，在选择像素点的周围其他像素点时，可以选择离像素点较近的周围其他像素点。在本发明实施例中，以选择A33、A34像素点为例进行说明，其中像素点A43的周围其他像素点的色值变化趋势为 Diff_base＝max(Diff_a1，Diff_a2)，其中Diff_a1＝max(|A33-A11|，|A33-A13|，|A33-A15|，|A33-A31|，|A33-A35|，|A33-A51|，|A33-A53|，|A33-A55|)，Diff_a2＝max(|A34-A12|，|A34-A52|，|A34-A14|，|A34-A54|，|A34-A32|)。
在确定像素点A53的周围其他像素点的色值变化趋势时，由于像素点A32、A33、A34、A43的隔行隔列相同颜色像素点均可以分别将A32、A33、A34、A43全包围或者半包围，但由于在对A33进行坏点预判时，已经使用了像素点B53，因此，可以根据A32、A34、A43中的任意两个像素点，也可以同时根据A32、A34、A43三个像素点的色值确定像素点A43的周围其他像素点的色值变化趋势。由于离像素点越近的像素点对像素点的域值判断影响越大，因此，在选择像素点的周围其他像素点时，可以选择离像素点较近的周围其他像素点。在本发明实施例中，以选择A34、A43像素点为例进行说明，像素点A53的周围其他像素点的色值变化趋势为 Diff_base＝max(Diff_a1，Diff_a2)，其中Diff_a1＝max(|A34-A12|，|A34-A52|，|A34-A14|，|A34-A54|，|A34-A32|)，Diff_a2＝max(|A43-A21|，|A43-A25|，|A43-A41|，|A43-A45|，|A43-A23|)。
B、分别根据色值变化趋势以及预先设置的像素点的允许误差值x％确定像素点A43、A53的域值[TH_min，TH_max]； 其中像素点A43的域值[TH_min，TH_max]分别为TH_max＝(1+x％)*A43+Diff_base，TH_min＝(1-x％)*A43-Diff_base。
像素点A53的域值[TH_min，TH_max]分别为TH_max＝(1+x％)*A53+Diff_base，TH_min＝(1-x％)*A53-Diff_base。
C、分别判断所述像素点A43、A53的隔行隔列的相同颜色像素点的色值是否均大于TH_max，或者所述像素点A43、A53的隔行隔列的相同颜色像素点的色值是否均小于TH_min，如果是，则所述像素点A43、A53为坏点，如果否，则所述像素点A43、A53为正常点。
请参阅图1，当5×5Bayer色彩矩阵的中心像素点为蓝色时，根据5×5Bayer色彩矩阵中像素点B33的隔行隔列的相同颜色像素点的色值对像素点B33进行坏点预判的步骤具体如下 A、设定域值TH_min，TH_max；其中 TH_max＝(1+x％)*B33； TH_min＝(1-x％)*B33； B、判断像素点B33的隔行隔列的相同颜色像素点的色值是否均大于TH_max或者均小于TH_min，如果是，则像素点B33为坏点，否则，像素点B33为正常点。即判断像素点B11，B13，B15，B31，B35，B51，B53，B55是否均大于TH_max，或者判断像素点B11，B13，B15，B31，B35，B51，B53，B55是否均小于TH_min，如果是，则像素点B33为坏点，否则，像素点B33为正常点。
根据5×5Bayer色彩矩阵中像素点G43的隔行隔列的相同颜色像素点的色值，以及像素点G43的周围其他像素点的变化趋势，对像素点G43进行坏点预判的具体步骤如下 A、计算像素点G43的周围其他像素点的变化趋势； Diff_b＝max(|B33-B11|，|B33-B13|，|B33-B15|，|B33-B31|，|B33-B35|，|B33-B51|，|B33-B53|，|B33-B55|)； Diff_g＝max(|G34-G12|，|G34-G52|，|G34-G14|，|G34-G54|，|G34-G32|)； Diff_base＝max(Diff_b，Diff_g)； B、设定域值TH_min，TH_max；其中 TH_max＝(1+x％)*G43+Diff_base； TH_min＝(1-x％)*G43-Diff_base； C、判断像素点G43的隔行隔列的相同颜色像素点的色值是否均大于TH_max或者均小于TH_min，如果是，则像素点G43为坏点，否则，像素点G43为正常点。即判断像素点G21，G23，G25，G41，G45的色值是否均小于TH_min，或者像素点G21，G23，G25，G41，G45的色值是否均大于TH_max，如果是，则像素点G43为坏点，否则，像素点G43为正常点。
根据5×5Bayer色彩矩阵中像素点B53的隔行隔列的相同颜色像素点的色值，以及像素点B53的周围其他像素点的变化趋势，对像素点B53进行坏点预判的具体步骤如下 A、计算像素点B53的周围其他像素点的变化趋势； Diff_g1＝max(|G34-G12|，|G34-G52|，|G34-G14|，|G34-G54|，|G34-G32|)； Diff_g2＝max(|G43-G21|，|G43-G25|，|G43-G41|，|G43-G45|，|G43-G23|)； Diff_base＝max(Diff_g1，Diff_g2)。
B、设定域值TH_min，TH_max；其中 TH_max＝(1+x％)*B53+Diff_base； TH_min＝(1-x％)*B53-Diff_base； C、判断像素点B53的隔行隔列的相同颜色像素点的色值是否均大于TH_max或者均小于TH_min，如果是，则像素点B53为坏点，否则，像素点B53为正常点。即判断像素点B31，B33，B35，B51，B55的色值是否均小于TH_min，或者像素点B31，B33，B35，B51，B55的色值是否均大于TH_max，如果是，则像素点B53为坏点，否则，像素点B53为正常点。
对于图2所示的中心像素点为红色的5×5Bayer色彩矩阵，对中心像素点R33以及5×5Bayer色彩矩阵中的像素点G43以及R53的坏点预判步骤，与图1所示的中心像素点为红色的5×5Bayer色彩矩阵中的中心像素点B33以及像素点G43和B53的步骤一致，在此不再赘述。
请参阅图3，当5×5Bayer色彩矩阵的中心像素点为绿色，且与中心像素点同行的像素点为蓝色时，根据5×5Bayer色彩矩阵中像素点G33的隔行隔列的相同颜色像素点的色值对像素点G33进行坏点预判的步骤具体如下 A、设定域值TH_min，TH_max；其中 TH_max＝(1+x％)*G33； TH_min＝(1-x％)*G33； B、判断像素点G33的隔行隔列的相同颜色像素点的色值是否均大于TH_max或者均小于TH_min，如果是，则像素点G33为坏点，否则，像素点G33为正常点。即判断像素点G11，G13，G15，G31，G35，G51，G53，G55是否均大于TH_max，或者判断像素点G11，G13，G15，G31，G35，G51，G53，G55是否均小于TH_min，如果是，则像素点G33为坏点，否则，像素点G33为正常点。
根据5×5Bayer色彩矩阵中像素点R43的隔行隔列的相同颜色像素点的色值，以及像素点R43的周围其他像素点的变化趋势，对像素点R43进行坏点预判的具体步骤如下 A、计算像素点R43的周围其他像素点的变化趋势； Diff_g＝max(|G33-G11|，|G33-G13|，|G33-G15|，|G33-G31|，|G33-G35|，|G33-G51|，|G33-G53|，|G33-G55|)； Diff_b＝max(|B34-B12|，|B34-B52|，|B34-B14|，|B34-B54|，|B34-B32|)； Diff_base＝max(Diff_b，Diff_g)。
B、设定域值TH_min，TH_max；其中 TH_max＝(1+x％)*R43+Diff_base； TH_min＝(1-x％)*R43-Diff_base； C、判断像素点R43的隔行隔列的相同颜色像素点的色值是否均大于TH_max或者均小于TH_min，如果是，则像素点R43为坏点，否则，像素点R43为正常点。即判断像素点R21，R23，R25，R41，R45的色值是否均小于TH_min，或者像素点R21，R23，R25，R41，R45的色值是否均大于TH_max，如果是，则像素点R43为坏点，否则，像素点R43为正常点。
根据5×5Bayer色彩矩阵中像素点G53的隔行隔列的相同颜色像素点的色值，以及像素点G53的周围其他像素点周围其他像素点的变化趋势，对像素点G53进行坏点预判的具体步骤如下 A、计算像素点G53的周围其他像素点的变化趋势； Diff_b＝max(|B34-B12|，|B34-B52|，|B34-B14|，|B34-B54|，|B34-B32|)； Diff_r＝max(|R43-R21|，|R43-R25|，|R43-R41|，|R43-R45|，|R43-R23|)； Diff_base＝max(Diff_b，Diff_r)。
B、设定域值TH_min，TH_max；其中 TH_max＝(1+x％)*G53+Diff_base； TH_min＝(1-x％)*G53-Diff_base； C、判断像素点G53的隔行隔列的相同颜色像素点的色值是否均大于TH_max或者均小于TH_min，如果是，则像素点G53为坏点，否则，像素点G53为正常点。即判断像素点G31，G33，G35，G51，G55的色值是否均小于TH_min，或者像素点G31，G33，G35，G51，G55的色值是否均大于TH_max，如果是，则像素点G53为坏点，否则，像素点G53为正常点。
对于图4所示的中心像素点为绿色且与该中心像素点同行的像素点为红色的5×5Bayer色彩矩阵，对中心像素点G33以及5×5Bayer色彩矩阵中的像素点B43以及G53的坏点预判步骤，与图3所示的中心像素点为绿色且与该中心像素点同行的像素点为蓝色的5×5Bayer色彩矩阵中的中心像素点G33以及像素点R43和G53的步骤一致，在此不再赘述。
在步骤S503中，将该像素点的隔行隔列的相同颜色像素点的平均值代替该像素点的色值，以对坏点的像素点进行校正，不再执行下述步骤。
请参阅图1，当像素点B33判定为坏点时，则将像素点B33的隔行隔列的相同颜色像素点B11，B13，B15，B31，B35，B51，B53，B55的平均值代替像素点B33的色值，即B33_new＝1/8*(B11+B13+B15+B31+B35+B51+B53+B55)；当像素点G43判定为坏点时，则将像素点G43的隔行隔列的相同颜色像素点G21，G23，G25，G41，G45的平均值代替像素点G43的色值，即G43_new＝1/8*(G21+G25+2*(G23+G41+G45))；当像素点B53判定为坏点时，则将像素点B53的隔行隔列的相同颜色像素点B31，B33，B35，B51，B55的平均值代替像素点B53的色值，即B53_new＝1/8*(B31+B35+2*(B33+B51+B55))。
请参阅图2，当像素点R33判定为坏点时，则将像素点R33的隔行隔列的相同颜色像素点R11，R13，R15，R31，R35，R51，R53，R55的平均值代替像素点R33的色值，即R33_new＝1/8*(R11+R13+R15+R31+R35+R51+R53+R55)；当像素点G43判定为坏点时，则将像素点G43的隔行隔列的相同颜色像素点G21，G23，G25，G41，G45的平均值代替像素点G43的色值，即G43_new＝1/8*(G21+G25+2*(G23+G41+G45))；当像素点R53判定为坏点时，则将像素点R53的隔行隔列的相同颜色像素点R31，R33，R35，R51，R55的平均值代替像素点R53的色值，即R53_new＝1/8*(R31+R35+2*(R33+R51+R55))。
请参阅图3，当像素点G33判定为坏点时，则将像素点G33的隔行隔列的相同颜色像素点G11，G13，G15，G31，G35，G51，G53，G55的平均值代替像素点G33的色值，即G33_new＝1/8*(G11+G13+G15+G31+G35+G51+G53+G55)；当像素点R43判定为坏点时，则将像素点R43的隔行隔列的相同颜色像素点R21，R23，R25，R41，R45的平均值代替像素点R43的色值，即R43_new＝1/8*(R21+R25+2*(R23+R41+R45))；当像素点G53判定为坏点时，则将像素点G53的隔行隔列的相同颜色像素点G31，G33，G35，G51，G55的平均值代替像素点G53的色值，即G53_new＝1/8*(G31+G35+2*(G33+G51+G55))。
请参阅图4，当像素点G33判定为坏点时，则将像素点G33的隔行隔列的相同颜色像素点G11，G13，G15，G31，G35，G51，G53，G55的平均值代替像素点G33的色值，即G33_new＝1/8*(G11+G13+G15+G31+G35+G51+G53+G55)；当像素点B43判定为坏点时，则将像素点B43的隔行隔列的相同颜色像素点B21，B23，B25，B41，B45的平均值代替像素点B43的色值，即B43_new＝1/8*(B21+B25+2*(B23+B41+B45))；当像素点G53判定为坏点时，则将像素点G53的隔行隔列的相同颜色像素点G31，G33，G35，G51，G55的平均值代替像素点G53的色值，即G53_new＝1/8*(G31+G35+2*(G33+G51+G55))。
在步骤S504中，保持像素点的色值不变。
图6示出了本发明实施例提供的采用上述图像坏点校正方法实现图像插值方法的实现流程，其中步骤S601至步骤S604与图5所示的步骤S501至步骤S504的实现过程一致，在此不再赘述，其他步骤详述如下 在步骤S605中，对该插值点进行插值处理。由于对插值点进行插值处理的具体过程是现有技术，在此不再赘述。
在步骤S606中，判断图像中是否存在未进行插值处理的像素点，如果是，则执行步骤S601，否则，插值处理结束。
在本发明实施例中，在对一个插值点进行坏点预判、校正和插值处理后，再对下一插值点重复进行上述处理，从而时坏点校正与插值处理交替进行，从而使坏点校正与插值处理可以共用一个静态存储器(SRAM)，节省了单独进行坏点校正需要的SRAM，减小了图像传感器芯片的面积，降低了图像传感器的成本。
图7示出了本发明实施例提供的图像坏点校正系统的结构，为了便于说明，仅示出了与发明实施例相关的部分。该图像坏点校正系统可以是内置于图像传感器中的软件单元，硬件单元，或者软硬件相结合的单元。
临域创建单元61以插值点为中心建立5×5Bayer色彩矩阵。其中该5×5Bayer色彩矩阵可以是中心点为蓝色(如图1所示)或者红色(如图2所示)，绿色点的位置一致的5×5Bayer色彩矩阵，也可以是中心点为绿色，红色点和蓝色点的位置可以互换的5×5Bayer色彩矩阵，如图3和图4所示。
坏点预判单元62根据临域创建单元61创建的5×5Bayer色彩矩阵中像素点的隔行隔列的相同颜色像素点的色值，或像素点的隔行隔列的相同颜色像素点的色值和像素点的周围其他像素点的色值变化趋势，对5×5Bayer色彩矩阵中像素点进行坏点预判。其中预判的具体过程如上所述，在此不再赘述。当坏点预判单元62判定像素点为坏点时，坏点校正单元63将该像素点的隔行隔列的相同颜色像素点的平均值代替该像素点的色值，以对判定为坏点的像素点进行校正。当坏点预判单元62判定像素点为正常点时，保持该像素点的色值不变。
由于采用串行处理的方式对5×5Bayer色彩矩阵进行插值处理，因此，只要保证最后一个进入5×5Bayer色彩矩阵的像素点A55预判成功并被校正，即可保证坏点不影响插值处理结果。但由于像素点A55的临近相同颜色的像素点太少，容易将像素点A55误判为坏点，对于像素点A54也是如此，因此，在本发明实施例中，为了最大限度降低坏点对插值处理的影响，坏点预判单元62需要对5×5Bayer色彩矩阵中的中心像素点A33、以及像素点A53和A43进行坏点预判。
由于像素点A33的临近相同颜色的像素点可以将像素点A33完全包围，因此，坏点预判单元62根据A33的隔行隔列的相同颜色像素点的色值对像素点A33进行坏点预判，此时，坏点预判单元62包括域值确定单元621和坏点判断单元622。域值确定单元621根据预先设置的像素点的允许误差值x％确定像素点的域值[TH_min，TH_max]，其中TH_min＝(1-x％)*A33，TH_max＝(1+x％)*A33。坏点判断单元622判断像素点A33的隔行隔列的相同颜色像素点的色值是否均大于TH_max，或者是否均小于TH_min，如果是，则像素点A33为坏点，否则像素点A33为正常点。
由于像素点A53和A43的临近相同颜色的像素点无法将像素点A53和A43完全包围，导致容易将像素点A53和A43误判为坏点，因此，在本发明实施例中，坏点预判单元62分别根据像素点A53和A43的隔行隔列的相同颜色像素点的色值，以及像素点A53和A43的周围其他像素点的色值变化趋势对像素点A53和A43进行坏点预判，此时，坏点预判单元62还包括变化趋势判断单元623。该变化趋势判断单元623根据像素点A53和A43的周围其他像素点的色值判断像素点A53和A43的周围其他像素点的色值变化趋势，其具体过程如上所述，在此不再赘述。此时，域值确定单元621根据预先设置的像素点的允许误差值x％以及变化趋势判断单元623得到的像素点A53和A43的周围其他像素点的色值变化趋势确定像素点的域值[TH_min，TH_max]，其中TH_min和TH_max的具体计算如上所述，在此不再赘述。坏点判断单元622分别判断像素点A53和A43的隔行隔列的相同颜色像素点的色值是否均大于TH_max，或者是否均小于TH_min，如果是，则像素点A53和A43为坏点，否则像素点A53和A43为正常点。
本发明实施例还提供了一种采用上述图像坏点校正方法的图像插值系统。该图像插值系统可以是内置于图像传感器中的软件单元，硬件单元，或者软硬件相结合的单元。
该图像插值系统包括图7所示的图像坏点校正系统的所有组成单元外，还包括插值处理单元，该插值处理单元对进行了坏点校正处理的插值点进行插值处理。由于对插值点进行插值处理的具体过程是现有技术，在此不再赘述。在本发明实施例中，在对一个插值点进行坏点预判、校正和插值处理后，再对下一插值点重复进行上述处理，即可使坏点校正与插值处理共用一个SRAM，节省了单独进行坏点校正需要的SRAM，减小了图像传感器芯片的面积，降低了图像传感器的成本。
在本发明实施例中，在对像素点进行插值处理之前，先以插值点为中心建立插值点的临域(即以插值点为中心的5×5Bayer色彩矩阵)，通过对该临域中像素点进行坏点预判，并对判定为坏点的像素点进行校正，从而使坏点对插值处理的影响降至最低，提高了图像的质量；同时由于对该插值点的临域中的像素点进行坏点预判并校正后，即对该插值点进行插值处理，接着再以下一个插值点为中心建立插值点的临域，循环进行，使图像坏点校正与插值处理交替进行，从而使坏点校正与插值处理可以共用一个静态存储器(SRAM)，节省了单独进行坏点校正需要的SRAM，减小了图像传感器芯片的面积，降低了图像传感器的成本；本发明实施例在对像素点进行坏点预判时，同时将像素点的隔行隔列的相同颜色像素点的色值以及像素点的周围其他像素点的色值变化趋势作为参考，从而提高了坏点预判的精确度，进一步提高了图像的质量。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
权利要求
1、一种图像坏点的校正方法，其特征在于，所述方法包括下述步骤
以插值点为中心建立5×5Bayer色彩矩阵；
根据所述5×5Bayer色彩矩阵中的像素点的隔行隔列的相同颜色像素点的色值和/或像素点的周围其他像素点的色值变化趋势，对所述5×5Bayer色彩矩阵中的像素点进行坏点预判；
对判定为坏点的像素点进行校正。
2、如权利要求1所述的方法，其特征在于，所述像素点的周围其他像素点是所述5×5Bayer色彩矩阵中被所述像素点的隔行隔列的相同颜色像素点全包围或者半包围的所有像素点中的两个或者两个以上像素点。
3、如权利要求1所述的方法，其特征在于，在对所述5×5Bayer色彩矩阵中的像素点进行坏点预判时，当所述像素点的隔行隔列的相同颜色像素点的色值均大于某一预设值，或者当所述像素点的隔行隔列的相同颜色像素点的色值均小于另一预设值时，判定所述像素点为坏点。
4、如权利要求1所述的方法，其特征在于，在对所述5×5Bayer色彩矩阵中的像素点进行坏点预判时，对所述5×5Bayer色彩矩阵中的像素点A33、A53进行坏点预判。
5、如权利要求4所述的方法，其特征在于，在对所述5×5Bayer色彩矩阵中的像素点进行坏点预判时，进一步对所述5×5Bayer色彩矩阵中的像素点A43进行坏点预判。
6、如权利要求4所述的方法，其特征在于，对所述5×5Bayer色彩矩阵中的像素点A33进行坏点预判的步骤具体为
根据预设的像素点允许误差值确定所述像素点A33的域值[TH_min，TH_max]；
判断所述像素点A33的隔行隔列的相同颜色像素点的色值是否均大于TH_max，或者所述像素点A33的隔行隔列的相同颜色像素点的色值是否均小于TH_min，如果是，则所述像素点A33为坏点，如果否，则所述像素点A33为正常点。
7、如权利要求5所述的方法，其特征在于，对所述5×5Bayer色彩矩阵中的像素点A43、A53进行坏点预判的步骤具体为
分别根据所述像素点A43、A53的周围其他像素点的色值确定所述像素点A43、A53的周围其他像素点的色值变化趋势；
分别根据所述色值变化趋势和预设的像素点允许误差值确定所述像素点A43、A53的域值[TH_min，TH_max]；
分别判断所述像素点A43、A53的隔行隔列的相同颜色像素点的色值是否均大于TH_max，或者所述像素点A43、A53的隔行隔列的相同颜色像素点的色值是否均小于TH_min，如果是，则所述像素点A43、A53为坏点，如果否，则所述像素点A43、A53为正常点。
8、如权利要求7所述的方法，其特征在于，所述分别根据所述像素点A43、A53的周围其他像素点的色值确定所述像素点A43、A53的周围其他像素点的色值变化趋势时，所述像素点A43的周围其他像素点的色值变化趋势为
Diff_base＝max(Diff_a1，Diff_a2)，其中Diff_a1＝max(|A33-A11|，|A33-A13|，|A33-A15|，|A33-A31|，|A33-A35|，|A33-A51|，|A33-A53|，|A33-A55|)，Diff_a2＝max(|A34-A12|，|A34-A52|，|A34-A14|，|A34-A54|，|A34-A32|)，此时，所述根据所述色值变换趋势和预设的像素点允许误差值确定所述像素点A43的域值[TH_min，TH_max]为TH_min＝(1+x％)*A43-Diff_base，TH_max＝(1+x％)*A43+Diff_base，
所述像素点A53的周围其他像素点的色值变化趋势为
Diff_base＝max(Diff_a1，Diff_a2)，其中Diff_a1＝max(|A34-A12|，|A34-A52|，|A34-A14|，|A34-A54|，|A34-A32|)，Diff_a2＝max(|A43-A21|，|A43-A25|，|A43-A41|，|A43-A45|，|A43-A23|)，此时，所述根据所述色值变换趋势和预设的像素点允许误差值确定所述像素点A53的域值[TH_min，TH_max]为TH_min＝(1+x％)*A53-Diff_base，TH_max＝(1+x％)*A43+Diff_base
9、如权利要求1至8任一权利要求所述的方法，其特征在于，在对判定为坏点的像素点进行校正时，当所述像素点为坏点时，将所述像素点的色值校正为所述像素点的隔行隔列的相同颜色像素点的平均值，当所述像素点为正常点时，保持所述像素点的色值不变。
10、一种图像坏点校正系统，其特征在于，所述系统包括
临域创建单元，用于以插值点为中心建立5×5Bayer色彩矩阵；
坏点预判单元，用于根据所述临域创建单元建立的5×5Bayer色彩矩阵中的像素点的隔行隔列的相同颜色像素点的色值和/或像素点的周围其他像素点的色值变化趋势，对5×5Bayer色彩矩阵中的像素点进行坏点预判；
坏点校正单元，用于对所述坏点预判单元判定为坏点的像素点进行校正。
11、如权利要求10所述的系统，其特征在于，所述坏点预判单元包括
域值确定单元，用于根据预先设置的像素点的允许误差值确定像素点的域值[TH_min，TH_max]；
坏点判断单元，用于通过判断所述像素点的隔行隔列的相同颜色像素点的色值是否均大于TH_max，或者是否均小于TH_min来判断所述像素点是否为坏点。
12、如权利要求11所述的系统，其特征在于，所述坏点预判单元还包括
变化趋势判断单元，用于根据所述像素点的周围其他像素点的色值判断像素点的周围其他像素点的色值变化趋势，此时，所述域值确定单元根据预先设置的像素点的允许误差值以及所述变化趋势判断单元得到的色值变化趋势确定所述像素点的域值[TH_min，TH_max]。
13、一种包括权利要求10至12任一权利要求所述的图像坏点校正系统的图像传感器。
14、一种图像插值方法，其特征在于，所述方法包括下述步骤
以插值点为中心建立5×5Bayer色彩矩阵；
根据所述5×5Bayer色彩矩阵中的像素点的隔行隔列的相同颜色像素点的色值和/或像素点的周围其他像素点的色值变化趋势，对所述5×5Bayer色彩矩阵中的像素点进行坏点预判；
对判定为坏点的像素点进行校正；
对所述插值点进行插值处理，再循环执行上述步骤。
15、一种图像插值系统，其特征在于，所述系统包括
临域创建单元，用于以插值点为中心建立5×5Bayer色彩矩阵；
坏点预判单元，用于根据所述临域创建单元建立的5×5Bayer色彩矩阵中的像素点的隔行隔列的相同颜色像素点的色值和/或像素点的周围其他像素点的色值变化趋势，对5×5Bayer色彩矩阵中的像素点进行坏点预判；
坏点校正单元，用于对所述坏点预判单元判定为坏点的像素点进行校正；
插值处理单元，用于对所述插值点进行插值处理。
16、一种包括权利要求15所述的图像插值系统的图像传感器。
全文摘要
本发明适用于图像处理领域，提供了一种图像坏点的校正方法、系统及图像传感器，所述方法包括下述步骤以插值点为中心建立5×5Bayer色彩矩阵；根据所述5×5Bayer色彩矩阵中的像素点的隔行隔列的相同颜色像素点的色值和/或像素点的周围其他像素点的色值变化趋势，对5×5Bayer色彩矩阵中的像素点进行坏点预判；对判定为坏点的像素点进行校正。本发明实施例将坏点校正与插值操作交替进行，不仅简单易实现，提高了图像的质量，而且减小了图像传感器芯片的面积，降低了图像传感器的成本。
文档编号H04N9/04GK101588447SQ20081006741
公开日2009年11月25日 申请日期2008年5月23日 优先权日2008年5月23日
发明者茂 彭, 胡文阁 申请人:比亚迪股份有限公司