专利名称：图像信号处理电路、图像捕获装置、图像信号处理方法及程序的制作方法
技术领域：
本发明涉及一种图像信号处理电路、图像捕获装置、图像信号处理方法及程序，其可以用于，例如，配备诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器之类的有固态图像捕获元件的便携式电子设备。
背景技术：
近年来，利用便携式相机等读取诸如快速响应(QR)码的二维条码或诸如电话卡信息的特殊信息。在分辨率高和光尺寸大的一般相机配置中为了获取QR码等数据，有必要在10厘米到20厘米的短距离读取主体。在这种情况下，不利用AF透镜读取主体是困难的。
因此，当前，为了将主体和背景聚焦，存在对配备有扩展深度的场(EDOF)镜和EDOF图像信号处理电路的增加的需求。场的深度是指当相机聚焦到主体时在主体周围的范围内的焦点间隔。
发明内容
发明要解决的问题然而，在上述相机中，为了获取QR码等，需要用于QR码的EDOF透镜和EDOF图像处理电路，不利地导致电路规模增加或高成本。在正常透镜设计的情况下，存在色差发生的问题。本发明的目的是提供一种图像信号处理电路、图像捕获装置、图像信号处理方法及程序，能够利用具有高精度的普通透镜读取诸如条码的特殊信息而无需专用EDOF透镜和信号处理电路。对问题的解决方案按照本发明第一方面的图像信号处理电路包括处理电路，利用来自多个彩色信号中一个具有近点侧分辨率的彩色信号执行图像处理，以及增强处理单元，通过将点扩散函数(PSF)的反函数应用于经受由处理电路利用一个彩色信号图像处理的信号来执行增强处理。按照本发明第二方面的图像捕获装置包括图像捕获元件，将入射光引导到图像捕获元件的光学系统，以及图像信号处理电路，处理图像捕获元件的输出信号。该图像信号处理电路包括处理电路，利用来自多个彩色信号中一个具有近点侧分辨率的彩色信号执行图像处理，以及增强处理单元，通过将点扩散函数(PSF)的反函数应用于经受由处理电路利用一个彩色信号图像处理的信号来执行增强处理。按照本发明第三方面的图像信号处理方法包括图像处理步骤，利用来自多个彩色信号中一个具有近点侧分辨率的彩色信号执行图像处理，以及增强处理步骤，通过将点扩散函数(PSF)的反函数应用于经受由处理电路利用一个彩色信号图像处理的信号来执行增强处理。按照本发明第四方面的程序使计算机执行图像信号处理。该图像信号处理具有利用来自多个彩色信号中一个具有近点侧分辨率的彩色信号执行的图像处理，以及通过将点扩散函数(PSF)的反函数应用于经受在处理步骤中利用一个彩色信号图像处理的信号来执行增强处理的增强处理。本发明效果按照本发明，能够利 用具有高精度的普通透镜读取诸如条码的特殊信息而无需专用EDOF透镜和信号处理电路。
图I是示出根据本发明实施例的图像捕获装置的主要部分的配置示例的框图。图2是示出QR码的示图。图3是示出该实施例的单位像素的示例的电路图。图4是示意性地示出该实施例的固态图像捕获元件的像素阵列单元的像素安排的示图。图5是示出按照本发明的第一实施例的图像信号处理电路的配置示例的框图。图6是示出从EDOF透镜获得的指定距离调制传递函数(MTF)和相应的EDOF (反函数)计算的系数G的配置的示图。图7是示出从EDOF透镜获得的指定距离的MTF和相应的EDOF (反函数)计算的系数B的配置的示图。图8是总体以表格示出从QR码的点大小计算的最大频率的示图。图9是总体以表格示出从透镜示例和在0. 2mm/点、0. 25mm/点、0. 3mm/点、以及0. 4mm/点时的频率提取的主体指定距离和指定波形的MTF数据。图10是示出当该实施例的图像捕获装置捕获QR码并仅使用B时的处理结果的示图。图11是示出当由通常的图像捕获装置捕获QR码并且使用R、G、B作为可比较的示例时的处理结果的示图。图12是表示按照本发明的第二实施例的图像信号处理电路的配置示例的框图。
具体实施例方式以下，将参照附图描述本发明的实施例。将以下列顺序提供描述。I.图像捕获装置的配置示例2.第一实施例(图像信号处理电路的第一配置示例)3.第二实施例(图像信号处理电路的第二配置示例)图I是表示根据本发明实施例的图像捕获装置的主要部分的配置示例的框图。如图I所示，图像捕获装置10具有透镜系统11，由例如CMOS传感器和图像信号处理电路13构成的图像捕获元件12。图像捕获装置10被配置为利用普通透镜和具有高精度的EDOF透镜读取图2所示的QR码或诸如条码的特殊信息而无需专用EDOF透镜和EDOF信号处理电路。如以下详细描述，图像捕获装置10被配置为通过利用具有近点侧分辨率的蓝(B)信号和点扩散函数(PSF)的反函数的应用的处理，利用普通透镜和EDOF透镜读取条码。透镜系统11将QR码等的主体图像输入到图像捕获元件12。对于透镜系统11，例如，可以应用近点分辨率是三原色红(R)、绿(G )、蓝(B )中的B并且色差很高的透镜。图像捕获元件12具有，例如安排在具有预定排列形式的阵列中的传感器单位像素。在图像捕获元件12中，在像素排列的每行中连接传输选择线、复位线、以及选择线，并且在像素排列的每一列中连接信号线。 图3是示出该实施例单位像素的示例的电路图。图3示出CMOS传感器作为示例。图3的单位像素120具有发光二极管121、传输晶体管122、放大晶体管123、选择晶体管124、复位晶体管125及浮动结点ND121。发光二级管121将入射光光电转换为其电荷量基于入射光量的信号电荷(电子)，并且积累信号电荷。传输晶体管112连接在发光二极管121的阴极与浮动结点ND121之间，并且其栅极连接到传输选择线TRFL。传输晶体管122具有在提供电导通(接通)时将发光二极管121中积累的信号电荷传输到浮动结点ND121的功能。放大晶体管123和选择晶体管124串联连接在电源电位VDD和信号线SGNL之间。放大晶体管123具有连接到浮动结点ND121的栅极，放大浮动结点ND121上的电位，并且通过选择晶体管124将放大的电位输出到信号线SGNL。选择晶体管124的栅极连接到选择线SELL。复位晶体管125具有连接到浮动结点ND121的源极、连接到预定电位线的漏极、以及连接到复位线RSTL的栅极。复位晶体管125具有复位浮动结点ND121上的电位的功能。图4是示意性地示出该实施例的像素阵列单元的像素排列的示例的示图。在该实施例中，作为图像捕获元件的彩色滤波器的排列，应用Bayer排列，其中利用用于具有令人满意的色彩再现能力的三元色中的绿色(G)的两个彩色滤波器、一个用于红色(R)的彩色滤波器以及一个用于蓝色(B)的彩色滤波器。Bayer排列是关注亮度的分辨率而不是彩色的分辨率的排列。尽管没有示出，在图像捕获元件12的输出级可以设置预处理单元。在这种情况下，预处理单元对图像捕获元件12读取的模拟图像信息执行采样和量化，将模拟信号转换为数字信号(A/D转换)以及将数字信号输出到图像信号处理单元13。在图像捕获元件12中可以提供预处理单元的功能。图像信号处理电路13通过利用输入R、G以及B图像信号中的一个信号(在该实施例中，具有近点侧分辨率的B信号)以及应用PSF的反函数k到B信号的处理，利用普通透镜处理系统再现QR码等。<2.第一实施例>[图像信号处理电路的第一配置示例]
图5是示出按照本发明的第一实施例的图像信号处理电路的配置示例的框图。图5的图像信号处理电路13具有白平衡(WB)处理电路131、去马赛克(demosiac)(DM)线性矩阵电路、用作增强处理单元的孔径控制(AP)处理单元133、及混合器134。孔径控制是指增强图像的高频分量以增强轮廓的处理。该处理被称为孔径控制。WB处理电路131接收R、G、以及B图像信号，利用仅具有R=0、G=0及B=I的B信号执行白平衡处理，以及将结果提供给DM线性矩阵电路132。WB处理电路131利用WB增益将输出到孔径控制处理单元133的信号设置为Y=B。DM线性矩阵电路132对经受白平衡处理的B信号执行色彩再现的线性转换的处
理。 DM线性矩阵电路132利用线性矩阵设置R=B和G=B。在该实施例中，设置R=001、G=OOl以及B=OOI。孔径控制处理单元133将PSF的反函数k，具体地，反PSF滤波器系数Fk施加到经受白平衡处理的B信号，并将结果输出到混合器134。在DM线性矩阵电路132处理的信号中，混合器134混合由孔径控制处理单元133施加反PSF滤波器系数Fk的信号。在这种情况下，仅仅在B的Y信号中混合仅B的孔径控制分量。如上所述，在该实施例中，仅通过信号处理电路13利用B信号分量执行各种类型的处理，由此利用高精度的普通透镜读取诸如条码的特殊信息而无需专用EDOF透镜和信号处理电路。以下将描述利用B信号等的理由。图6是示出从EDOF透镜获得的指定距离调制传递函数(MTF)和相应的EDOF (反函数)系数计算的G的结果的示图。图7是示出从EDOF透镜获得的指定距离的MTF和相应的EDOF (反函数)系数计算的B的结果的示图。图6和图7表示以G和B为例子的EDOF的信号处理特性。在图6和图7中，通过将透镜特性与EDOF滤波器特性相乘获得输出特性。因此，可以使用具有非零点特性的信号。当获取QR码图像时，在零点指示QR码的模糊。除了零点以外的区域中没有模糊。最大(MAX)频率值越高越好。普通传感器，仅定性使用B分辨率的一半。在G的情况下，能定性使用大约70%。与此同时，当非零点的条件为25cm (从条码到透镜的距离)时，零点被消除。在当前条件下，限制为20cm，而且因此，无法使用G。这是由像素间距、图像轮廓、以及条码点间距所决定的。因此，在该实施例中，使用几乎不带零点的B。图8是总体以表格示出从QR码的点大小计算的最大频率的示图。图9是总体以表格表示从透镜实例和0. 2mm/点、0. 25mm/点、0. 3mm/点、及0. 4mm/点频率提取的主体指定距离和指定波形的MTF数据。图8是表示依赖于主体到滤镜距离的R、G以及B的奈奎斯特值的示图。
图8是总体以表格不出由图9中箭头指不的最大频率的不图。图9总体以表格示出图8中的结果。使用10cm、13cm、15cm、18cm、20cm、以及25cm作为主体到滤镜的距离。由图8等可知，当从主体到滤镜的距离为10cm、13cm、15cm、18cm、20cm、以及25cm,
并且特别是小于等于20时，B信号的最大(MAX)频率值是高的。因此，如在本实施例中的，执行使用普通透镜的仅B (蓝色)的处理与专用于条码和名片的EDOF处理(CB ED0F)，从而以高精度读取QR码或者特殊信息，诸如电话卡。图10是示出该实施例的图像捕获装置捕获QR码并仅使用B时的处理结果的示图。
图11是示出由通常的图像捕获装置捕获QR码并且使用R、G、B作为可比较的示例时的处理结果的示图。从图10和11中可知该实施例的图像捕获装置10与普通图像捕获装置相比能够以高精度读取QR码或者特殊信息，诸如电话卡。<3.第二实施例>[图像信号处理电路的第二配置示例]图12是示出按照本发明的第二实施例的图像信号处理电路的配置示例的框图。第二实施例的图像信号处理电路13A与第一实施例的图像信号处理电路13之间的区别如下。第二实施例的图像信号处理电路13A具有利用普通RGB图像信号获得彩色图像的第一个信号处理单元14，和用于处理QR码或者特殊信息(诸如电话卡)的第二信号处理单元15。第一信号处理单元14具有白平衡(WB)处理电路141、去马赛克(DM)线性矩阵电路142、光圈控制(AP)处理单元143、以及混合器144。第一信号处理单元14执行白平衡处理、DM线性矩阵处理、光圈控制处理、以及利用R、G以及B信号混合来获得彩色图像。第一信号处理单元14的输出级中提供Y/C分离单元16用于分离亮度信号(Y)和色度信号(C)。在Y/C分离单元16的输出端装有色度处理单元17和亮度处理单元18。亮度处理单元18的输入级装有开关19以从Y/C分离单元16中选择第一信号处理单元14的亮度信号或者是第二信号处理单元15的输出信号并且将选中的信号输入到亮度处理单元18。第二信号处理单元15具有，例如，用于BC的WB处理电路151、用于BC的线性矩阵电路152、以及用于BC的光圈控制处理单元153，它们专门用于处理诸如QR码的条码(BC)。在第二信号处理单兀15中，如在第一实施例中,WB处理电路151仅利用B信号执行处理，并且线性矩阵电路152和光圈控制处理单元(AP) 153类似地仅利用B信号进行处理。如上所述，在第二实施例的图像信号处理电路13A中，除了执行普通处理的第一信号处理单元14以外，还提供用于QR码的第二信号处理单元15，因此执行处理具有更高的精度。
第一实施例的图像信号处理电路13的输出变为黑色和白色。与此同时，在第二实施例的图像信号处理电路13A中，当输出彩色图像时，色度信号经受普通处理以便读取QR码等，并且利用开关19切换Y信号并将其替换成专门针对B信号的信号。在这种情况下，因为光信号的频率分量高，当采样率变低时，输出大图像不平滑。因此，有可能在生成其中大图像被充分地显影的图像。可以利用Y信号实现诸如条码的信息。基于上述过程可以将上述方法的细节实现为程序，并且诸如CPU的计算机可以执行该程序。可以将该程序记录在记录介质上，如半导体内存、磁盘、光盘或软(注册商标)盘，并且安装此记录介质的计算机能够访问该记录媒质并执行程序。参考信号列表10:图像捕获装置11 :透镜系统12:图像捕获元件13，13A :图像信号处理电路131 :白平衡(WB)处理电路132 :去马赛克(DM)线性矩阵电路133 :光圈控制(AP)处理单元134:混合器14:第一信号处理单元15:第二信号处理单元16:Y/C分离单元17 :色度处理单元18 :亮度处理单元19:开关权利要求
1.一种图像信号处理电路，包括 处理电路，利用来自多个彩色信号中一个具有近点侧分辨率的彩色信号执行图像处理；以及 增强处理单元，通过将点扩散函数(PSF)的反函数应用于经受由处理电路利用一个彩色信号图像处理的信号来执行增强处理。
2.根据权利要求I所述的图像信号处理电路， 其中处理电路包括 白平衡处理电路，利用来自多个彩色信号中一个具有近点侧分辨率的彩色信号执行白平衡处理； 线性矩阵电路，在经受白平衡处理的彩色信号上执行色彩再现的线性转换处理；以及 混合器，将线性矩阵电路的输出与增强处理单元的输出混合。
3.根据权利要求I所述的图像信号处理电路，进一步包括 第一信号处理单元，利用来自多个彩色信号中一个具有近点侧分辨率的彩色信号执行图像处理以获得彩色图像；以及第二信号处理单元， 其中第二信号处理单元包括 处理电路，利用来自多个彩色信号中一个具有近点侧分辨率的彩色信号执行图像处理；以及 增强处理单元，通过将PSF的反函数应用于经受由处理电路利用一个彩色信号图像处理的信号来执行增强处理。
4.根据权利要求3所述的图像信号处理电路，进一步包括 开关，有选择性地提取第一信号处理单元的输出和第二信号处理单元的输出。
5.根据权利要求I到4中任一项所述的图像信号处理电路， 其中该一个彩色信号是来自红(R)、绿(G)以及蓝(B)三原色中的B。
6.一种图像捕获装置包括 图像捕获元件； 光学系统，引导入射光到图像捕获元件；以及 图像处理电路，处理图像捕获元件的输出信号， 其中图像信号处理电路包括 处理电路，利用来自多个彩色信号中一个具有近点侧分辨率的彩色信号执行图像处理；及 增强处理单元，通过将点扩散函数(PSF)的反函数应用于经受由处理电路利用一个彩色信号图像处理的信号来执行增强处理。
7.根据权利要求6所述的图像捕获装置， 其中处理电路包括 白平衡处理电路，利用来自多个彩色信号中一个具有近点侧分辨率的彩色信号执行白平衡处理； 线性矩阵电路，在经受白平衡处理的彩色信号上执行色彩再现的线性转换处理；以及 混合器，将线性矩阵电路的输出与增强处理单元的输出混合。
8.根据权利要求6所述的图像捕获装置，进一步包括 第一信号处理单元，利用来自多个彩色信号中一个具有近点侧分辨率的彩色信号执行图像处理以获得彩色图像；以及 第二信号处理单元， 其中第二信号处理单元包括 处理电路，利用来自多个彩色信号中一个具有近点侧分辨率的彩色信号执行图像处理；以及 增强处理部件，通过将PSF的反函数应用于经受由处理电路利用一个彩色信号图像处理的信号来执行增强处理。
9.根据权利要求8所述的图像捕获装置，进一步包括 开关，有选择性地提取第一信号处理单元的输出和第二信号处理单元的输出。
10.根据权利要求6到9中任一项所述的图像捕获装置， 其中该一个彩色信号是来自红(R)、绿(G)以及蓝(B)三原色中的B。
11.一种图像信号处理方法包括 图像处理步骤，利用来自多个彩色信号中一个具有近点侧分辨率的彩色信号执行图像处理；以及 增强处理步骤，通过将点扩散函数(PSF)的反函数应用于经受处理步骤中利用一个彩色信号图像处理的信号来执行增强处理。
12.用于使计算机执行图像信号处理的程序包括 利用来自多个彩色信号中一个具有近点侧分辨率的彩色信号执行图像处理；以及 通过将点扩散函数(PSF)的反函数应用于经受在处理步骤中利用一个彩色信号图像处理的信号来执行增强处理。
全文摘要
公开了图像信号处理电路、图像捕获装置、图像信号处理方法、以及程序，它们能够利用普通透镜以高精度提取包括条码的特殊信息，而无需专用EDOF透镜和信号处理电路。图像信号处理电路包括处理电路(131)，利用来自多个彩色信号中一个具有近点侧分辨率的彩色信号(B)执行图像处理；和增强处理单元(132)，将点扩散函数(PSF)的反函数应用于通过由处理电路利用一个彩色信号图像处理的信号来执行增强处理。
文档编号H04N1/60GK102754107SQ20118000953
公开日2012年10月24日 申请日期2011年2月10日 优先权日2010年2月22日
发明者东堤良仁 申请人:索尼公司