本发明涉及集成电路芯片领域，具体涉及一种智能cmos图像传感器芯片及其制造方法。
背景技术：
cmos图像传感器(cis)，是一种基于互补金属氧化物半导体的芯片，其表面包含有几十万到上亿的光电二极管。光电二极管受到光照射时，就会产生电荷。从技术角度分析成像原理，核心结构上每单位像素点由一个感光电极、一个电信号转换单元、一个信号传输晶体管，以及一个信号放大器所组成。理论上cmos图像传感器感受到的光线经光电转换后使电极带上负电和正电，这两个互补效应所产生的电信号(电流或者电势差)被cmos从一个一个像素当中顺次提取至外部的a/d(模/数)转换器上再被处理芯片记录解读成影像。具体工作时先由水平传输部采集信号，再由垂直传输部送出全部信号，故cmos图像传感器可以在每个像素基础上进行信号放大，采用这种方法可进行快速的数据扫描。
cmos图像传感器的质量好坏，与很多因素有关系，如感光器件和加工工艺水平，电路设计技术能力，以及后端彩色滤光膜加工和封装等。因此为了提高图像质量，会在cis传感器设计的时候加入一些算法，例如：自动黑电平矫正，去横条纹，降噪等等。
现有技术中cis内部的算法包含着自动黑电平矫正，去横条纹，降噪等等，为了得到最佳的图像质量，我们希望这些算法都能够达到最佳计算效果。但是实践中，这些算法在整合调试过程中常常会出现调整某一个算法，影响到其他算法的情况，由于参数过多，以及正常光照/暗光光照，温度高低等情况的不同，也会导致参数设计的不一致，往往只能保证其中一个算法的计算结构是最佳的，而其他算法的效果并不如意。为了保证各个算法之间的最佳平衡，在实际过程中常常需要有经验的工程师进行调整，选择一个平衡点。但是这种人工调节过程对工程师的经验值要求非常高，并且只依靠经验值的调节往往会出现各种各样不同的问题，无法保证cis内部的算法全部达到最佳状态。
技术实现要素：
本发明所要解决的技术问题是提供一种智能cmos图像传感器芯片及其制造方法，基于神经网络的深度学习，在认知交互的基础上，通过自我学习来提升cis成像效率以及成像效果，从而减少芯片调试及重新设计时间，以便降低芯片设计成本，提升cis的性能。
为了实现上述目的，本发明采用如下技术方案：一种智能cmos图像传感器芯片，包括算法模块，包括至少一种算法，用于依次对智能cmos图像传感器芯片中的输入图像进行计算，并输出计算后的图像数据；数据采集模块，连接算法模块和深度学习电路单元，用于获取输入图像经过各个算法计算前后的图像质量数据以及分别与各个算法相对应的包括寄存器参数在内的工作参数，并传输至深度学习电路单元中的神经网络；深度学习电路单元，包括神经网络和深度学习模型，其中，所述神经网络根据所述数据采集模块获取的图像质量数据以及工作参数，并通过自主学习形成深度学习模型；所述深度学习模型调整所述算法模块中各算法的寄存器参数，获得和各个算法一一对应的最优算法，所述算法模块中的各个最优算法用于依次对输入图像进行计算，并输出计算之后的图像数据。
进一步地，所述算法模块中的算法包括自动黑电平矫正算法和/或去横条纹算法和/或降噪算法。
进一步地，所述算法对应的工作参数还包括各个算法进行计算时的实时温度和ac/dc增益数据。
进一步地，所述图像质量数据包括图像信噪比数据、图像清晰度数据和图像横竖条纹数据。
一种智能cmos图像传感器芯片的制造方法，包括以下步骤：
s01：选取包括算法模块和数据采集模块的cmos图像传感器芯片，此时，深度学习电路单元位于该cmos图像传感器芯片的外部，当输入图像进入该芯片时，所述算法模块中的各个算法依次对输入图像进行计算，并输出计算之后的图像数据；
s02：所述数据采集模块获取输入图像经过各个算法计算前后的图像质量数据以及分别与各个算法相对应的包括寄存器参数在内的工作参数，并传输至位于上述cmos图像传感器芯片外部的深度学习电路单元中；
s03：深度学习电路单元中的神经网络根据所述数据采集模块接收的图像质量数据和包含寄存器参数在内的工作参数，通过自主学习形成深度学习模型，并存储在深度学习电路单元中；
s04：将深度学习电路单元内置于上述cmos图像传感器芯片中，所述深度学习电路单元中的深度学习模型调整所述算法模块中各个算法的寄存器参数，获得和各个算法一一对应的最优算法；形成包括算法模块、数据采集模块和深度学习电路单元的智能cmos图像传感器芯片；所述算法模块中的各个最优算法依次对输入图像进行计算，并输出计算之后的图像数据。
进一步地，步骤s02中数据采集模块采集输入图像经过各个算法计算前后的图像数据，经过计算处理获得相对应的图像质量数据。
进一步地，步骤s03中深度学习模型和神经网络通过数字电路的形式存储在深度学习电路单元中。
一种智能cmos图像传感器芯片，包括算法模块和数据采集模块，所述算法模块包括至少一种算法和深度学习电路单元，所述深度学习电路单元包括神经网络和深度学习模型，所述神经网络根据所述数据采集模块获取的图像质量数据，并通过自主学习形成深度学习模型；其中，所述深度学习模型和各个算法用于依次对智能cmos图像传感器芯片中的输入图像进行计算，并输出计算后的图像数据。
进一步地，所述深度学习模型对输入图像进行计算之后可以实现自动黑电平矫正和/或去横条纹和/或降噪的功能。
一种智能cmos图像传感器芯片的制造方法，包括以下步骤：
t01：选取包括算法模块和数据采集模块的cmos图像传感器芯片，此时，深度学习电路单元位于该cmos图像传感器芯片的外部，当输入图像进入该芯片时，所述算法模块中的各算法分别对输入图像进行计算，并输出计算之后的图像数据；
t02：所述数据采集模块采集输入图像经过各个算法计算前后的图像数据，经过计算处理获得相对应的图像质量数据，并传输至位于上述cmos图像传感器芯片外部的深度学习电路单元中；
t03：所述深度学习电路单元中的神经网络根据所述数据采集模块接收的图像质量数据，并通过自主学习形成深度学习模型，存储在深度学习电路单元中；
t04：将深度学习电路单元内置于上述cmos图像传感器芯片中的算法模块中，此时，深度学习电路单元替换步骤t01中所述算法模块中的部分算法，形成包括数据采集模块和算法模块的智能cmos图像传感器芯片；所述深度学习电路单元中的深度学习模型和未被替换的算法依次对输入图像进行计算，并输出计算之后的图像数据。
进一步地，步骤t01中的cmos图像传感器芯片中的算法模块包括自动黑电平矫正算法和/或去横条纹算法和/或降噪算法。
一种智能cmos图像传感器芯片，包括深度学习电路单元和数据采集模块，所述深度学习电路单元包括神经网络和深度学习模型，所述神经网络根据所述数据采集模块获取的图像质量数据，并通过自主学习形成深度学习模型，其中，所述深度学习模型用于对智能cmos图像传感器芯片中的输入图像进行计算，并输出计算后的图像数据。
一种智能cmos图像传感器芯片的制造方法，包括以下步骤：
b01：选取包括算法模块和数据采集模块的cmos图像传感器芯片，此时，深度学习电路单元位于该cmos图像传感器芯片的外部，当输入图像进入该芯片时，所述算法模块中的各算法分别对输入图像进行计算，并输出计算之后的图像数据；
b02：所述数据采集模块采集输入图像经过各个算法计算前后的图像数据，经过计算处理获得相对应的图像质量数据，并传输至位于上述cmos图像传感器芯片外部的深度学习电路单元中；
b03：所述深度学习电路单元中的神经网络根据所述数据采集模块接收的图像质量数据，并通过自主学习形成深度学习模型，存储在深度学习电路单元中；
b04：将深度学习电路单元内置于上述cmos图像传感器芯片中，并替换步骤b01中所述算法模块，形成包括数据采集模块和深度学习电路单元的智能cmos图像传感器芯片；所述深度学习电路单元中的深度学习模型对输入图像进行计算，并输出计算之后的图像数据。
本发明的有益效果为：通过神经网络的深度学习形成深度学习模型，深度学习模型可以对输入图像进行自动黑电平矫正计算和/或去横条纹计算和/或降噪计算，用于替代之前的算法模块。深度学习模型也可以在内置于智能cmos图像传感器芯片之后对算法模块中的各个算法的寄存器参数进行调节，获得相对应的最优算法。这两种方式均通过神经网络的深度学习，在认知交互的基础上，通过自我学习来提升cis成像效率以及成像效果，从而减少芯片调试及重新设计时间，以便降低芯片设计成本，提升cis的性能。
附图说明
图1为实施例1中一种智能cmos图像传感器芯片制造方法图。
图2为实施例2中一种智能cmos图像传感器芯片制造方法图。
图3为实施例3中一种智能cmos图像传感器芯片制造方法图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图以及具体实施例对本发明的具体实施方式做进一步的详细说明。
实施例1
如图1所示，为一种智能cmos图像传感器芯片制造方法，具体包括以下步骤：
s01：选取包括算法模块和数据采集模块的cmos图像传感器芯片，此时，深度学习电路单元位于该cmos图像传感器芯片的外部，当输入图像进入该芯片时，算法模块中的各算法依次对输入图像进行计算，并输出计算之后的图像数据。
其中，用于制作智能cmos图像传感器芯片的原始芯片中包括算法模块和数据采集模块，并且其中的算法模块中的各个算法能够对依次对输入图像分别进行计算，并输出计算之后的图像数据，当输入图像经过算法模块中所有算法的计算之后，从cmos图像传感器芯片中输出，成为优化处理后的图像。
算法模块包括不同的算法，具体可以为自动黑电平矫正算法和/或去横条纹算法和/或降噪算法等，即可以是一种或多种算法的随意组合。也可以根据实际需求包括所有对图像优化处理有用的算法，在对输入图像进行计算的过程中，各个算法依次对输入图像进行计算。
s02：数据采集模块获取输入图像经过各个算法计算前后的图像质量数据以及分别与各个算法相对应的包括寄存器参数在内的工作参数，并传输至位于上述cmos图像传感器芯片外部的深度学习电路单元中。
数据采集模块采集的数据具体包括每个算法对应的寄存器参数、实时温度、ac/dc增益等工作参数以及该算法处理前后的图像数据，其中，采集的图像数据经过数据采集模块的计算处理获得其对应的图像质量数据。因此，数据采集模块可以获取输入图像经过各个算法计算前后的图像质量数据以及分别与各个算法相对应的包括寄存器参数在内的工作参数。
s03：深度学习电路单元中的神经网络根据所述数据采集模块接收的图像质量数据和包含寄存器参数在内的工作参数，通过自主学习形成深度学习模型，并存储在深度学习电路单元中。
其中，深度学习模型和神经网络通过数字电路的形式存储在深度学习电路单元中。在外部生成的深度学习电路单元必须通过合适的方式内置于cmos图像传感器芯片中。任何可以将深度学习电路单元内置于cmos图像传感器芯片的方法都适用于本发明。本发明将深度学习模型和神经网络通过数字电路的形式存储在深度学习电路单元中，也就是说将深度学习模型转化为数字电路的形成放在最终的cis电路中。
神经网络采用的算法可以为卷积神经网络算法，稀疏编码算法，自编码器算法等算法中的一种，当然，神经网络的采用的算法包括但不限于上述算法。
s04：将深度学习电路单元内置于上述cmos图像传感器芯片中，深度学习电路单元中的深度学习模型调整所述算法模块中各个算法的寄存器参数，获得和各个算法一一对应的最优算法；形成包括算法模块、数据采集模块和深度学习电路单元的智能cmos图像传感器芯片；算法模块中的各个最优算法依次对输入图像进行计算，并输出计算之后的图像数据。
本实施例中的深度学习模型只是一个可以调节原来算法寄存器参数的模型。当深度学习模型所在的深度学习电路单元内置于cmos图像传感器芯片时，该深度学习模型通过调整算法模块中各个算法的寄存器参数，使得原来的算法模块中的算法变成对应的最优算法，该最优算法是在原来算法的基础上，通过调整寄存器参数得到的。也就是说，该最优算法模型是通过调节原来的自动黑电平矫正算法、去横条纹算法和降噪算法等一种或多种算法的寄存器参数形成的。当该智能cmos图像传感器芯片中再次输入图像时，通过调节之后的最优算法依次对输入图像进行相对应的运算。在智能cmos图像传感器芯片对输入图像进行计算过程中，数据采集模块还可以获取经过各个最优算法计算前后的图像质量数据以及工作参数，通过神经网络的自主学习，调整已经形成的深度学习模型，调整之后的深度学习模型再次调整最优算法，获得更优的算法，从而取得对输入图像更好的处理效果。
采用这种制造方法得到的深度学习模型可以扩大适用范围，对于有相同内部算法的不同芯片，均可以适用。只需要在外部形成深度学习模型，内置于不同的cmos图像传感器芯片中，完善各个算法以及寄存器之间的联系，自动学习最优算法寄存器配置，反馈到寄存器的配置中，达到最优的图像质量，不论是在高温或者暗光情况下，均可以调节得到相对应的最优算法，完成对应图像质量的调整。
本实施例中得到的智能cmos图像传感器芯片，包括算法模块，其包括至少一种算法，用于对智能cmos图像传感器芯片中的输入图像依次进行计算，可以为自动黑电平矫正算法、去横条纹算法和降噪算法等算法中的一种或多种。
数据采集模块，连接算法模块和深度学习电路单元，用于获取输入图像经过各个算法计算前后的图像质量数据以及分别与各个算法相对应的包括寄存器参数在内的工作参数，并传输至深度学习电路单元中的神经网络；其中，工作参数还包括各个算法进行计算时的实时温度和ac/dc增益数据。
深度学习电路单元，包括神经网络和深度学习模型，其中，神经网络根据数据采集模块获取的图像质量数据以及工作参数，并通过自主学习形成深度学习模型；深度学习模型调整算法模块中各算法的寄存器参数，获得和各个算法一一对应的最优算法，算法模块中的各个最优算法用于依次对输入图像进行计算，并输出计算之后的图像数据。
实施例2
如图2所示，一种智能cmos图像传感器芯片制造方法，具体包括以下步骤：
t01：选取包括算法模块和数据采集模块的cmos图像传感器芯片，此时，深度学习电路单元位于该cmos图像传感器芯片的外部，当输入图像进入该芯片时，算法模块中的各个算法依次对输入图像进行计算，并输出计算之后的图像数据。
其中，用于制作智能cmos图像传感器芯片的原始芯片中包括算法模块和数据采集模块，并且其中的算法模块中的各个算法能够对依次对输入图像分别进行计算，并输出计算之后的图像数据，当输入图像经过算法模块中所有算法的计算之后，从cmos图像传感器芯片中输出，成为优化处理后的图像。
算法模块包括不同的算法，具体可以为自动黑电平矫正算法和/或去横条纹算法和/或降噪算法等，即可以是一种或多种算法的随意组合。也可以根据实际需求包括所有对图像优化处理有用的算法，在对输入图像进行计算的过程中，各个算法依次对输入图像进行计算。
t02：数据采集模块采集输入图像经过各个算法计算前后的图像数据，经过计算处理获得相对应的图像质量数据，并传输至位于上述cmos图像传感器芯片外部的深度学习电路单元中。
t03：深度学习电路单元中的神经网络根据数据采集模块接收的图像质量数据，并通过自主学习形成深度学习模型，存储在深度学习电路单元中。
其中，深度学习模型和神经网络通过数字电路的形式存储在深度学习电路单元中。在外部生成的深度学习电路单元必须通过合适的方式内置于cmos图像传感器芯片中。任何可以将深度学习电路单元内置于cmos图像传感器芯片的方法都适用于本发明。本发明将深度学习模型和神经网络通过数字电路的形式存储在深度学习电路单元中，也就是说将深度学习模型转化为数字电路的形成放在最终的cis电路中。
神经网络采用的算法可以为卷积神经网络算法，稀疏编码算法，自编码器算法等算法中的一种，当然，神经网络的采用的算法包括但不限于上述算法。
t04：将深度学习电路单元内置于上述cmos图像传感器芯片中的算法模块中，此时，深度学习电路单元替换步骤t01中所述算法模块中的部分算法，形成包括数据采集模块和算法模块的智能cmos图像传感器芯片；深度学习电路单元中的深度学习模型和未被替换的算法依次对输入图像进行计算，并输出计算之后的图像数据。
其中，本实施例中新生成的深度学习电路单元可以替换原有的算法模块中的部分算法。因此，深度学习电路单元内置于算法模块中。深度学习模型能够实现的计算功能和算法模块中被替换的算法实现的计算功能相同，但是经过自主学习之后形成的深度学习模型对输入图像的计算效果更好，相比于原有的算法模块，包含了深度学习电路单元的算法模块实现了相同的功能，取得了更好的图像处理效果。
比如，算法模块中的算法包括自动黑电平矫正算法、去横条纹算法和降噪算法三种算法时，当深度学习电路单元替换了自动黑电平矫正算法和降噪算法两种算法后，深度学习电路单元中的深度学习模型对输入图像的计算可以实现自动黑电平矫正和降噪的功能，然后算法模块中未被替换的去横条纹算法再对输入图像进行计算，最后输出计算后的图像数据。同理，因为原算法模块中的算法包括自动黑电平矫正算法、去横条纹算法和降噪算法等算法中的一种或多种，所生成的深度学习模型能够实现的计算功能包括自动黑电平矫正和/或去横条纹和/或降噪的功能。
在智能cmos图像传感器芯片进行工作的过程中，数据采集模块还可以采集输入图像经过深度学习模型计算和未被替换的算法计算之后的图像数据，并经过计算处理获得其对应的图像质量数据。针对获取的图像质量数据经过神经网络的自主深度学习，调节已经形成的深度学习模型，以取得更优的图像质量。
本实施例得到的智能cmos图像传感器芯片，包括算法模块和数据采集模块，算法模块包括至少一种算法和深度学习电路单元，深度学习电路单元包括神经网络和深度学习模型，神经网络根据数据采集模块获取的图像质量数据，并通过自主学习形成深度学习模型；其中，深度学习模型和各个算法用于依次对智能cmos图像传感器芯片中的输入图像进行计算，并输出计算后的图像数据。
实施例3
如图3所示，一种智能cmos图像传感器芯片制造方法，具体包括以下步骤：
b01：选取包括算法模块和数据采集模块的cmos图像传感器芯片，此时，深度学习电路单元位于该cmos图像传感器芯片的外部，当输入图像进入该芯片时，算法模块中的各个算法依次对输入图像进行计算，并输出计算之后的图像数据。
其中，用于制作智能cmos图像传感器芯片的原始芯片中包括算法模块和数据采集模块，并且其中的算法模块中的各个算法能够对依次对输入图像分别进行计算，并输出计算之后的图像数据，当输入图像经过算法模块中所有算法的计算之后，从cmos图像传感器芯片中输出，成为优化处理后的图像。
算法模块包括不同的算法，具体可以为自动黑电平矫正算法和/或去横条纹算法和/或降噪算法等，即可以是一种或多种算法的随意组合。也可以根据实际需求包括所有对图像优化处理有用的算法，在对输入图像进行计算的过程中，各个算法依次对输入图像进行计算。
b02：数据采集模块采集输入图像经过各个算法计算前后的图像数据，经过计算处理获得相对应的图像质量数据，并传输至位于上述cmos图像传感器芯片外部的深度学习电路单元中。
b03：深度学习电路单元中的神经网络根据所述数据采集模块接收的图像质量数据，并通过自主学习形成深度学习模型，存储在深度学习电路单元中。
其中，深度学习模型和神经网络通过数字电路的形式存储在深度学习电路单元中。在外部生成的深度学习电路单元必须通过合适的方式内置于cmos图像传感器芯片中。任何可以将深度学习电路单元内置于cmos图像传感器芯片的方法都适用于本发明。本发明将深度学习模型和神经网络通过数字电路的形式存储在深度学习电路单元中，也就是说将深度学习模型转化为数字电路的形成放在最终的cis电路中。
神经网络采用的算法可以为卷积神经网络算法，稀疏编码算法，自编码器算法等算法中的一种，当然，神经网络的采用的算法包括但不限于上述算法。
b04：将深度学习电路单元内置于上述cmos图像传感器芯片中，并替换步骤b01中所述算法模块，形成包括数据采集模块和深度学习电路单元的智能cmos图像传感器芯片；深度学习电路单元中的深度学习模型对输入图像进行计算，并输出计算之后的图像数据。
其中，本实施例中新生成的深度学习电路单元替换原有的算法模块。且深度学习电路单元中的深度学习模型能够实现的计算功能和算法模块中被替换的算法实现的计算功能相同，但是经过自主学习之后形成的深度学习模型对输入图像的计算效果更好，相比于原有的算法模块，包含了深度学习电路单元的智能cmos图像传感器芯片实现了相同的功能，取得了更好的图像处理效果。
比如，当算法模块中的算法包括自动黑电平矫正算法、去横条纹算法和降噪算法三种算法时，深度学习电路单元中的深度学习模型替换了原算法模块中的所有算法，因此其对输入图像的计算可以实现自动黑电平矫正、去横条纹和降噪的功能。
在智能cmos图像传感器芯片进行工作的过程中，数据采集模块还可以采集输入图像经过深度学习模型计算前后的图像数据，并经过计算处理得到对应的图像质量数据，针对得到的图像质量数据经过神经网络的自主深度学习，调节已经形成的深度学习模型，以取得更优的图像质量。
本实施例得到的智能cmos图像传感器芯片，包括深度学习电路单元和数据采集模块，深度学习电路单元包括神经网络和深度学习模型，神经网络根据数据采集模块获取的图像质量数据，并通过自主学习形成深度学习模型，其中，深度学习模型用于对智能cmos图像传感器芯片中的输入图像进行计算，并输出计算后的图像数据。
以上所述仅为本发明的优选实施例，所述实施例并非用于限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明所附权利要求的保护范围内。