集成CMOS感应的立体图形整合系统及方法与流程

本发明是关于一种集成cmos传感器的立体图形整合系统及方法，更加具体地来说是涉及集成用于能够在模拟域中以高效能并行地处理在立体图像匹配运算中必不可少的立体图像校正和census变换的cmos图像感应器的立体图形整合系统及方法。

背景技术：

通常深度信息广泛应用在类似于手写识别和物体识别的移动用户接口中。

获取深度信息的方式可分为主动传感和被动传感，主动传感具有测定光照射被反射回来的时间，然后计算距离的timeofflight传感器。

以被动传感为代表性的立体图形整合系统计算两个相机图像的双目视差，能够区别出近物体和远物体，比起能动传感能用低功率驱动，适用于移动用户接口。

传统的立体图形整合系统由立体图像传感器和数字处理器构成。

立体图像传感器由保持一定距离的两个相机构成，立体图形整合系统如同人的双目一样在水平方向上比较两个图像再通过三角测量计算出位移。

为此，经过图像采集，图像校正，矢量转换，立体图像匹配过程，并且图像校正过程是为了快速立体图像匹配运算，是必须的。

与人们自然的深度理解方式不同，机器为了测定两个相同物体的相对距离以水平方向扫描两个图像。

在此过程中，一个物体的垂直方向位置在两个图像中不同的情况，由于不仅水平方向而且垂直方向扫描也要完成，所以运算成本增加。

像这样垂直方向的位置差异是根据相机的高度和视线方向的差异，镜头的歪曲必然发生。

两个图像放置在同一水平线上，为了快速的以水平方向执行立体图像匹配而进行的过程称之为图像校正，在校正的图像中为了准确地判断同一物体的位置，经历使图像变换为矢量值的矢量变换过程。

census矢量变换是在立体图像匹配中作为广泛被使用的矢量变换方式，它通过一个像素的亮度和周边像素的亮度的大小比较来生成矢量。

通过此方式可以准确地测定同一物体的相对距离，为了测定相对距离，计算全部像素的两个立体图像的census矢量。

紧接着，通过xor运算计算水平方向的census矢量的汉明距离。

由于汉明距离越小会呈现两个矢量相似度越高的物体，因此汉明距离最小的位置是同一物体的位置，在两个图像中通过计算两个矢量坐标差，可见此坐标的差越大，物体越近。

通过这一系列的过程，为了噪声的稳健，执行立体图像匹配。

然而，作为用户接口，只有拥有从图像捕获到最终输出不超过45ms的延迟，人们才能以平滑的实时接口来识别。

传统的立体图形整合系统通过串行通信将每帧从外部相机元件传输到嵌入式数字处理器。但是在60fps的外部相机元件的输入/输出接口中，最少有16ms的延迟，这样作为实时用户接口的预处理，满足延迟时间的最大要求条件成为了一个大的制约的问题点。

现有相关的专利文献为：大韩民国公开专利公报公开号码第10-2011-0087303号

技术实现要素：

本发明的目的在于提供集成cmos感应的立体图形整合系统及方法，在模拟域中以高效能并行地处理将cis和立体图像匹配处理器集成在一个芯片上，组成的立体图像匹配加速器的立体图像匹配运算中必不可少的立体图像校正和census变换，且在低功率中可以以低延迟来处理，所以是能将作为实时用户的输入/输出相机接口预处理被要求的延迟时间最小化的cmos图像传感器，本发明还提供集成该cmos图像传感器的立体图形整合系统及方法。

本发明采用的技术是：

为了达成上述目的，集结本发明的cmos图像传感器的立体图形整合系统包括将图像感应器和数字处理器集结在一个芯片上，并行处理图像采集和立体图像匹配的立体图形整合系统。为了使同一物体在不同的位置中捕获的立体图像的像素彼此的位置相匹配，在上述的立体图像中校正以某个图像为基准形成的另一个立体图像的像素的垂直方向位置的像素和具备在像素间设置的垂直方向位置校正开关的图像传感器。

更包括上述垂直方向位置校正的立体图像像素数据以水平线单位来选择，通过模拟运算census变换的census变换电路。

一个像素包括5个mosfet，像素中同一列共享的控制信号是复位信号和选择信号；上述复位信号和选择信号连接到相邻行像素的开关各需要两个。具备连接到下排像素开关的第1像素和具备连接到上排像素开关的第2像素以先后顺序连接共享复位信号和选择信号，接着具备连接到上排像素开关的第3像素和具备连接到下排像素开关的第4像素以先后顺序连接能够共享上述复位信号和选择信号。

连接到第1像素下排像素的开关或连接到第3像素上排像素开关均由一对mosfet构成并共享栅极输入，从第2像素上排开始连接的开关或者从第4像素下排开始连接的开关均由一对mosfet构成并共享栅极输入。

连接到第1像素下排像素的开关或者连接到第3像素上排像素的开关的栅极输入值是1，并且从第2像素上排像素开始连接的开关或者从第4像素下排像素开始连接的开关的栅极输入值是0的话，则控制信号的连接指向下排的像素；连接到第1像素下排像素的开关或者连接到第3像素上排像素的开关的栅极输入值是0，并且从第2像素上排像素开始连接的开关或者从第4像素下排像素开始连接的开关的栅极输入值为1的话，则控制信号的连接可以指向同一排。

在模拟存储器中，存储一个帧中3列的图像信息，且每当读取新列时，存储新列的数据，然后存储的数据为了census变换而被输入到3行3列的8个比较器中，变换后的8bitcensus变换值在数字处理器中经过7行7列聚合计算出汉明距离后，可以输出深度信息。

存储一个像素值的模拟存储器由1个电容器和5个mosfet构成，接收1个写入信号和3个读取信号作为输入，3个读取信号在同一行之间被共享，其顺序排列不同，当读取信号为1的时候，在开关网络中使其可以映射到同一行的另一列，映射的像素信息和要在8个比较器中变换的像素信息比较后可以输出8bit变换输出。

上述开关网络为了对一列执行3个census变换，在第一阶段可以选择3列中最左侧列，第二阶段中中间列，第三阶段中最右侧列。

集结用于达到上述目的的本发明的cmos图像传感器的立体图像匹配方法包括将图像传感器和数字处理器集结在一个芯片上，并行处理图像采集和立体图像匹配的立体图像匹配方法，像素和像素间垂直方向位置校正开关，在设置的图像传感器中对于同一物体在不同位置拍摄的立体图像像素位置使其在相同位置处彼此匹配，在上述的立体图像中以某一个图像作为基准校正形成另一立体图像的像素垂直方向位置的校正阶段。

上述垂直方向位置校正的立体图像像素数据更包括通过census变换，以水平线为单位被选择，通过模拟运算执行census变换的转换阶段。

在上述校正步骤中包括依次连接具备连接到下排像素开关的第1像素和具备从上排像素起开始连接的开关的第2像素，共享复位信号和选择信号的阶段以及具备连接到上排像素开关的第3像素和具备从下排像素起开始连接的开关的第4像素，共享复位信号和选择信号的阶段。

在上述校正步骤中包括连接到第1像素的下排像素的开关或者连接到第3像素上排的开关共享栅极输入阶段以及从第2像素上排开始连接的开关或者从第4像素下排像素开始连接的开关共享栅极输入阶段。

在上述校正步骤中包括以下阶段：连接到第1像素下排像素的开关或者连接到第3像素上排像素的开关的栅极输入值是1，并且从第2像素上排像素开始连接的开关或者从第4像素下排像素开始连接的开关的栅极输入值为0的话，则控制信号的连接指向下排的像素的阶段；连接到第1像素下排像素的开关或者连接到第3像素上排像素的开关的栅极输入值是0，并且从第2像素上排像素开始连接的开关或者从第4像素下排像素开始连接的开关的栅极输入值为1的话，则控制信号的连接可以指向同一排的阶段。

在上述转换步骤中包括将一个帧中3列的图像信息存储在模拟存储器上的阶段和每当读取新列时，存储新列的数据的阶段，以及将存储的数据为了3行3列的census变换输入到3行3列的8个比较器中的阶段。

在上述转换步骤中包括以下阶段：在由1个电容器和5个mosfet构成的存储一个像素值的模拟存储器中，1个写入信号和3个读取信号作为输入来接收，3个读取信号在同一行之间被共享的阶段，其顺序排列不同，当读取信号为1的时候，在开关网络中使其可以映射到同一行的另一列，映射的像素信息和在8个比较器中要变换的像素信息比较后输出8bit变换输出的阶段。

在上述转换步骤中包括在开关网络中为了对一列执行3个census变换，在第一阶段可以选择3列中最左列，第二阶段中中间列，第三阶段中最右列的阶段。

上述转换步骤后包括输入接收在数字处理器中变换的8bitcensus变换值经过利用7行7列聚合计算出汉明距离之后输出深度信息的阶段。

与现有技术相比，本发明的有益效果是：

根据集结如上所述中本发明的cmos图像感应器的立体图像整合系统及方法，在模拟域中以高效能并行地处理立体图像校正和census变换，而立体图像校正和census变换是在使用将cis和立体图像匹配处理器集成在一个芯片上组成的立体图像匹配加速器的立体图像匹配运算中必不可少的，在低功率中可以以低延迟来处理，所以可以最大限度的减少为实时用户的输入/输出相机接口预处理被要求的延迟时间。

附图说明

图1为根据本发明实施例的集成cmos图像感应的立体图形整合系统的框图；

图2为根据本发明实施例的集成cmos图像感应的立体图形系统像素间的开关和像素的电路图；

图3为在根据本发明实施例的集成cmos图像感应的立体图形整合系统中，实现为在校正图像之后对准图像的水平线的像素间开关的示例图；

图4为在根据本发明实施例的集成cmos图像感应的立体图形整合系统中3x3census变换和用比较器实现3x3census变换的电路图；

图5是用于说明根据本发明实施例的集成cmos图像感应的立体图像匹配方法的流程图；

图中：100-图像感应器，200-开关解码器，300-输出电路，400-水平方向位置校正开关，500-census变换电路，600-数字处理器。

具体实施方式

以下，使具有本发明所属技术领域的一般知识人能够容易地实施且详细的说明，参考本发明中可行的实施例附图做详细地说明。

根据本发明实施例的集成cmos图像感应的立体图形整合系统如图1所示，包括图像传感器(100)，开关解码器(200),输出电路(300)，水平方向位置校正开关(400)，census变换电路(500)以及数字处理器(600)构成，整体电路通过数字处理器(600)的控制进行操作。

根据本发明立体图形整合系统将上述图像传感器(100),开关解码器(200),输出电路(300)，水平方向位置校正开关(400)，census变换电路(500)以及数字处理器(600)集成在一个芯片上，并行处理图像采集和立体图像匹配，展开为了图像采集，图像校正，匹配的cost生成，cost聚合以及匹配这些过程。

图像的采集为了立体图像的匹配使用两个图像传感器。即通过上述的图像传感器(100)，开关解码器(200),输出电路(300)，水平方向位置校正开关(400)，是集成census变换电路(500)以及数字处理器(600)的相同的两个芯片的左芯片和右芯片来完成。

上述左右芯片相同，在两芯片中各自执行用于图像捕获，图像校正，匹配的cost生成过程，并且cost聚合和匹配过程执行将右芯片的census转换值向左芯片移动。

上述图像传感器(100)作为cmos图像传感器，是具有320x240的分辨率，并通过滚动快门方式实现，用于立体图像垂直方向校正，在像素和像素间具有垂直方向校正的开关。

上述垂直方向位置校正的开关被配置为配合校正的图像的变换矩阵可以编程，该校正图像是先前已经计算好了用于在焦点面中的立体像素校正的像素间的控制信号连接。

在图像传感器(100)中，一个像素如图2所示，包括5个mosfet组成。

实际像素中，同列之间共享的控制信号是复位信号(rst)和选择信号(sel),分别是所属列的二极管结点vdd复位，选择所属列的信号。

在本发明中，各自需要两个用于将上述复位信号和选择信号连接到下一行的像素的开关。

依次连接具备连接到下排像素的开关的第1像素(110)和具备从上排开始连接的开关的第2像素(120)共享复位信号和选择信号，紧接着依次连接具备连接到上排像素开关的第3像素(130)和具备从下排像素起开始连接的开关的第4像素(140)，共享复位信号和选择信号的阶段。

即第1像素(110)和第2像素(120)中具备的开关是向下方向转换开关，第3像素(130)和第4像素(140)中具备的开关是作为向上方转换开关具有相同结构，但是控制信号的连接是相反的。

图2中m4,m5,m6,m7分别表示开关，连接到第1像素(110)下排像素的开关或者连接到第3像素(130)上排像素的开关的m4和m5各由有一对mosfet构成共享栅极输入，从第2像素(120)上排开始连接的开关或者从第4像素(140)下排开始连接的开关的m6和m7也均由一对mosfet构成并共享栅极输入。

并且，m4和m5的输入以及m6和m7的输入始终为0或1，且彼此相反。

连接到第1像素(110)下排像素的开关或者连接到第3像素(130)上排像素的开关的m4和m5的栅极输入值为1，从第2像素(120)上排开始连接的开关或者从第4像素(140)下排开始连接的开关的m6和m7的栅极输入值为0的话，则控制信号的连接指向下排的像素。

或者，连接到第1像素(110)下排像素的开关或者连接到第3像素(130)上排像素的开关的m4和m5的栅极输入值为0，从第2像素(120)上排开始连接的开关或者从第4像素(140)下排开始连接的开关的m6和m7的栅极输入值为1的话，则控制信号的连接指向同一排。

在同一排中，像素按照第1像素(110)，第2像素(120)，第3像素(130)和第4像素(140)的顺序设置，采用上下开关交替出现的形态。

上述开关解码器(200)控制用于垂直方向校正开关的驱动输入信号。

上述输出电路(300)由correlateddoublesampling电路和single-slopea/dconverter电路组成，通过在输出电路中被输出的图像可以预先计算立体图像匹配前的校正系数。

为了获得上述校正系数，首先像素间的垂直方向位置校正开关以相同的列连接，通过输出电路(300)获得未校正的图像后，在脱机状态下再通过imagerectification(图像校正)运算法则可以获得。

在开关解码器(200)和垂直方向校正开关(400)上输入此处获得的校正系数，控制像素的输出使其和校正的图像在相同一排。

上述水平方向开关(400)在图像传感器(100)中执行不能执行水平方向的图像校正。

也就是说，在图像传感器(100)中，通过像素间的垂直方向位置校正开关，虽然可以执行在垂直方向上的校正，但是由于不能在水平方向上进行校正，所以为了水平方向的校正将图像传感器(100)的输出路径设计成了通过左右侧可以最大改变各8个空间。

如图3所示，左侧的图作为校正前的左右图像，水平线不匹配，是不能执行立体图像匹配的状态。

为此，如右上图所示，构成本发明的图像传感器(100)的像素使控制信号的连接改变成可以上下转换，因此如右下图所示，共享控制信号的像素在同一时间段输出，输出后可视为一排的校正图像被输出。

像这样提供了在像素间用于垂直方向的校正的垂直方向位置校正开关，这是本发明的特征。并且提供了用于水平方向的校正的水平方向位置校正开关。修正像素间的连接，一次性可以直接选择校正的图像的一排，通过该方法可以减少在立体图像匹配过程中由于是必不可少的修正过程引起的时间滞后(s110)。

另外，在像素间用于垂直方向的校正的垂直方向位置校正开关和改变上排的开关和改变下排的开关分开设置，并且将连接的开关设置在两个像素中，提高了图像感应器的面积效率。

census变换电路(500)利用存储在模拟存储器上的校正的立体图像的像素数据，并且使用比较器电路执行census变换。如图4所示，经由水平方向位置校正开关(400)被输出的校正图像的一排的像素数据通过输入传达，使其并行处理模拟census变换。

模拟census变换对于执行要变换的像素通过周边8个像素的信息和大小比较，输出具有0或1的值的8bit的输出值。

为此，需要用于存储3列数据的模拟存储器。

因此，上述的census变换电路(500)由320x3个的模拟存储器和8x107个的比较器电路构成。

一个帧中3列的图像信息存储在上述模拟存储器中(s120),每当读取新列时，新的数据以循环列队(circularqueue)的形式存储，且存储的数据用于census变换而被输入到3行3列的8个比较器中(s130).

存储一个像素值的模拟存储器由1个电容器和5个mosfet构成，接收1个写入信号(wen)和3个读取信号(ren)作为输入，3个读取信号在同一行之间被共享，其顺序排列不同，当读取信号为1的时候，在开关网络中使其可以映射到同一行的另一列。

1个写入信号决定将信息存储在模拟存储器的哪一列中。

模拟存储器由3列构成，每读取一列时，写入信号从0到2增加一步。

写入信号是2的时候，读取下一列的时候又回到了0。

这样，模拟存储器以先进先出形态的圆形列队(queue)进行操作。

开关网络和3个读取信号起选择计算在9个像素中某个像素的census变换值的作用。

读取信号也是如此，每读取一列时，它都会从0增加到2，再从新变成0。

开关网络以便在一列执行3次census变换(每3列分配8个比较器)分为3个步骤被进行。

在步骤一中选择3列中最左列，步骤二中选择中间列，步骤3中选择最右列。

每次根据从数字处理器(600)到控制信号的预定顺序读取列时输入写入信号和读取信号。

结论，当每列进来的时候，写入信号映射储数据将被存储的位置，读取信号映射模拟存储器中将执行census变换的列的位置，开关网络将映射模拟存储器中将执行census变换的列的位置。

在本发明中，可以在没有a/d转换使用census变换电路(500)的情况下进行census变换，因此它的优点是不需要用于高速图像传感所需的sara/d转换器，就可以提高芯片面积的效率。

另外，传统上，数字存储器中全部读取一个帧的信息之后开始census变换。本发明中，在图像传感器(100)中每列采样的值通过模拟计算可以立即执行census变换，而且图像读取(sensing)和census变换的pipeline是可行的。

这样，整个进行的延迟时间同样有减少的效果。

通常，census变换在图像传感器(100)中采样的模拟电压值转换为通过a/d转换器输出的图像数据存储在数字存储器中，再将其在处理器中从新引入和经历比较过程，然后执行census变换。

然而，在本发明中，不需要这样的过程，采样的模拟电压值通过模拟比较器在模拟域名中可以处理。

在census变换中，相邻像素的相关性值作为用于立体图像匹配的cost值来使用。

在本发明中，如图4所示，3x3census变换的值作为cost，在3x3census变换中，对1个像素被8个像素值比较，所以每3列设置8个比较器和9个模拟存储器。

图像感应器(100)由320列(107*3＝321,最后一列即使计算了也不被存储)组成，所以一共需要107x8个比较器。

然后，将映射的像素信息在8个比较器中要转换的像素的信息进行比较，并输出8bit的变换输出(s140)。

变换的8bit的census变换值在数字处理器(600)中经过使用7x7的聚合的汉明距离计算，输出深度信息(s150)。

随后，在左右侧校正的两个立体图像中，输入的census变换值，在数字处理器(600)中计算并比较各像素的汉明距离后，算出位于最小距离的像素的汉明距离作为深度值(s160)。

即，比较左右图像的census变换值用于匹配和聚合，然后，以左图的一个像素的census变换值作为标准和位于右图相同列的像素的census变换值比较依次求出差值。

此时，比较的右图的像素对应于以在左图中被选定的像素的坐标作为标准，在水平方向64像素的距离内的像素。

这些差值全部被存储在数字存储器中。

作为参考，因为需要比较达到64像素的距离，所以对于320x240图像，需要(320x240x8bit)x64的存储器。

接着，7x7聚合在64个的存储器中分别对于全部像素以一个像素为标准绘制7x7盒子，并将加上全部周边值的值存储在相同坐标上。

为了存储该数据，作为数据格式，因为需要14bit，所以需要一共(320*240*14bit)*64的存储器。

然后，在64个的(320*240*14bit)存储器中,引入每个坐标值，选择对于该坐标具备最小值的存储器。

如上所述，各存储器对左图到比较的右图的像素距离全都不同。

因此，到所选存储器的像素距离是聚合两个视图的census变换值的最小差值，也就是意味着该像素的深度。

集成如上所述的构成cmos图像感应器的立体图像整合系统如下所示进行操作。

首先，立体图像匹配开始的话，根据映射表输入校正系数，变更像素内垂直方向位置校正开关和水平方向位置校正开关的闭合状态(s110)。

接下来，选择各列将读取的电压信息存储在模拟存储器中(s120)，为了在模拟存储器中输入一列信息后读取下一列，像素内垂直方向位置校正开关和水平方向位置校正开关的闭合状态改变了。

然后，通过模拟census变换获得的8bit变换输出传送到数字处理器后，下一列的信息新存储在模拟存储器中。

最后一列的census变换完成的话(s140),在数字处理器中输出整体一个帧的深度信息(s150)，随后，将在左右校正的两个立体图像中输入的census变换值与在数字处理器(600)中计算的每个像素的汉明距离进行比较后，计算直到最小距离的像素的汉明距离作为深度值完成立体图像匹配(s160)。

根据如上所述中的本发明，在模拟域中以高效能并行地处理立体图像校正和census变换，而立体图像校正和census变换是在使用将cis和立体图像匹配处理器集成在一个芯片上组成的立体图像匹配加速器的立体图像匹配运算中必不可少的，在低功率中可以以低延迟来处理，所以可以最大限度的减少为实时用户的输入/输出相机接口预处理被要求的延迟时间。

一方面，根据本发明，为了将集成根据步骤s110乃至步骤s160的cmos图像感应器的立体图像匹配方法编程化，便于计算机读取，也可以使其存储在光盘，存储器，rom,eeprom等记录介质中。

在上述说明中，提出了本发明的可行的实施例并做了说明，但是本发明不限于所公开的实施例，具有本发明所属的技术领域一般知识的人在不脱离本发明的技术性思想的范围内，可以进行许多变换，替换，变更和修改。

商业上使用的可行性：

集结本发明的cmos图像感应器的立体图像整合系统及方法，在模拟域中以高效能并行地处理立体图像校正和census变换，而立体图像校正和census变换是在使用将cis和立体图像匹配处理器集成在一个芯片上组成的立体图像匹配加速器的立体图像匹配运算中必不可少的，并且在低功率中可以以低延迟来处理，所以可以将为实时用户的输入/输出相机接口预处理被要求的延迟时间最小化的效果，因此通常类似手写识别，物体识别这样的深度信息在作为必备的移动用户接口中广泛地被应用。