适用于计算机视觉处理的光学识别系统的制作方法

1.本发明相关于一种适用于计算机视觉处理的光学识别系统，尤指一种包含4x4 kernel图像传感器且适用于计算机视觉处理的光学识别系统。


背景技术：

2.消费性电子产品常会使用图像传感器来将光学图像转换成电子信号，进而制作彩色图像。图像传感器多半使用感光耦合元件(charge-coupled device,ccd)或互补式金属氧化物半导体主动像素传感器(cmos active pixel sensor)等感光元件，再利用特定排列的滤色阵列来感知每种色彩的强弱，最后再对收集到的亮度信息来进行插补和校正等处理以制作全彩图像。
3.图1为先前技术光学识别系统中所采用2x2矩阵(kernel)图像传感器的示意图。2x2kernel图像传感器包含红光像素r绿光像素g、一蓝光像素b，以及红外光像素ir，其中每一像素中缺少的成份可依据其周围像素的亮度信息来进行插补。举例来说，可依据绿光像素g的亮度信息来插补红光像素r中的绿光成份，可依据蓝光像素b的亮度信息来插补红光像素r中的蓝光成份，并依据红外光像素ir的亮度信息来插补红光像素r中的红外光成份。
4.然而，先前技术光学识别系统系针对人眼应用，需使用很多组线缓冲器(line buffer)来储存多条扫描线的亮度信息以插补rgb图像和ir图像，以及使用复杂演算法来还原人眼识别所需的图像特征。


技术实现要素：

5.本发明提供一种适用于计算机视觉处理的光学识别系统，其包含4x4矩阵图像传感器、缓冲单元，以及内插单元。该4x4矩阵图像传感器包含第一和第二红光像素、第一至第八绿光像素、第一和第二蓝光像素和第一至第四个红外光像素，该4x4 kernel图像传感器中的像素组成相邻的第一至第四扫描线。该缓冲单元用来储存该第一至第四扫描线中至少两条扫描线的亮度信息。该内插单元依据该缓冲单元所储存的亮度信息来插补每一像素中缺少的成份，进而输出图像数据，其中该图像数据包含相关每一像素的亮度信息的全彩亮度信息。
附图说明
6.图1为先前技术光学识别系统中所采用2x2 kernel图像传感器的示意图。
7.图2为本发明实施例中一种适用于计算机视觉处理的光学识别系统的功能方块图。
8.图3为本发明另一实施例中一种适用于计算机视觉处理的光学识别系统的功能方块图。
9.图4为本发明实施例中图像捕获装置所采用4x4 kernel图像传感器的示意图。
10.图5为本发明实施例中图像捕获装置10中位于第m列和第n行的4x4kernel图像传
感器px(n,m)的示意图。
具体实施方式
11.图2为本发明实施例中一种适用于计算机视觉处理的光学识别系统100的功能方块图。图3为本发明另一实施例中一种适用于计算机视觉处理的光学识别系统200的功能方块图。光学识别系统100和200各包含图像捕获装置10、内插单元20、缓冲单元30、校正单元40、输出决策单元50，以及计算机视觉处理单元60。光学识别系统100还包含图像信号处理器(image signal processor,isp)70。
12.在光学识别系统100和200中，图像捕获装置10包含至少一组4x4 kernel图像传感器，每一4x4 kernel图像传感器可由感光元件和滤色阵列所组成，其包含排列成拜耳(bayer)阵列的多个红光像素、多个绿光像素、多个蓝光像素，以及多个红外光像素，上述像素形成相邻的四条扫描线。
13.图4为本发明实施例中图像捕获装置10实施方式的示意图。本发明图像捕获装置10可包含多个以阵列方式设置的4x4 kernel图像传感器，亦即水平方向有m列4x4 kernel图像传感器，而垂直方向有n行4x4 kernel图像传感器，其中m和n为大于1的整数。每一4x4 kernel图像传感器包含2个红光像素、8个绿光像素、2个蓝光像素，以及4个红外光像素，其中r代表红光像素、g代表绿光像素、b代表红光像素、ir代表红外光像素，且括号内的数字代表每一像素的坐标。针对可见光的识别，绿光像素的数量多于红光像素和蓝光像素的原因是为了反应人眼对各种颜色的敏感度，亦即在可见光中人眼对绿色最为敏感，红色次之，而蓝色最不敏感。为了说明目的，假设图像捕获装置10的扫描方向为水平，每一扫描线分别由s0～s4n-1来代表，而箭头方向对应扫描方向。
14.图5为本发明实施例中图像捕获装置10中位于第m列和第n行的4x4kernel图像传感器px(n,m)的示意图。4x4 kernel图像传感器px(n,m)包含2个红光像素r(4n,4m+1)和r(4n+2,4m+3)、8个绿光像素g(4n,4m)、g(4n,4m+2)、g(4n+1,4m+1)、g(4n+1,4m+3)、g(4n+2,4m)、g(4n+2,4m+2)、g(4n+3,4m+1)和g(4n+3,4m+3)、2个蓝光像素b(4n,4m+3)和b(4n+2,4m+1)，以及4个红外光像素ir(4n+1,4m)、ir(4n+1,4m+2)、ir(4n+3,4m)和ir(4n+3,4m+2)，其中m和n为大于3的整数，m为介于1和m之间的整数，而n为介于1和n之间的整数。为了说明内插单元20对4x4 kernel图像传感器px(n,m)中每一坐标进行插补的方式，图5另显示4x4 kernel图像传感器px(n,m)周围的6个4x4 kernel图像传感器px(n-1,m-1)、px(n-1,m)、px(n-1,m+1)、px(n,m-1)、px(n,m+1)、px(n+1,m-1)、px(n+1,m)和px(n+1,m+1)中会使用到的像素。
15.在本发明的实施例中，光学识别系统100和200中的缓冲单元30包含两组线缓冲器。因此针对4x4 kernel图像传感器px(n,m)中红光像素所在的坐标，其红光成份可由该坐标红光像素的亮度信息来提供，其绿光成份可由内插单元20依据相邻该坐标红光像素的4个绿光像素的亮度信息来进行插补，其蓝光成份可由内插单元20依据水平方向最接近该坐标红光像素的2个蓝光像素的亮度信息来进行插补，而其红外光成份可由内插单元20依据最接近该坐标红光像素的4个红外光像素的亮度信息来进行插补。
16.针对4x4 kernel图像传感器px(n,m)中绿光像素所在的坐标，其红光成份可由内插单元20依据水平方向或垂直方向相邻该坐标绿光像素的1个红光像素的亮度信息来进行
插补，其绿光成份可由该坐标绿光像素的亮度信息来提供，其蓝光成份可由内插单元20依据水平方向或垂直方向相邻该坐标绿光像素的1个蓝光像素的亮度信息来进行插补，而其红外光成份可由内插单元20依据水平方向或垂直方向相邻该坐标绿光像素的2个红外光像素的亮度信息来进行插补。
17.针对4x4 kernel图像传感器px(n,m)中蓝光像素所在的坐标，其红光成份可由内插单元20依据水平方向最接近该坐标蓝光像素的2个红光像素的亮度信息来进行插补，其绿光成份可由内插单元20依据水平方向和垂直方向相邻该坐标蓝光像素的4个绿光像素的亮度信息来进行插补，其蓝光成份可由该坐标蓝光像素的亮度信息来提供，而其红外光成份可由内插单元20依据最接近该坐标蓝光像素的4个红外光像素的亮度信息来进行插补。
18.针对4x4 kernel图像传感器px(n,m)中红外光像素所在的坐标，其红光成份可由内插单元20依据最接近该坐标红外光像素的2个红光像素的亮度信息来进行插补，其绿光成份可由内插单元20依据水平方向和垂直方向相邻该坐标红外光像素的4个绿光像素的亮度信息来进行插补，其蓝光成份可由内插单元20依据最接近该坐标红外光像素的2个蓝光像素的亮度信息来进行插补，而其红外光成份可由该坐标红外光像素的亮度信息来提供。
19.更详细地说，针对位于坐标(4n,4m)的绿光像素，其红光成份r’(4n,4m)、绿光成份g’(4n,4m)、蓝光成份b’(4n,4m)和红外光成份ir’(4n,4m)的插补方式如下所示：
20.r’(4n,4m)＝r(4n,4m+1)
21.g’(4n,4m)＝g(4n,4m)
22.b’(4n,4m)＝b(4n,4m-1)
23.ir’(4n,4m)＝[ir(4n-1,4m)+ir(4n+1,4m)]/2
[0024]
针对位于坐标(4n,4m+1)的红光像素，其红光成份r’(4n,4m+1)、绿光成份g’(4n,4m+1)、蓝光成份b’(4n,4m+1)和红外光成份ir’(4n,4m+1)的插补方式如下所示：
[0025]
r’(4n,4m+1)＝r(4n,4m+1)
[0026]
g’(4n,4m+1)＝[g(4n-1,4m+1)+g(4n,4m)+g(4n,4m+2)+g(4n+1,4m+1)]/4
[0027]
b’(4n,4m+1)＝[b(4n,4m-1)+b(4n,4m+3)]/2
[0028]
ir’(4n,4m+1)＝[ir(4n-1,4m)+ir(4n-1,4m+2)+ir(4n+1,4m)+
[0029]
ir(4n+1,4m+2)]/4
[0030]
针对位于坐标(4n,4m+2)的绿光像素，其红光成份r’(4n,4m+2)、绿光成份g’(4n,4m+2)、蓝光成份b’(4n,4m+2)和红外光成份ir’(4n,4m+2)的插补方式如下所示：
[0031]
r’(4n,4m+2)＝r(4n,4m+1)
[0032]
g’(4n,4m+2)＝g(4n,4m+2)
[0033]
b’(4n,4m+2)＝b(4n,4m+3)
[0034]
ir’(4n,4m+2)＝[ir(4n-1,4m+2)+ir(4n+1,4m+2)]/2
[0035]
针对位于坐标(4n,4m+3)的蓝光像素，其红光成份r’(4n,4m+3)、绿光成份g’(4n,4m+3)、蓝光成份b’(4n,4m+3)和红外光成份ir’(4n,4m+3)的插补方式如下所示：
[0036]
r’(4n,4m+3)＝[r(4n,4m+1)+r(4n,4m+5)]/2
[0037]
g’(4n,4m+3)＝[g(4n-1,4m+3)+g(4n,4m+2)+g(4n,4m+4)+
[0038]
g(4n+1,4m+3)]/4
[0039]
b’(4n,4m+3)＝b(4n,4m+3)
[0040]
ir’(4n,4m+3)＝[ir(4n-1,4m+2)+ir(4n-1,4m+4)+ir(4n+1,4m+2)+ir(4n+1,4m+4)]/4
[0041]
针对位于坐标(4n+1,4m)的红外光像素，其红光成份r’(4n+1,4m)、绿光成份g’(4n+1,4m)、蓝光成份b’(4n+1,4m)和红外光成份ir’(4n+1,4m)的插补方式如下所示：
[0042]
r’(4n+1,4m)＝[r(4n,4m+1)+r(4n+2,4m-1)]/2
[0043]
g’(4n+1,4m)＝[g(4n,4m)+g(4n+1,4m-1)+g(4n+1,4m+1)+
[0044]
g(4n+2,4m]/4
[0045]
b’(4n+1,4m)＝[b(4n,4m-1)+b(4n+2,4m+1)]/2
[0046]
ir’(4n+1,4m)＝ir(4n+1,4m)
[0047]
针对位于坐标(4n+1,4m+1)的绿光像素，其红光成份r’(4n+1,4m+1)、绿光成份g’(4n+1,4m+1)、蓝光成份b’(4n+1,4m+1)和红外光成份ir’(4n+1,4m+1)的插补方式如下所示：
[0048]
r’(4n+1,4m+1)＝r(4n,4m+1)
[0049]
g’(4n+1,4m+1)＝g(4n+1,4m+1)
[0050]
b’(4n+1,4m+1)＝b(4n+2,4m+1)
[0051]
ir’(4n+1,4m+1)＝[ir(4n+1,4m)+ir(4n+1,4m+2)]/2
[0052]
针对位于坐标(4n+1,4m+2)的红外光像素，其红光成份r’(4n+1,4m+2)、绿光成份g’(4n+1,4m+2)、蓝光成份b’(4n+1,4m+2)和红外光成份ir’(4n+1,4m+2)的插补方式如下所示：
[0053]
r’(4n+1,4m+2)＝[r(4n,4m-1)+r(4n+2,4m+3)]/2
[0054]
g’(4n+1,4m+2)＝[g(4n,4m+2)+g(4n+1,4m+1)+g(4n+1,4m+3)+g(4n+2,4m+2]/4
[0055]
b’(4n+1,4m+2)＝[b(4n,4m+3)+b(4n+2,4m+1)]/2
[0056]
ir’(4n+1,4m+2)＝ir(4n+1,4m+2)
[0057]
针对位于坐标(4n+1,4m+3)的绿光像素，其红光成份r’(4n+1,4m+3)、绿光成份g’(4n+1,4m+3)、蓝光成份b’(4n+1,4m+3)和红外光成份ir’(4n+1,4m+3)的插补方式如下所示：
[0058]
r’(4n+1,4m+3)＝r(4n+2,4m+3)
[0059]
g’(4n+1,4m+3)＝g(4n+1,4m+3)
[0060]
b’(4n+1,4m+3)＝b(4n,4m+3)
[0061]
ir’(4n+1,4m+3)＝[ir(4n+1,4m+2)+ir(4n+1,4m+4)]/2
[0062]
坐标(4n+2,4m)的绿光像素，其红光成份r’(4n+2,4m)、绿光成份g’(4n+2,4m)、蓝光成份b’(4n+2,4m)和红外光成份ir’(4n+2,4m)的插补方式如下所示：
[0063]
r’(4n+2,4m)＝r(4n+2,4m-1)
[0064]
g’(4n+2,4m)＝g(4n+2,4m)
[0065]
b’(4n+2,4m)＝b(4n+2,4m+1)
[0066]
ir’(4n+2,4m)＝[ir(4n+1,4m)+ir(4n+3,4m)]/2
[0067]
针对位于坐标(4n+2,4m+1)的蓝光像素，其红光成份r’4n+2,4m+1)、绿光成份g’(4n+2,4m+1)、蓝光成份b’(4n+2,4m+1)和红外光成份ir’(4n+2,4m+1)的插补方式如下所示：
[0068]
r’(4n+2,4m+1)＝[r(4n+2,4m-1)+r(4n+2,4m+3)]/2
[0069]
g’(4n+2,4m+1)＝[g(4n+1,4m+1)+g(4n+2,4m)+g(4n+2,4m+2)+g(4n+3,4m+1)]/4
[0070]
b’(4n+2,4m+1)＝b(4n+2,4m+1)
[0071]
ir’(4n+2,4m+1)＝[ir(4n+1,4m)+ir(4n+1,4m+2)+ir(4n+3,4m)+ir(4n+3,4m+2)]/4
[0072]
针对位于坐标(4n+2,4m+2)的绿光像素，其红光成份r’(4n+2,4m+2)、绿光成份g’(4n+2,4m+2)、蓝光成份b’(4n+2,4m+2)和红外光成份ir’(4n+2,4m+2)的插补方式如下所示：
[0073]
r’(4n+2,4m+2)＝r(4n+2,4m+3)
[0074]
g’(4n+2,4m+2)＝g(4n+2,4m+2)
[0075]
b’(4n+2,4m+2)＝b(4n+2,4m+1)
[0076]
ir’(4n+2,4m+2)＝[ir(4n+1,4m+2)+ir(4n+3,4m+2)]/2
[0077]
针对位于坐标(4n+2,4m+3)的红光像素，其红光成份r’(4n+2,4m+3)、绿光成份g’(4n+2,4m+3)、蓝光成份b’(4n+2,4m+3)和红外光成份ir’(4n+2,4m+3)的插补方式如下所示：
[0078]
r’(4n+2,4m+3)＝r(4n+2,4m+3)
[0079]
g’(4n+2,4m+3)＝[g(4n+1,4m+3)+g(4n+2,4m+2)+g(4n+2,4m+4)+g(4n+3,4m+3)]/4
[0080]
b’(4n+2,4m+3)＝[b(4n+2,4m+1)+b(4n+2,4m+5)]/2
[0081]
ir’(4n+2,4m+3)＝[ir(4n+1,4m+2)+ir(4n+1,4m+4)+ir(4n+3,4m+2)+ir(4n+3,4m+4)]/4
[0082]
针对位于坐标(4n+3,4m)的红外光像素，其红光成份r’(4n+3,4m)、绿光成份g’(4n+3,4m)、蓝光成份b’(4n+3,4m)和红外光成份ir’(4n+3,4m)的插补方式如下所示：
[0083]
r’(4n+3,4m)＝[r(4n+2,4m-1)+r(4n+4,4m+1)]/2
[0084]
g’(4n+3,4m)＝[g(4n+2,4m)+g(4n+3,4m-1)+g(4n+3,4m+1)+g(4n+4,4m]/4
[0085]
b’(4n+3,4m)＝[b(4n+2,4m+1)+b(4n+4,4m-1)]/2
[0086]
ir’(4n+3,4m)＝ir(4n+3,4m)
[0087]
针对位于坐标(4n+3,4m+1)的绿光像素，其红光成份r’(4n+3,4m+1)、绿光成份g’(4n+3,4m+1)、蓝光成份b’(4n+3,4m+1)和红外光成份ir’(4n+3,4m+1)的插补方式如下所示：
[0088]
r’(4n+3,4m+1)＝r(4n+4,4m+1)
[0089]
g’(4n+3,4m+1)＝g(4n+3,4m+1)
[0090]
b’(4n+3,4m+1)＝b(4n+2,4m+1)
[0091]
ir’(4n+3,4m+1)＝[ir(4n+3,4m)+ir(4n+3,4m+2)]/2
[0092]
针对位于坐标(4n+3,4m+2)的红外光像素，其红光成份r’(4n+3,4m+2)、绿光成份g’(4n+3,4m+2)、蓝光成份b’(4n+3,4m+2)和红外光成份ir’(4n+3,4m+2)的插补方式如下所示：
[0093]
r’(4n+3,4m+2)＝[r(4n+2,4m+3)+r(4n+4,4m+1)]/2
[0094]
g’(4n+3,4m+2)＝[g(4n+2,4m+2)+g(4n+3,4m+1)+g(4n+3,4m+3)+g(4n+4,4m+2]/4
[0095]
b’(4n+3,4m+2)＝[b(4n+2,4m+1)+b(4n+4,4m+3)]/2
[0096]
ir’(4n+3,4m+2)＝r(4n+3,4m+2)
[0097]
针对位于坐标(4n+3,4m+3)的绿光像素，其红光成份r’(4n+3,4m+3)、绿光成份g’(4n+3,4m+3)、蓝光成份b’(4n+3,4m+3)和红外光成份ir’(4n+3,4m+3)的插补方式如下所示：
[0098]
r’(4n+3,4m+3)＝r(4n+2,4m+3)
[0099]
g’(4n+3,4m+3)＝g(4n+3,4m+3)
[0100]
b’(4n+3,4m+3)＝b(4n+4,4m+3)
[0101]
ir’(4n+3,4m+3)＝[ir(4n+3,4m+2)+ir(4n+3,4m+4)]/2
[0102]
在对所有像素进行完插补后，内插单元20可输出图像数据di，其包含相关每一像素的亮度信息的全彩亮度信息。
[0103]
在本发明另一实施例中，光学识别系统100和200中的缓冲单元30可包含超过两组线缓冲器。因此，每一像素中缺少的成份皆可由内插单元20依据其周围相邻像素的亮度信息来进行插补。
[0104]
在光学识别系统100和200中，校正单元40可依据可配置的rgb-ir校正矩阵来对内插单元20所输出图像数据di中每一像素通道进行校正，进而输出rgb图像和ir图像。rgb-ir校正矩阵如下所示，其中r、g、b和ir分别代表校正前图像数据d1中红光像素值、蓝光像素值、绿光像素值和红外光像素值，rt、gt、bt和irt分别代表校正后rgb图像和ir图像的红光像素值、蓝光像素值、绿光像素值和红外光像素值，而c11～c44代表校正系数。校正系数c11～c44可依照不同光亮度拍摄对色卡来求出，进而产生在不同光照下校正后的rgb图像和ir图像。然而，可配置的rgb-ir校正矩阵的实施方式并不限定本发明的范围。
[0105][0106]
在光学识别系统100中，图像信号处理器70可接收校正单元40输出的rgb图像和ir图像，并分析rgb图像和ir图像的亮度以提供亮度参数y。输出决策单元50可依据亮度参数y来输出rgb图像和ir图像中的一个至计算机视觉处理单元60。
[0107]
在光学识别系统200中，输出决策单元50可直接接收校正单元40输出的rgb图像和ir图像，并分析rgb图像和ir图像的亮度以输出中的一个至计算机视觉处理单元60。
[0108]
综上所述，本发明的光学识别系统适用于计算机视觉处理，在4x4 kernel图像传感器的架构下最少只需使用两组线缓冲器来插补rgb图像和ir图像，且不需使用复杂演算法即能提供计算机识别所需的图像特征。
[0109]
以上所述仅为本发明的较佳实施例，凡依本发明申请权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。
[0110]
【符号说明】
[0111]
10：图像捕获装置
[0112]
20：内插单元
[0113]
30：缓冲单元
[0114]
40：校正单元
[0115]
50：输出决策单元
[0116]
60：计算机视觉处理单元
[0117]
70：图像信号处理器
[0118]
100、200：光学识别系统
[0119]
r(0,1)～r(4n-2,4m-1)：红光像素
[0120]
g(0,0)～g(4n-1,4m-1)：绿光像素
[0121]
b(0,3)～b(4n-2,4m-3)：蓝光像素
[0122]
ir(1,0)～ir(4n-1,4m-2)：红外光像素
[0123]
s0～s4n-1：扫描线
[0124]
di：图像数据
[0125]
y：亮度参数