专利名称：广角传感器阵列模块及其图像校正方法、操作方法与应用的制作方法
广角传感器阵列模块及其图像校正方法、操作方法与应用 发明领域
本发明系关于一种图像传感器，特别是关于一种具有多传感器的广角传 感器阵列模块及其图像校正方法、操作方法与应用。
背景技术：
现有技术中，可通过采用广角镜头或鱼眼镜头以增加图像传感器的视角 范围，然而此类镜头通常具有较高的成本。因此，本领域提出了通过利用多 个一般的图像传感器以组成较宽广的视野并降低成本的方法。例如美国专利
公开第2005/0025313号公开了一种"利用多个窄视角图像以形成广视角图像 的数字图像系统(Digital imaging system for creating a wide-angle image from multiple narrow angle images)",其包括多个图像装置。每个图像装置具有预 设视角以及于选定时间采集图像的机制。所述图像装置中每个图像装置的视 角被设置为与其相邻图像装置的视角相重叠。所述数字图像系统还包括控制 模块控制所述图像装置于同一时间各自采集图像，且每个图像装置所采集的 图像将被合成为广视角图像。
因此，如何合成多个独立图像以形成广视角图像即成为一个重要的课 题。本发明提供一种利用转换矩阵合成多个图像的广角传感器阵列模块，所 述转换矩阵系表示各独立图像装置间的相对空间关系并预先存储于所述广 角传感器阵列模块中。此外，若图像装置间的相对空间关系可预先得知，则 每个图像装置的视角不需与相邻图像装置的视角相重叠，可进一步增加广角 传感器阵列模块的组合视角范围
发明内容
本发明的一个目的在于提供一种广角传感器阵列模块，其利用至少两个 一般的图像传感器以增加传感器阵列模块的视角范围，因而所述广角传感器 阵列模块中不需采用高价格的特殊镜头，可有效降低模块成本。
本发明另一个目的在于提供一种广角传感器阵列模块的图像校正方法， 其预先根据至少两个图像传感器彼此间的相对空间关系以计算出至少一个 转换矩阵。此外，当图像传感器彼此间的相对空间关已预先得知，则每个图 像装置的视角不需与相邻图像装置的视角相重叠，可进而增加整体视角范 围。
本发明再一个目的在于提供一种广角传感器阵列模块的图像操作方法， 其利用预先存储于所述广角传感器阵列模块中的转换矩阵正确地完成多个 图像的合成，从而形成广视角图像。
本发明再一个目的在于提供一种广角传感器阵列模块的应用，其中所述 广角传感器阵列模块应用于指向定位系统，可有效增加所述指向定位系统的 视角范围并降低系统成本。
为达上述目的，本发明提供一种用于产生一组合图像的广角传感器阵列 模块，所述广角传感器阵列模块包括第一图像传感器、第二图像传感器、存 储单元及处理器。所述第一图像传感器用于采集第一图像。所述第二图像传 感器用于采集第二图像，且所述第二图像传感器与所述第一图像传感器具有 相对空间关系。所述存储单元存储至少一个转换矩阵，其中该转换矩阵根据 所述第一图像传感器与所述第二图像传感器的所述相对空间关系所求得。所 述处理器利用所述转换矩阵组合所述第一图像及所述第二图像为组合图像。
根据本发明的另一特点，本发明还提供一种广角传感器阵列模块的图像 校正方法，所述广角传感器阵列模块包括第一图像传感器和第二图像传感 器，所述图像校正方法包括下列步骤提供至少三个校正点，其中所述校正 点形成参考空间坐标轴且所述校正点具有参考空间坐标；用所述第一图像传 感器采集包括前述校正点中至少三个校正点以形成第一图像，其中所述第一图像形成第一图像坐标轴且所述第一图像中的校正点具有第一图像坐标；根 据所述参考空间坐标和所述第一图像坐标求得第一转换矩阵；用所述第二图 像传感器采集包括前述校正点中至少三个校正点以形成第二图像，其中所述 第二图像形成第二图像坐标轴且所述第二图像中的校正点具有第二图像坐 标；根据所述参考空间坐标和所述第二图像坐标求得第二转换矩阵；以及利 用所述第一转换矩阵和/或所述第二转换矩阵将所述第一图像和/或所述第二 图像转换到虚拟平面。
根据本发明的另一特点，本发明再提供一种广角传感器阵列模块的图像 校正方法，所述广角传感器阵列模块包括第一图像传感器和第二图像传感 器，所述图像校正方法包括下列步骤决定所述第一图像传感器与所述第二 图像传感器的相对空间关系；根据所述相对空间关系求得至少一个转换矩 阵；以及利用所述转换矩阵将所述第一图像传感器所采集的图像和/或所述第 二图像传感器所采集的图像转换到虚拟平面。
根据本发明的另一特点，本发明再提供一种广角传感器阵列模块的操作 方法，所述广角传感器阵列模块包括第一图像传感器、第二图像传感器和存 储单元存储有至少一个转换矩阵，该转换矩阵是根据所述第一图像传感器与 所述第二图像传感器的相对空间关系所求得，所述操作方法包括下列步骤 以所述第一图像传感器采集第三图像；以所述第二图像传感器采集第四图 像；利用所述转换矩阵将所述第三图像和/或所述第四图像转换到虚拟平面； 决定所述虚拟平面中所采集物体图像的至少一个特征参数；及传输所述特征 参数到图像显示装置或存储装置。
根据本发明的另一特点，本发明再提供一种广角传感器阵列模块的操作 方法，所述广角传感器阵列模块包括第一图像传感器、第二图像传感器及存 储有至少一个转换矩阵的存储单元，所述转换矩阵是根据所述第一图像传感 器与所述第二图像传感器的相对空间关系所求得，所述操作方法包括下列步 骤以所述第一图像传感器采集第三图像；采集所述第三图像中的物体图像的第一特征参数；以所述第二图像传感器采集第四图像；采集所述第四图像 中的物体图像的第二特征参数；利用所述转换矩阵将所述第一特征参数和所 述第二特征参数转换到虚拟平面；以及传输所述特征参数到图像显示装置或 存储装置。根据本发明的另一特点，本发明再提供一种指向定位系统，包括广角传 感器阵列模块、至少一个光源及图像显示装置。所述广角传感器阵列模块用 于产生组合图像并具有组合视角，所述广角传感器阵列包括第一图像传感 器用于采集第一图像；第二图像传感器用于采集第二图像，所述第二图像传 感器与所述第一图像传感器具有相对空间关系；及图像处理单元，存储有转 换矩阵并利用该转换矩阵组合所述第一图像及所述第二图像为组合图像，其 中所述转换矩阵是根据所述第一图像传感器与所述第二图像传感器的相对 空间关系所求得。所述光源位于所述组合视角内。所述图像显示装置耦合连 接所述广角传感器阵列模块，用于将所述光源的图像结合于所述组合图像并 显示所述组合图像及所述光源图像。本发明的广角传感器阵列模块及其操作方法与应用，利用于校正模式中 预先求得的至少一个转换矩阵进行多个图像的合成，可有效增加所述广角传 感器阵列模块的整体视角，以增加其实用性。此外，由于所述广角传感器阵列模块中不需使用特殊镜头，可有效降低成本。
图la是本发明实施例的广角传感器阵列模块的示意图；图lb是本发明实施例的广角传感器阵列模块的另一示意图；图2是本发明实施例的广角传感器阵列模块的操作方法的流程图；图3是本发明实施例的广角传感器阵列模块的校正模式的流程图；图4a是本发明实施例的广角传感器阵列模块的校正模式的操作示意图；图4b是图4a的广角传感器阵列模块的校正模式的操作示意图的上视图；图5a显示了以定位点的参考空间坐标轴为基准的定位点图像的示意图； 图5b显示了以第一图像传感器的第一图像坐标轴为基准所采集的定位 点图像的示意图；图5c显示了以第二图像传感器的第二图像坐标轴为基准所采集的定位点图像的示意图；图5d显示了不同坐标轴间定位点图像的坐标转换的示意图；图6a是本发明实施例的广角传感器阵列模块的校正模式的另一操作示意图，其中使用6个定位点进行校正；图6b显示了图6a中不同坐标轴间定位点图像的坐标转换的示意图； 图7a是本发明实施例的广角传感器阵列模块的校正模式的另一操作示意图，其中使用8个定位点进行校正；图7b显示了图7a中不同坐标轴间定位点图像的坐标转换的示意图； 图8a是本发明实施例的广角传感器阵列模块的校正模式的另一操作示意图；图8b是图8a的广角传感器阵列模块的校正模式的操作示意图的上视图；图9a显示了图8a中以定位点的参考空间坐标轴为基准的定位点图像的 示意图；图9b显示了图8a中以第一图像传感器的第一图像坐标轴为基准所采集 的定位点图像的示意图；图9c显示了图8a中以第二图像传感器的第二图像坐标轴为基准所采集 的定位点图像的示意图；图10a是本发明实施例的广角传感器阵列模块的操作模式的流程图；图10b是本发明实施例的广角传感器阵列模块的操作模式的另一流程图；12图lla是本发明实施例的广角传感器阵列模块的操作模式的应用示意图；图llb显示了图lla的广角传感器阵列模块的第一图像传感器所采集的图像;图llc显示了图lla的广角传感器阵列模块的第二图像传感器所采集的图像;图lld显示了图lla的广角传感器阵列模块所采集的组合图像。主要元件符号说明 1,1'广角传感器阵列模块 21 处理器 23 传输接口单元 Sj第一图像传感器 VAt第一视角P。P4定位点pr，~p4"定位点图像n,第一图像传感器的中央法线2图像处理单元 22存储单元 VA,VA' 组合视角 S2第二图像传感器 VA2 第二视角P,' P4'定位点图像n组合视角的中央法线H2第二图像传感器的中央法线e,，-o组合视角的中央法线与ni间的横向角度差 02，① 组合视角的中央法线与n2间的横向角度差e定位点空间坐标z轴的图像坐标z轴间的纵向角度差31~32步骤 310 313步骤3211-3215步骤 3221-3226步骤T3，T4光源 I3第三图像I4 第四图像 CI组合图像 Hl5H2 转换矩阵1具体实施方式
为了让本发明的上述和其他目的、特征及优点能更明显，下文特举本发 明实施例，并配合所附图示，作详细说明如下。在本说明书的说明内容中， 类似的元件是以相同的编号表示。请参照图la及lb所示，其显示了根据本发明实施例的广角传感器阵列模块i及r的示意图。所述广角传感器阵列模块i及r包括第一图像传感器S,、第二图像传感器S2以及图像处理单元2，其包括处理器21、存储单元 22和传输接口单元23。此外，所述广角传感器阵列模块1及l'还可以包括设置于所述第一图像传感器S,和所述第二图像传感器S2前方的多个透镜或透镜组(未图示)，用于提高所述图像传感器的感光效率；所述图像处理单元2还可以包括用于提供所述广角传感器阵列模块i及r操作时所需的电力的电力供应单元(未图示)。所述第一和第二图像传感器Si及S2例如可为CCD图像传感器或CMOS 图像传感器，但并不限于此。所述第一图像传感器S,用于采集图像，并具有 第一视角VA1;所述第二图像传感器S2用于采集图像，并具有第二视角VA2;所述广角传感器阵列模块i及r则用于釆集组合图像，并分别具有组合视角VA及VA'，该组合视角VA及VA'由所述第一视角VA,和所述第二视角VA2 组合而成，因此VA(VA，VAi且VA(VA')〉VA2。此外，此实施例中虽仅以两 个图像传感器做说明，然而在实际上根据不同的应用，所述广角传感器阵列模块i及r可以具有两个以上图像传感器。请再参照图la所示，所述广角传感器阵列模块1中，所述第一图像传 感器S,和所述第二图像传感器S2平行地设置，也就是说所述第一图像传感 器Si的第一视角VA,的中央法线m、所述第二图像传感器S2的第二视角VA2 的中央法线ri2与所述组合视角VA的中央法线间不具有角度差。所述第一图 像传感器S,和所述第二图像传感器S2耦合连接所述图像处理单元2。所述图像处理单元2的处理器21用于处理所述第一图像传感器S,和所述第二图 像传感器S2所采集的图像，例如图像校正、图像合成、特征采集及失真补偿 等。所述存储单元22用于存储所述第一图像传感器S,和所述第二图像传感 器S2所采集的图像和/或所述处理器21所处理过的图像，并存储多个参数以 供所述处理器21处理所述第一图像传感器S!和所述第二图像传感器S2所采 集的图像，例如所述第一图像传感器S!和所述第二图像传感器S2间的空间 距离和所述中央法线n!、化及n间的夹角e(图la中0=0° )。所述传输接口 单元23用于将所述广角传感器阵列模块1及r所采集的图像传输到例如图 像显示器(未图示)进行显示或记忆装置进行存储。本发明利用所述图像处理 单元2处理并合成所述第一图像传感器S!和所述第二图像传感器S2所采集 的图像，以使所述广角传感器阵列模块1可具有较宽广组合视角VA。请再参照图lb所示，所述广角传感器阵列模块l'为所述广角传感器阵 列模块1的替代实施例，其中所述第一图像传感器Si和所述第二图像传感器S2彼此间具有角度差e-e,+02，亦即所述第一视角va,的中央法线ni与所述组合视角va的中央法线间具有第一角度差e1;所述第二视角VA2的中央法 线n2与所述组合视角VA的中央法线间具有第二角度差e2，其中所述第一角度差"可等于或不等于所述第二角度差e2。在此实施例中，所述存储单元22中存储有所述第一图像传感器S,和所述第二图像传感器S2间的相对空间关系的各种参数，例如空间距离、所述第一角度差e,、所述第二角度差e2以及根据所述参数所求得图像间的转换矩阵；所述处理器21则利用所述转 换矩阵形成虚拟平面。在此替代实施例中，所述图像处理单元2同样处理并 合成所述第一图像传感器S,和所述第二图像传感器S2所采集的图像，以使所述广角传感器阵列模块r具有较宽广的组合视角VA'，其中VA'〉VA。此 外，本发明的广角传感器阵列模块i及r可应用于指向定位系统，例如光枪游戏的光枪指向定位或指向器(pointer)的指向定位，以减少指向定位系统的 使用视角限制。请参照图2所示，其显示了本发明实施例的广角传感器阵列模块i及r
的操作方法的流程图，其包括校正模式31和操作模式32。所述校正模式31
在所述广角传感器阵列模块i及r出厂前或在第一次使用前所执行，用于获
得所述第一图像传感器S,和所述第二图像传感器S2间的相对空间关系的各
种参数，并据以求得两图像间的转换矩阵以形成虚拟平面；所述操作模式32
包括将所述第一图像传感器Si和所述第二图像传感器S2所采集的图像合成
到所述虚拟平面以及采集图像中的物体特征等步骤。所述校正模式31和所 述操作模式32的详细执行方式将于下面的段落中说明。
请参照图3所示，其显示了本发明实施例的校正模式31的流程图，包 括下列步骤提供至少三个校正点于第一图像传感器和第二图像传感器的视 角内，其中所述校正点具有参考空间坐标轴(步骤310);以所述第一图像传
感器采集第一图像，其具有第一图像坐标轴(步骤3111);求得所述第一图像 中所述校正点的图像坐标(步骤3112);根据所述参考空间坐标轴和所述第一 图像坐标轴的相对空间关系求得第一转换矩阵(步骤3113);以所述第二图像 传感器采集第二图像，其具有第二图像坐标轴(步骤3121);求得所述第二图
像中所述校正点的图像坐标(步骤3122);根据所述参考空间坐标轴和所述第 二图像坐标轴的相对空间关系求得第二转换矩阵(步骤3123);以及利用所述
第一转换矩阵将所述第一图像转换到虚拟平面和/或利用所述第二转换矩阵
将所述第二图像转换到所述虚拟平面(步骤313)。
请参照图4a及4b所示，图4a显示本发明实施例的校正模式31的一种 实施方式，图4b则为图4a的上视图。在此实施方式中，利用所述广角传感 器阵列模块l'采集空间中4定位点P广P4的图像以作为校正参数，其中所述
定位点P广P4例如可为红外光发光二极体或红外光镭射二极体，且所述定位
点Pi P4位于所述第一视角VAi与所述第二视角VA2的重叠区域(步骤310)。 所述定位点PrP4具有(x,y,4轴的参考空间坐标轴；所述广角传感器阵列模 块l，基于(X,Y,Z)轴的空间坐标轴采集图像，且所述第一和第二图像传感器
16拥有各自的图像坐标轴，例如所述第一图像传感器具有(X,，Y,Z^轴的第一图 像坐标轴；所述第二图像传感器具有(X2,Y，Z^轴的第二图像坐标轴。于此实 施方式中，所述第一图像传感器Si和所述第二图像传感器S2间具有横向角 度差而不具有纵向角度差，例如所述第一图像传感器S,的中央法线 mPd,O，Z,)与所述定位点P广P4的参考空间坐标轴的z轴间具有第一角度差 e产-(D;所述第二图像传感器S2的中央法线ri2(X2，0，Z2)与所述定位点PHP4 的参考空间坐标轴的z轴间具有第二角度差02=。(图4b)。
图5a显示以所述定位点P广P4的参考空间坐标轴为基准的定位点图像。 图5b显示所述第一图像传感器S,所釆集的定位点图像Pr P4'(第一图像)， 其以所述第一图像坐标轴为基准(步骤3111)，并可计算出所述第一图像中各 定位点的图像坐标(步骤3112)。通过坐标变换则可求得所述参考空间坐标轴 与所述第一图像坐标轴间的转换矩阵H,如式(l)(步骤3113):
仏=
cos(-O) 0 - sin(-O). 0 1 0
sin(—①)0 cos(_0)
(1)
也就是说，若以所述定位点P广P4的参考空间坐标轴为基准的定位点
P广P4图像坐标已知为(x，y，z)，则可通过所述转换矩阵&将图像坐标(x,y，z) 转换为以所述第一图像传感器S,的第一图像坐标轴为基准的图像坐标如式 (2)，
<formula>formula see original document page 17</formula>同理，图5c显示所述第二图像传感器S2所采集的定位点图像Pr' P4"(第
二图像)，其以所述第二图像坐标轴为基准(步骤3121)，并可计算出所述第二 图像中各定位点的图像坐标(步骤3122)。同理，通过坐标变换则可求得所述 参考空间坐标轴与所述第二图像坐标轴间的转换矩阵H2如式(3)(步骤 3123):<formula>formula see original document page 18</formula>
(3)
也就是说，若以所述定位点P,~P4的参考空间坐标轴为基准的定位点
P, P4图像坐标已知为(x,y,z)，则可通过所述转换矩阵H2将图像坐标(x,y,z) 转换为以所述第二图像传感器S2的第二图像坐标轴为基准的图像坐标如式 (4)，
<formula>formula see original document page 18</formula>
上述求得的转换矩阵H,及H2表示所述第一图像传感器S,与所述第二图 像传感器S2相对的空间关系，最后利用所述第一转换矩阵H,将所述第一图
像转换到虚拟平面和/或利用所述第二转换矩阵H2将所述第二图像转换到所
述虚拟平面(步骤313)，其中所述虚拟平面可以以所述定位点P, P4的参考空 间坐标轴为基准(即所述第一图像和所述第二图像分别通过转换矩阵转换到 所述参考空间坐标轴)、以所述第一图像传感器S,的第一图像坐标轴为基准 (即所述第二图像通过转换矩阵转换到所述第一图像坐标轴)或以所述第二图 像传感器S2的第二图像坐标轴为基准(即所述第一图像通过转换矩阵转换到 所述第二图像坐标轴)。
此外，当图像传感器间的相对空间关系为未知时，利用所述第一图像传 感器S,所采集的定位点图像Pr P4'的坐标和预先设定的所述定位点P广P4 的图像坐标，例如(x，y,z)，即可根据式(2沐得第一转换矩阵Hn同理，禾拥 所述第二图像传感器S2所采集的定位点图像Pr' P4"的坐标和预先设定的所 述定位点P,~P4的图像坐标，即可根据式(4)求得第二转换矩阵H2。
请参照图5d所示，其显示将所述第一图像和所述第二图像通过转换矩 阵转换到所述虚拟平面的实施例。例如当以所述定位点P, P4的参考空间坐 标轴为基准时，所述定位点的坐标为P产(-U)、 P2=(l,l)、 PH-1,-1)及 P4=(l，-1)。若己知图像传感器间的相对空间关系(即已知转换矩阵)，则可透
18过所述转换矩阵Hi转换为以所述第一图像坐标轴为基准的图像坐标(图5d
的左下图)或透过所述转换矩阵H2转换为以所述第二图像坐标轴为基准的图
像坐标(图5d的右下图)。此外，若以所述第一图像坐标为基准，所述定位点
P," P4"经过两次转换矩阵则可转换到以所述第一图像坐标轴为基准的虚拟
平面上，并分别相应对于定位点P,' P4，；同理，若以所述第二图像坐标轴为
基准，所述定位点Pf P4'经过两次转换矩阵则可转换到以所述第二图像坐标 轴为基准的虚拟平面上，并分别相应对于定位点P, P4"。
可以了解的是，定位点的数目并不限于4个。由于至少需要3个定位点 才能形成参考空间坐标轴，因此在本发明中，所述第一视角VA,和所述第二 视角VA2的视角区域内分别至少需设置3定位点。图6a及6b则显示本发明 的校正模式31中利用6个定位点的实施方式；图7a及7b则显示本发明的 校正模式31中利用8个定位点的实施方式，因其转换矩阵的计算方式类似 于使用4个定位点的实施方式，于此不再赘述。
请参照图8a及8b所示，图8a显示本发明实施例的校正模式31的替代 实施例，图8b则为图8a的上视图。在此替代实施例中，所述广角传感器阵 列模块l'同样采集空间中4个定位点P广P4的图像以作为校正参数，其中所 述定位点P。P4位于所述第一视角VA,与所述第二视角VA2的重叠区域(步骤 310)。所述定位点P广P4具有(x，y,z)轴的参考空间坐标轴；所述广角传感器 阵列模块l，基于(X,Y，Z)轴的空间坐标轴采集图像，且所述第一和第二图像 传感器拥有各自的图像坐标轴，例如所述第一图像传感器具有(Xi,Y，Z^轴的 第一图像坐标轴；所述第二图像传感器具有(X2,Y，Z2)轴的第二图像坐标轴。 在替代实施例中，所述第一图像传感器S,和所述第二图像传感器S2间具有 横向角度差以及纵向角度差，例如所述第一图像传感器S,的中央法线 m(XhO，Z,)与所述定位点Pr^4的参考空间坐标轴的z轴间具有横向第一角度
差e产-o以及纵向角度差e;所述第二图像传感器S2的中央法线n2(x2，o,z2) 与所述定位点Pi P4的参考空间坐标轴的z轴间具有横向第二角度差e^①以及纵向角度差e，其中所述第一图像传感器s！的中央法线ni与所述定位点
Pr^P4的参考空间坐标轴的z轴间的纵向角度差也可不等于所述第二图像传 感器S2的中央法线n2与所述定位点Pi P4的参考空间坐标轴的z轴间的纵向 角度差。
请参照图9a至9c所示，图9a显示以所述定位点Pr^4的参考空间坐标 轴为基准的定位点图像。图9b显示所述第一图像传感器S,所采集的定位点 图像P,， P4'，其以所述第一图像坐标轴为基准(步骤3111)，并可求得各定位 点图像坐标(步骤3112)。通过坐标变换则可求得所述参考空间坐标轴与所述 第一图像坐标轴间的x轴方向转换矩阵H^如式(5)以及y轴方向转换矩阵 H,y如式(6)(步骤3113):
<formula>formula see original document page 20</formula>接着可求得所述参考空间坐标轴与所述第一图像坐标轴间的转换矩阵 H,如式(7):
<formula>formula see original document page 20</formula>(7)
也就是说，若以所述定位点Pr^P4的参考空间坐标轴为基准的定位点 P广P4图像坐标已知为(x,y,z)，则可通过所述转换矩阵&将图像坐标为(x，y，z) 转换为以所述第一图像传感器Si的第一图像坐标轴为基准的图像坐标如式 (8)，
<formula>formula see original document page 20</formula>
同理，图9C显示所述第二图像传感器S2所采集的定位点图像Pr' P4其以所述第二图像坐标为基准(步骤3121)，同样可求得各定位点的坐标(步骤
3122) 。通过坐标变换则可求得所述参考空间坐标轴与所述第二图像坐标轴 间的x轴方向转换矩阵H^如式(9)及y轴方向转换矩阵H2y如式(10)(步骤
3123) :
仏，=
co< (D」 0 - w'w「 <!>, 0 1 0
O J 0 cos/<D
10 0 .
0 譜W — 0 ^力W
(9)
(10)
接着可求得所述参考空间坐标轴与所述第二图像坐标轴间的转换矩阵 H2如式(ll):
//2 = 7/2;^//^ =
cos(①)-sin(O) sin(0) - sin(O) cos(0)' 0 cos(60 -sin(S)
sin(O)cos(O)sin(0) cos(O)cos(S)
也就是说，若以所述定位点Pi P4的参考空间坐标轴为基准的定位点
P广P4图像坐标己知为(x，y，z)，则可通过所述转换矩阵H2将图像坐标为(x，y，z) 转换为以所述第二图像传感器S2的第二图像坐标轴为基准的图像坐标如式 (12)，
jc cos(O) - O sin(0) + z cos(。) sin(O)
仏x少=ycos(6) —zsin(0)(12)
x sin(O) + O sin(。 + z cos(0)) cos(O)
此外，当图像传感器间的相对空间关系为未知时，利用所述第一图像传
感器s!所采集的定位点图像pr P4'的坐标和预先设定的所述定位点P,~P4
的图像坐标，例如(x，y,z)，即可根据式(8)求得第一转换矩阵H,;同理，利用
所述第二图像传感器S2所采集的定位点图像P, P4"的坐标和预先设定的所
述定位点Pi P4的图像坐标，即可根据式(12)求得第二转换矩阵H2。
执行所述校正模式31后所求得的所述转换矩阵(&、 H2)以及虚拟平面， 将预先被存储于所述图像处理单元2的存储单元22以供所述处理器21在操
21作模式32中使用。
在另一替代实施例中，所述第一图像传感器S,和所述第二图像传感器 S2可设置于预制框架(未图示)上，且当所述第一图像传感器S,和所述第二图 像传感器S2设置于所述框架时，图像传感器彼此间的相对空间关系已预先得 知。例如己预先知道所述第一图像传感器S,的中央法线与所述第二图像传感
器S2的中央法线间所具有的横向角度差和/或纵向角度差。因此在此替代实
施例的校正模式31中，则不须分别设置至少三个定位点于所述第一图像传 感器S,和所述第二图像传感器S2的视角区域内，可直接利用图像传感器彼 此间的相对空间关系以计算转换矩阵，并利用所述转换矩阵求得虚拟平面， 最后将所述转换矩阵和虚拟平面存储于所述存储单元22内。此时，所述虚 拟平面可以以所述第一图像传感器S,的第一图像坐标轴为基准(即所述第二 图像传感器S2所采集的图像可通过所述转换矩阵转换到所述第一图像坐标
轴)或以所述第二图像传感器S2的第二图像坐标轴为基准(即所述第一图像传
感器S,所采集的图像可通过所述转换矩阵转换到所述第二图像坐标轴)。
请再参照图2所示，如前所述，所述校正模式31为所述广角传感器阵 列模块1及l'出厂前或使用前所执行的初始校正程序，在实际使用阶段(操 作模式32)则不需重复进行所述校正模式31。以下接着说明操作模式32。
请参照图10a所示，其显示本发明实施例的广角传感器阵列模块1及r 的操作模式32的流程图，其包括用第一图像传感器采集第三图像(步骤 3211);用第二图像传感器采集第四图像(步骤3212);利用所述转换矩阵将所 述第三图像和所述第四图像合成到虚拟平面(步骤3213);釆集所述组合图像 中的物体特征(步骤3214)以及传送所述物体特征参数(步骤3215)。
请参照图10a及lla至lld所示，以下利用应用实施例来说明所述广角 传感器阵列模块1及l'的操作模式32。此时，所述广角传感器阵列模块r 应用于指向定位系统，且所述第一图像传感器Si的第一视角VA!和所述第 二图像传感器S2的第二视角VA2内分别具有例如光枪的瞄准器或指向器(pointer)的光源丁3及T4。首先用所述第一图像传感器S,采集第三图像13涉 骤3211)并用所述第二图像传感器S2采集第四图像14(步骤3212);接着所述 处理单元21利用预先存储于所述存储单元22的转换矩阵，例如校正模式31 所求得的转换矩阵H,及H2，将所述第三图像13和所述第四图像14合成到虚 拟平面上以形成组合图像CI，其具有组合视角VA。如前所述，所述虚拟平 面可以以所述第三图像13或所述第四图像14的图像坐标轴为基准；接着所述 处理器21采集所述组合图像CI中物体图像的特征参数，例如物体的坐标、 面积、色彩、方向性、边界、端点数以及长宽比等参数(步骤3214);最后通 过所述传输接口单元23将所述物体参数传送至图像显示器或存储装置(未图 示)，其中所述图像显示器例如可以是电视屏幕、投影幕、游戏机屏幕或电 脑屏幕，其可将所述光源T3及T4的图像坐标结合于所述组合图像CI并显示 所述光源T3及丁4及所述组合图像CI的图像。
请参照图10b及lla至lld所示，接着说明本发明实施例的广角传感器 阵列模块1及l'的操作模式32的另一替代实施例，包括下列步骤以第一 图像传感器采集第三图像(步骤3221);采集第三图像的物体特征(步骤3222); 以第二图像传感器采集第四图像(步骤3223);采集第四图像的物体特征(步骤 3224);利用所述转换矩阵将所述第一和所述第二特征参数合成到虚拟平面 (步骤3226);以及传送所述物体特征参数(步骤3215)。本替代实施例与图10a 的差异在于，所述第三及第四图像被采集后，所述处理器11则分别先采集 图像中物体的特征参数，再利用存储于所述存储单元22中的转换矩阵将所 述物体参数合成到所述虚拟平面。最后同样经过所述传输接口单元23将所 述物体参数传送到图像显示器或存储装置。由此，本发明通过设置至少两个 图像传感器于广角传感器阵列模块1及l'中，可有效增加指向定位系统的视 角范围(如图lld)。
综上所述，由于可通过使用多个图像传感器以增加图像感测模块的视角 范围，因此如何正确合成多个图像成为一个重要的课题。有鉴于此，本发明提出一种广角传感器阵列模块及其图像校正方法及操作方法，透过预先存储 至少一个转换矩阵于所述广角传感器阵列模块中，并在操作时利用所述转换 矩阵正确地组合图像。此外，本发明的广角传感器阵列模块可应用于指向定 位系统，例如枪击游戏，可有效增加指向定位系统的操作视角范围，并降低 系统成本。
虽然本发明已以上述优选实施例公开，然其并非用于限定本发明，任何 本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内， 可以作各种变化与修改。因此本发明的保护范围当根据附加的权利要求书所 要求的范围为准。
权利要求
1、一种广角传感器阵列模块，用于产生组合图像，该广角传感器阵列模块包括第一图像传感器，用于采集第一图像；第二图像传感器，用于采集第二图像，且该第二图像传感器与所述第一图像传感器具有相对空间关系；存储单元，存储至少一个转换矩阵，其中该转换矩阵是根据所述第一图像传感器与所述第二图像传感器的所述相对空间关系所求得；以及处理器，利用所述转换矩阵将所述第一图像和所述第二图像组合为组合图像。
2、根据权利要求1所述的广角传感器阵列模块，其中所述相对空间关 系为所述第一图像传感器与所述第二图像传感器间的横向方向夹角。
3、根据权利要求2所述的广角传感器阵列模块，其中所述横向方向夹 角为2(D，所述转换矩阵为cos(—(1)) 0 - sin(—(D) 0 1 0sin(-(D) 0 cos(—和/或cos(O) 0 _ sin(①)-0 1 0sin(O)) 0 cos(<D)
4、根据权利要求1所述的广角传感器阵列模块，其中所述相对空间关 系为所述第一图像传感器与所述第二图像传感器间的横向方向夹角和纵向 方向夹角。
5、根据权利要求4所述的广角传感器阵列模块，其中所述横向方向夹 角为20)，所述纵向方向夹角为仏所述转换矩阵为<formula>formula see original document page 3</formula>禾口/或<formula>formula see original document page 3</formula>
6、 根据权利要求1所述的广角传感器阵列模块，还包括用于设置所述 第一图像传感器和所述第二图像传感器的框架，以使所述第一图像传感器与 所述第二图像传感器间具有所述相对空间关系。
7、 一种广角传感器阵列模块的图像校正方法，所述广角传感器阵列模 块包括第一图像传感器和第二图像传感器，所述图像校正方法包括下列步骤提供至少三个校正点，其中所述校正点形成参考空间坐标轴且所述校正点具有参考空间坐标；用所述第一图像传感器采集包括前述校正点中至少三个校正点以形成第一图像，其中所述第一图像形成第一图像坐标轴且所述第一图像中的校正点具有第一图像坐标；根据所述参考空间坐标和所述第一图像坐标求得第一转换矩阵； 用所述第二图像传感器采集包括所述校正点中至少三个校正点以形成第二图像，其中所述第二图像形成第二图像坐标轴且所述第二图像中的校正点具有第二图像坐标；根据所述参考空间坐标和所述第二图像坐标求得第二转换矩阵；以及 利用所述第一转换矩阵和/或所述第二转换矩阵将所述第一图像和/或所述第二图像转换到虚拟平面。
8、 根据权利要求7所述的图像校正方法，其中所述参考空间坐标轴、所述第一图像坐标轴和所述第二图像坐标轴为三维直角坐标系统。
9、 根据权利要求7所述的图像校正方法，其中所述虚拟平面是基于所述参考空间坐标轴、所述第一图像坐标轴和所述第二图像坐标轴其中之一。
10、 根据权利要求9所述的图像校正方法，其中当虚拟平面基于所述参考空间坐标轴时，利用所述第一转换矩阵将所述第一图像转换到所述虚拟平面和利用所述第二转换矩阵将所述第二图像转换到所述虚拟平面。
11、 根据权利要求9所述的图像校正方法，其中当虚拟平面基于所述第一图像坐标轴时，利用所述第一和第二转换矩阵将所述第二图像转换到所述虚拟平面。
12、 根据权利要求9所述的图像校正方法，其中当虚拟平面基于所述第二图像坐标轴时，利用所述第一和第二转换矩阵将所述第一图像转换到所述虚拟平面。
13、 一种广角传感器阵列模块的图像校正方法，所述广角传感器阵列模块包括第一图像传感器和第二图像传感器，所述图像校正方法包括下列步骤决定所述第一图像传感器与所述第二图像传感器的相对空间关系；根据所述相对空间关系求得至少一个转换矩阵；以及利用所述转换矩阵将所述第一图像传感器所采集的图像和/或所述第二图像传感器所采集的图像转换到虚拟平面。
14、 根据权利要求13所述的图像校正方法，其中所述相对空间关系为所述第一图像传感器与所述第二图像传感器间的横向方向夹角和/或纵向方向夹角。
15、 根据权利要求13所述的图像校正方法，其中所述虚拟平面是基于所述第一图像传感器的坐标轴或所述第二图像传感器的坐标轴。
16、 根据权利要求13所述的图像校正方法，其中所述第一图像传感器和第二图像传感器的视角可重叠或不重叠。
17、 一种广角传感器阵列模块的操作方法，所述广角传感器阵列模块包括第一图像传感器、第二图像传感器和存储有至少一个转换矩阵的存储单元，该转换矩阵是根据所述第一图像传感器与所述第二图像传感器的相对空间关系所求得，所述操作方法包括下列步骤用所述第一图像传感器采集第三图像；用所述第二图像传感器采集第四图像；利用所述转换矩阵将所述第三图像和/或所述第四图像转换到虚拟平面；以及采集所述虚拟平面中所采集物体图像的至少一个特征参数。
18、 根据权利要求17所述的操作方法，其中所述特征参数是选自物体的坐标、面积、色彩、方向性、边界、端点数以及长宽比构成的组中的一种或几种的组合。
19、 根据权利要求17所述的操作方法，其中所述第一图像传感器与所述第二图像传感器的所述相对空间关系为所述第一图像传感器与所述第二图像传感器间的横向方向夹角和/或纵向方向夹角。
20、 一种广角传感器阵列模块的操作方法，所述广角传感器阵列模块包括第一图像传感器、第二图像传感器和存储有至少一个转换矩阵的存储单元，该转换矩阵是根据所述第一图像传感器与所述第二图像传感器的相对空间关系所求得，所述操作方法包括下列步骤用所述第一图像传感器采集第三图像；采集所述第三图像中的物体图像的第一特征参数；用所述第二图像传感器采集第四图像；采集所述第四图像中的物体图像的第二特征参数；以及利用所述转换矩阵将所述第一特征参数和所述第二特征参数转换到虚拟平面。
21、 根据权利要求20所述的操作方法，其中所述第一和第二特征参数是选自物体的坐标、面积、色彩、方向性、边界、端点数以及长宽比构成的组中的一种或几种的组合。
22、 根据权利要求20所述的操作方法，其中所述第一图像传感器与所述第二图像传感器的所述相对空间关系为所述第一图像传感器与所述第二图像传感器间的横向方向夹角和/或纵向方向夹角。
23、 一种指向定位系统，包括广角传感器阵列模块，用于产生组合图像并具有组合视角，所述广角传感器阵列包括第一图像传感器，用于采集第一图像；第二图像传感器，用于釆集第二图像，该第二图像传感器与所述第一图像传感器具有相对空间关系；以及图像处理单元，存储有转换矩阵并利用该转换矩阵将所述第一图像和所述第二图像组合为组合图像，其中所述转换矩阵是根据所述第一图像传感器与所述第二图像传感器的相对空间关系所求得；至少一个光源，位于所述组合视角内；以及图像显示装置，耦合连接所述广角传感器阵列模块，用于将所述光源的图像坐标与所述组合图像结合并显示所述组合图像和所述光源图像。
24、根据权利要求23所述的指向定位系统，其中所述光源为光枪的瞄准器或指向器。
全文摘要
一种用于产生组合图像的广角传感器阵列模块，该广角传感器阵列模块包括第一图像传感器、第二图像传感器、存储单元及处理器。该第一图像传感器用于采集一第一图像。该第二图像传感器用于采集一第二图像并与该第一图像传感器具有相对空间关系。该存储单元存储至少一个转换矩阵，该转换矩阵是根据该第一图像传感器与该第二图像传感器的相对空间关系所求得。所述处理器利用所述转换矩阵组合所述第一图像及所述第二图像为组合图像。本发明另提供一种广角传感器阵列模块的图像校正方法、操作方法与应用。
文档编号H04N5/335GK101656840SQ20081014579
公开日2010年2月24日 申请日期2008年8月22日 优先权日2008年8月22日
发明者古人豪, 林志新, 蔡彰哲, 赵子毅, 陈信嘉 申请人:原相科技股份有限公司