一种电子设备及数据处理方法
【技术领域】
[0001] 本发明涉及数据处理技术，尤其涉及一种电子设备及数据处理方法。
【背景技术】
[0002] 人们用两只眼睛观察事物的时候，会有远近和深度的感觉。双目立体视觉就是基 于送个原理设计和实现的，使用两个摄像机对同一个物体进行图像的采集，最后根据图像 的视差来计算物体的空间坐标。双目立体视觉系统主要的硬件设备为双目摄像头，目前的 双目摄像头的图像采集参数是一致的，即双目摄像头的内部光学参数和几何特性均一样。 然而，当双目摄像头的图像采集参数不一致时，目前还没有一种有效的手段使用此类双目 摄像头对采集到的图像进行视差处理。
【发明内容】
[0003] 为解决上述技术问题，本发明实施例提供了一种电子设备及数据处理方法。
[0004] 本发明实施例提供的电子设备包括第一图像采集单元和第二图像采集单元；所述 第一图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对 象的第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参 数；所述电子设备还包括：
[0005] 第一处理模块，用于对所述第一图像采集单元和所述第二图像采集单元的图像采 集参数进行校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参数；
[0006] 第二处理模块，用于利用所述校准参数，对所述第一图像和所述第二图像进行校 准，并对校准后的所述第一图像和所述第二图像进行视差计算。
[0007] 本发明实施例提供的数据处理方法应用于电子设备中，所述电子设备包括第一图 像采集单元和第二图像采集单元；所述第一图像采集单元能够采集目标对象的第一图像， 所述第二图像采集单元能够采集目标对象的第二图像，且所述第一图像采集单元与所述第 二图像采集单元具有不同的图像采集参数；所述电子设备还包括第一处理模块、第二处理 模块；所述数据处理方法包括：
[0008] 利用所述第一处理模块对所述第一图像采集单元和所述第二图像采集单元进行 校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参数；
[0009] 利用所述第二处理模块依据所述校准参数，对所述第一图像和所述第二图像进行 校准，并对校准后的所述第一图像和所述第二图像进行视差计算。
[0010] 本发明实施例的技术方案中，电子设备具有两个图像采集单元，分别为第一图像 采集单元和第二图像采集单元；送两个图像采集单元的图像采集参数不一致，因此，由第一 图像采集单元采集到的第一图像与由第二图像采集单元采集到的第二图像的像素大小不 一致；基于此，电子设备首先通过第一处理模块，对第一图像采集单元和第二图像采集单元 的图像采集参数进行校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参 数；然后通过第二处理模块，利用所述校准参数，对所述第一图像和所述第二图像进行校 准，并对校准后的所述第一图像和所述第二图像进行视差计算。送里，第一处理模块位于电 子设备CPU端，属于后端处理模块；第二处理模块位于电子设备的专用加速芯片端，例如图 像信号处理单元（ISP，Image Si即曰1 Processing)芯片，属于前端处理模块；预先由第一处 理模块得到两个图像采集单元的校准参数，然后当第二处理模块对采集到的图像进行处理 时，利用校准参数对图像进行校准，再继续后续的视差计算，进而实现了异构双目摄像头对 采集到的图像进行视差处理，由于双目摄像头的图像采集参数不同，也即两个图像采集单 元中有一个图像采集单元的采集精度较高，而另一个图像采集单元的采集精度较低，如此， 不必采用同样高采集精度的两个图像采集单元，有效节约电子设备的成本及功耗；并且，本 发明实施例的技术方案可W有效结合智能设备的前后摄像头进行实现，实现方式便捷。
【附图说明】
[0011] 图1为本发明实施例一的数据处理方法的流程示意图；
[0012] 图2为本发明实施例二的数据处理方法的流程示意图；
[0013] 图3为本发明实施例Η的数据处理方法的流程示意图；
[0014] 图4为本发明实施例四的数据处理方法的流程示意图；
[0015] 图5为本发明实施例五的数据处理方法的流程示意图；
[0016] 图6为本发明实施例一的电子设备的结构组成示意图；
[0017] 图7为本发明实施例二的电子设备的结构组成示意图；
[0018] 图8为本发明实施例Η的电子设备的结构组成示意图；
[0019] 图9为本发明实施例四的电子设备的结构组成示意图；
[0020] 图10为本发明实施例五的电子设备的结构组成示意图；
[0021] 图11为本发明实施例的摄像机的针孔成像模型示意图。
【具体实施方式】
[0022] 为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图对本发 明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。
[0023] 图1为本发明实施例一的数据处理方法的流程示意图，本示例中的数据处理方法 应用于电子设备中，所述电子设备包括第一图像采集单元和第二图像采集单元；所述第一 图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的 第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数； 所述电子设备还包括第一处理模块、第二处理模块；如图1所示，所述数据处理方法包括W 下步骤：
[0024] 步骤101 ;利用所述第一处理模块对所述第一图像采集单元和所述第二图像采集 单元进行校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参数。
[00巧]本发明实施例中，所述电子设备可W是智能手机、平板电脑、掌上电脑、游戏机、笔 记本电脑等电子设备；该电子设备具有两个图像采集单元，分别为第一图像采集单元和第 二图像采集单元；送里，图像采集单元可由摄像头实现。其中，第一图像采集单元与第二图 像采集单元具有不同的图像采集参数，送里，图像采集参数为图像采集单元的内部参数，简 称为内参，图像采集参数表征了图像采集单元的内部光学特性W及几何结构特性。由于第 一图像采集单元与第二图像采集单元具有不同的图像采集参数，因此，由第一图像采集单 元采集到的第一图像与由第二图像采集单元采集到的第二图像的像素大小不同。
[0026] 本发明实施例中，由第一图像采集单元和第二图像采集单元同时采集同一目标对 象的图像，分别得到第一图像和第二图像；第一图像的像素和第二图像的像素不同。本发明 实施例中的目标对象是指被拍摄物体。
[0027] 本发明实施例中，电子设备具有两个处理模块，分别为第一处理模块和第二处理 模块；其中，第一处理模块属于后端处理模块，也称为离线（Offline)模块，第一处理模块 运行在电子设备的CPU端，完成对第一图像采集单元和第二图像采集单元的校准，W获得 第一图像采集单元和第二图像采集单元的校准参数。
[002引具体地，图11为摄像机的针孔成像模型示意图，如图11所示，空间点P在图像上 的投影点P为摄像机光必0。与P点的连线0。？与图像平面的交点。从Η维空间投影到二维 图像平面涉及到如下4个坐标系之间的变换：
[0029] 1)图像平面坐标系中的像素坐标（u，v)，每幅数字图像可表示为像素大小为ΜΧΝ 的矩阵，其中，像素坐标（u，v)表示像素位于矩阵中的行数与列数。该坐标系W图像左上角 为坐标原点，W像素（Pixels)为单位。
[0030] 。图像平面坐标系中的物理坐标（X，y)，该坐标系的坐标原点0为光轴与图像平 面的交点；X，y轴分别与U，V轴平行，W mm为单位。
[003。 扣摄像机坐标系中的坐标化，Ye，Z。)，该坐标系W摄像机光必0。为原点，Xe，Y。轴 分别与X，y轴平行，摄像机光轴为Z。轴，0。0为摄像机焦距。
[003引 4)世界坐标戊，Y。，ZJ为现实坐标，也即客观世界的绝对坐标，描述物体的位置。
[0033] 对于双目摄像机，首先要对每一个摄像机进行标定，然后再进行校准；对摄像机进 行标定就是要解决图像平面坐标系中的像素坐标（u，v)与世界坐标〇("，Y"，Zj之间转换的 问题，根据针孔成像原理，他们之间的转换关系为公式（la):
[0034]
(la)
[0035] 其中，S为比例因子，F为内参数矩阵，[R 口为摄像机的外参矩阵R和T分别为摄 像机坐标系相对于世界坐标系的旋转分量和平移分量。F，R和T分别为公式（2a):
[0036]
( 2筑.）
[0037] 其中，氏，fy分别表示在X，y方向上的焦距，单位为Pixels ;。，Cy分别表示主光轴 与像平面交点的图像平面坐标系中的像素坐标。
[0038] 设双目摄像头中的第一图像采集单元的外参为Ri，Τι ;第二图像采集单元的外参 为把，L ;双目摄像头的校准参数为R，Τ ;对于空间任意一点，在世界坐标系、第一图像采集 单元坐标系和第二图像采集单元坐标系中的X坐标分别为XI，Xf，则有公式（3a)成立：
[0039]
( 3a)
[0040] 因此，第一图像采集单元与第二图像采集单元的校准参数为公式（4a):
[0041]
(4a)
[0042] 步骤102 ;利用所述第二处理模块依据所述校准参数，对所述第一图像和所述第 二图像进行校准，并对校准后的所述第一图像和所述第二图像进行视差计算。
[0043] 本发明实施例中，第二处理模块位于电子设备的专用加速芯片端，例如ISP芯片， 属于前端处理模块，也称为在线的nline)模块；预先由第一处理模块得到两个图像采集单 元的校准参数后，再利用第二处理模块依据所述校准参数，对所述第一图像和所述第二图 像进行校准；对于空间任意一点在第一图像采集单元坐标系和第二图像采集单元坐标系中 的X坐标分别为XI，Xf，则有公式巧a)成立：
[0044] Xi = RXr+T (5a)
[0045] 因此，可通过公式巧a)对由第一图像采集单元采集到的第一图像和由第二图像 采集单元采集到的第二图像进行校准。
[0046] 本发明实施例中，对于校准后的两幅图像，可W求得目标对象的视差。
[0047] 本发明实施例中，第一处理模块位于电子设备CPU端，属于后端处理模块；第二处 理模块位于电子设备的专用加速芯片端，属于前端处理模块；预先由第一处理模块得到两 个图像采集单元的校准参数，然后当第二处理模块对采集到的图像进行处理时，利用校准 参数对图像进行校准，再继续后续的视差计算，进而实现了异构双目摄像头对采集到的图 像进行视差处理，由于双目摄像头的图像采集参数不同，也即两个图像采集单元中有一个 图像采集单元的采集精度较高，而另一个图像采集单元的采集精度较低，如此，不必采用同 样高采集精度的两个图像采集单元，有效节约电子设备的成本及功耗；并且，本发明实施例 的技术方案可W有效结合智能设备的前后摄像头进行实现，实现方式便捷。
[0048] 图2为本发明实施例二的数据处理方法的流程示意图，本示例中的数据处理方法 应用于电子设备中，所述电子设备包括第一图像采集单元和第二图像采集单元；所述第一 图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的 第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数； 所述电子设备还包括第一处理模块、第二处理模块；如图2所示，所述数据处理方法包括W 下步骤：
[0049] 步骤201 ;获取由所述第一图像采集单元W及所述第二图像采集单元采集到的样 本对象的N组待配准图像。
[0050] 其中，N>1。
[0051] 本发明实施例中，所述电子设备可W是智能手机、平板电脑、掌上电脑、游戏机、笔 记本电脑等电子设备；该电子设备具有两个图像采集单元，分别为第一图像