图像处理方法和装置、存储介质、电子设备与流程

本申请涉及计算机技术领域，特别是涉及一种图像处理方法和装置、存储介质、电子设备。

背景技术：

传统的智能终端都提供的是一个普通执行环境即富执行环境(richexecutionenvironment，ree)，可以用来运行各种广泛的、通用的操作系统。但是通过这样一个执行环境带来极大的灵活性以及功能性的同时，智能终端也开始面对各种各样大量范围的安全威胁。在越来越强调网络安全的时代，如何提高信息处理过程中的安全性，已经成为一个亟待解决的问题。

技术实现要素：

本申请实施例提供一种图像处理方法和装置、存储介质、电子设备，可以提高相机标定过程中信息处理的安全性。

一种图像处理方法，应用于电子设备，所述电子设备支持富执行环境ree和可信任执行环境tee，所述方法包括：

从所述ree中获取相机拍摄不同角度的标定板所得的图像；

通过所述ree和tee之间的数据通道将获取的图像传输至所述tee中；

在所述tee中根据所述获取的图像进行相机标定，得到相机标定结果；

将所述相机标定结果通过所述ree和tee之间的数据通道输出至所述ree中，并存储在安全区域。

一种图像处理装置，所述装置包括：

标定板图像获取模块，用于从所述ree中获取相机拍摄不同角度的标定板所得的图像；

传输模块，用于通过所述ree和tee之间的数据通道将获取的图像传输至所述tee中；

相机标定模块，用于在所述tee中根据所述获取的图像进行相机标定，得到相机标定结果；

输出存储模块，用于将所述相机标定结果通过所述ree和tee之间的数据通道输出至所述ree中，并存储在安全区域。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像处理方法的步骤。

一种电子设备，包括存储器和处理器，所述存储器上存储有能在处理器上运行的计算机程序，处理器执行计算机程序时执行如上所述的图像处理方法的步骤。

上述图像处理方法和装置、存储介质、电子设备，应用于电子设备，电子设备支持富执行环境ree和可信任执行环境tee。从ree中获取相机拍摄不同角度的标定板所得的图像；通过ree和tee之间的数据通道将获取的图像传输至tee中；在tee中根据获取的图像进行相机标定，得到相机标定结果；将相机标定结果通过ree和tee之间的数据通道输出至ree中，并存储在安全区域。因为tee是隔离于ree且ree只能通过特定的入口与tee进行通信，将相机标定的整个过程都放置在tee这种安全环境中去执行，从而可以提高相机标定过程中信息处理的安全性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中双摄像标定的应用环境示意图；

图2为一个实施例中图像处理方法的流程图；

图3为图2中在tee中根据获取的图像进行相机标定，得到相机标定结果的方法的流程图；

图4(a)为在计算机pc端对电子设备的相机进行相机标定的流程图；

图4(b)在电子设备的tee环境中进行相机标定的流程图；

图5为一个实施例中根据特征点匹配的结果进行基于张氏标定法的单目标定，得到单目标定的匹配结果的方法的流程图；

图6为另一个实施例中图像处理方法的流程图；

图7为一个实施例中图像处理装置的结构示意图；

图8为另一个实施例中图像处理装置的结构示意图；

图9为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中双摄像头标定的应用环境示意图。如图1所示，该应用环境包括双摄治具110和标定板120。双摄治具110用于放置带有双摄像头模组或者带有双摄像头模组的电子设备。标定板120(chart)上带有chart图案。标定板120可进行旋转，保持不同角度的位姿。双摄治具110上的双摄像头模组或带有双摄像头模组的电子设备在不同距离、不同角度拍摄标定板120上chart图案，通常拍摄图像至少3个角度，如图1中双摄像头模组光轴垂直于标定板旋转轴，标定板120绕y轴旋转三个角度，其中一个角度为0度，另外两个旋转角度为±θ度，θ大于15，以保证姿态间解耦。若标定板为立体标定板，则可以直接拍摄立体标定板的三个垂直面得到不同角度的标定图像。

在一个实施例中，如图2所示，提供了一种图像处理方法，应用于电子设备，电子设备支持富执行环境ree和可信任执行环境tee，以该方法应用于图1中的电子设备为例进行说明，包括：

步骤220，从ree中获取相机拍摄不同角度的标定板所得的图像。

富执行环境ree全称为richexecutionenvironment，一般手机软件，电脑pc上的软件会运行在这个环境中，但是ree中经常存在信息泄露的问题。而这个时候也就出现了一个新的概念，可信执行环境(trustedexecutionenvironment,，tee),它是与富执行环境共存的，专用于给设备提供一块安全区域用于执行可信任的代码。为了达到真正的安全，tee执行环境必须保证在tee自身中执行的所有代码都必须是高可靠性的。tee具备以下特性：

一、受硬件机制保护：tee隔离于ree、ree只能通过特定的入口与tee通信；二、高性能：tee运行时使用cpu的全部性能(独占)；三、快速通信机制：tee可以访问ree的内存、ree无法访问受硬件保护的tee内存；四、tee中可以同时运行多个trustedapplication(ta)。因此，基于tee的以上特性，tee如果在移动支付、指纹识别、人脸解锁等领域进行使用，将大大提高信息的安全性。

在对相机进行标定的时候，首先，通过相机对不同角度的标定板进行拍摄，获取拍摄的图像。一般情况下至少需要拍摄三个不同角度下的标定板获得三类图像，以便后续更加精确地进行相机标定。在变化角度的过程中，可以选择移动标定板，也可以选择移动相机，当然，也可以同时移动相机和标定板。本申请实施例中选择移动标定板，而相机不动来进行相机标定。为了避免相机晃动而对拍照图像造成影响。

通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算，可以得出相机的几何模型，从而得到高精度的测量和重建结果。而带有固定间距图案阵列的平板就是标定板。一般情况下是黑白相间的矩形构成的棋盘图，制作精度要求较高。相机拍摄不同角度的标定板所得的图像的过程一般是在ree环境中进行的，因此需要从ree中获取相机拍摄不同角度的标定板所得的图像，再对拍摄不同角度的标定板所得的图像进行处理。

步骤240，通过ree和tee之间的数据通道将获取的图像传输至tee中。

ree和tee这两个环境之间存在特定的数据通道，可以使得满足条件的数据可以在ree和tee这两个环境之间进行传输。通过ree和tee之间的数据通道将所获取的拍摄标定板所得的图像传输至tee中。以便后续在tee中根据拍摄标定板所得的图像进行相机标定，使得相机标定的全过程及相机标定过程中产生的所有数据信息都是运行在tee环境中，保证了数据的安全性，降低数据被攻击的风险。

步骤260，在tee中根据获取的图像进行相机标定，得到相机标定结果。

相机标定(cameracalibration)简单来说是从世界坐标系换到图像坐标系的过程，也就是求最终的投影矩阵的过程。相机标定中涉及到的基本的坐标系包括：世界坐标系(worldcoordinatesystem)、相机坐标系(cameracoordinatesystem)及图像坐标系(imagecoordinatesystem)，其中图像坐标系包括图像物理坐标系和图像像素坐标系。相机标定的目标就是为了获得相机的内参数、相机的外参数及畸变系数。

在上一步中将在ree中拍摄标定板所得的图像，通过ree和tee之间的数据通道将获取的图像传输至tee中之后。在tee中对电子设备的相机进行相机标定之后，就得到了相机标定结果。

步骤280，将相机标定结果通过ree和tee之间的数据通道输出至ree中，并存储在安全区域。

在tee中对电子设备的相机进行相机标定之后，就得到了相机标定结果之后，将相机标定结果通过ree和tee之间的数据通道输出至ree中，并存储在安全区域。一般存储在电子设备中的存储空间中以备其他应用调用。

本申请实施例中，电子设备支持富执行环境ree和可信任执行环境tee。从ree中获取相机拍摄不同角度的标定板所得的图像；通过ree和tee之间的数据通道将获取的图像传输至tee中；在tee中根据获取的图像进行相机标定，得到相机标定结果；将相机标定结果通过ree和tee之间的数据通道输出至ree中，并存储在安全区域。因为tee是隔离于ree且ree只能通过特定的入口与tee进行通信，将相机标定的整个过程都放置在tee这种安全环境中去执行，从而可以提高相机标定过程中信息处理的安全性。

在一个实施例中，相机包含第一摄像头和第二摄像头；从ree中获取相机拍摄不同角度的标定板所得的图像，包括：

从ree中获取第一摄像头和第二摄像头同时拍摄不同角度的标定板所得的图像。

具体地，相机为双摄相机，相机包含第一摄像头和第二摄像头。在对相机的两个摄像头进行标定的时候，首先，通过第一摄像头和第二摄像头同时拍摄不同角度的标定板，获取多组图像。一般情况下至少需要拍摄处于三个不同角度下的标定板获取三组图像，以便后续更加精确地进行相机标定。通常会调整标定板处于10-20个不同的角度下，然后分别对每一个角度下的标定板通过第一摄像头和第二摄像头分别进行拍摄，以获取10-20组图像。

本申请实施例中，通过第一摄像头和第二摄像头分别对处于不同的角度下对标定板进行拍摄，获取多组图像。一般获取10-20组图像用以进行相机标定，因为若图像数量太少，容易导致相机标定结果不准确。而选择10-20组图像用以进行相机标定就将可以大大提高相机标定结果的准确性。

在一个实施例中，如图3所示，在tee中根据获取的图像进行相机标定，得到相机标定结果，包括：

步骤262，在tee中对获取的图像进行特征点匹配。

在tee中根据获取的图像进行相机标定，当然也可以是进行相机立体标定。相机立体标定通过获取图像特征点，建立相机的几何成像模型。对上述通过第一摄像头和第二摄像头同时拍摄不同角度的标定板所得的每组图像进行特征点匹配。假设通过第一摄像头在标定板处于某个角度拍摄的图像称为第一图像，那么通过第二摄像头在标定板处于该相同角度同时拍摄的图像称为第二图像。将第一图像和第二图像进行特征点匹配，得到特征点匹配结果。

首先检测标定板中特征点在第一摄像头所拍摄的标定图像中对应的特征点，再第二摄像头所拍摄的标定图像中对应的特征点，再以第一摄像头所拍摄的标定图像中的特征点在第二摄像头所拍摄的标定图像中搜索对应的同名特征点。同名特征点是指对于标定板中的同一特征点，被第一摄像头拍摄所得到的标定图像中与标定板中该特征点对应的第一特征点，被第二摄像头拍摄的标定图像中与标定板中同一特征点对应的第二特征点，该标定板中的该特征点、第一特征点和第二特征点为同名特征点。检测第一摄像头和第二摄像头所拍摄的标定图像中的同名特征点。

若标定板上的图案为棋盘格图案，则检测标定图像中的特征点可包括：采用harris角点检测算子得到图像中角点的初始值；检测标定图像中的边缘信息，对得到的角点进行分组，得到边缘点集合；对选取的边缘点进行曲线拟合，包括全局和局部拟合曲线，求取全局曲线和局部曲线的交点即可得到所求的角点，得到的角点即为标定图像中的特征点。

在一个实施例中，若标定板的图案为椭圆或圆，则检测该标定图像中的特征点包括：采用canny边缘提取椭圆边缘信息，通过椭圆的一般方程和最小二乘法进行拟合得到椭圆的中心点；通过椭圆的中心点坐标表示每个椭圆在图像中的位置，通过椭圆中心点坐标，可以对椭圆中心点进行排序。

分别对第一摄像头和第二摄像头拍摄的标定图像进行特征点提取得到各自标定图像中的特征点。对于第一摄像头的某一角度标定图像中的任一特征点，可在第二摄像头对应该某一角度的标定图像中利用极线约束进行搜索匹配。例如，对于三维空间中的一点p，投影到两个不同的平面l1和l2，投影点分别为p1和p2，p、p1和p2在三维空间内构成一个平面s。s与面l1的交线n1过p1点，称之为对应于p2的极线。极线约束是指同一个点在两幅图像上的映射，已知映射点p1，则映射点p2在相对于p1的极线上。

步骤264，根据特征点匹配的结果进行基于张氏标定法的单目标定，得到单目标定的结果。

张正友针对径向畸变问题提出了一个新的求解摄像机内外参数的方法，即张氏标定法。该方法是介于传统标定和自标定之间的一种方法，它只需要摄像机对某个标定板从不同方向拍摄多幅图像，通过标定板上每个特征点和其像平面的像点件的对应关系，即每一幅图像的单应性矩阵来进行摄像机的标定。具体地，根据特征点匹配的结果计算出单应性矩阵，再根据单应性矩阵分别计算出两个摄像头的内参、外参及畸变参数。

步骤266，根据单目标定的结果进行基于张氏标定法的双目标定，得到双目标定的结果。

根据两个摄像头的内参、外参及畸变参数计算双摄像头模组的外参，双摄像头模组由第一摄像头和第二摄像头构成，双摄像头模组的外参包括第一摄像头和第二摄像头间的旋转矩阵和的平移矩阵。

如图4(a)所示，为在计算机pc端对电子设备的相机进行相机标定的流程图。整个过程都是在pc端的ree环境中和电子设备的ree环境中执行的。pc端控制电子设备(例如是智能手机)的主副摄像头对处于不同角度的标定板拍摄多组图像。然后再将所拍摄的图像传输至pc端，在pc端进行相机标定的整个过程，最后将相机标定结果导入到电子设备的相应位置上进行保存。

如图4(b)所示，为在电子设备的tee环境中进行相机标定的流程图。首先电子设备的两个摄像头分别在ree环境下，拍摄处于不同角度的标定板，得到多组图像；电子设备在tee下读取对应图像，进行预处理等步骤；tee下查找特征点；tee下进行基于张氏标定的单目标定；tee下进行基于张氏标定的双目标定；将标定信息存储在相应的persist分区。标定数据的源数据，中间数据，以及标定结果的信息都在tee这种较为安全的环境中执行，所以不易受到攻击。

本申请实施例中，选用基于张氏标定法进行单目标定，再进行双目标定，由于张氏标定法模板制作容易，使用方便、成本低、鲁棒性好、准确性高，因此可以提高所得出的第一摄像头和第二摄像头间的旋转矩阵和的平移矩阵的准确性。

在一个实施例中，如图5所示，根据特征点匹配的结果进行基于张氏标定法的单目标定，得到单目标定的匹配结果，包括：

步骤264a，根据特征点匹配的结果计算出单应性矩阵；

步骤264b，根据单应性矩阵分别计算出两个摄像头的内参、外参及畸变参数。

通过第一摄像头和第二摄像头同时拍摄不同角度的标定板所得的每组图像进行特征点匹配。就需要找出一种能够在第一摄像头和第二摄像头同时拍摄不同角度的标定板所得的每组图像中，仍然能够保持不变的特征，利用这些不变的特征来找出每组图像中的同一个物体。

为了能够更好的进行图像匹配，需要在每组图像中选择具有代表性的区域，例如：图像中的角点、边缘和一些区块，但在图像识别出角点是最容易，也就是说角点的辨识度是最高的。所以，在很多的计算机视觉处理中，都是提取角点作为特征，对图像进行匹配等。

单摄像头的内参可包括fx、fy、cx、cy，其中，fx表示焦距在图像坐标系x轴方向上单位像元大小，fy表示焦距在图像坐标系y轴方向上单位像元大小，cx、cy表示图像平面的主点坐标，主点是光轴与图像平面的交点。fx＝f/dx，fy＝f/dy，其中，f为单摄像头的焦距，dx表示图像坐标系x轴方向上一个像素的宽度，dy表示图像坐标系y轴方向上一个像素的宽度。图像坐标系是以摄像头拍摄的二维图像为基准建立的坐标系，用于指定物体在拍摄图像中的位置。图像坐标系中的(x,y)坐标系的原点位于摄像头光轴与成像平面的焦点(cx，cy)上，单位为长度单位，即米，像素坐标系中的(u，v)坐标系的原点在图像的左上角，单位为数量单位，即个。(x,y)用于表征物体从摄像头坐标系向图像坐标系的透视投影关系，(u，v)用于表征像素坐标。(x,y)与(u，v)之间的转换关系如公式(1)：

透视投影是指用中心投影法将形体投射到投影面上，从而获得的一种较为接近视觉效果的单面投影图。

单摄像头的外参包括世界坐标系下的坐标转换到摄像头坐标系下的坐标的旋转矩阵和平移矩阵。世界坐标系通过刚体变换到达摄像头坐标系，摄像头坐标系通过透视投影变换到达图像坐标系。刚体变换是指三维空间中，当物体不发生形变时，对一个几何物体做旋转、平移的运动，即为刚体变换。刚体变换如公式(2)。

其中，xc代表摄像头坐标系，x代表世界坐标系，r代表世界坐标系到摄像头坐标系的旋转矩阵，t代表世界坐标系到摄像头坐标系的平移矩阵。世界坐标系原点和摄像头坐标系原点之间的距离受x、y、z三个轴方向上的分量共同控制，具有三个自由度，r为分别绕x、y、z轴旋转的效果之和。tx表示x轴方向的平移量，ty表示y轴方向的平移量，tz表示z轴方向的平移量。

世界坐标系是客观三维空间的绝对坐标系，可以建立在任意位置。例如对于每张标定图像，世界坐标系可以建立在以标定板的左上角角点为原点，以标定板平面为xy平面，z轴垂直标定板平面向上。摄像头坐标系是以摄像头光心为坐标系的原点，以摄像头的光轴作为z轴，x轴、y轴分别平行于图像坐标系的x轴y轴。图像坐标系的主点是光轴与图像平面的交点。图像坐标系以主点为原点。像素坐标系是指原点定义在图像平面的左上角位置。

通过单个摄像头拍摄不同角度的标定板得到标定图像，从标定图像中提取特征点，计算无畸变情况下，单个摄像头的5个内参和2个外参，应用最小二乘法计算得到畸变系数，再通过极大似然法进行优化，得到单个摄像头最终的内参和外参。

首先建立摄像头模型，得到公式(3)。

其中，的齐次坐标表示图像平面的像素坐标(u,v,1)，的齐次坐标表示世界坐标系的坐标点(x,y,z,1)，a表示内参矩阵，r表示世界坐标系转换到摄像头坐标系的旋转矩阵，t表示世界坐标系转换到摄像头坐标系的平移矩阵。

其中，α＝f/dx，β＝f/dy，f为单摄像头的焦距，dx表示图像坐标系x轴方向上一个像素的宽度，dy表示图像坐标系y轴方向上一个像素的宽度。γ代表像素点在x,y方向上尺度的偏差。u0、v0表示图像平面的主点坐标，主点是光轴与图像平面的交点。

将世界坐标系构造在z＝0的平面上，再进行单应性计算，令z＝0则将上述转换为公式(5)。

单应性是指在计算机视觉中被定义为一个平面到另一个平面的投影映射。令h＝a[r1r2t]，h为单应性矩阵。h是一个3*3的矩阵，并且有一个元素作为齐次坐标，因此，h有8个未知量待解。将单应性矩阵写成三个列向量的形式，即h＝[h1h2h3]，从而得到公式(6)。

[h1h2h3]＝λa[r1r2t]公式(6)

对于公式(6)，采用两个约束条件，第一，r1,r2正交，得r1r2＝0，r1,r2分别绕x,y轴旋转。第二，旋转向量的模为1，即|r1|＝|r2|＝1。通过两个约束条件，将r1,r2代换为h1,h2与a的组合进行表达。即r1＝h1a^-1，r2＝h2a^-1。根据两个约束条件，可以得到公式(7)：

令

b为一个对称阵，故b的有效元素为6个，6个元素构成向量b。

b＝[b11,b12,b22,b13,b23,b33]^t

可以计算得到vij＝[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3,hi3hj2+hi2hj3,hi3hj3]^t

利用约束条件得到方程组：

通过至少三幅图像，应用公式(8)估算出b，对b进行分解得到摄像头的内参矩阵a的初始值。

基于内参矩阵计算外参矩阵，得到外参矩阵的初始值。

其中，λ＝1/||a^-1h1||＝1/||a^-1h2||。

摄像头完整几何模型采用公式(10)

其中，公式(10)是将世界坐标系构造在z为0平面上得到的几何模型，x,y为平面标定板上特征点的世界坐标，x,y,z为标定板上特征点在摄像头坐标系的物理坐标。

r为标定板的世界坐标系到摄像头坐标系的旋转矩阵，t为标定板的世界坐标系到摄像头坐标系的平移矩阵。

对标定板上特征点在摄像头坐标系的物理坐标[x,y,z]进行归一化处理，得到目标坐标点(x',y')。

利用畸变模型对摄像头坐标系像点进行畸变变形处理。

利用内参将物理坐标转换为图像坐标。

将内参矩阵的初始值和外参矩阵的初始值导入到极大似然公式得到最终的内参矩阵和外参矩阵。极大似然公式为求取最小值。

本实施例中，上述采用张氏标定法进行计算出双摄像头之间的旋转矩阵和平移矩阵的过程都是在tee环境中进行执行的。因为tee环境是相对于ree环境较安全的软件环境，因此，可以保证整个采用张氏标定法进行计算出双摄像头之间的旋转矩阵和平移矩阵的过程、及在该过程中所产生的数据信息的安全。降低了该过程中数据被攻击和篡改的风险。

在一个实施例中，根据单目标定的结果进行基于张氏标定法的双目标定，得到双目标定的结果，包括：

根据两个摄像头的内参、外参及畸变参数计算双摄像头模组的外参，双摄像头模组由第一摄像头和第二摄像头构成，双摄像头模组的外参包括第一摄像头和第二摄像头间的旋转矩阵和的平移矩阵。

具体地，双摄像头模组包括第一摄像头和第二摄像头。第一摄像头和第二摄像头可均为彩色摄像头，或者一个为黑白摄像头，一个为彩色摄像头，或者两个黑白摄像头。双摄像头标定是指确定双摄像头模组的外参值。双摄像头模组的外参包括双摄像头间的旋转矩阵和双摄像头间的平移矩阵。双摄像头之间的旋转矩阵和平移矩阵可以由公式(14)求取。

其中，r'为双摄像头间的旋转矩阵，t'为双摄像头间的平移矩阵，rr为第一摄像头经过标定得到的相对标定物的旋转矩阵(即标定物在世界坐标系的坐标转换到第一摄像头的摄像头坐标系的坐标的旋转矩阵)，tr为第一摄像头经过标定得到的相对标定物的平移矩阵(即标定物在世界坐标系的坐标转换到第一摄像头的摄像头坐标系的坐标的平移矩阵)。rl为第二摄像头经过标定得到的相对标定物的旋转矩阵(即标定物在世界坐标系的坐标转换到第二摄像头的摄像头坐标系的坐标的旋转矩阵)，tl为第二摄像头经过标定得到的相对标定物的平移矩阵(即标定物在世界坐标系的坐标转换到第二摄像头的摄像头坐标系的坐标的平移矩阵)。

本实施例中，上述采用张氏标定法进行计算出双摄像头之间的旋转矩阵和平移矩阵的过程都是在tee环境中进行执行的。因为tee环境是相对于ree环境较安全的软件环境，因此，可以保证整个采用张氏标定法进行计算出双摄像头之间的旋转矩阵和平移矩阵的过程、及在该过程中所产生的数据信息的安全。降低了该过程中数据被攻击和篡改的风险。

在一个实施例中，安全区域为persist分区。

本实施例中，在上述得到了相机标定结果之后，将相机标定结果通过ree和tee之间的数据通道输出至ree中，并存储在安全区域。其中，安全区域一般是存储空间，例如persist分区。persist分区是用于保存frp(factoryresetprotcect)功能用到帐号、密码等受保护的信息，避免在恢复出厂设置后被清空。即将相机标定结果存储在persist分区，即使在用户对电子设备恢复出厂设置、或进行root之后，也不会清除相机标定结果。这样就保证了电子设备在恢复出厂设置、或进行root之后，也依然不影响根据相机标定结果进行图像处理的功能。

在一个实施例中，如图6所示，在将相机标定结果通过ree和tee之间的数据通道输出至ree中，并存储在安全区域之后，包括：

步骤620，获取相机标定结果；

步骤640，通过ree和tee之间的数据通道将所获取的相机标定结果传输至tee中；

步骤660，在tee中对相机标定结果进行解析，得到解析结果，根据解析结果对拍摄的图像进行处理，得到处理结果；

步骤680，将处理结果通过ree和tee之间的数据通道传输至ree中。

具体地，在上述在tee环境中对相机进行标定之后，生成了相机标定结果，并将相机标定结果存储在了安全区域。通过ree和tee之间的数据通道将所获取的相机标定结果再次传输至tee中。ree和tee这两个环境之间存在特定的数据通道，可以使得满足条件的数据可以在ree和tee这两个环境之间进行传输。在tee环境中对相机标定结果进行解析，得到畸变校正信息和双目标定信息，即旋转和平移信息。

获取拍摄的原始图像，在tee中根据解析结果对拍摄的原始图像进行处理，得到处理结果，将处理结果通过ree和tee之间的数据通道传输至ree中。将根据解析结果对拍摄的原始图像进行处理，得到处理结果的过程也运行在tee环境中，更进一步提高了数据的安全性。例如，对于人脸解锁这样的应用，获取拍摄的人脸的原始图像之后，对相机标定结果进行解析，再根据解析所得的畸变校正信息和双目标定信息对原始图像进行重建及校正的过程，都是在tee环境中执行的。最后，只需要输出人脸解锁的结果即可，例如，解锁成功还是解锁失败。

本实施例中，相机标定的过程是在tee环境中进行的，生成了相机标定结果，并将相机标定结果存储在了安全区域。然后对相机标定结果进行解析及使用的过程也是在tee环境中进行的，所以就可以最大限度的保证了相机标定及使用相机标定结果的整个过程的安全性。

在一个实施例中，如图7所示，提供了一种图像处理装置700包括：标定板图像获取模块710、传输模块720、相机标定模块730及输出存储模块740。其中，

标定板图像获取模块710，用于从ree中获取相机拍摄不同角度的标定板所得的图像；

传输模块720，用于通过ree和tee之间的数据通道将获取的图像传输至tee中；

相机标定模块730，用于在tee中根据获取的图像进行相机标定，得到相机标定结果；

输出存储模块740，用于将相机标定结果通过ree和tee之间的数据通道输出至ree中，并存储在安全区域。

在一个实施例中，标定板图像获取模块710，还用于从ree中获取第一摄像头和第二摄像头同时拍摄不同角度的标定板所得的图像。

在一个实施例中，相机标定模块730，还用于在tee中对获取的图像进行特征点匹配；根据特征点匹配的结果进行基于张氏标定法的单目标定，得到单目标定的结果；根据单目标定的结果进行基于张氏标定法的双目标定，得到双目标定的结果。

在一个实施例中，相机标定模块730，还用于根据特征点匹配的结果计算出单应性矩阵；根据单应性矩阵分别计算出两个摄像头的内参、外参及畸变参数。

在一个实施例中，相机标定模块730，还用于根据两个摄像头的内参、外参及畸变参数计算双摄像头模组的外参，双摄像头模组由第一摄像头和第二摄像头构成，双摄像头模组的外参包括第一摄像头和第二摄像头间的旋转矩阵和的平移矩阵。

在一个实施例中，如图8所示，提供了一种图像处理装置700还包括：相机标定结果获取模块、相机标定结果传输模块、解析模块及图像处理结果传输模块，其中，

相机标定结果获取模块750，用于获取相机标定结果；

相机标定结果传输模块760，用于通过ree和tee之间的数据通道将所获取的相机标定结果传输至tee中；

解析模块770，用于在tee中对相机标定结果进行解析，得到解析结果，根据解析结果对拍摄的图像进行处理，得到处理结果；

图像处理结果传输模块780，用于将处理结果通过ree和tee之间的数据通道传输至ree中。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例所提供的图像处理方法的步骤。

在一个实施例中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例所提供的图像处理方法的步骤。

本申请实施例还提供了一种计算机程序产品，当其在计算机上运行时，使得计算机执行上述各实施例所提供的图像处理方法的步骤。

本申请实施例还提供一种电子设备。该电子设备可以为包括手机、平板电脑、pda(personaldigitalassistant，个人数字助理)、pos(pointofsales，销售终端)、车载电脑、穿戴式设备等任意终端设备，以电子设备为手机为例：上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义isp(imagesignalprocessing，图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图9所示，图像处理电路包括第一isp处理器930、第二isp处理器940和控制逻辑器950。第一摄像头910包括一个或多个第一透镜912和第一图像传感器914。第一图像传感器914可包括色彩滤镜阵列(如bayer滤镜)，第一图像传感器914可获取用第一图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由第一isp处理器930处理的一组图像数据。第二摄像头920包括一个或多个第二透镜922和第二图像传感器924。第二图像传感器924可包括色彩滤镜阵列(如bayer滤镜)，第二图像传感器924可获取用第二图像传感器924的每个成像像素捕捉的光强度和波长信息，并提供可由第二isp处理器940处理的一组图像数据。

第一摄像头910采集的第一图像传输给第一isp处理器930进行处理，第一isp处理器930处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器950，控制逻辑器950可根据统计数据确定第一摄像头910的控制参数，从而第一摄像头99可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一isp处理器930进行处理后可存储至图像存储器960中，第一isp处理器930也可以读取图像存储器960中存储的图像以对进行处理。另外，第一图像经过isp处理器930进行处理后可直接发送至显示器970进行显示，显示器970也可以读取图像存储器960中的图像以进行显示。

其中，第一isp处理器930按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一isp处理器930可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度计算精度进行。

图像存储器960可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括dma(directmemoryaccess，直接直接存储器存取)特征。

当接收到来自第一图像传感器914接口时，第一isp处理器930可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器960，以便在被显示之前进行另外的处理。第一isp处理器930从图像存储器960接收处理数据，并对处理数据进行rgb和ycbcr颜色空间中的图像数据处理。第一isp处理器930处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit，图形处理器)进一步处理。此外，第一isp处理器930的输出还可发送给图像存储器960，且显示器970可从图像存储器960读取图像数据。在一个实施例中，图像存储器960可被配置为实现一个或多个帧缓冲器。

第一isp处理器930确定的统计数据可发送给控制逻辑器950。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜912阴影校正等第一图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头910的控制参数及第一isp处理器930的控制参数。例如，第一摄像头910的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。isp控制参数可包括用于自动白平衡和颜色调整(例如，在rgb处理期间)的增益水平和色彩校正矩阵，以及第一透镜912阴影校正参数。

同样地，第二摄像头920采集的第二图像传输给第二isp处理器940进行处理，第二isp处理器940处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器950，控制逻辑器950可根据统计数据确定第二摄像头920的控制参数，从而第二摄像头920可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二isp处理器940进行处理后可存储至图像存储器960中，第二isp处理器940也可以读取图像存储器960中存储的图像以对进行处理。另外，第二图像经过isp处理器940进行处理后可直接发送至显示器970进行显示，显示器970也可以读取图像存储器960中的图像以进行显示。第二摄像头920和第二isp处理器940也可以实现如第一摄像头910和第一isp处理器930所描述的处理过程。

以下为运用图9中图像处理技术实现图像处理方法的步骤。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)，它用作外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。