一种图像采集设备的数据处理方法、系统及装置与流程
本发明涉及图像数据处理技术领域，具体而言，涉及一种图像采集设备的数据处理方法、系统及装置。
背景技术：
摄像头以及相机等图像采集设备在使用之前，需要首先标定图像采集设备的内外参数，以便于后续使用，其中，图像采集设备的内外参数包括但不限于：图像采集设备的位姿信息、像主点位置信息、焦距以及畸变参数，畸变参数包括畸变中心点位置信息和畸变系数。
相关技术中，图像采集设备的内外参数的标定流程一般为：获得待标定的图像采集设备从不同角度针对棋盘格图卡拍摄图像；检测出各图像中棋盘格图卡角点对应的特征点的图像位置信息；获得棋盘格图卡角点的空间位置信息；基于图像采集设备模型以及棋盘格图卡角点的空间位置信息，将棋盘格图卡角点从世界坐标系转换至待标定的图像采集设备的设备坐标系下，进而转换至图像物理坐标系下，确定棋盘格图卡角点在图像物理坐标系下的投影位置信息，其中，图像位置坐标系下的投影位置信息为未畸变的位置信息。
考虑到图像采集设备所采集图像的畸变，需要基于棋盘格图卡角点在图像物理坐标系下的投影位置信息，将棋盘格图卡角点在图像物理坐标系的投影点转换至各图像对应的图像真实坐标系下，确定棋盘格图卡角点在各图像对应的图像真实坐标系下位置信息，进而，基于棋盘格图卡角点在各图像对应的图像真实坐标系下位置信息，以及各图像中棋盘格图卡角点对应的特征点的图像位置信息，构建距离误差方程，该距离误差方程中待求解的参数为图像采集设备的内外参数。迭代求解距离误差方程，在距离误差方程的值达到最小时，方程参数的解确定为图像采集设备的内外参数的标定值。
在上述内外参数的标定过程中，需要使用未畸变的图像畸变半经作为优化量，以得到包括畸变系数在内的内外参数的标定值，即利用棋盘格图卡角点的真实的空间位置信息转化至图像物理坐标系下所得的未畸变的投影位置信息，转换至图像真实坐标系下的位置信息，结合棋盘格图卡角点对应的特征点的图像位置信息，确定包括畸变参数在内的内外参数的标定值。而在图像采集设备的使用过程中，需要使用畸变后的图像畸变半经作为运算量。上述标定过程所得到的包括畸变参数在内的内外参数的标定值，对产生畸变情况较大的图像采集设备而言，会影响其相应使用过程中计算结果的精度。
因此，如何基于图像采集设备自身的特点对所采集的数据进行更优的处理，以提高参数标定的精度，成为亟待解决的一个技术问题。
技术实现要素：
本发明提供了一种图像采集设备的数据处理方法、系统及装置，以实现得到精度较高的设备内外参数，以提高后续设备使用过程中的计算结果的精度。具体的技术方案如下：
第一方面，本发明实施例提供了一种方法，所述方法包括：
基于第一图像中各特征点的图像位置信息，确定待标定设备的畸变参数的初始值，其中，所述第一图像为：所述待标定设备针对棋盘格图卡以第一采集角度采集的图像；
针对每一第二图像，利用该第二图像中各特征点的图像位置信息以及去畸变操作，确定该第二图像中各特征点在该第二图像对应的图像物理坐标系下的去畸变位置信息，其中，第二图像为所述待标定设备针对棋盘格图卡以第二采集角度采集的图像，不同第二图像对应不同第二采集角度；
基于所述棋盘格图卡中各空间点在预设空间坐标系下的空间位置信息，确定各空间点在各第二图像对应的图像物理坐标系下的投影位置信息，空间点与第二图像中各特征点存在对应关系；
利用各第二图像中各特征点对应的去畸变位置信息、各空间点对应的投影位置信息以及所述畸变参数的初始值，确定所述待标定设备的标定参数的标定值，其中，所述标定参数包括所述畸变参数。
可选的，所述畸变参数包括畸变中心和畸变系数；
所述基于第一图像中各特征点的图像位置信息，确定待标定设备的畸变参数的初始值的步骤，包括：
基于第一图像中各特征点的图像位置信息以及八点算法，确定待标定设备的畸变中心的位置初始值；
基于预设畸变半径拟合算法以及第一图像中各特征点对应的畸变半径比值，确定出所述待标定设备的畸变系数的初始值，其中，畸变半径比值为：所对应第一图像中特征点对应的畸变前半径值与畸变后半径值的比值。
可选的，所述预设畸变半径拟合算法的表达式为：
其中，所述ru表示第一图像中特征点对应的畸变前半径值；所述rd表示第一图像中特征点对应的畸变后半径值；k1、k2、k3、k4、k5以及k6表示畸变系数。
可选的，所述标定参数的标定值包括：所述待标定设备的焦距的标定值；
所述利用各第二图像中各特征点对应的去畸变位置信息、各空间点对应的投影位置信息以及所述畸变参数的初始值，确定所述待标定设备的标定参数的标定值的步骤，包括：
利用各第二图像中各特征点对应的去畸变位置信息、各空间点对应的投影位置信息以及所述畸变参数的初始值，确定所述待标定设备的标定参数的目标值；
将所述待标定设备的标定参数中除所述待标定设备的焦距外的其他标定参数的目标值，确定为其他标定参数的标定值；利用预先构建的焦距修正公式对所述待标定设备的焦距的目标值进行修正，确定所述待标定设备的焦距的标定值。
可选的，在所述利用预先构建的焦距修正公式对所述待标定设备的焦距的标定值进行修正，确定所述待标定设备的焦距的标定值的步骤之前，所述方法还包括：
构建所述焦距修正公式的过程，其中，所述过程包括：
获得测距设备所采集的第一空间点和第二空间点之间的真实距离；
获得各参照采集设备针对所述第一空间点和所述第二空间点所采集的正面图像中、第一空间点对应的第一位置信息和第二空间点对应的第二位置信息；
针对每一参照采集设备，基于该参照采集设备的标定参数的值、该参照采集设备所采集正面图像中第一空间点对应的第一位置信息和第二空间点对应的第二位置信息，以及该参照采集设备采集正面图像时距离所述第一空间点的第一距离以及距离所述第二空间点的第二距离，确定该参照采集设备所对应的第一空间点对应的转换空间位置信息和第二空间点对应的转换空间位置信息，其中，该参照采集设备的标定参数的值包括：该参照采集设备的焦距的标定值；
针对每一参照采集设备，利用该参照采集设备所对应的第一空间点对应的转换空间位置信息和第二空间点对应的转换空间位置信息，确定第一空间点和第二空间点之间的转换距离；
基于所述真实距离以及各参照采集设备对应的第一空间点和第二空间点之间的转换距离，确定所述焦距修正公式。
可选的，所述利用各第二图像中各特征点对应的去畸变位置信息、各空间点对应的投影位置信息以及所述畸变参数的初始值，确定所述待标定设备的标定参数的标定值的步骤，包括：
基于各第二图像中各特征点对应的去畸变位置信息以及各空间点对应的投影位置信息，构建所述待标定设备对应的位置残差方程；
利用非线性最小二乘法，基于所述位置残差方程以及所述畸变参数的初始值，求解所述待标定设备的标定参数的标定值。
可选的，所述第一图像为：所述待标定设备透过中继镜针对棋盘格图卡以第一采集角度采集的图像。
第二方面，本发明实施例提供了一种图像采集设备的数据处理系统，所述系统包括：用于执行本发明实施例所提供的上述任一项所述图像采集设备的数据处理方法的数据处理器，被配置为采集图像的待标定设备以及被配置为放置所述待标定设备，控制所述待标定设备针对棋盘格图卡采集图像时的采集角度的位置调整设备。
第三方面，本发明实施例提供了一种图像采集设备的数据处理装置，所述装置包括：
第一确定模块，被配置为基于第一图像中各特征点的图像位置信息，确定待标定设备的畸变参数的初始值，其中，所述第一图像为：所述待标定设备针对棋盘格图卡以第一采集角度采集的图像；
第二确定模块，被配置为针对每一第二图像，利用该第二图像中各特征点的图像位置信息以及去畸变操作，确定该第二图像中各特征点在该第二图像对应的图像物理坐标系下的去畸变位置信息，其中，第二图像为所述待标定设备针对棋盘格图卡以第二采集角度采集的图像，不同第二图像对应不同第二采集角度；
第三确定模块，被配置为基于所述棋盘格图卡中各空间点在预设空间坐标系下的空间位置信息，确定各空间点在各第二图像对应的图像物理坐标系下的投影位置信息，空间点与第二图像中各特征点存在对应关系；
第四确定模块，被配置为利用各第二图像中各特征点对应的去畸变位置信息、各空间点对应的投影位置信息以及所述畸变参数的初始值，确定所述待标定设备的标定参数的标定值，其中，所述标定参数包括所述畸变参数。
可选的，所述畸变参数包括畸变中心和畸变系数；
所述第一确定模块，被具体配置为基于第一图像中各特征点的图像位置信息以及八点算法，确定待标定设备的畸变中心的位置初始值；
基于预设畸变半径拟合算法以及第一图像中各特征点对应的畸变半径比值，确定出所述待标定设备的畸变系数的初始值，其中，畸变半径比值为：所对应第一图像中特征点对应的畸变前半径值与畸变后半径值的比值。
可选的，所述预设畸变半径拟合算法的表达式为：
其中，所述ru表示第一图像中特征点对应的畸变前半径值；所述rd表示第一图像中特征点对应的畸变后半径值；k1、k2、k3、k4、k5以及k6表示畸变系数。
可选的，所述标定参数的标定值包括：所述待标定设备的焦距的标定值；
所述第四确定模块，被具体配置为利用各第二图像中各特征点对应的去畸变位置信息、各空间点对应的投影位置信息以及所述畸变参数的初始值，确定所述待标定设备的标定参数的目标值；
将所述待标定设备的标定参数中除所述待标定设备的焦距外的其他标定参数的目标值，确定为其他标定参数的标定值；利用预先构建的焦距修正公式对所述待标定设备的焦距的目标值进行修正，确定所述待标定设备的焦距的标定值。
可选的，所述装置还包括：
构建模块，被配置为在所述利用预先构建的焦距修正公式对所述待标定设备的焦距的标定值进行修正，确定所述待标定设备的焦距的标定值之前，构建所述焦距修正公式，其中，所述构建模块，被具体配置为获得测距设备所采集的第一空间点和第二空间点之间的真实距离；
获得各参照采集设备针对所述第一空间点和所述第二空间点所采集的正面图像中、第一空间点对应的第一位置信息和第二空间点对应的第二位置信息；
针对每一参照采集设备，基于该参照采集设备的标定参数的值、该参照采集设备所采集正面图像中第一空间点对应的第一位置信息和第二空间点对应的第二位置信息，以及该参照采集设备采集正面图像时距离所述第一空间点的第一距离以及距离所述第二空间点的第二距离，确定该参照采集设备所对应的第一空间点对应的转换空间位置信息和第二空间点对应的转换空间位置信息，其中，该参照采集设备的标定参数的值包括：该参照采集设备的焦距的标定值；
针对每一参照采集设备，利用该参照采集设备所对应的第一空间点对应的转换空间位置信息和第二空间点对应的转换空间位置信息，确定第一空间点和第二空间点之间的转换距离；
基于所述真实距离以及各参照采集设备对应的第一空间点和第二空间点之间的转换距离，确定所述焦距修正公式。
可选的，所述第四确定模块，被具体配置为基于各第二图像中各特征点对应的去畸变位置信息以及各空间点对应的投影位置信息，构建所述待标定设备对应的位置残差方程；
利用非线性最小二乘法，基于所述位置残差方程以及所述畸变参数的初始值，求解所述待标定设备的标定参数的标定值。
可选的，所述第一图像为：所述待标定设备透过中继镜针对棋盘格图卡以第一采集角度采集的图像。
由上述内容可知，本发明实施例提供的一种图像采集设备的数据处理方法、系统及装置，基于第一图像中各特征点的图像位置信息，确定待标定设备的畸变参数的初始值，其中，第一图像为：所述待标定设备针对棋盘格图卡以第一采集角度采集的图像；针对每一第二图像，利用该第二图像中各特征点的图像位置信息以及去畸变操作，确定该第二图像中各特征点在该第二图像对应的图像物理坐标系下的去畸变位置信息，其中，第二图像为待标定设备针对棋盘格图卡以第二采集角度采集的图像，不同第二图像对应不同第二采集角度；基于棋盘格图卡中各空间点在预设空间坐标系下的空间位置信息，确定各空间点在各第二图像对应的图像物理坐标系下的投影位置信息，空间点与第二图像中各特征点存在对应关系；利用各第二图像中各特征点对应的去畸变位置信息、各空间点对应的投影位置信息以及畸变参数的初始值，确定待标定设备的标定参数的标定值，其中，标定参数包括畸变参数。
应用本发明实施例，可以自动确定待标定设备的畸变参数的初始值，保证所确定畸变参数的初始值的准确性，并在确定包括待标定设备的畸变参数的标定参数过程中，同时考虑并应用到了畸变后的图像畸变半经，即将第二图像中各特征点的存在畸变的图像位置信息，转换为不存在畸变的在该第二图像对应的图像物理坐标系下的去畸变位置信息；且考虑并应用到了未畸变的图像畸变半径，即基于棋盘格图卡中的第二图像中各特征点所对应空间点的空间位置信息，转换为各第二图像对应的图像物理坐标系下的投影位置信息，以结合上述三者更新迭代得到精度较高的包括畸变参数的标定参数的标定值，即图像采集设备的设备内外参数，以提高后续待标定设备使用过程中的计算结果的精度。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、可以自动确定待标定设备的畸变参数的初始值，保证所确定畸变参数的初始值的准确性，并在确定包括待标定设备的畸变参数的标定参数过程中，同时考虑并应用到了畸变后的图像畸变半经，即将第二图像中各特征点的存在畸变的图像位置信息，转换为不存在畸变的在该第二图像对应的图像物理坐标系下的去畸变位置信息；且考虑并应用到了未畸变的图像畸变半径，即基于棋盘格图卡中的第二图像中各特征点所对应空间点的空间位置信息，转换为各第二图像对应的图像物理坐标系下的投影位置信息，以结合上述三者更新迭代得到精度较高的包括畸变参数的标定参数的标定值，即图像采集设备的设备内外参数，以提高后续待标定设备使用过程中的计算结果的精度。
2、利用更多维的预设畸变半经拟合算法，确定待标定设备的畸变系数的初始值，以实现对畸变程度较大的图像采集设备的畸变参数的准确确定，为后续的标定参数的标定值的准确确定提供基础。
3、利用可以表征所标定焦距与真实焦距之间的修正关系的预先构建的焦距修正公式，对更符合标定过程中焦距标定算法的焦距的目标值进行修正，得到更符合实际的焦距的标定值。
4、提供预先构建的焦距修正公式的构建方式，即提供求解预先构建的焦距修正公式的参数的过程，为后续的待标定设备的焦距的值的准确确定提供基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像采集设备的数据处理方法的一种流程示意图；
图2为本发明实施例提供的焦距修正公式构建过程的一种流程示意图；
图3为本发明实施例提供的图像采集设备的数据处理系统的一种结构示意图；
图4为本发明实施例提供的图像采集设备的数据处理装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种图像采集设备的数据处理方法、系统及装置，以实现得到精度较高的设备内外参数，以提高后续设备使用过程中的计算结果的精度。下面对本发明实施例进行详细说明。
本发明实施例的描述中，术语“待标定设备”指需要标定参数的图像采集设备，其所需要标定的参数包括图像采集设备在预设空间坐标系下的位置信息和姿态信息即外参参数，以及像主点位置信息、焦距以及畸变参数等内参参数，其中，畸变参数包括：图像采集设备的畸变中心的位置信息和畸变系数。
本发明实施例的描述中，术语“预设空间坐标系”指以空间中某一固定点为坐标原点所构建的空间直角坐标系，或者指世界坐标系。
本发明实施例的描述中，术语“第一图像”指待标定设备针对棋盘格图卡以第一采集角度采集的图像，第一采集角度为正对棋盘格图卡的角度。其中，理论上，正对棋盘格图卡可以指：待标定设备的光轴垂直于棋盘格图卡，其光轴的延长线经过棋盘格图卡的中心。
本发明实施例的描述中，术语“第二图像”指待标定设备针对棋盘格图卡以不同的第二采集角度采集的图像。第二采集角度的设置需要满足预设图像采集角度规则，该预设图像采集角度规则是基于待标定设备的实际使用场景所设置的。第二采集角度的个数可以为9个，相应的，第二图像的个数为9个。以正对棋盘格图卡为标准角度，在该标准角度的基础上，第二采集角度包括在水平方向上倾斜的角度以及在垂直方向上倾斜的角度，具体的可以分别为：(0°36°)、(0°41°)、(0°50°)、(-25°36°)、(-25°41°)、(-25°50°)、(25°36°)、(25°41°)以及(25°50°)。
本发明实施例的描述中，术语“特征点”指：棋盘格图卡上的角点在待标定设备所采集图像上的成像点，即第一图像中的特征点指的是棋盘格格图卡上的角点在第一图像上对应的成像点；第二图像中的特征点指的是棋盘格格图卡上的角点在该第二图像上对应的成像点。
本发明实施例的描述中，术语“去畸变位置信息”指对第二图像中各特征点的图像位置信息进行去畸变操作后所得到的、不存在畸变的二维位置信息，包括第二图像中特征点的不存在畸变的横轴位置坐标值和纵轴位置坐标值。
本发明实施例的描述中，术语“图像真实坐标系”指待标定设备的成像平面对应的存在畸变的二维坐标系，其中的特征点对应的二维位置信息为存在畸变的二维位置信息，即从第一图像或第二图像中所检测出的特征点的图像位置信息。
本发明实施例的描述中，术语“图像物理坐标系”指待标定设备的成像平面对应的不存在畸变的二维坐标系，其中的特征点对应的二维位置信息为不存在畸变的二维位置信息，例如：第二图像中特征点对应的去畸变位置信息。待标定设备的图像物理坐标系与图像真实坐标系之间可以通过待标定设备的畸变参数进行相互转换。
图1为本发明实施例提供的图像采集设备的数据处理方法的一种流程示意图。该方法可以包括如下步骤s101-s104：
s101：基于第一图像中各特征点的图像位置信息，确定待标定设备的畸变参数的初始值。
其中，第一图像为：待标定设备针对棋盘格图卡以第一采集角度采集的图像。
本发明实施例所提供的图像采集设备的数据处理方法，可以应用于任一具有计算能力的数据处理器，该数据处理器可以为cpu（centralprocessingunit/processor，中央处理器）、gpu（graphicsprocessingunit、图形处理器）以及fpga（field-programmablegatearray，现场可编程门阵列）等可以任一可以实现数据运算的处理器。该数据处理器可以设置于任一类型的电子设备中，该电子设备可以为终端也可以为服务器。在一种实现中，实现该方法的功能软件可以以单独的客户端软件的形式存在，也可以以目前相关的客户端软件的插件的形式存在，这都是可以的。
数据处理器可以首先获得待标定设备针对棋盘格图卡以第一采集角度所采集的图像，作为第一图像，并利用预设特征点检测算法对第一图像进行特征点检测，确定第一图像中的各特征点及其图像位置信息。进而，基于第一图像中各特征点的图像位置信息，确定待标定设备的畸变参数的初始值。
其中，待标定设备可以为车载摄像头等图像采集设备。在一种情况中，该车载摄像头为广角摄像头，如为adas（advanceddriverassistantsystem，高级驾驶辅助系统）摄像头。广角摄像头所采集图像的畸变程度较大。
该预设特征点检测算法可以包括但不限于：基于susa（smallestunivaluesegmentassimilatingnucleus）算子的特征点检测算法、基于fast(featuresfromacceleratedsegmenttest)的特征点检测算法、随机抽样一致算法（randomsampleconsensus,ransac）以及harris角点检测算法等。
第一图像中各特征点可以是棋盘格图卡中的各角点对应的特征点。
在一种实现方式中，可以采用相关技术中任一畸变参数初始值的确定算法，基于第一图像中各特征点的图像位置信息，确定待标定设备的畸变参数的初始值。
在另一种实现方式中，该畸变参数包括畸变中心和畸变系数；
所述s101，可以包括如下步骤011-012：
011：基于第一图像中各特征点的图像位置信息以及八点算法，确定待标定设备的畸变中心的位置初始值。
012：基于预设畸变半径拟合算法以及第一图像中各特征点对应的畸变半径比值，确定出待标定设备的畸变系数的初始值。
其中，畸变半径比值为：所对应第一图像中特征点对应的畸变前半径值与畸变后半径值的比值。
本实现方式中，数据处理器基于第一图像中各特征点的图像位置信息以及八点算法，确定待标定设备的畸变中心的位置初始值，即确定出待标定设备的畸变中心在图像物理坐标系下的位置信息，作为位置初始值。并获得第一图像中各特征点对应的畸变半径比值，其中，该畸变半径比值为：所对应的第一图像中的特征点对应的畸变前半径值与畸变后半径值的比值。第一图像中各特征点对应的畸变半径比值可以直接通过相关技术中畸变半径比值确定方式获得。
数据处理器基于所获得的第一图像中各特征点对应的畸变半径比值以及预设畸变半径拟合算法，确定出待标定设备的畸变系数的初始值。其中，该预设畸变半径拟合算法可以为多维的预设多项式拟合算法。一种实现中，预设畸变半径拟合算法的表达式为：
其中，该ru表示第一图像中特征点对应的畸变前半径值；该rd表示第一图像中特征点对应的畸变后半径值；k1、k2、k3、k4、k5以及k6表示畸变系数。
在本发明的一种实现方式中，第一图像为：待标定设备透过中继镜针对棋盘格图卡以第一采集角度采集的图像。
本实现方式中，待标定设备开始针对棋盘格图卡采集图像后，棋盘格图卡的位置固定。一种情况中，为了保证后续的标定结果的准确性，可以进行一系列准备工作，相应的，将待标定设备放置于预设的用于辅助待标定设备采集图像的辅助设备上，如单张标定设备。将待标定设备放置于辅助设备上后，在待标定设备的镜头前面放置中继镜，该中继镜用于缩短待标定设备的图像采集距离，以使得待标定设备透过中继镜可以针对距离较近的目标采集到清晰的图像。
上述准备工作就绪后，待标定设备透过中继镜针对棋盘格图卡以第一采集角度采集图像，并发送至数据处理器，数据处理器获得该图像，作为第一图像。一种情况中，该第一采集角度为正对棋盘格图卡的角度，即在预设误差允许范围内，待标定设备的光轴垂直于棋盘格图卡，且经过棋盘格图卡的中心。其中，棋盘格图卡为矩形。
s102：针对每一第二图像，利用该第二图像中各特征点的图像位置信息以及去畸变操作，确定该第二图像中各特征点在该第二图像对应的图像物理坐标系下的去畸变位置信息。
其中，第二图像为待标定设备针对棋盘格图卡以第二采集角度采集的图像，不同第二图像对应不同第二采集角度。
在一种实现方式中，数据处理器确定出待标定设备的畸变参数的初始值之后，可以将待标定设备的位置调整至辅助设备的预设加持位置。以使得待标定设备在预设加持位置处采集图像。在一种情况中，辅助设备可以手动控制、自动控制或被动控制处于预设加持位置处的待标定设备转换图像采集角度，其中，被动控制可由数据处理器控制，即在获得数据处理器的角度转换指令后可进行图像采集角度的转换；自动控制可以是辅助设备自身生成角度转换指令并自动基于自身生成的角度转换指令进行图像采集角度的转换。相应的，待标定设备在相应的采集角度即第二采集角度下针对棋盘格图片采集图像，并发送至数据处理器，数据处理器获得待标定设备针对棋盘格图卡以第二采集角度采集的图像，作为不同第二采集角度对应的第二图像。
在一种情况中，上述第二采集角度可以是预先设置的角度。第二采集角度的设置需要满足预设图像采集角度规则，该预设图像采集角度规则是基于待标定设备的实际使用场景所设置的。
第二采集角度的个数可以为9个，相应的，第二图像的个数为9个。以正对棋盘格图卡为标准角度，在该标准角度的基础上，第二采集角度包括在水平方向上倾斜的角度以及在垂直方向上倾斜的角度，具体的可以分别为：(0°36°)、(0°41°)、(0°50°)、(-25°36°)、(-25°41°)、(-25°50°)、(25°36°)、(25°41°)以及(25°50°)
数据处理器获得各第二图像之后，针对每一第二图像，利用预设特征点检测算法，对该第二图像进行特征点检测，确定出第二图像中各特征点及其图像位置信息。进而，针对每一第二图像，利用该第二图像中各特征点的图像位置信息以及去畸变操作，将该第二图像中各特征点从其所在的存在畸变的图像真实坐标系下，转换至该第二图像对应的不存在畸变的图像物理坐标系下，确定出该第二图像中各特征点在该第二图像对应的图像物理坐标系下的去畸变位置信息。具体的，可以利用该第二图像中各特征点的图像位置信息以及待标定设备的畸变参数即畸变中心和畸变系数，确定该第二图像中各特征点在该第二图像对应的图像物理坐标系下的去畸变位置信息。
其中，第二图像中各特征点为棋盘格图卡中角点对应的特征点。
s103：基于棋盘格图卡中各空间点在预设空间坐标系下的空间位置信息，确定各空间点在各第二图像对应的图像物理坐标系下的投影位置信息，空间点与第二图像中各特征点存在对应关系。
本步骤中，数据处理器可以获得棋盘格图卡中各空间点即各角点在预设空间坐标系下的空间位置信息。进而，针对每一第二图像，利用预设空间坐标系与待标定设备对应的设备坐标系之间的转换关系，以及棋盘格图卡中各空间点在预设空间坐标系下的空间位置信息，将棋盘格图卡中各空间点从预设空间坐标系转换至设备坐标系下，确定出各空间点在设备坐标系下的位置信息；进而利用待标定设备的内参矩阵，以及各空间点在设备坐标系下的位置信息，将各空间点从设备坐标系转换至该第二图像对应的图像物理坐标系下，以确定出各空间点在各第二图像对应的图像物理坐标系下的投影位置信息。在一种情况中，该预设空间坐标系可以为世界坐标系。
其中，预设空间坐标系与待标定设备对应的设备坐标系之间的转换关系包括旋转矩阵和平移矩阵，即预设空间坐标系可以通过旋转和平移的方式，与第二图像对应的图像物理坐标系重合。其中，基于预设空间坐标系以及预设空间坐标系与待标定设备对应的设备坐标系之间的转换关系，可以确定待标定设备的位姿信息。
待标定设备的内参矩阵，通过待标定设备的标定参数中除待标定设备的位姿信息以及畸变参数外的其他参数确定。
其中，确定各空间点在设备坐标系下的位置信息的过程，可以通过如下公式（2），表示：
其中，
确定各空间点在第二图像对应的图像物理坐标系下的投影位置信息的过程，可以通过如下公式（3）表示：
其中，
s104：利用各第二图像中各特征点对应的去畸变位置信息、各空间点对应的投影位置信息以及畸变参数的初始值，确定待标定设备的标定参数的标定值。
其中，标定参数包括畸变参数。标定参数包括但不限于：待标定图像采集设备的位姿信息、像主点位置信息、焦距以及畸变参数，畸变参数包括畸变中心的位置信息和畸变系数。
数据处理器确定出各空间点在各第二图像对应的图像物理坐标系下的投影位置信息，以及第二图像中各特征点在第二图像对应的图像物理坐标系下的去畸变位置信息之后，针对每一第二图像中各特征点，基于该第二图像中该特征点的去畸变位置信息，以及与该特征点存在对应关系的空间点在该第二图像对应的图像物理坐标系下的投影位置信息，计算该特征点与其所对应的空间点的投影点之间对应的距离残差，基于各第二图像中各特征点与其对应的空间点的投影点之间对应的距离残差，构建残差方程，即后续提到的待标定设备对应的位置残差方程。
进而，将畸变参数的初始值作为初始值，代入该位置残差方程中，利用非线性最小二乘法，求解该位置残差方程，得到使得该位置残差方程的值达到最小时，迭代参数即标定参数的当前值；进而基于标定参数的当前值，确定标定参数的标定值。
相应的，在一种实现方式中，所述s104，可以包括如下步骤021-022：
021：基于各第二图像中各特征点对应的去畸变位置信息以及各空间点对应的投影位置信息，构建所述待标定设备对应的位置残差方程。
022：利用非线性最小二乘法，基于位置残差方程以及畸变参数的初始值，求解待标定设备的标定参数的标定值。
应用本发明实施例，可以自动确定待标定设备的畸变参数的初始值，保证所确定畸变参数的初始值的准确性，并在确定包括待标定设备的畸变参数的标定参数过程中，同时考虑并应用到了畸变后的图像畸变半经，即将第二图像中各特征点的存在畸变的图像位置信息，转换为不存在畸变的在该第二图像对应的图像物理坐标系下的去畸变位置信息；且考虑并应用到了未畸变的图像畸变半径，即基于棋盘格图卡中的第二图像中各特征点所对应空间点的空间位置信息，转换为各第二图像对应的图像物理坐标系下的投影位置信息，以结合上述三者更新迭代得到精度较高的包括畸变参数的标定参数的标定值，即图像采集设备的设备内外参数，以提高后续待标定设备使用过程中的计算结果的精度。
在本发明的另一实施例中，标定参数的标定值包括：待标定设备的焦距的标定值；
所述s104，可以包括如下步骤031-033：
031：利用各第二图像中各特征点对应的去畸变位置信息、各空间点对应的投影位置信息以及畸变参数的初始值，确定待标定设备的标定参数的目标值。
032：将待标定设备的标定参数中除待标定设备的焦距外的其他标定参数的目标值，确定为其他标定参数的标定值。
033：利用预先构建的焦距修正公式对待标定设备的焦距的目标值进行修正，确定待标定设备的焦距的标定值。
本实现方式中，考虑到在标定过程中，所确定出的待标定设备的焦距的值为更符合在标定过程中焦距标定算法即模型的值，其精度更偏向于焦距标定算法即模型的构建的准确性，而在一定程度上欠缺实际应用的准确性。鉴于此，数据处理器利用各第二图像中各特征点对应的去畸变位置信息、各空间点对应的投影位置信息以及畸变参数的初始值，求解确定出待标定设备的标定参数的目标值。进而，利用预先构建的焦距修正公式，对待标定设备的焦距的目标值进行修正，确定待标定设备的焦距的标定值，以得到更符合实际应用精度的焦距的标定值。将待标定设备的标定参数中除待标定设备的焦距外的其他标定参数的目标值，确定为其他标定参数的标定值。
其中，该预先构建的焦距修正公式中的各参数为：利用基于本发明实施例所提供的图像采集设备的数据处理流程所标定的焦距的标定值，以及目标实际测量参数值所确定。
相应的，在本发明的另一实施例中，在所述s104之前，所述方法还可以包括：
构建焦距修正公式的过程，其中，如图2所示，所述过程可以包括如下步骤：
s201：获得测距设备所采集的第一空间点和第二空间点之间的真实距离。
s202：获得各参照采集设备针对第一空间点和所述第二空间点所采集的正面图像中、第一空间点对应的第一位置信息和第二空间点对应的第二位置信息。
s203：针对每一参照采集设备，基于该参照采集设备的标定参数的值、该参照采集设备所采集正面图像中第一空间点对应的第一位置信息和第二空间点对应的第二位置信息，以及该参照采集设备采集正面图像时距离第一空间点的第一距离以及距离第二空间点的第二距离，确定该参照采集设备所对应的第一空间点对应的转换空间位置信息和第二空间点对应的转换空间位置信息。
其中，该参照采集设备的标定参数的值包括：该参照采集设备的焦距的标定值。
s204：针对每一参照采集设备，利用该参照采集设备所对应的第一空间点对应的转换空间位置信息和第二空间点对应的转换空间位置信息，确定第一空间点和第二空间点之间的转换距离。
s205：基于真实距离以及各参照采集设备对应的第一空间点和第二空间点之间的转换距离，确定焦距修正公式。
本实现方式中，可以实现利用测距设备，例如激光测距设备测量空间中两点即第一空间点和第二空间点之间的距离，作为第一空间点和第二空间点之间的真实距离，并发送至数据处理器，以使得数据处理器获得第一空间点和第二空间点之间的真实距离。利用各参照采集设备针对第一空间点和第二空间点采集图像，作为正面图像，该图像对应的采集角度为正对第一空间点和第二空间点，即各参照采集设备的光轴垂直于第一空间点和第二空间点的连线，且与连线相较于该连线的中点。
在一种情况中，该第一空间点和第二空间点为预设标准图卡上的两点，上述图像对应的采集角度为正对第一空间点和第二空间点，可以是：各参照采集设备的光轴垂直于该预设标准图卡，且与第一空间点和第二空间点的连线相较于该连线的中点。
在一种情况中，该各参照采集设备为图像采集设备。其中，为了保证所标定的各标定参数的准确性，该各参照采集设备可以为与待标定设备为同类型的图像采集设备。
后续的，数据处理器获得各参照采集设备针对第一空间点和第二空间点采集的正面图像，并检测出各参照采集设备的正面图像中第一空间点对应的成像点的位置信息，作为第一空间点对应的第一位置信息；以及第二空间点对应的成像点的位置信息，作为第二空间点对应的第二位置信息。
数据处理器针对每一参照采集设备，利用测距设备采集得到参照采集设备针对第一空间点和第二空间点采集正面图像时，距离第一空间点的距离，作为第一距离，以及距离第二空间点的距离，作为第二距离。并获得预先利用本发明实施例所提供的图像采集设备的数据处理流程，针对每一参照采集设备所确定的其标定参数的值。
针对每一参照采集设备，利用该参照采集设备的标定参数中畸变参数和像主点位置信息及焦距的值，该参照采集设备所采集正面图像中第一空间点对应的第一位置信息，以及该参照采集设备采集正面图像时距离第一空间点的第一距离，确定第一空间点在该参照采集设备对应的坐标系下的第一空间位置信息；进而，利用该第一空间位置信息以及该参照采集设备的标定参数中的在预设空间坐标系下的位姿信息，确定第一空间点对应的在预设空间坐标系下的转换空间位置信息。相应的，针对每一参照采集设备，利用该参照采集设备的标定参数中畸变参数和像主点位置信息及焦距的值，该参照采集设备所采集正面图像中第二空间点对应的第二位置信息，以及该参照采集设备采集正面图像时距离第二空间点的第二距离，确定第二空间点在该参照采集设备对应的坐标系下的第二空间位置信息；进而，利用该第三空间位置信息以及该参照采集设备的标定参数中的在预设空间坐标系下的位姿信息，确定第二空间点对应的在预设空间坐标系下的转换空间位置信息。
针对每一参照采集设备，利用该参照采集设备所对应的第一空间点对应的转换空间位置信息和第二空间点对应的转换空间位置信息，确定第一空间点和第二空间点之间的转换距离；进而，基于真实距离以及各参照采集设备对应的第一空间点和第二空间点之间的转换距离，构建真实距离与转换距离之间的残差方程；将各参照采集设备的标定参数中焦距的值作为初始值，迭代入真实距离与转换距离之间的残差方程；并利用最小二乘法，优化残差方程的方程值，直至残差方程的方程值达到最小，确定此时各参照采集设备的焦距的当前值，作为各参照采集设备的焦距的修正后的值；进而，利用各参照采集设备的焦距的修正后的值，以及各参照采集设备的标定参数中焦距的值，通过多项式拟合算法，拟合得到焦距修正公式的系数，确定得到该焦距修正公式。
在一种情况中，焦距修正公式的表达式，可以通过如下公式（4）表示：
efl=k1*f+b；（4）
其中，efl表示焦距的修正后的值，efl表示标定参数中焦距的值，即标定值，k1和b为焦距修正公式的系数，利用各参照采集设备的焦距的修正后的值，以及各参照采集设备的标定参数中焦距的值，通过多项式拟合算法拟合得到。
相应于上述方法实施例，本发明实施例提供了一种图像采集设备的数据处理系统，如图3所示，该图像采集设备的数据处理系统包括：用于执行上述方法实施例所述的图像采集设备的数据处理方法的数据处理器310，被配置为采集图像的待标定设备320以及被配置为放置所述待标定设备，控制所述待标定设备针对棋盘格图卡采集图像时的采集角度的位置调整设备330。
应用本发明实施例，数据处理器可以自动确定待标定设备的畸变参数的初始值，保证所确定畸变参数的初始值的准确性，并在确定包括待标定设备的畸变参数的标定参数过程中，同时考虑并应用到了畸变后的图像畸变半经，即将第二图像中各特征点的存在畸变的图像位置信息，转换为不存在畸变的在该第二图像对应的图像物理坐标系下的去畸变位置信息；且考虑并应用到了未畸变的图像畸变半径，即基于棋盘格图卡中的第二图像中各特征点所对应空间点的空间位置信息，转换为各第二图像对应的图像物理坐标系下的投影位置信息，以结合上述三者更新迭代得到精度较高的包括畸变参数的标定参数的标定值，即图像采集设备的设备内外参数，以提高后续待标定设备使用过程中的计算结果的精度。
在一种实现方式中，该位置调整设备330可以为上述所述的单张标定设备。
相应于上述方法实施例，本发明实施例提供了一种图像采集设备的数据处理装置，如图4所示，所述装置可以包括：
第一确定模块410，被配置为基于第一图像中各特征点的图像位置信息，确定待标定设备的畸变参数的初始值，其中，所述第一图像为：所述待标定设备针对棋盘格图卡以第一采集角度采集的图像；
第二确定模块420，被配置为针对每一第二图像，利用该第二图像中各特征点的图像位置信息以及去畸变操作，确定该第二图像中各特征点在该第二图像对应的图像物理坐标系下的去畸变位置信息，其中，第二图像为所述待标定设备针对棋盘格图卡以第二采集角度采集的图像，不同第二图像对应不同第二采集角度；
第三确定模块430，被配置为基于所述棋盘格图卡中各空间点在预设空间坐标系下的空间位置信息，确定各空间点在各第二图像对应的图像物理坐标系下的投影位置信息，空间点与第二图像中各特征点存在对应关系；
第四确定模块440，被配置为利用各第二图像中各特征点对应的去畸变位置信息、各空间点对应的投影位置信息以及所述畸变参数的初始值，确定所述待标定设备的标定参数的标定值，其中，所述标定参数包括所述畸变参数。
应用本发明实施例，可以自动确定待标定设备的畸变参数的初始值，保证所确定畸变参数的初始值的准确性，并在确定包括待标定设备的畸变参数的标定参数过程中，同时考虑并应用到了畸变后的图像畸变半经，即将第二图像中各特征点的存在畸变的图像位置信息，转换为不存在畸变的在该第二图像对应的图像物理坐标系下的去畸变位置信息；且考虑并应用到了未畸变的图像畸变半径，即基于棋盘格图卡中的第二图像中各特征点所对应空间点的空间位置信息，转换为各第二图像对应的图像物理坐标系下的投影位置信息，以结合上述三者更新迭代得到精度较高的包括畸变参数的标定参数的标定值，即图像采集设备的设备内外参数，以提高后续待标定设备使用过程中的计算结果的精度。
在本发明的另一实施例中，所述畸变参数包括畸变中心和畸变系数；
所述第一确定模块410，被具体配置为基于第一图像中各特征点的图像位置信息以及八点算法，确定待标定设备的畸变中心的位置初始值；
基于预设畸变半径拟合算法以及第一图像中各特征点对应的畸变半径比值，确定出所述待标定设备的畸变系数的初始值，其中，畸变半径比值为：所对应第一图像中特征点对应的畸变前半径值与畸变后半径值的比值。
在本发明的另一实施例中，所述预设畸变半径拟合算法的表达式为：
其中，所述ru表示第一图像中特征点对应的畸变前半径值；所述rd表示第一图像中特征点对应的畸变后半径值；k1、k2、k3、k4、k5以及k6表示畸变系数。
在本发明的另一实施例中，所述标定参数的标定值包括：所述待标定设备的焦距的标定值；
所述第四确定模块440，被具体配置为利用各第二图像中各特征点对应的去畸变位置信息、各空间点对应的投影位置信息以及所述畸变参数的初始值，确定所述待标定设备的标定参数的目标值；
将所述待标定设备的标定参数中除所述待标定设备的焦距外的其他标定参数的目标值，确定为其他标定参数的标定值；利用预先构建的焦距修正公式对所述待标定设备的焦距的目标值进行修正，确定所述待标定设备的焦距的标定值。
在本发明的另一实施例中，所述装置还包括：
构建模块（图中未示出），被配置为在所述利用预先构建的焦距修正公式对所述待标定设备的焦距的标定值进行修正，确定所述待标定设备的焦距的标定值之前，构建所述焦距修正公式，其中，所述构建模块，被具体配置为获得测距设备所采集的第一空间点和第二空间点之间的真实距离；
获得各参照采集设备针对所述第一空间点和所述第二空间点所采集的正面图像中、第一空间点对应的第一位置信息和第二空间点对应的第二位置信息；
针对每一参照采集设备，基于该参照采集设备的标定参数的值、该参照采集设备所采集正面图像中第一空间点对应的第一位置信息和第二空间点对应的第二位置信息，以及该参照采集设备采集正面图像时距离所述第一空间点的第一距离以及距离所述第二空间点的第二距离，确定该参照采集设备所对应的第一空间点对应的转换空间位置信息和第二空间点对应的转换空间位置信息，其中，该参照采集设备的标定参数的值包括：该参照采集设备的焦距的标定值；
针对每一参照采集设备，利用该参照采集设备所对应的第一空间点对应的转换空间位置信息和第二空间点对应的转换空间位置信息，确定第一空间点和第二空间点之间的转换距离；
基于所述真实距离以及各参照采集设备对应的第一空间点和第二空间点之间的转换距离，确定所述焦距修正公式。
在本发明的另一实施例中，所述第四确定模块440，被具体配置为基于各第二图像中各特征点对应的去畸变位置信息以及各空间点对应的投影位置信息，构建所述待标定设备对应的位置残差方程；
利用非线性最小二乘法，基于所述位置残差方程以及所述畸变参数的初始值，求解所述待标定设备的标定参数的标定值。
在本发明的另一实施例中，所述第一图像为：所述待标定设备透过中继镜针对棋盘格图卡以第一采集角度采集的图像。
上述系统、装置实施例与系统实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
- 还没有人留言评论。精彩留言会获得点赞！