一种基于相机透视变换的卡口车辆检索方法
【技术领域】
[0001] 本发明涉及一种基于相机透视变换的卡口车辆检索方法。
【背景技术】
[0002] 目前具备实用价值的车辆检索技术，大多应用在道路卡口上，究其原因，主要是卡 口相机的安装具备规范性，从而保证了抓拍到的车辆都是车头图像，且视角处于一定范围 内。
[0003] 但即便如此，由于相机安装误差，车道差异性，车辆行驶方向不同等因素，不同卡 口间的车辆图像，仍旧有较大的视角差异性，从而导致了后续的车辆检索，都是基于一定视 角误差，这也是车辆检索技术中对性能影响最大的因素。
[0004] 针对该问题，现有技术很少有直接解决的方案，大多是在车辆特征提取上，尽可能 的去提高误差容忍性，例如 "201310233908. 2"、"201310476490. 8"、"201310656833. 9"、 "201310714749. 8" 等专利。
[0005] 只有极少数专利，例如"201510081237. 1"，对视角问题有针对性的处理，但该专利 采用的是最简单暴力的多模型方法，实际使用时，同一辆车不大会有机会来建立多视角的 模型，另一方面，多模型也会大幅提高数据存储量，对于一个小型城市每天上千万张的卡口 图片，若用多模型来存储特征数据，硬件成本会大幅提高。
【发明内容】
[0006] 本发明针对现有技术的不足，提供了一种基于相机透视变换的卡口车辆检索方 法。
[0007] 本发明解决技术问题所采取的技术方案为：
[0008] 步骤1.对卡口车辆图像进行特征点定位，主要包括前挡风玻璃的四个角，前引擎 盖的四个角，车头灯，车标，车牌，前轮胎等。
[0009] 步骤2.利用车辆特征点本身的先验知识，比如前挡风玻璃的四个角是位于同一 平面，前引擎盖的四个角位于同一平面等，建立透视变换的参考平面及透视变换虚拟摄像 机模型。
[0010] 步骤3.根据建立的相机模型，调整相机外部参数，将图像透视变换成某一固定视 角，比如使相机CCD平面与前挡风玻璃所在平面平行。
[0011] 通常情况下，无法得知实际摄像机的内参数矩阵K及虚拟摄像机的内参数矩阵K 及其相对于实际摄像机的方位（R，t)，因此并不采用直接计算H矩阵的方法。考虑到已经 获得了在实际摄像机下参考平面（前挡风玻璃或引擎盖）的图像，可以根据需要设定参考 平面在虚拟摄像机下生成的图像范围（如一定大小的矩形），同时选取四组对应的实际摄 像机下的图像点与虚拟摄像机下的图像点（m/，m2'，m3'，m4'），可以得到以 下方程组：
[0012] H*[mjm2Tm3Tm4T] =[niiTm2Tm3Tm4T]
[0013] 上式中为方便表示所有的点都采用齐次坐标表示。
[0014]
[0015] 求解以上线性方程组就能得到变换矩阵H。最后根据公式：
[0016] m' =H*m
[0017] 求得之前设定好的虚拟摄像机下图像范围内的所有点，就得到了无视角差异的前 挡风玻璃或引擎盖的图像。
[0018] 对所有卡口车辆图像按以上三个步骤处理后，视角引起的误差已经大幅降低，在 此基础上，进行车辆表观特征的提取，同一辆车将具备更好的类内相似性。
[0019] 本发明的有益效果：
[0020] 1.降低由于卡口差异性所引入的车辆视角误差；大幅提高检索性能。
[0021] 2.作为一种独立的前处理方法，对任意单张图像都能进行处理，且不影响原有的 车辆特征提取策略。
[0022] 3.计算量小，且无额外的存储开销。
【附图说明】
[0023] 图1为本发明方法流程图。
[0024] 图2为建立的透视变换的参考平面及透视变换虚拟摄像机模型图。
【具体实施方式】
[0025] 以下结合实施例和附图对本发明作进一步说明：
[0026] 本发明考虑到同一辆车在不同视角下的成像，本质上是一种透视变换；所以本发 明在对车辆图像进行特征点定位后，将不同卡口，不同视角下的车辆图像变换到同一视角 下；在此基础之上提取的特征，同一辆车具备了更好的类内相似性，从而大幅提高了检索和 匹配的效果，并且没有增加太多的计算量和存储空间。
[0027] 如图1所示，本实施例具体包括以下步骤：
[0028] 步骤1.对卡口车辆图像进行特征点定位，主要包括前挡风玻璃的四个角，前引擎 盖的四个角，车头灯，车标，车牌，前轮胎等。
[0029] 步骤2.利用车辆特征点本身的先验知识，比如前挡风玻璃的四个角是位于同一 平面，前引擎盖的四个角位于同一平面等，建立该车辆拍摄相机的相机模型，如图2所示；
[0030] 假设车的前挡风玻璃平面为参考平面31，平面31在实际摄像机坐标系下的单位 法向量为n，实际摄像机坐标系坐标原点到平面31的距离为d。
[0031] 假定实际摄像机的内参数矩阵为K，虚拟摄像机的内参数矩阵为K'，虚拟摄像机 相对于实际摄像机的方位为（R，t)。若n为平面31在实际摄像机坐标系下的单位法向量， d为坐标原点到平面Jr的距离，X为参考平面31上的一个点，m为X在实际摄像机下的图 像点，m'为X在虚拟摄像机下的图像点，则平面31的透视变换矩阵H为：
[0032] H=K，（R+tndT)K1
[0033] 得到变换矩阵H之后，通过公式：
[0034] m' =H*m
[0035] 就可以将实际摄像机生成的所有参考平面内图像点转换到我们所需要的虚拟摄 像机下的图像点。
[0036] 步骤3.根据建立的相机模型，调整相机外部参数，将图像透视变换成某一固定视 角，比如使相机CCD平面与前挡风玻璃所在平面平行。
[0037] 通常情况下，我们无法得知实际摄像机的内参数矩阵K及虚拟摄像机的内参数矩 阵K'及其相对于实际摄像机的方位（R，t)，因此我们并不采用直接计算H矩阵的方法。考 虑到我们已经获得了在实际摄像机下参考平面（前挡风玻璃或引擎盖）的图像，可以根据 需要设定参考平面在虚拟摄像机下生成的图像范围（如一定大小的矩形），同时选取4组对 应的实际摄像机下的图像点与虚拟摄像机下的图像点（m/，m2'，m3'，m4'）， 可以得到以下方程组
[0038] H*[mjm2Tm3Tm4T] = [n^Tm2Tm3Tm4T]
[0039] 上式中为方便表示所有的点都采用齐次坐标表示。
[0040]
[0041] m= [x,y, 1]
[0042] 求解以上线性方程组就能得到变换矩阵H。最后根据公式：
[0043] m' =H*m
[0044] 求得之前设定好的虚拟摄像机下图像范围内的所有点，就得到了无视角差异的前 挡风玻璃或引擎盖的图像。
[0045] 对所有卡口车辆图像按以上三个步骤处理后，视角引起的误差已经大幅降低，在 此基础上，进行车辆表观特征的提取，同一辆车将具备更好的类内相似性，经测试验证，在 使用相同车辆表观特征的情况下，进行透视变换处理可以获得5 % -10 %的检索性能提升。
[0046] 具体应用中假设某城市共建有卡口N个，对于每个卡口抓拍到的车辆图片，均进 行透视变换后再提取特征存入数据库。
[0047] 当发生案件，已经找到嫌疑车辆（无车牌）的一张抓拍图像，需要在数据库中对全 市卡口进行检索，则也先对该嫌疑图像进行透视变换后，再提取特征进行检索，可以获得更 好的效果
[0048] 以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应带 理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域 中的技术人员实践本发明。
【主权项】
1. 一种基于相机透视变换的卡口车辆检索方法，其特征在于该方法包括W下步骤： 步骤1.对卡口车辆图像进行特征点定位，主要包括前挡风玻璃的四个角、前引擎盖的 四个角、车头灯、车标、车牌或前轮胎； 步骤2.利用车辆特征点本身的先验知识，建立该车辆拍摄相机的相机模型； 步骤3.根据建立的相机模型，调整相机外部参数，将图像透视变换成某一固定视角； 对所有卡口车辆图像按W上=个步骤处理后，视角引起的误差已经大幅降低，在此基 础上，再进行车辆表观特征的提取，从而完成卡口车辆的检索。2. 根据权利要求1所述的一种基于相机透视变换的卡口车辆检索方法，其特征在于： 步骤2具体是：假设车的前挡风玻璃平面为参考平面，平面31在实际摄像机坐标系下的 单位法向量为n，实际摄像机坐标系坐标原点到平面的距离为d; 假定实际摄像机的内参数矩阵为K，虚拟摄像机的内参数矩阵为K'，虚拟摄像机相对 于实际摄像机的方位为（R，t);若n为平面在实际摄像机坐标系下的单位法向量，d为 坐标原点到平面n的距离，X为参考平面上的一个点，m为X在实际摄像机下的图像点， m'为X在虚拟摄像机下的图像点，则平面JT的透视变换矩阵H为： H=K'（R+tn/)K1 得到变换矩阵H之后，通过公式：m，=册m 就可W将实际摄像机生成的所有参考平面内图像点转换到所需要的虚拟摄像机下的 图像点。3. 根据权利要求2所述的一种基于相机透视变换的卡口车辆检索方法，其特征在于： 步骤3具体是：考虑到已经获得了在实际摄像机下参考平面的图像，可W根据需要设定 参考平面在虚拟摄像机下生成的图像范围，同时选取四组对应的实际摄像机下的图像点 (mi，m2，m3，m4)与虚拟摄像机下的图像点OV,m2'，1?' ,m/ )，可W得到W下方程组 册虹1了n^T msT m/]=虹1T m2T m3 T T] 上式中为方便表示所有的点都采用齐次坐标表示；m= [x,y, 1] 求解W上线性方程组就能得到变换矩阵H;最后根据公式：m，=册m 求得之前设定好的虚拟摄像机下图像范围内的所有点，就得到了无视角差异的前挡风 玻璃。
【专利摘要】本发明涉及一种基于相机透视变换的卡口车辆检索方法。本发明首先对卡口车辆图像进行特征点定位，主要包括前挡风玻璃的四个角，前引擎盖的四个角，车头灯，车标，车牌，前轮胎等。然后利用车辆特征点本身的先验知识，比如前挡风玻璃的四个角是位于同一平面，前引擎盖的四个角位于同一平面等，建立透视变换的参考平面及透视变换虚拟摄像机模型。最后根据建立的相机模型，调整相机外部参数，将图像透视变换成某一固定视角，比如使相机CCD平面与前挡风玻璃所在平面平行。利用本发明可以降低由于卡口差异性所引入的车辆视角误差；大幅提高检索性能。
【IPC分类】G06K9/46, G06K9/00
【公开号】CN105205472
【申请号】CN201510666534
【发明人】尚凌辉, 高勇, 王弘玥, 施展
【申请人】浙江捷尚视觉科技股份有限公司
【公开日】2015年12月30日
【申请日】2015年10月15日