一种全景环带图像的自适应分割与无畸变展开系统及方法与流程
本发明涉及全景图像与视频会议领域，尤其涉及一种基于全景环带图像的自适应分割与无畸变展开系统及方法。
背景技术：
随着计算机硬件计算能力的不断提升和图像处理技术的不断成熟，尤其是小型化、轻量化、高计算能力、低功耗计算硬件的问世，使得许多产品得以小型化、轻型化。基于全景环带相机的视频会议系统只需单镜头即可实现360°环视拍摄，其用作视频会议时结构轻巧，不过多占用计算开销，很容易做到实时显示，传输成本低，是中低画质需求下极具竞争力的选择之一。
在传统的视频会议方案中，如有全景需求，一般而言使用多相机拼接技术，这种方法需要对获取的多个图像进行对齐与拼接，其结构复杂，需要进行同步对齐触发，硬件复杂度高。
技术实现要素：
针对上述不足，本发明提供了一种基于全景环带图像的自适应分割与无畸变展开系统及方法，主要用于视频会议系统，可自适应地检测出环带图像中的人脸位置，并对其所在位置进行分割提取，将原有的环带有畸变图像修正为正常的无畸变图像，更适于人眼观察。
本发明所采用的技术方案如下：
本发明的第一目的是提供一种全景环带图像的自适应分割与无畸变展开系统，包括：
pal相机，用以采集全景环带图像；
数据存储模块，用以存储pal相机标定的参数；
数据处理模块，用于将环带图像利用矩形展开算法展开为矩形图像，利用人脸检测算法检测出人脸在矩形图像中的像素坐标，根据矩形图像中的像素坐标计算出其对应于环带图像的像素坐标，利用所得的所有人脸像素坐标进行图像分割，将环带图像分割成所需的若干份，利用相机内参、分割后的环带图像像素位置对图像进行无畸变展开，所述无畸变展开具体步骤如下：
建立单位球模型，并沿光轴方向做切面，无畸变图像位于切面上，根据镜头的垂直视场角确定无畸变展开图像的高度；
根据前述分割后图像的宽度确定无畸变展开图像的宽度；
根据前述分割后图像的位置确定需要无畸变展开的图像位置；
利用相机内参对环带图像需无畸变展开的部分进行重映射，根据高度与宽度投影至切面上，完成无畸变展开。
本发明的第二目的是提供一种全景环带图像的自适应分割与无畸变展开方法，包括如下步骤：
步骤(1)利用相机标定算法获取pal相机内参，并将标定好的数据储存至数据存储模块中；
步骤(2)利用pal相机获取当前正在拍摄的环带图像；
步骤(3)将环带图像利用矩形展开算法展开为矩形图像；
步骤(4)利用人脸检测算法检测出人脸在矩形图像中的像素坐标；
步骤(5)根据矩形图像中的像素坐标计算出其对应于环带图像的像素坐标；
步骤(6)利用所得的所有人脸像素坐标进行图像分割，将环带图像分割成所需的若干份；
步骤(7)利用相机内参、分割后的环带图像像素位置对图像进行无畸变展开，所述无畸变展开具体步骤如下：
建立单位球模型，并沿光轴方向做切面，无畸变图像位于切面上，根据镜头的垂直视场角确定无畸变展开图像的高度；
根据前述分割后图像的宽度确定无畸变展开图像的宽度；
根据前述分割后图像的位置确定需要无畸变展开的图像位置；
利用相机内参对环带图像需无畸变展开的部分进行重映射，根据高度与宽度投影至切面上，完成无畸变展开。
进一步的，在步骤(1)具体如下：
利用开源的ocamcalib工具箱对所需使用的pal相机进行标定，其将成像模型用4次泰勒级数拟合为一个曲面，并给出了图像的中心位置，获得图像像素坐标到真实世界坐标的映射，真实世界到像素坐标的映射表现为返回图像的像素坐标，像素坐标到真实世界的映射表现为一个向量；工具箱中对应的函数为world2cam和cam2world。
进一步的，所述步骤(2)具体如下：
pal相机会在感光芯片上成圆环形的环带像，因其独特的结构特点，图像中央部分为盲区，环带图像左右侧也为无关像素，真正有效可利用的为圆环内部的所有像素。pal相机拍摄时，水平朝上拍摄，所成的像均为水平360°，垂直视场角由设计时决定，以竖直向上为0°基准，最大垂直视场角为大于等于90°。
进一步的，所述步骤(3)中，将环带图转换为矩形图需要使用到opencv中的remap函数，具体如下：
(3.1)获取目标图像的长和高，记为w和h；
(3.2)获取原始图像中心的像素坐标，此为标定文件中给出，记为xc和yc；
(3.3)记目标图像上的某个点为(i，j)，在原始图像上该点对应的点与图像中心的连线会与图像的正上方呈一角度，记为θ；
(3.4)记环带图像的内径和外径分别为rmin和rmax；
(3.5)可算得环带图像和矩形图像像素间的对应关系为：
(x，y)为环带图像的像素坐标；
(3.6)将该映射关系写入cvremap函数中，即可将环带图像重映射为矩形图像。
进一步的，所述步骤(4)，需要对出现进行预处理再检测人脸最后获取人脸坐标，具体如下：
(4.1)对图像进行预处理，将rgb图像转化为灰度图，再进行直方图均衡化操作；
(4.2)将(4.1)处理好的图像传递给haardetectobjects函数获取人脸的集合；
(4.3)获取所有人脸在矩形图像中的像素坐标。
进一步的，所述步骤(5)具体如下：
设检测到的某张人脸图像face0的中心像素坐标为(i0，j0)，其在环带图像中对应的角度为：
进一步的，所述步骤(6)具体如下：
在相邻两张人脸图像中，设第一张人脸图像的右边缘对应角度为θ1，第二张人脸图像的左边缘对应角度为θ2，若θ2-θ1≤θe，则认为两张人脸可存在于同一张图像上，不做分割；若θ2-θ1≥θe，则认为两张人脸应分开显示，在θ1+θe和θ2-θe处各自分割，即可能出现共有的图像区域，其中θe为两张人脸图像的最小间隔角度。
进一步的，所述步骤(7)具体如下：
设某个分割段为θa～θb，则需要展开的图像相对于图像中心的张角大小为θb-θa，该展开段的展开中心对应的角度为(θb-θa)/2；
world2cam函数是将真实世界里的三维坐标映射到图像的像素坐标上，在真实世界中建立了一个竖直平面，并将平面上的某个点的三维坐标送入函数中，则返回的像素点的颜色即为当前平面点的真实颜色。
以相机为球心建立一个半径为1的球，与镜头同向，即竖直向上的方向作一与球面相切的矩形面，针对该分割段θa～θb而言，令平面的宽w为2*tan((θb-θa)/2)，高h为tan(90°-a°)+tan(b°-90°)(b≥90)，a°为最小垂直视场角，b°为最大垂直视场角；矩形面的高度由pal镜头的视场角确定，且其为一固定值，因为镜头的最大最小视场角始终不变，分割图像也只会改变w的值；以切点与球心的连线为x轴，镜头正向与球心的连线为z轴建立右手坐标系，则矩形面垂直于yoz平面，与球面相切于(1，0，0)，则根据矩形面的长宽比可自行设定去畸变后图像的长宽比；设去畸变图像的长为w0，高为h0，则矩形面上每一点坐标为
其中，θr＝(θb-θa)/2；
将旋转后的矩形面上每个点的坐标送入world2cam函数，则可获得每个点的真实颜色表示，得出的图像则为无畸变图像。
相对于现有技术，本发明的有益效果如下：
本发明采用自适应分割算法智能识别人脸并将与会者进行分割，再根据投影关系去畸变，可智能显示参会的每个人员，解决了全景环带相机应用于视频会议领域时显示效果不理想、畸变过大的问题。
附图说明
图1为本发明系统的实例结构示意图；
图2为全景环带镜头结构示意图；
图3为本发明的方法的流程图；
图4为本发明所使用实例标定后重投影至三维空间示例；
图5为本发明实例拍摄人脸示意图；
图6为对图5所拍摄样张进行矩形展开图；
图7为对图5所拍摄样张需要无畸变展开范围的示意图；
图8为对图5所拍摄样张选取部分无畸变展开的效果图；
图9为多人条件下拍摄效果的示意图；
图10为对图9感兴趣部分进行无畸变展开的效果图；
附图中标记及对应的零部件名称：
1-折反射透镜2-折射镜片组
3-感光芯片
具体实施方式
为使本发明的目的、技术方案和有点更加清晰明了，下面结合实例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实例系统包括一个pal相机、数据存储模块、数据处理模块，实例系统结构如图1所示，全景环带镜头的结构如图2所示，所述pal相机与数据处理模块相连，负责采集当前环境的图像采集，将圆环形环带图像传输至数据处理模块；所述数据存储模块与数据处理模块相连，负责存储标定好的pal镜头参数，并提供给数据处理模块；所述数据处理模块负责展开环带图像、人脸检测、无畸变展开等算法的具体实现。
本发明提供的一种全景环带图像的自适应分割与无畸变展开方法的流程如图3所示，在系统运行前，需要使用ocamcalib工具箱对pal相机进行标定，本实例中使用的pal镜头视场角为水平360°，垂直30°～90°。标定好可以将标定图片重投影至三维空间，如图4所示，将生成的txt文件存入数据存储模块中。
在系统运行时，pal相机模块会实时接收图像数据，并传送给数据处理模块，数据处理模块接收到一帧图像后，会执行以下操作：
(1)将环带图像利用矩形展开算法展开为矩形图像；
(2)利用人脸检测算法计算出矩形图像中的人脸像素坐标；
(3)根据矩形图像中的人脸像素坐标计算出其对应于环带图中的像素坐标；
(4)利用所得的所有人脸像素坐标进行图像分割，将环带图像分割成所需的若干份；
(5)利用相机内参、分割后的环带图像像素位置对图像进行无畸变展开；
(6)重复以上步骤。
在(1)的操作中：实例系统拍摄的图像如图5所示，将环带图转换为矩形图需要使用到opencv中的remap函数，具体为：
(1.1)获取目标图像的长和高，本实例使用的pal镜头为2/3”，配套的cmos大小也为2/3”，2448×2048像素，则图像的宽w＝2448，高h＝2048；
(1.2)获取原始图像中心的像素坐标，此为标定文件中给出，对于本例而言，xc＝1022.72，yc＝1223.16；
(1.3)记目标图像上的某个点为(i，j)，在原始图像上该点对应的角度为θ；
(1.4)获取标定文件中的环带图像的内径和外径分别为rmin＝360，rmax＝1020；
(1.5)可算得环带图像和矩形图像像素间的对应关系为：
(x，y)为环带图像的像素坐标；
(1.6)调用cvremap函数，将映射关系写入函数，即可获取矩形图像，本例中取1318*208
的图像长宽比，如图6所示。
在(2)的操作中：进行人脸检测之前需要对图像进行预处理，使用opencv中的cvtcolor将rgb图像转化为灰度图，再使用opencv中的equalizehist函数进行直方图均衡化操作，，而后使用haardetectobjects函数进行haar特征检测，提取人脸。
由于本发明中人脸检测只是一个辅助分割图像的手段，并非本发明原创，故用示意图来代替真实会议上的人脸，具体检测方法不再赘述。
人脸检测成功后会返回人脸部分的像素坐标，本例中，人脸中心点为(650，87)，边缘点为(608，85)和(689，89)。
在(3)的操作中：计算出人脸中心对应的张角为：
同理算得边缘点对应的角度为166°和188度。
在(4)的操作中：图像中心点对应的角度为177°，取θe＝25°，此时图像上仅有一张人脸，对应环带图像的角度为141°～213°，故所需分割的角度为72°，如图7所示。
在(5)的操作中：对于本实例而言，所使用的pal镜头垂直视场角为30°～90°，将(4)中的环带图像角度141°～213°代入计算可得2*tan((213°-141°)/2)≈1.45，则对应的图像宽为1.45，图像的高根据其垂直视场角计算可得：
若是多人的情况，和单人类似，无畸变展开后如图9所示。此时三人互相的夹角未超过25°，展开在同一张图像时如图10所示。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！