图像采集设备、3D信息比对装置、配套物生成装置的制作方法

本实用新型涉及物体测量
技术领域：
，特别涉及利用视频进行目标物3D采集和长度等几何尺寸测量
技术领域：
。
背景技术：
：目前3D采集/测量设备主要利用相机围绕物体转动采集物体多张照片，从而合成物体的3D图像，并利用3D点云数据进行物体长度、轮廓等测量。在这个过程中，要求物体姿态相对固定。如果拍摄过程中，物体移动，或发生形变，则会导致拍摄的多张照片难以合成3D图像。这个要求在通常情况下比较容易实现的。然而，例如进行虹膜的3D采集及测量，通常采用微距镜头拍摄，相机在拍摄不同照片时需要围绕虹膜在不同位置拍摄，但位置的变化导致微距镜头每次换个位置都要手动对焦。这样会导致整个拍摄时间变长。但在这个过程中，由于时间较长，眼睛很容易转动，导致拍摄的多张图片并不是虹膜同一姿态下的，从而影响3D合成。也就是说，在拍摄一些易动，易变形的物体时，传统方式难以准确3D合成，从而影响了合成效果和测量精度。另外，目前很多场合摄像机更为普遍，例如在门禁系统中、安检监控中、在银行ATM柜员机中、在交通违法监控等，均采用摄像机通过视频的方式记录目标物。因此，如果想要在这些场合进行3D采集、测量、识别和比对则需要额外安装相机，造成较大成本。通常情况下，3D采集和测量技术主要针对固定的静物，这种应用上的局限阻碍了上述技术问题的发现，更没有试图解决该技术问题的动机。技术实现要素：鉴于上述问题，提出了本实用新型以便提供一种克服上述问题或者至少部分地解决上述问题的基于视频数据的图像采集设备。本实用新型提供了一种基于视频数据的图像采集设备，包括视频数据提供装置，用于提供包括目标物的视频数据；视频处理装置，用于处理所述视频数据，从而从所述视频数据中获得多个图像；处理单元，用于根据多个图像中的至少3个得到目标物的3D信息；测量装置，用于根据所述目标物的3D信息测量目标物的几何尺寸。本实用新型还提供了一种基于视频数据的图像采集设备，包括视频数据提供装置，用于提供包括目标物的视频数据；视频处理装置，用于处理所述视频数据，从而从所述视频数据中获得多个图像。本实用新型还提供了一种基于视频数据的图像采集设备，包括视频数据提供装置，用于提供包括目标物的视频数据；视频处理装置，用于处理所述视频数据，从而从所述视频数据中获得多个图像；处理单元，用于根据所述多个图像中的至少3个得到目标物的3D信息。可选的，在所述多个图像中，至少两个图像的目标物区域部分重合。可选的，所述视频数据提供装置包括图像采集装置。可选的，所述视频数据由图像采集装置的采集区域与目标物的相对运动产生。可选的，从所述视频数据中获得多个图像包括从视频数据中直接截取图像，或将压缩视频数据恢复后截取图像。可选的，所述视频数据提供装置提供一个或多个视频数据。可选的，当视频数据提供装置提供多个视频数据时，用于得到目标物3D信息的多个图像来自同一个视频数据，或来自不同视频数据。可选的，所述视频数据帧速率大于5帧/秒。可选的，所述多个图像中的相邻两个图像的采集位置至少满足如下条件：H*(1-cosb)＝L*sin2b；a＝m*b；0<m<0.8其中L为图像采集装置到目标物的距离，H为采集到的图像中目标物实际尺寸，a为相邻两个位置图像采集装置光轴夹角，m为系数。可选的，所述多个图像中的相邻三个位置满足在对应位置上采集的三个图像至少均存在表示目标物同一区域的部分。本实用新型还提供了一种3D信息比对装置，包括所述任意一项所述的基于视频数据的图像采集设备。本实用新型还提供了一种目标物的配套物生成装置，利用所述任意一项所述的基于视频数据的图像采集设备获得的目标物的至少一个区域的3D信息生成与目标物相应区域相配合的配套物。实用新型发明点及技术效果1、首次注意到并提出通过相机拍摄图片的方式合成3D并不适用于某些易动、易变形的目标物和图像采集设备已经固定的场合。并提出利用视频数据进行3D合成，提高采集速度，避免目标物在拍摄时间内易动和变形。同时，充分利用视频采集的硬件资源，避免重复安装带来的成本提高。2、根据反复试验，提出了利用视频数据合成3D信息的最优参数范围，从而提高了合成效果和测量精度，并且能够兼顾目标物的运动情况。3、现有技术对于合成效果的提升主要通过硬件升级和严格标定，现有技术中没有任何启示能够通过化摄像机拍照时的角度位置来保证3D合成的效果和稳定性，更没有具体优化的条件。本发明首次提出了优化摄像机摄像时的角度位置来保证3D合成的效果和稳定性，并且通过反复试验，提出了摄像机位置需要满足的最佳经验条件，大大提高了3D合成的效果和合成图像稳定性。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本实用新型的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本实用新型一实施例的基于视频数据的图像采集设备的示意图；图2示出了根据本实用新型一实施例的基于视频数据的图像采集设备的一种具体实施方式的示意图；图3示出了根据本实用新型一实施例的基于视频数据的图像采集设备另一种具体实施方式的示意图；图4示出了根据本实用新型另一实施例的基于视频数据的图像采集设备一种具体实施方式的示意图；图5示出了根据本实用新型又一实施例的基于视频数据的图像采集设备一种具体实施方式的示意图；附图标记说明：100视频数据提供装置，1000摄像机，200视频处理装置，300图像处理装置，101移动装置，102旋转装置，400测距装置，1011轨道，1012调整装置。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。实施例1为解决上述技术问题，本实用新型的一实施例提供了一种基于视频数据的3D信息获取/测量装置。如图1所示，具体包括：视频数据提供装置100、视频处理装置200，图像处理装置300。视频数据提供装置100，可以为摄像机、具有摄像功能的照相机、手机、平板、监视器等，用于对准目标物拍摄包括目标物的视频，产生视频数据，并将视频数据发送给视频处理装置200。上述视频数据提供装置100可根据需要搭配各种镜头，例如红外镜头、可见光镜头、远焦镜头、广角镜头、微距镜头等。上述视频数据提供装置100还可以为存储器、带有存储功能的处理器等，其内部存储有包括目标物的视频数据。以摄像机为例，在一种情况下，如图2所示，摄像机1000安装在移动装置101上，移动装置101可以沿轨道1011移动，从而带动摄像机1000围绕目标物体转动，从而拍摄包含目标物不同角度的视频。移动装置101也可以为机械臂，即由机械臂带动摄像机1000围绕目标物转动。在一种情况下，如图3所示，摄像机1000安装在旋转装置102上，旋转装置102绕中心轴带动摄像机1000转动，从而拍摄包含目标物不同角度的视频。在一种情况下，摄像机1000固定，目标物(例如人体、头部)移动或转动，使得摄像机1000能够拍摄到包含目标物不同角度的视频。视频处理装置200，可以为包含程序的处理器、电脑、手机、平板等，用于接收摄像机1000发送的视频数据，并从上述视频数据中获得多个图像。处理方法包括：步骤1：读取视频数据；步骤2：获取视频数据的帧数。可以利用软件命令获取视频数据的帧数，同时也可以由视频数据自行给出。步骤3：根据帧数，对视频数据进行分帧，循环提取每帧数据；步骤4：根据每帧视频数据恢复出图片数据。可以通过一些程序代码实现由视频中获得图像，例如：特别的，在一些情况下也可以用视频截图的方式进行视频-图片的转换。在一些情况下，也可以将视频数据解压后恢复出图像。图像处理装置300，用于处理上述多个图像得到目标物的3D信息，即根据上述多个图像的相互重叠部分，将它们的全部或一部分拼接起来，实现3D信息合成。图像拼接的方法包括：(1)对多个图像进行处理，提取各自的特征点；多个图像中各自的特征点的特征可以采用SIFT(Scale-InvariantFeatureTransform，尺度不变特征转换)特征描述子来描述。SIFT特征描述子具有128个特征描述向量，可以在方向和尺度上描述任何特征点的128个方面的特征，显著提高对特征描述的精度，同时特征描述子具有空间上的独立性。(2)基于提取的多个图像的特征点，分别生成人脸特征的特征点云数据和虹膜特征的特征点云数据。具体包括：(2-1)根据提取的多个图像中每幅图像各自的特征点的特征，进行多张图片的特征点的匹配，建立匹配的脸部特征点数据集；根据提取的多个图像中每幅图像各自的特征点的特征，进行多张图片的特征点的匹配，建立匹配的虹膜特征点数据集；(2-2)根据相机的光学信息、获取多个图像时的相机的不同位置，计算各个位置相机相对于特征点在空间上的相对位置，并根据相对位置计算出多个图像中的特征点的空间深度信息。同理，可以计算出多个图像中的特征点的空间深度信息。计算可采用光束平差法。计算特征点的空间深度信息可以包括：空间位置信息和颜色信息，即，可以是特征点在空间位置的X轴坐标、特征点在空间位置的Y轴坐标、特征点在空间位置的Z轴坐标、特征点的颜色信息的R通道的值、特征点的颜色信息的G通道的值、特征点的颜色信息的B通道的值、特征点的颜色信息的Alpha通道的值等等。这样，生成的特征点云数据中包含了特征点的空间位置信息和颜色信息，特征点云数据的格式可以如下所示：X1Y1Z1R1G1B1A1X2Y2Z2R2G2B2A2……XnYnZnRnGnBnAn其中，Xn表示特征点在空间位置的X轴坐标；Yn表示特征点在空间位置的Y轴坐标；Zn表示特征点在空间位置的Z轴坐标；Rn表示特征点的颜色信息的R通道的值；Gn表示特征点的颜色信息的G通道的值；Bn表示特征点的颜色信息的B通道的值；An表示特征点的颜色信息的Alpha通道的值。(2-3)根据多个图像匹配的特征点数据集和特征点的空间深度信息，生成目标物特征的特征点云数据。(2-4)根据特征点云数据构建目标物3D模型，以实现目标物点云数据的采集。(2-5)将采集到的目标物颜色、纹理附加在点云数据上，形成目标物3D图像。其中，可以利用一组图像中的所有图像合成3D图像，也可以从其中选择质量较高的图像进行合成。上述拼接方法只是有限举例，并不限于此，所有根据多幅多角度二维图像生成三维图像的方法均可以使用。根据实验，所述视频的帧速率在5-500帧/秒，能够兼顾合成质量，并且能够对运动的物体进行准确合成。例如在拍摄虹膜时，人眼会不由自主地转动，如果帧率过低，多次拍到的虹膜位置并不一致，影响合成效果，因此本实用新型多次试验，根据人眼运动特点，探索出该参数的合理范围，这也是本实用新型的发明点之一。实施例2在一种情况下，如图4所示，视频数据提供装置100包含多个摄像机100A、100B、100C…100N，每个摄像机分别从不同方向拍摄目标物的视频A、视频B、视频C…视频N。视频处理装置200，分别从视频A中提取图像A1、A2…An；从视频B中提取图像B1、B2…Bn；从视频C中提取图像C1、C2…Cn；….从视频N中提取图像N1、N2…Nn；其中N和n都代表可以根据需要不断增大的数字。图像处理装置300，利用上述n组图像中的An、Bn、Cn….Nn中的任意一些进行3D图片合成。可以选择每个视频中的任意一个图片进行合成，也可以选择部分视频中的部分图片进行合成，也就是说，从上述图片集合中，选择全部或部分来源于不同视频的任意图片进行合成。当然，选取的这些图片应当满足部分特征点重合。在特殊情况下，目标物是可形变或移动的，那么多个摄像机100A、100B、100C…100N在分别从不同方向拍摄目标物的视频A、视频B、视频C…视频N时，还应当记录拍摄开始时间、帧率等信息。视频处理装置200，在分别从视频A中提取图像A1、A2…An；从视频B中提取图像B1、B2…Bn；从视频C中提取图像C1、C2…Cn；….从视频N中提取图像N1、N2…Nn的同时，为每张图像打上时间戳，即摄像机采集到该图片内容你那个时的绝对时间。图像处理装置300，利用上述n组图像中时间戳一致的图像进行3D合成，即保证用于3D合成的多个图片信息是绝对同步拍摄的。也就是说，即使在整个拍摄过程中物体运动，各个摄像机也可以在同一时刻采集物体该时刻各个方向的图像信息，从而保证合成准确。特别的，在这种情况下，图像处理装置300可以合成多个时刻目标物的3D图像或3D模型，也就是说，可以得到目标物在拍摄时长内的一系列3D图像或3D点云模型。如果连续播放可以得到目标物3D图像或3D点云模型随时间的变化。这样，在安防应用中，可以恢复出目标物3D图像或3D点云模型的运动姿势，例如可以恢复出被监控的某个人行走的姿势，而这种姿势，是可以3D展示的，即可以从任意角度观看该人行走的姿势。这样，对于监控目标的比对识别不仅限于轮廓、特征点、表面纹理等信息，还可以根据监控目标的3D运动姿态进行。这也是本实用新型的发明点之一。当然，这样的处理会带来数据处理量的大幅度增加，但并行计算、云计算等方式可以提高硬件计算能力，实现上述目标。实施例3在上述多个实施例中，摄像机1000可以采用摄像机通用的实时对焦的方式拍摄。同时，如图5所示，为了提高对焦速度，在某一位置Location1时，测距装置400测量得到摄像机1000与目标物的某一正对区域距离为H1，此时镜头焦距为F1；当摄像机1000位于另一位置Location12，或目标物相对于摄像机1000转动了一定角度时，测距装置400测量得到摄像机1000与目标物的另一正对区域距离为H2，控制器接收测距装置400发送的数据，并根据物距-镜头焦距表(事先测量得到)判断此时镜头应当具有的焦距F2，控制镜头马达，从而调整镜头焦距至F2。其中测距装置400可以为激光测距仪、图像测距仪等各种类型。其可以单独成为一个模块，也可以是摄像机1000的一部分。除了测距方式外，在位置A2，摄像机1000采集到图片对比度为Q1，此时处理单元100控制镜头马达转动，调整镜头焦距变大或变小，使得达到某一对比度Q2后，无论焦距再次增大还是减小，Q2均减小，也就是说Q2的对比度最佳。此时焦距F2为最佳焦距，以该焦距拍摄此区域照片清晰。当然，也可以通过摄像机1000采集到的目标物大小变化来判断重新调整焦距，使得目标物在摄像机1000视场中的比例保持不变。上述多个图像中的相邻两个图像的采集位置至少满足如下条件：H*(1-cosb)＝L*sin2b；a＝m*b；0<m<0.8其中L为图像采集装置到目标物的距离，H为采集到的图像中目标物实际尺寸，a为相邻两个位置图像采集装置光轴夹角，m为系数。一摄像机为例，H为采集到的图像中目标物实际尺寸，图像通常为摄像机在第一位置时拍摄的图片，该图片中的目标物具有真实的几何尺寸(不是图片中的尺寸)，测量该尺寸时沿着第一位置到第二位置的方向测量。例如第一位置和第二位置是水平移动的关系，那么该尺寸沿着目标物的水平横向测量。例如图片中能够显示出的目标物最左端为A，最右端为B，则测量目标物上A到B的直线距离，为H。所述测量方法可以根据图片中A、B距离，结合摄像机镜头焦距进行实际距离计算，也可以在目标物上标识出A、B，利用其它测量手段直接测量AB直线距离。a为相邻两个位置图像采集装置光轴夹角。m为系数由于物体大小、凹凸情况各异，无法用严格公式限定a的取值，需要根据经验进行限定。根据大量实验，m的取值在1.5以内即可，但优选可以为0.8以内。具体实验数据参见如下表格：目标物m值合成效果合成率人体头部0.1、0.2、0.3、0.4非常好>90％人体头部0.5、0.6好>85％人体头部0.7、0.8比较好>80％人体头部0.9、1.0一般>70％人体头部1.0、1.1、1.2一般>60％人体头部1.2、1.3、1.4、1.5勉强合成>50％人体头部1.6、1.7难以合成<40％在目标物及摄像机确定后，根据上述经验公式可以计算出a的值，根据a值即可确定虚拟矩阵的参数，即矩阵点之间的位置关系。在通常情况下，虚拟矩阵为一维矩阵，例如沿着水平方向排布多个矩阵点(采集位置)。但有些目标物体较大时，需要二维矩阵，那么在垂直方向上相邻的两个位置同样满足上述a值条件。一些情况下，即使根据上述经验公式，有些场合下也不易确定a值，此时需要根据实验调整矩阵参数，实验方法如下：根据上述公式计算预测矩阵参数a，并按照矩阵参数控制摄像机移动至相应的矩阵点，例如摄像机在位置W1拍摄图片P1，移动至位置W2后拍摄图片P2，此时比较图片P1和图片P2中是否有表示目标物同一区域的部分，即P1∩P2非空(例如同时包含人眼角部分，但照片拍摄角度不同)，如果没有则重新调整a值，重新移动至位置W2’，重复上述比较步骤。如果P1∩P2非空，则根据a值(调整或未调整的)继续移动摄像机至W3位置，拍摄图片P3，再次比较图片P1、图片P2和图片P3中是否有表示目标物同一区域的部分，即P1∩P2∩P3非空。再利用多张图片合成3D，测试3D合成效果，符合3D信息采集和测量要求即可。也就是说，矩阵的结构是由采集多个图像时摄像机的位置决定的，相邻三个位置满足在对应位置上采集的三个图像至少均存在表示目标物同一区域的部分。实施例4在一些情况下，在摄像机1000瞄准目标物后，目标物在图像中尺寸占比较低，需要拉近镜头，这样才能保证3D合成时目标物的分辨率。因此，请参考图5所示，还包括调整装置1012，根据目标物在图像中尺寸占比驱动调整装置1012，使得其带动摄像机1000向靠近目标物或远离目标物的方向移动。调整装置1012位于移动装置101和摄像机1000之间。调整装置1012可以为一轴运动平台、两轴运动平台、三轴运动平台、四轴运动平台、五轴运动平台或六轴运动平台。摄像机1000包括镜头驱动马达，根据目标物在图像中尺寸占比驱动马达，带动镜头移动，从而使得增大或减小目标物在图像中尺寸占比，使得比例适当。以上也是本实用新型的发明点。本实用新型中所述目标物可以为一实体物体，也可以为多个物体组成物。所述目标物的3D信息包括3D图像、3D点云、3D网格、局部3D特征、3D尺寸及一切带有目标物3D特征的参数。本实用新型里所谓的3D、三维是指具有XYZ三个方向信息，特别是具有深度信息，与只有二维平面信息具有本质区别。也与一些称为3D、全景、全息、三维，但实际上只包括二维信息，特别是不包括深度信息的定义有本质区别。本实用新型所说的采集区域是指图像采集装置(例如相机)能够拍摄的范围。本实用新型中的图像采集装置可以为CCD、CMOS、相机、摄像机、工业相机、监视器、摄像头、手机、平板、笔记本、移动终端、可穿戴设备、智能眼镜、智能手表、智能手环以及带有图像采集功能所有设备。以上实施例获得的目标物多个区域的3D信息可以用于进行比对，例如用于身份的识别。首先利用本实用新型的方案获取人体面部和虹膜的3D信息，并将其存储在服务器中，作为标准数据。当使用时，例如需要进行身份认证进行支付、开门等操作时，可以用3D获取装置再次采集并获取人体面部和虹膜的3D信息，将其与标准数据进行比对，比对成功则允许进行下一步动作。可以理解，这种比对也可以用于古董、艺术品等固定财产的鉴别，即先获取古董、艺术品多个区域的3D信息作为标准数据，在需要鉴定时，再次获取多个区域的3D信息，并与标准数据进行比对，鉴别真伪。以上实施例获得的目标物多个区域的3D信息可以用于为该目标物设计、生产、制造配套物。例如，获得人体头部3D数据，可以为人体设计、制造更为合适的帽子；获得人体头部数据和眼睛3D数据，可以为人体设计、制造合适的眼镜。以上实施例获得的目标物的3D信息可以用于对该目标物的几何尺寸、外形轮廓进行测量。在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本实用新型的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。当前第1页1 2 3