一种光流测速模块与测速方法
【专利摘要】一种光流测速模块包含：摄影机数组、运算单元以及统计单元。摄影机数组包含有N×M个摄影机，用以拍摄N×M个周围环境影像；运算单元根据N×M个周围环境影像运算出N×M个摄影机速度与N×M个标准差；统计单元根据N×M个摄影机速度与N×M个标准差运算出一统计运动速度，其中N与M皆为大于1的自然数。相较于现有技术，本发明利用多个摄影机所组成的摄影机数组拍摄多个影像，以减少因为地面反光或是环境光源造成影像纹理不易辨识的不利因素，可提升利用光流测速模块测量速度的可靠性。
【专利说明】
-种光流测速模块与测速方法
技术领域
[0001] 本发明关于一种光流测速模块与测速方法，更明确地说，是关于一种利用摄影机 数组拍摄多个影像来测速的光流测速模块与测速方法。
【背景技术】
[0002] 光流测速模块是一套用来运算自身速度的模块。在现有技术中，它常装设于UAV 上，通过一个对地拍摄的相机，取得地面的影像，并运算影像像素的位移来得到速度的信 息。然而，实务上，在运算光线的流动时，却常常容易受到环境光源或地面材质造成光线反 射而影响到运算。
[0003] 运是因为光流测速模块是通过连续拍摄地面，比对影像纹理的移动，来运算相对 速度。若是影像的纹理清晰可辨识，则易于通过光流运算法来推算光流测速模块的速度。但 现有的光流测速模块通常只搭载一个摄影机，若是拍摄时地面反光相当严重或环境光源过 亮时，都会对光流运算产生影响。
【发明内容】
[0004] 对应前述问题，本发明的一范畴在于提供一种光流测速模块，通过具有多个摄影 机的摄影机数组，拍摄多组的多个影像，再进行影像分析W运算出每个影像所呈现的速度 与标准差后，再进行统计运算W求取出统计后的光流测速模块速度。
[0005] 本发明提供的光流测速模块，装设于机动设备上用W测量所述机动设备的运动速 度，包含:摄影机数组、运算单元W及统计单元。摄影机数组包含有N X M个摄影机，用W拍摄 而取得机动设备的多组NXM个周围环境影像;运算单元与摄影机数组电性连接，并根据多 组N X M个周围环境影像运算出N X M个摄影机速度与N X M个标准差;统计单元与运算单元电 性连接，用于根据NXM个摄影机速度与NXM个周围环境影像标准差运算出机动设备的运动 速度，其中N与M皆为大于1的自然数。
[0006] 于本发明的一实施例中，其中所述统计单元W下列公式运算出所述机动设备的所 述运动速度：
[0007]
[000引其中，K = NXM、Vs为每一所述NXM个摄影机速度、Os为每一所述NXM个标准差、Vcmt 为所述机动设备的所述运动速度。
[0009] 于本发明的一实施例中，其中运算单元包含图像处理单元，用W将多组NXM个周 围环境影像的像素与亮度数值化，并对应产生NXM个周围环境影像的数值化结果与像素数 目-亮度分析直方图。
[0010] 于本发明的一实施例中，其中运算单元包含速度运算装置，速度运算装置根据N X M个周围环境影像的数值化结果，利用光流运算法W运算出NXM个摄影机速度。
[0011] 于本发明的一实施例中，其中运算单元包含标准差运算装置，用于根据每一N XM 个像素数目-亮度分析直方图所呈现的数据，进行每一 N X M个标准差的运算。
[0012] 本发明的另一范畴在于提供一种光流测速模块的测速方法，用W测量机动设备的 运动速度，机动设备上装设有光流测速模块，光流测速模块包含有摄影机数组、运算单元W 及统计单元，其中摄影机数组包含有NXM个摄影机，而N与M皆为大于1的自然数，光流测速 模块的测速方法包含W下步骤:Sl:使用摄影机数组的N XM个摄影机进行拍摄，取得机动设 备的多组NXM个周围环境影像;S2:使用运算单元根据多组NXM个周围环境影像，运算出N XM个摄影机速度;S3:使用所述运算单元根据多组NXM个周围环境影像，运算出NXM个标 准差；W及S4:使用统计单元根据NXM个摄影机速度，与NXM个标准差运算出机动设备的运 动速度。
[0013] 于本发明的另一实施例中，其中所述统计单元W下列公式运算出所述机动设备的 所述运动速度：
[0014]
[001引其中，K = NXM、Vs为每一所述NXM个摄影机速度、Os为每一所述NXM个标准差、Vout 为所述机动设备的所述运动速度。
[0016] 于本发明的另一实施例中，其中运算单元包含图像处理单元，光流测速模块测速 方法进一步包含步骤:使用图像处理单元将多组NXM个周围环境影像的像素与亮度数值 化，并对应产生NXM个周围环境影像的数值化结果，W及像素数目-亮度分析直方图。
[0017] 于本发明的另一实施例中，其中运算单元包含速度运算装置，用于根据NXM个周 围环境影像的数值化结果通过光流运算法W运算出N X M个摄影机速度。
[0018] 于本发明的另一实施例中，其中运算单元包含标准差运算装置，用于根据每一像 素数目-亮度分析直方图所呈现的数据，进行每一 N X M个标准差的运算。
[0019] 相较于现有技术，本发明利用多个摄影机所组成的摄影机数组拍摄多个影像，W 减少因为地面反光或是环境光源造成影像纹理不易辨识的不利因素，可提升利用光流测速 模块测量速度的可靠性。
【附图说明】
[0020] 图1绘示了本发明一具体实施例的功能方块示意图。
[0021 ]图2绘示了本发明的摄影机数组的俯视图。
[0022] 图3绘示了本发明的摄影机数组的侧视图。
[0023] 图4A至4B绘示了本发明一具体实施例的一周围环境影像及与其相应的像素数目- 亮度分析直方图。
[0024] 图5A至5B绘示了本发明一具体实施例的又一周围环境影像及与其相应的像素数 目-亮度分析直方图。
[0025] 图6A至6B绘示了本发明一具体实施例的另一周围环境影像及与其相应的像素数 目-亮度分析直方图。
[0026] 图7绘示了本发明一具体实施例的周围环境影像、相应的像素数目-亮度分析直方 图W及所述周围环境影像代表的权重的示意图。
[0027] 图8绘示了本发明另一范畴的功能方块示意图。
[0028] 【符号说明】
[0029] 1:光流测速模块
[0030] 10:摄影机数组
[0031] 102:基座 104:摄影机
[0032] 12:运算单元
[0033] 122:图像处理装置 124:速度运算装置
[0034] 126:标准差运算装置
[00：35] 14:统计单元
[0036] 2:光流测速模块的测速方法
[0037] Vs:摄影机速度 Vout:机动设备的运动速度
[003引 Os:标准差
【具体实施方式】
[0039] 请先参阅图1至图3,图1绘示了本发明一具体实施例的功能方块示意图。图2绘示 了本发明的摄影机数组的俯视图。图3绘示了本发明的摄影机数组的侧视图。
[0040] 本发明提供一种光流测速模块1，用于装设在机动设备上并运算所述机动设备的 运动速度，包含:摄影机数组10、运算单元12W及统计单元14。
[0041] 摄影机数组10包含有基座102与NXM个摄影机104,用W拍摄而取得机动设备的多 组NXM个周围环境影像;运算单元12与摄影机数组10电性连接，并根据NXM个周围环境影 像运算出N X M个摄影机速度与N X M个标准差;N X M个标准差表示，针对N X M个摄影机104所 拍摄的NXM个周围环境影像，进行计算，一组NXM个周围环境影像中的每一个周围环境影 像，都对应有一个标准差，运些标准差有NXM个，统称为NXM个标准差。统计单元14与运算 单元12电性连接，用于根据NXM个摄影机速度与NXM个标准差运算出机动设备的运动速 度，其中N与M皆为大于1的自然数。
[0042] 其中关于影像一词，被解释为静态影像或动态影像，只是于本实施例中是W静态 影像作解。然「多组」一词是针对静态影像所述，本领域技术人员也可知晓此处是WNXM个 摄影机拍摄到N X M个动态影像，再将N X M个动态影像逐格分解成多个的N X M个静态影像。 [00创于本实施例中，如图2所示的摄影机数组10为一4X4方阵，亦即N = M = 4的摄影机 数组，然此实施例仅为方便说明，本发明并不加 W限制摄影机数组10必须W方阵形成摄影 机数组，而且，本发明的摄影机数组10里的每个摄影机104不W全往同一方向拍摄为限制， 摄影机104往不同的方向拍摄，W进一步减少影响速度测量的环境因素。
[0044] 本发明提供的光流测速模块1所装设的机动设备可为无人飞行机、自行车、机动车 辆等机动设备，当装设有本发明光流测速模块1的机动设备在运动时，摄影机数组10的NXM 个摄影机104将拍摄机动设备周围的多组NXM个周围环境影像，W供测速使用。运NXM个周 围环境影像再经由运算单元12来分别算出NXM个摄影机速度与NXM个标准差。
[0045] 运算单元12包含有图像处理装置122、速度运算装置124W及标准差运算装置126。 图像处理装置122将每一个摄影机104所拍摄的周围环境影像进行像素与亮度的分析，来对 应产生NXM个周围环境影像的数值化结果，再根据运些数值化结果产生NXM个周围环境影 像的像素数目-亮度分析直方图。
[0046] 请参阅图4A至图4B、图5A至图5BW及图6A至图6B等S组图组。图4A至图4B、图5A至 图5BW及图6A至图6B分别绘示了本发明一具体实施例的周围环境影像与其相应的像素数 目-亮度分析直方图。
[0047] 其中图4A是经由摄影机数组10的摄影机104所拍摄的在一般环境亮度下的周围环 境实验影像，图5A是在高环境亮度下由摄影机104拍摄的周围环境实验影像，图6A是在低环 境亮度下由摄影机104拍摄的周围环境实验影像。而图4B、图5BW及图6B则分别是将图4A、 图5AW及图6A经由图像处理装置122W计算机视觉处理后的数值化结果，再将统计像素数 目-亮度之间关系而产生的周围环境实验影像的像素数目-亮度分析直方图。
[0048] 请先参阅图4A至图4B，在一般环境亮度的背景下，可W明显看出图4A中图像的纹 理，而其相对应的图4B中能看出图4A有相当部分的像素 W高亮度呈现，但也有一定数量的 像素分布在中、低亮度的部分。呈现出影像亮度分布平均而标准差较高的倾向。
[0049] 接着请参阅图5A至图5B，在较高环境亮度的背景下，图5A中大约只剩一半的图像 纹理部分依然可见，而其相对应的图5B中能看出图5A极大部分的像素都W高亮度呈现，而 鲜少有像素分布至中、低亮度的部分。呈现出影像亮度集中区域偏高亮度而标准差较低，平 均亮度值高的倾向。
[0050] 最后请参阅图6A至图6B，在较低环境亮度的背景下，图6A中大部分的图像纹理部 分几乎不易可见，而其相对应的图6B中能看出图6A极大部分的像素都W低亮度呈现，而鲜 少有像素分布至中、高亮度的部分。呈现出影像亮度集中区域偏低亮度而标准差较低，平均 亮度值低的倾向。
[0051] 接着，NXM个周围环境影像的数值化结果被输出至速度运算装置124,速度运算装 置124根据NXM个周围环境影像的数值化结果，通过光流运算法来算出每一个摄影机104所 拍摄到的NXM个周围环境影像所包含的运动速度，而NXM个周围环境影像的像素数目-亮 度分析直方图则被传送到标准差运算装置126，W根据像素数目-亮度分析直方图所呈现的 数据运算出每一个周围环境影像的标准差。
[0052] 请参阅图7,图7绘示了本发明一具体实施例的周围环境影像、相应的像素数目-亮 度分析直方图W及所述周围环境影像代表的权重的示意图。需了解的是，若是有一周围环 境影像的像素数目-亮度分析直方图表现出亮度分布都集中在高亮度区间，且其标准差值 和/或权重值偏低时，如图7(C)所示，则代表所述周围环境影像受到光折射的影响过大，导 致过曝光，无法提供足够的影像纹理来判断速度。相反的，若是有周围环境影像的像素数 目-亮度分析直方图表现出亮度分布都集中在低亮度区间，且其标准差值和/或权重值偏低 时，如图7(A)所示，则代表所述周围环境影像曝光不足，过暗，同样无法提供足够的影像纹 理来判断速度。而若周围环境影像的像素数目-亮度分析直方图表现出各个亮度区间都有 像素分布，且其标准差值和/或权重值不至偏低时，如图7(B)所示，则代表所述周围环境影 像几乎未受到光折射的影响，没有过曝光的问题，应可提供足够的影像纹理来判断速度。
[0053] 而前述关于影像的数值化处理、利用光流运算法求取影像速度W及标准差计算的 方法应属现有技术，所属技术领域具通常知识者在阅读本说明书时应可自然知晓相关技术 内容。
[0054]算得每一摄影机104的运动速度Vs与每一周围环境影像的标准差之后，统计单元 14则根据运动速度与每一周围环境影像的标准差，W下列式一进行安装有摄影机数组10的 机动设备的运动速度的计算。
[0化5] 式一；
[0化6]
[0化7] 其中，K = NXM、Vs为每一所述NXM个摄影机速度、Os为每一所述NXM个标准差、Vout 为所述机动设备的所述运动速度。而在式一中，标准差Os代表权重，标准差Os值较高者，代表 与所述标准差值对应的周围环境影像能提供较足够的影像纹理，而拍摄下所述周围环境影 像的摄影机速度具有较高的参考价值;相反的，标准差Os值较低者，代表与所述标准差值对 应的周围环境影像不能提供较足够的影像纹理，而拍摄下所述周围环境影像的摄影机速度 具有较低的参考价值。标准差Os有NXM个，统称为NXM个标准差，分别对应NXM个摄影机所 拍摄的一组NXM个周围环境影像中的每一个周围环境影像。
[005引经过统计单元14的运算，即可获得除去地面反光或环境光源过亮或是环境光源不 足等不利因素的，可靠的机动设备速度测量值。
[0059] 接着请参阅图8,图8绘示了本发明另一范畴的功能方块示意图。本发明的另一范 畴在于提供一种光流测速模块的测速方法，用W测量机动设备的运动速度，机动设备上装 设有光流测速模块，光流测速模块包含有摄影机数组10、运算单元12W及统计单元14,其中 摄影机数组10包含有基座102与NXM个摄影机104,而N与M皆为大于1的自然数，光流测速模 块的测速方法包含W下步骤:S1:使用摄影机数组的NXM个摄影机进行拍摄，取得机动设备 的多组N X M个周围环境影像;S2:使用运算单元根据多组N X M个周围环境影像，运算出N X M 个摄影机速度；S3:使用所述运算单元根据多组NXM个周围环境影像，运算出NXM个标准 差；W及S4:利用统计单元根据NXM个摄影机速度，与NXM个标准差运算出机动设备的运动 速度。
[0060] 于步骤Sl中，使用装设于机动设备，例如无人飞行机上的具有NXM个摄影机的摄 影机数组拍摄机动设备周围的多组NXM个周围环境影像。其中，本发明的摄影机数组10里 的每个摄影机104不W全往同一方向拍摄为限制，摄影机104往不同的方向拍摄，W进一步 减少影响速度测量的环境因素。
[0061] 接着在步骤S2中，运算单元12将根据多组NXM个周围环境影像运算出每一个摄影 机104的速度。首先，运算单元12包含有图像处理装置122、速度运算装置124W及标准差运 算装置126。图像处理装置122先将每一个摄影机104所拍摄的周围环境影像进行像素与亮 度的分析，藉W对应产生NXM个周围环境影像的数值化结果，并再根据那些数值化结果产 生NXM个周围环境影像的像素数目-亮度分析直方图。故在步骤Sl与S2之间，进一步包含步 骤S15:使用图像处理单元将NXM个周围环境影像的像素与亮度数值化，并对应产生NXM个 周围环境影像的数值化结果，W及像素数目-亮度分析直方图。
[0062] 而在NXM个周围环境影像的数值化结果产生之后，速度运算装置124执行步骤S2， 通过光流运算法来算出每一个摄影机104所拍摄到的周围环境影像所包含的运动速度。
[0063] 接着，NXM个周围环境影像的像素数目-亮度分析直方图则被传送到标准差运算 装置126,而标准差运算装置126将执行步骤S3W根据像素数目-亮度分析直方图呈现的数 据运算出每一个周围环境影像的标准差。
[0064]最后在步骤S4中，统计单元14根据经由步骤S2算得的每一个摄影机的运动速度， W及经由步骤S3算得的每一个周围环境影像的标准差，W下列公式进行安装有摄影机数组 10的机动设备的运动速度的计算。
[00化]式一；
[0066]
[0067] 其中，K = NXM、Vs为每一所述NXM个摄影机速度、Os为每一所述NXM个标准差、Vout 为所述机动设备的所述运动速度。而于式一中，标准差Os代表权重，标准差Os值较高者，代表 与所述标准差值对应的周围环境影像能提供较足够的影像纹理，而拍摄下所述周围环境影 像的摄影机速度具有较高的参考价值;相对的，标准差Os值较低者，代表与所述标准差值对 应的周围环境影像不能提供较足够的影像纹理，而拍摄下所述周围环境影像的摄影机速度 具有较低的参考价值。
[0068] 通过上述步骤使用本发明的光流测速模块1，即可获得除去地面反光或环境光源 过亮或是环境光源不足等不利因素的，可靠的机动设备速度测量值。
[0069] 综上所述，本发明提供一种光流测速模块与其测速方法，光流测速模块包含摄影 机数组、运算单元与统计单元。摄影机数组包含NXM个摄影机，用W拍摄一机动设备的多组 NXM个周围环境影像，运算单元根据多组NXM个周围环境影像分别算出NXM个周围环境影 像所代表的摄影机速度与其标准差，统计单元再根据N X M个摄影机速度与N X M个标准差运 算出机动设备的运动速度。
[0070] 相较于现有技术，本发明利用多个摄影机所组成的摄影机数组拍摄多个影像，W 减少因为地面反光或是环境光源造成影像纹理不易辨识的不利因素，可提升利用光流测速 模块测量速度的可靠性。
[0071] 通过W上较佳具体实施例的详述，希望能更加清楚描述本发明的特征与精神，而 并非W上述所掲露的较佳具体实施例来对本发明的范畴加 W限制。相反地，其目的是希望 能涵盖各种改变及具相等性的安排于本发明所欲申请的专利范围的范畴内。因此，本发明 所申请的专利范围的范畴应所述根据上述的说明作最宽广的解释，W致使其涵盖所有可能 的改变W及具相等性的安排。
【主权项】
1. 一种光流测速模块，装设于机动设备上用以测量所述机动设备的运动速度，其特征 在于，所述光流测速模块包含： 摄影机数组，所述摄影机数组包含有多组N X Μ个摄影机，用以拍摄而取得所述机动设 备的多组Ν X Μ个周围环境影像； 运算单元，与所述摄影机数组电性连接，并根据所述多组ΝΧΜ个周围环境影像运算出Ν XΜ个摄影机速度与ΝXΜ个标准差；以及 统计单元，与所述运算单元电性连接，用于根据所述Ν X Μ个摄影机速度与所述Ν X Μ个 标准差运算出所述机动设备的所述运动速度； 其中Ν与Μ皆为大于1的自然数。2. 如权利要求1所述的光流测速模块，其特征在于，所述统计单元以下列公式运算出所 述机动设备的所述运动速度：其中，Κ = Ν X M、Vs为每一所述Ν X Μ个摄影机速度、〇s为每一所述Ν X Μ个标准差、Vcmt为所 述机动设备的所述运动速度。3. 如权利要求1所述的光流测速模块，其特征在于，所述运算单元包含图像处理单元， 用以将所述多组NXM个周围环境影像的像素与亮度数值化，并对应产生NXM个周围环境影 像的数值化结果，与像素数目-亮度分析直方图。4. 如权利要求3所述的光流测速模块，其特征在于，所述运算单元包含速度运算装置， 所述速度运算装置根据所述NXM个周围环境影像的数值化结果，利用一光流运算法以运算 出所述Ν X Μ个摄影机速度。5. 如权利要求3所述的光流测速模块，其特征在于，所述运算单元包含一标准差运算装 置，用于根据每一所述多组ΝΧΜ个周围环境影像的所述ΝΧΜ个像素数目-亮度分析直方图 所呈现的数据，进行每一所述Ν X Μ个标准差的运算。6. -种光流测速模块的测速方法，用以测量机动设备的运动速度，所述机动设备上装 设有光流测速模块，所述光流测速模块包含有摄影机数组、运算单元以及统计单元，其中所 述摄影机数组包含有Ν XΜ个摄影机，而Ν与Μ皆为大于1的自然数，其特征在于，所述光流测 速模块的测速方法包含以下步骤： 使用所述摄影机数组的所述ΝΧΜ个摄影机进行拍摄，取得所述机动设备的多组ΝΧΜ个 周围环境影像； 使用所述运算单元根据所述多组ΝΧΜ个周围环境影像，运算出ΝΧΜ个摄影机速度； 使用所述运算单元根据任一组所述ΝΧΜ个周围环境影像，运算出所述任一组的所述Ν XΜ个周围环境影像所对应的ΝXΜ个标准差；以及 使用所述统计单元根据所述ΝΧΜ个摄影机速度，与所述ΝΧΜ个标准差，运算出所述机 动设备的所述运动速度。7. 如权利要求6所述的光流测速模块测速方法，其特征在于，所述统计单元以下列公式 运算出所述机动设备的所述运动速度：其中，K = N X M、Vs为每一所述N X Μ个摄影机速度、〇s为每一所述N X Μ个标准差、Vcmt为所 述机动设备的所述运动速度。8. 如权利要求6所述的光流测速模块测速方法，其特征在于，所述运算单元包含图像处 理单元，所述光流测速模块测速方法进一步包含步骤:使用所述图像处理单元将所述多组N XM个周围环境影像的像素与亮度数值化，并对应产生NXM个周围环境影像的数值化结果， 以及像素数目-亮度分析直方图。9. 如权利要求8所述的光流测速模块测速方法，其特征在于，所述运算单元包含速度运 算装置，用于根据所述多组NXM个周围环境影像的数值化结果通过一光流运算法以运算出 所述NX Μ个摄影机速度。10. 如权利要求8所述的光流测速模块测速方法，其特征在于，所述运算单元包含标准 差运算装置，用于根据每一所述像素数目-亮度分析直方图所呈现的数据，进行每一所述Ν X Μ个标准差的运算。
【文档编号】G06T7/20GK105954536SQ201610493464
【公开日】2016年9月21日
【申请日】2016年6月29日
【发明人】张彦杰
【申请人】英华达（上海）科技有限公司, 英华达股份有限公司, 英华达(上海)电子有限公司