基于单摄像机图像的堆粮高度的测量方法和装置的制造方法
【技术领域】
[0001] 本发明涉及粮食仓储管理领域，尤其涉及一种基于单摄像机图像的堆粮高度的测 量方法和装置。
【背景技术】
[0002] 粮食仓储管理的自动化水平目前仍有待提升。堆粮高度测量、粮食出入仓信息记 录等都依赖人工完成，阻碍了粮食物流组织化程度的发展。堆粮高度线，也称存粮线，是堆 粮高度测量和控制、粮食出入仓检测等的重要参考标志线，其位置的检测对粮仓智能监控 和监管有重要作用。
[0003] 在粮食清仓查库工作中，常用体积密度法对满仓时粮食的重量进行粗略估算。具 体的方法是首先目测估计或人工测量粮面与堆粮高度线的距离，再通过参考粮仓内堆粮高 度线的高度，计算出堆粮高度，然后根据粮仓的长、宽或者直径，利用体积公式计算出粮食 体积，最后乘上密度，即计算出粮食重量。这种方式测算得到的堆粮高度的准确度和人为因 素关系密切，并且一般只有少量离散点的高度数据，所以后续计算结果的准确度也随之降 低。
[0004] 另外，还可利用激光测距原理，通过融合多台三维激光扫描仪或单台多次扫描得 到的点云数据，对粮仓内的三维信息进行重构。三维激光扫描仪和重构算法的选择都会直 接影响重构结果。这种方法可以不受粮堆形状的限制，但是它需要昂贵的设备支持，并且算 法复杂度很高，很难应用于粮仓的日常运营管理中。
【发明内容】
[0005] 本发明的实施例提供了一种基于单摄像机图像的堆粮高度的测量方法和装置，以 实现有效地测量出当前粮仓中的堆粮高度。
[0006] 本发明提供了如下方案：
[0007] -种基于单摄像机图像的堆粮高度的测量方法，在粮仓中安装摄像机，设置所述 摄像机拍摄的图像中像素点的像素坐标系与摄像机坐标系之间的映射关系，设置摄像机坐 标系与世界坐标系之间的映射关系，包括：
[0008] 通过粮仓中安装的摄像机拍摄图像，所述图像至少覆盖粮仓墙壁的底边和堆粮高 度线；
[0009] 根据所述图像中像素点的像素值的变化特征，利用图像分割技术将所述图像分割 成两个区域，按照设定的像素点选取规则在所述两个区域的边界上选取多个边界点；
[0010] 获取每个边界点的像素坐标（u，V)，根据所述像素坐标系与摄像机坐标系之间的 映射关系，将每个边界点的像素坐标（u，v)转换为摄像机坐标（ X/z，y/z); toon] 根据所述摄像机坐标系与世界坐标系之间的映射关系，将每个边界点的摄像机坐 标（x/z, y/z)转换为世界坐标（X，Y);
[0012] 根据各个边界点的世界坐标（X，Y)得到所述粮仓中的堆粮高度线。
[0013] 所述的设置所述摄像机拍摄的图像中像素点的像素坐标系与摄像机坐标系之间 的映射关系，包括：
[0014] 用（u，v)表示图像中像素点的像素坐标，用（X，y，z)表示摄像机坐标，从（X，y，z) 至|J (U，v)的映射为
[0015]
[0016]
[0017] 其中，r是图像中像素点距像素坐标原点的距离，且
匕和仁分 别是摄像机水平和坚直方向的焦距，cx和cy分别是摄像机水平和坚直方向的基点坐标， Iq, k2, k3, k4, k5, k6, Pi, p2是所述摄像机用于矫正镜头畸变的参数。
[0018] 所述的设置摄像机坐标系与世界坐标系之间的映射关系，包括：
[0019] 在所述摄像机拍摄的空仓时的图像中，从墙壁的左下角和右下角，以及堆粮高度 线的4个角中选择出6个标志点，获取每个标志点的像素坐标（u，V);
[0020] 根据所述像素坐标系与摄像机坐标系之间的映射关系，获取每个标志点的摄像机 坐标（x/z, y/z);
[0021] 将墙壁的左下角设为世界坐标原点0, 0点的坐标为X = 0, Y = 0, Z = 0,设墙壁 上所有点的世界坐标Ζ = 0，Χ轴的正方向为水平向右，Υ轴的正方向为垂直向上，根据每个 标志点的位置获取每个标志点的世界坐标；
[0022] 设标志点的世界坐标系与摄像机坐标系之间的映射关系为：
[0023]
[0024] 其中，R = [rl，r2, r3]是3*3的旋转矩阵，t是3*1的平移向量，
[0025] 对每一个标志点，有
[0026]
[0027] 其中，A = k[rl, r2, t]是一个3*3的矩阵，k是比例系数；
[0028] 所述6标志点的（X，Y)与（x/z, y/z)的对应关系构成了 6个线性约束，该6个线 性约束组成了非齐次线性方程，解该非齐次线性方程，求得A的最小二乘解。
[0029] 所述的根据所述图像中像素点的像素值的变化特征，利用图像分割技术将所述图 像分割成两个区域，包括：
[0030] 通过所述图像中像素点之间的位置和相似度关系，使用图像分割算法将整个所述 图像分割成若干小区域，每个小区域用一个像素值表示，用预先训练的分类器对各小区域 进行分类，将各小区域分类为粮堆和墙壁，将被分类为粮堆的所有小区域合并形成粮堆区 域，将被分类为墙壁和堆粮高度线的所有小区域合并形成墙壁区域。
[0031] 所述的根据各个边界点的世界坐标（X，Y)得到所述粮仓中的堆粮高度线，包括：
[0032] 将所有边界点的世界坐标（X，Y)点按X的大小进行升序排序，得到（X，Y)的点集 S。设粮堆高度线的右上角的世界坐标为（Χ0，Υ0)，在高为Χ0,宽为Υ0的二维矩形中，将S 中各边界点的纵坐标处画点，并顺序连线，该连线即为粮仓中粮堆的上边界线，根据该上边 界线得到各个水平点对应的堆粮高度。
[0033] -种基于单摄像机图像的堆粮高度的测量装置，包括：
[0034] 坐标映射关系设置模块，用于设置粮仓中安装的摄像机拍摄的图像中像素点的像 素坐标系与摄像机坐标系之间的映射关系，设置摄像机坐标系与世界坐标系之间的映射关 系；
[0035] 图像分割模块，用于获取粮仓中安装的摄像机所拍摄的图像，所述图像至少覆盖 粮仓墙壁的底边和堆粮高度线；根据所述图像中像素点的像素值的变化特征，利用图像分 割技术将所述图像分割成两个区域；
[0036] 坐标转换模块，用于按照设定的像素点选取规则在所述两个区域的边界上选取多 个边界点，获取每个边界点的像素坐标（U，V)，根据所述像素坐标系与摄像机坐标系之间的 映射关系，将每个边界点的像素坐标（u，v)转换为摄像机坐标（ X/z，y/z);根据所述摄像机 坐标系与世界坐标系之间的映射关系，将每个边界点的摄像机坐标（x/z，y/z)转换为世界 坐标（X，Y);
[0037] 堆粮高度线获取模块，用于根据各个边界点的世界坐标（X，Y)得到所述粮仓中的 堆粮高度线。
[0038] 所述的坐标映射关系设置模块，用于设置所述摄像机拍摄的图像中像素点的像 素坐标系与摄像机坐标系之间的映射关系，用（u，v)表示图像中像素点的像素坐标，用 (x，y，z)表示摄像机坐标，从（x，y，z)到（u，v)的映射为：
[0039]
[0040]
[0041] 其中，r是图像中像素点距像素坐标原点的距离，且
&和仁分 别是摄像机水平和坚直方向的焦距，cx和cy分别是摄像机水平和坚直方向的基点坐标， Iq, k2, k3, k4, k5, k6, Pi, p2是所述摄像机用于矫正镜头畸变的参数。
[0042] 所述的坐标映射关系设置模块，用于设置摄像机坐标系与世界坐标系之间的映射 关系，在所述摄像机拍摄的空仓时的图像中，从墙壁的左下角和右下角，以及堆粮高度线的 4个角中选择出6个标志点，获取每个标志点的像素坐标（u，v);
[0043] 根据所述像素坐标系与摄像机坐标系之间的映射关系，获取每个标志点的摄像机 坐标（x/z, y/z);
[0044] 将墙壁的左下角设为世界坐标原点0, 0点的坐标为X = 0, Y = 0, Z = 0,设墙壁 上所有点的世界坐标Ζ = 0，Χ轴的正方向为水平向右，Υ轴的正方向为垂直向上，根据每个 标志点的位置获取每个标志点的世界坐标；
[00