一种基于侧向多视角成像的水果三维点云重建装置

1.本发明涉及一种水果点云重建装置，尤其是涉及一种基于侧向多视角成像的水果三维点云重建装置。


背景技术：

2.我国是世界水果生产大国，同时我国作为世界上柚种植面积最大的国家，柚产量位居世界第一位，2019年柚产量已经高达508万吨,柚栽培面积及产量分别占世界的61.41％和51.45％。当前对于蜜柚的品质分级主要依据重量，黄日升等(2015)(黄日升,朱东煌,林锦星,沈虹,李健.蜜柚果实分级标准研究[j].中国南方果树,2015,44(03):28-31+34.)研究表明利用体积作为分级指标较重量更加科学，且果实的体积与内部品质相关性最强，其对应汁胞粒化率最大。因此估测蜜柚体积进而进行商品化分等分级具有重要意义。
[0003]
水果体积估测传统方法主要为人工测量，如使用排水法进行测量，但是人工测量方式具有劳动强度大、效率低、耗时长等不足。近年来，随着三维测量技术以及消费级图像采集设备的发展，众多研究学者采用了单目多视角以及激光扫描等方法测量出水果的三维模型，进而测量水果的体积等外部几何特征。如王可(2015)(王可.基于xtion传感器的植物果实和叶片三维重建及其尺寸参数提取[d].昆明理工大学,2015.)基于重建的三维点云测量了杨桃与紫长茄的体积，结果表明，与真实值相比，杨桃估测体积平均相对误差为6.63％，紫长茄估测体积平均相对误差为7.23％。yamamoto等(2018)(yamamoto s,karkee m,kobayashi y,et al.3d reconstruction of apple fruits using consumer-grade rgb-depth sensor[j].engineering in agriculture,environment and food,2018,11(4):159-168.)针对消费级传感器深度信息不可靠的问题，由二维图像提取感兴趣区域，然后再在三维点云上进行校正，通过对100多个苹果进行实验评估，得到体积及最大纵径均方根误差分别小于6cm3和1mm。ni等(2021)(ni x,li c,jiang h,et al.three-dimensional photogrammetry with deep learning instance segmentation to extract berry fruit harvestability traits[j].isprs journal of photogrammetry and remote sensing,2021,171:297-309.)基于sfm与mvs重建了4个品种的蓝莓果的点云，利用最小包围盒计算了蓝莓的紧凑度，估测了蓝莓果的数量、体积和成熟度，结果表明蓝莓果果实数量检测精度达到了97.3％。
[0004]
但是以上研究对象均为椭球形或球形水果，难以适用于具有水滴形、球形、椭球形、梨形等多样果形的蜜柚体积估测，且存在光照不稳定的问题。因此对于以蜜柚为代表的表皮布满油胞具有易反光特性，易形成过曝区域的水果，构建一套具有光照均匀性的点云测量装置具有重要意义。


技术实现要素：

[0005]
为了解决背景技术中存在的问题和需求，本发明提供了一种基于侧向多视角成像的水果三维点云重建装置。
[0006]
本发明的技术方案如下：
[0007]
本发明包括光照箱、旋转平台、3个相机和主机；
[0008]
光照箱内部的中心处安装有旋转平台，旋转平台用于放置水果，3个相机分别为俯视相机c1、平视相机c2与仰视相机c3，光照箱的圆周侧面从上到下依次安装有俯视相机c1、平视相机c2与仰视相机c3，俯视相机c1、平视相机c2与仰视相机c3的光轴均指向水果，俯视相机c1、平视相机c2和仰视相机c3均与主机相连。
[0009]
所述光照箱包括底盘模块、周向旋转模块、纵向升降模块、导光膜、顶部led光源、透明亚克力圆筒、径向进退模块、轴向旋转模块和底部led光源；
[0010]
底盘模块上放置有透明亚克力圆筒，底盘模块和透明亚克力圆筒之间至少安装有一个周向旋转模块，透明亚克力圆筒的外圆周侧面覆有导光膜，透明亚克力圆筒的上端面和下端面分别安装有顶部led光源和底部led光源；每个周向旋转模块上安装有对应的径向进退模块，径向进退模块上安装有对应的纵向升降模块，纵向升降模块上安装有对应的轴向旋转模块，轴向旋转模块上安装有对应的相机，透明亚克力圆筒的圆周侧面上开有矩形观察孔，相机伸入透明亚克力圆筒的矩形观察孔后拍摄放置于旋转平台上的水果；每个周向旋转模块在底盘模块上周向旋转，每个周向旋转模块同步带动对应的径向进退模块、纵向升降模块和轴向旋转模块。
[0011]
所述底盘模块包括底部圆盘和底部径向固定架；
[0012]
底部圆盘的下表面等间隔地固定安装有多个安装脚，每个安装脚与底部圆盘之间通过支撑架连接，每个安装脚与对应的支撑架之间通过螺纹连接底部圆盘和透明亚克力圆筒之间安装有周向旋转模块，底部圆盘的内部设置有底部径向固定架，底部径向固定架与多个安装脚固定连接，底部径向固定架上放置旋转平台；底部圆盘外缘上开设有至少一个扇形通槽，扇形通槽的内侧面设置为齿条，
[0013]
所述周向旋转模块包括周向调节手柄和周向固定板，周向固定板的下端面安装有周向调节手柄，周向固定板的上端面还安装有径向进退模块，周向调节手柄的中部设置为齿轮，周向调节手柄的下端穿过扇形通槽后，周向调节手柄中部的齿轮与扇形通槽的齿条啮合形成齿轮齿条副，周向调节手柄下端的转动带动周向固定板进行周向旋转。
[0014]
所述径向进退模块包括径向调节螺杆、径向导向杆、径向调节手柄和径向导向块；
[0015]
所述周向旋转模块上固定安装有径向导向杆，周向旋转模块上还安装有径向调节螺杆，径向导向杆与径向调节螺杆平行且间隔布置，径向导向块套设在径向导向杆与径向调节螺杆中，径向调节螺杆远离底部圆盘的一端通过螺纹与径向调节手柄相连，径向调节螺杆靠近底部圆盘的一端通过与径向导向块固定连接，径向导向块上安装有纵向升降模块；径向调节手柄的旋转带动径向导向块沿着径向导向杆进行滑动，从而带动径向导向块上的纵向升降模块进行径向移动。
[0016]
所述纵向升降模块包括纵向固定架、纵向调节螺杆和纵向调节手柄；
[0017]
纵向固定架的一端固定安装在径向进退模块上，纵向固定架的另一端安装有纵向调节手柄，纵向固定架的中部设置有纵向调节螺杆，纵向调节螺杆远离径向进退模块的一端通过螺纹与纵向调节手柄相连，轴向旋转模块套装在纵向固定架与纵向调节螺杆中，纵向调节手柄的旋转带动轴向旋转模块沿着纵向固定架进行上升下降。
[0018]
所述轴向旋转模块包括轴向旋转块、轴向旋转固定槽板、相机安装侧板和相机安
装底板；
[0019]
轴向旋转块中开设有纵向孔和纵向升降螺孔，纵向升降模块穿过纵向孔和纵向升降螺孔后使得轴向旋转块安装在纵向升降模块中，轴向旋转块的侧面固定安装有轴向旋转固定槽板，轴向旋转固定槽板的侧面开设有圆弧槽，相机安装侧板的螺栓穿过轴向旋转固定槽板的圆弧槽后使得相机安装侧板安装在轴向旋转固定槽板上；相机安装底板固定安装在相机安装侧板的底部，相机安装侧板和相机安装底板形成l型安装座，用于固定安装相机，螺栓的调节使得相机安装侧板沿着圆弧槽旋转，从而调整相机的光轴方向。
[0020]
所述透明亚克力圆筒的圆周侧面还开设有方形进出通道口，用于水果进出。
[0021]
所述透明亚克力圆筒的上下方分别铺设有一块反光布。
[0022]
本发明的有益效果为：
[0023]
本发明构建的一种基于侧向多视角成像的水果三维点云重建装置能够形成良好的光照环境，有效解决水果表面反光所引起的局部过曝问题，适用于以蜜柚为代表的具有水滴形、球形、椭球形、梨形等多样果形的水果的点云重建。
附图说明
[0024]
图1是本发明的图像采集系统结构示意图。
[0025]
图2是本发明的光照箱结构组成图。
[0026]
图3是本发明的底盘模块轴测图。
[0027]
图4是本发明的周向旋转模块轴测图。
[0028]
图5是本发明的径向进退模块俯视图。
[0029]
图6是本发明的纵向升降模块轴测图。
[0030]
图7是本发明的轴向旋转模块轴测图。
[0031]
图8是本发明的透明亚克力圆筒轴测图。
[0032]
图9是本发明的光照方案示意图。
[0033]
图10是本发明的v分量图。
[0034]
图11是本发明的roi区域亮度分布图。
[0035]
图12是本发明的装置剖面图。
[0036]
图13是本发明的轴向模块安装示意图。
[0037]
图中：1、光照箱，1.1、底盘模块，1.1.1、安装脚，1.1.2、支撑架，1.1.3、底部圆盘，1.1.4、支撑柱法兰盘，1.1.5、底部径向固定架，1.1.6、周向扇面导向槽，1.2、支撑柱，1.3、周向旋转模块，1.3.1、周向滚动圆轴，1.3.2、周向调节手柄，1.3.3、周向固定板，1.4、纵向升降模块，1.4.1、纵向固定架，1.4.2、纵向调节螺杆，1.4.3、纵向调节手柄，1.5、导光膜，1.6、顶部led光源，1.7、顶部支架，1.8、透明亚克力圆筒，1.8.1、矩形观察孔，1.8.2、方形进出通道口，1.8.3、led光源嵌入槽，1.9、径向进退模块，1.9.1、径向调节螺杆，1.9.2、径向导向杆，1.9.3、径向调节手柄，1.9.4、径向导向块，1.10、轴向旋转模块，1.10.1、轴向旋转块，1.10.2、纵向孔，1.10.3、纵向升降螺孔，1.10.4、轴向旋转固定槽板，1.10.5、相机安装侧板，1.10.6、相机安装底板，1.11、底部led光源，2、旋转平台，3、水果，4、相机，5、主机，6、显示器。
具体实施方式
[0038]
下面以蜜柚为例，结合附图和实施例对本发明作进一步说明。
[0039]
如图1、图2、图3和图12所示，本发明包括光照箱1、旋转平台2、3个工业相机4、显示器6和主机5；
[0040]
光照箱1内部的中心处安装有旋转平台2，旋转平台2用于放置水果3，3个相机4分别为俯视相机c1、平视相机c2与仰视相机c3，沿轴向光照箱1的圆周侧面从上到下依次安装有俯视相机c1、平视相机c2与仰视相机c3，俯视相机c1、平视相机c2与仰视相机c3的光轴均指向水果3，即俯视相机c1、平视相机c2与仰视相机c3的光轴之间存在夹角。俯视相机c1、平视相机c2与仰视相机c3在周向上的位置不固定，例如，俯视相机c1、平视相机c2与仰视相机c3可以在同一轴线上，也可以在周向上等间隔布置，俯视相机c1、平视相机c2和仰视相机c3均与主机5相连，主机5与显示器6相连。
[0041]
光照箱1包括底盘模块1.1、支撑柱1.2、顶部支架1.7、周向旋转模块1.3、纵向升降模块1.4、导光膜1.5、顶部led光源1.6、透明亚克力圆筒1.8、径向进退模块1.9、轴向旋转模块1.10和底部led光源1.11；
[0042]
底盘模块1.1上放置有透明亚克力圆筒1.8，底盘模块1.1和透明亚克力圆筒1.8之间至少安装有一个周向旋转模块1.3，周向旋转模块1.3与透明亚克力圆筒1.8之间间隔布置。透明亚克力圆筒1.8的外圆周侧面覆有导光膜1.5，透明亚克力圆筒1.8的上端面和下端面分别开设有led光源嵌入槽1.8.3，上、下led光源嵌入槽1.8.3中分别安装有顶部led光源1.6和底部led光源1.11，作为光源，具体实施中，led光源为软灯条，软灯条在透明亚克力圆筒1.8上下端面各贴一周；透明亚克力圆筒1.8的圆周侧面还开设有方形进出通道口1.8.2，用于水果进出。透明亚克力圆筒1.8的上下方分别铺设有一块反光布，用于增强透明亚克力圆筒1.8内部的光照强度。透明亚克力圆筒1.8的上方还设置有顶部支架1.7，顶部支架1.7与底盘模块1.1之间通过多根支撑柱1.2固定连接，多根支撑柱1.2等间隔的安装在透明亚克力圆筒1.8外的底盘模块1.1上，顶部支架1.7用于安装顶部相机。
[0043]
每个周向旋转模块1.3上安装有对应的径向进退模块1.9，径向进退模块1.9上安装有对应的纵向升降模块1.4，纵向升降模块1.4上安装有对应的轴向旋转模块1.10，轴向旋转模块1.10上安装有对应的相机4，透明亚克力圆筒1.8的圆周侧面上开有矩形观察孔1.8.1，如图8所示，相机4伸入透明亚克力圆筒1.8的矩形观察孔1.8.1后拍摄放置于旋转平台上的水果3；每个周向旋转模块1.3在底盘模块1.1上周向旋转，每个周向旋转模块1.3同步带动对应的径向进退模块1.9、纵向升降模块1.4和轴向旋转模块1.10，径向进退模块1.9用于调节相机4与透明亚克力圆筒1.8中心之间的径向距离，纵向升降模块1.4用于调节相机4轴向上的高度，轴向旋转模块1.10用于调节相机4的光轴方向。
[0044]
具体实施中，底盘模块1.1和透明亚克力圆筒1.8之间等间隔地安装有3个周向旋转模块1.3，每个周向旋转模块1.3对应的纵向升降模块1.4上安装一个轴向旋转模块1.10。如果装置中只有一个周向旋转模块1.3，则该周向旋转模块1.3对应的纵向升降模块1.4上安装3个轴向旋转模块1.10，每个轴向旋转模块1.10上均安装有一个相机。周向旋转模块1.3可控制相机绕底盘模块1.1中心进行60
°
的转动，纵向升降模块1.4升降范围为0～600mm，径向进退模块1.9可以单独调节俯视相机c1、平视相机c2与仰视相机c3距底盘模块1.1中心进退范围为450～850mm，轴向旋转模块1.10可以单独调节相机安装座1.8俯仰角范
围为
±
60
°
。
[0045]
如图3所示，底盘模块1.1包括安装脚1.1.1、支撑架1.1.2、支撑柱法兰盘1.1.4、底部圆盘1.1.3和底部径向固定架1.1.5；
[0046]
底部圆盘1.1.3的下表面等间隔地固定安装有多个安装脚1.1.1，每个安装脚1.1.1与底部圆盘1.1.3之间通过支撑架1.1.2连接，每个安装脚1.1.1与对应的支撑架1.1.2之间通过螺纹连接，使得安装脚1.1.1原地转动，能对装置整体进行升降调节。底部圆盘1.1.3的上表面等间隔地固定安装有支撑柱法兰盘1.1.4，支撑柱法兰盘1.1.4与对应的支撑柱1.2相连，底部圆盘1.1.3和透明亚克力圆筒1.8之间安装有周向旋转模块1.3，底部圆盘1.1.3的内部设置有底部径向固定架1.1.5，底部径向固定架1.1.5与多个安装脚1.1.1固定连接，底部径向固定架1.1.5上放置旋转平台2；底部圆盘1.1.3外缘上开设有至少一个扇形通槽，扇形通槽的内侧面设置为齿条，具体实施中，底部圆盘1.1.3外缘上开设有三个沿圆周等间隔布置的扇形通槽。
[0047]
如图4和图13所示，周向旋转模块1.3包括周向滚动圆轴1.3.1、周向调节手柄1.3.2和周向固定板1.3.3，周向固定板1.3.3的下端面安装有周向调节手柄1.3.2，周向固定板1.3.3的上端面还安装有径向进退模块1.9，周向调节手柄1.3.2的中部设置为齿轮，周向调节手柄1.3.2的下端穿过扇形通槽后，周向调节手柄1.3.2中部的齿轮与扇形通槽的齿条啮合形成齿轮齿条副，周向调节手柄1.3.2下端的转动带动周向固定板1.3.3进行周向旋转。周向固定板1.3.3下端面的周向调节手柄1.3.2两侧还安装有多个周向滚动圆轴1.3.1，用于支撑周向固定板1.3.3和在底部圆盘1.1.3滑动。
[0048]
如图5所示，径向进退模块1.9包括径向调节螺杆1.9.1、径向导向杆1.9.2、径向调节手柄1.9.3和径向导向块1.9.4；
[0049]
周向旋转模块1.3的周向固定板1.3.3上端面固定安装有径向导向杆1.9.2，径向导向杆1.9.2的轴向为底部圆盘1.1.3径向，周向旋转模块1.3的周向固定板1.3.3上端面还安装有径向调节螺杆1.9.1，径向导向杆1.9.2与径向调节螺杆1.9.1平行且间隔布置，径向导向块1.9.4套设在径向导向杆1.9.2与径向调节螺杆1.9.1中，径向调节螺杆1.9.1远离底部圆盘1.1.3的一端通过螺纹与径向调节手柄1.9.3相连，径向调节螺杆1.9.1靠近底部圆盘1.1.3的一端通过与径向导向块1.9.4固定连接，径向导向块1.9.4上安装有纵向升降模块1.4的纵向固定架1.4.1；径向调节手柄1.9.3的旋转带动径向导向块1.9.4沿着径向导向杆1.9.2进行滑动，从而带动径向导向块1.9.4上的纵向升降模块1.4进行径向移动。
[0050]
如图6所示，纵向升降模块1.4包括纵向固定架1.4.1、纵向调节螺杆1.4.2和纵向调节手柄1.4.3；纵向固定架1.4.1的一端固定安装在径向进退模块1.9的径向导向块1.9.4上，纵向固定架1.4.1的另一端安装有纵向调节手柄1.4.3，纵向固定架1.4.1的中部设置有纵向调节螺杆1.4.2，纵向调节螺杆1.4.2远离径向进退模块1.9的一端通过螺纹与纵向调节手柄1.4.3相连，轴向旋转模块1.10的轴向旋转块1.10.1分别套装在纵向固定架1.4.1与纵向调节螺杆1.4.2中，轴向旋转模块1.10与纵向固定架1.4.1之间滑动，轴向旋转模块1.10与纵向调节螺杆1.4.2之间通过螺纹连接，纵向调节手柄1.4.3的旋转带动轴向旋转模块1.10沿着纵向固定架1.4.1进行上升下降。
[0051]
如图7所示，轴向旋转模块1.10包括轴向旋转块1.10.1、轴向旋转固定槽板1.10.4、相机安装侧板1.10.5和相机安装底板1.10.6；
[0052]
轴向旋转块1.10.1中开设有纵向孔1.10.2和纵向升降螺孔1.10.3，纵向升降模块1.4的纵向固定架1.4.1和纵向调节螺杆1.4.2分别穿过纵向孔1.10.2和纵向升降螺孔1.10.3后使得轴向旋转块1.10.1安装在纵向升降模块1.4中，轴向旋转块1.10.1的侧面固定安装有轴向旋转固定槽板1.10.4，轴向旋转固定槽板1.10.4的侧面开设有圆弧槽，相机安装侧板1.10.5的螺栓穿过轴向旋转固定槽板1.10.4的圆弧槽后使得相机安装侧板1.10.5安装在轴向旋转固定槽板1.10.4上；相机安装底板1.10.6固定安装在相机安装侧板1.10.5的底部，相机安装侧板1.10.5和相机安装底板1.10.6形成l型安装座，用于固定安装相机4，螺栓的调节使得相机安装侧板1.10.5沿着圆弧槽旋转，从而调整相机4的光轴方向。
[0053]
如图9所示，本实施例中，软条光源为2835led光源，当2835led光源点亮后，黑色箭头光源光线沿着透明亚克力圆筒1.8传播，经过导光膜1.5上的激光打孔点发生折射，灰色传导光线散射至透明亚克力圆筒1.8内部，最终形成均匀性优良的内部光照环境。
[0054]
本实施例中，水果为蜜柚，旋转平台2的旋转速度设置为1
°
/s，俯视相机c1、平视相机c2和仰视相机c3的总视角覆盖整个蜜柚，俯视相机c1、平视相机c2和仰视相机c3均通过触发控制线与一块触发板相连接，触发板连接到一个npn型的激光传感器上，通过与相机上位机软触发相互配合，相机每间隔1s触发采集，采集3组，共1080张蜜柚原始图像。上位机根据1080张蜜柚原始图像利用基于运动恢复结构(structure from motion,，sfm)和多视角立体视觉(multi view stereo，mvs)方法恢复出当前蜜柚的三维点坐标，获得蜜柚稠密点云，实现三维点云的重建。
[0055]
将平视相机c2拍摄的蜜柚彩色图像由rgb空间转换至hsv空间后再提取v分量图，如图10所示。接着选取v分量图的矩形区域作为roi区域，再逐像素统计roi区域内所有像素点的亮度值，得到roi区域亮度分布图，如图11所示，计算其亮度均值mean及标准差std。本实施例中mean＝196.1,std＝5.8。
[0056]
以上所述，仅为本发明的较佳实施例，并不用以限制本发明，凡是依据本发明的技术实质对以上实施例所做的任何细微修改、等同替换和改进，均应包含在本发明技术方案的保护范围之内。