基于立体视觉的生物自动量测系统及其量测方法与流程

本发明涉及一种生物自动量测系统及其量测方法，特别是涉及一种基于立体视觉，以辨识出对应生物的自动量测系统及量测方法。

背景技术：

根据联合国粮食及农业组织(foodandagricultureorganizationoftheunitednations，简称fao)的统计资料指出，目前全球食用渔产品中超过四成由养殖渔业所供应，使得水产养殖渔业被公认为海洋资源枯竭后，可取代捕捞渔业的重要趋势产业，因此，未来水产生物科技的开发与应用，将成为解决人类动物性蛋白需求的重要方法，永续的水产养殖产业将为全球粮食安全和经济增长做出持久贡献。

承上，中国台湾水产养殖的历史久远，具有丰富的知识与经验，尤其随着海洋资源受到气候变迁、过度捕捞和海域污染等因素，渔获量逐年减少并可能已经降至极限值，亟需陆地水产养殖业来弥补捕捞量的不足，基于该等因素，高经济效益鱼类的水产养殖业如今成为具高经济价值的产业，以石斑鱼为例，由于其肉质鲜美且生长速度快等因素，极符合经济效益，已成为中国台湾陆地水产养殖的重要鱼类之一，是现阶段中国台湾及东南亚最主要的养殖鱼类，尤以点带石斑(epinepheluscoioides)及龙胆石斑(epinepheluslanceolatus)为主。但是，由于养殖渔业属于高劳力与高技术密集的产业，却受限于渔村高龄化、人力成本逐年提高等问题，虽然能通过输入外籍人口的方式，暂时缓解人力需求的压力，但却会提高养殖渔业的商业秘密与技术参数(如：饲料换肉比率等)被外流之风险。

此外，为提高水产养殖的生产力，养殖户必需定期量测所养殖生物之大小重量等信息，以了解所投放之饲料的换肉率、养殖生物是否生病、投药是否有效果等，其相关信息亦提供做为生物分池分养与收成出货之依据，因此，为了获得鱼类的大小重量等信息，养殖户需要以人工的方式进行生物取样捕捞，但是，人工取样方式却有下列缺点：

(a1)人工取样的过程需要耗费大量人工成本，若是仅少量取样的话，则容易造成结果判断错误；

(a2)在人工取样的过程中，养殖生物易受惊吓而造成死亡损失；

(a3)对于外海箱网等养殖环境来说，难以采用人工取样方式进行所需的量测作业。

有鉴于此，以物联网为核心的智能养殖渔业便逐渐显示其重要性，如中国台湾第i495429、i508656号等专利案均涉及了水生物检测装置，其主要是将单一摄影模块装设于一浮力装置上，并于水中架设一底座，以能在接近水面的摄影模块与水中底座间形成一取样空间，随后，当养殖生物通过该取样空间，并被红外设备侦测到后，摄影模块便会拍摄该养殖生物，以自动量测养殖生物之大小。然而，申请人发现，前述现有技术仍存有下列问题：

(b1)现有技术的取样空间较为靠近水面，但是，对于食用沉水饲料的养殖生物来说，其浮出水面或接近水面的机率不大，造成前述养殖生物难以通过取样空间，导致工作人员需人工地驱赶养殖生物通过取样空间，降低了自动量测的便利性；

(b2)现有技术通常采用传统图像处理方式进行生物辨识，因此其取样率与生物的辨识精准度可能不高；

(b3)现有技术在进行传统图像处理方式，以计算养殖生物的大小时，由于仅有单一镜头，因此，习惯上往往不会考虑养殖生物距离摄影模块的远近所造成之计算误差，如，同一生物若距离摄影模块较远时，其整体长度会偏小，而是采用限制取样空间的范围，以减少误差发生，毕竟在有限范围内，养殖生物距离摄影模块的距离不会差距太大，但如此一来，将会降低养殖生物通过取样空间的机率，此外，现有技术更无法对养殖生物的重量进行计算。

综上所述可知，现有的量测方式虽然迈向了自动化，但是，由于养殖生物在水下活动时，是处于活动状态，因此，当养殖生物于游动转身的过程中，或是复数条养殖生物重叠在一起时，均可能造成摄影模块所拍摄的图像无法真实地呈现出养殖生物的体长，尤其是，单一镜头所拍摄出的图像是不会存在纵深度，导致业者仅能尽量压缩取样空间与摄影模块两者间的距离，反倒降低了当初自动化与智能化的美意，因此，如何有效改善前述问题，即为本发明在此探讨的一大课题。

技术实现要素：

有鉴于现有的量测方式与对应系统仍有改善之处，且其误差率颇高，因此，发明人凭借着多年来专业从事设计、加工及制造的丰富实务经验，且秉持着精益求精的研究精神，在经过长久的努力研究与实验后，终于研发出本发明的一种基于立体视觉的生物自动量测系统，希望借由本发明的问世，有效解决前述问题，令用户拥有更佳的使用经验。

为了解决上述的技术问题，本发明所采用的其中一技术方案是，提供一种基于立体视觉的生物自动量测系统，所述生物自动量测系统包括一第一水下取像单元、一第二水下取像单元以及一信息处理装置。所述第一水下取像单元用以拍摄一第一范围中的景像，并形成一第一图像；所述第二水下取像单元，用以拍摄一第二范围中的景像，并形成一第二图像，其中，该第二范围与该第一范围两者有部分区域重叠，以能仿真双目立体视觉。所述信息处理装置能接收该第一图像与该第二图像，且能辨识出该第一图像与该第二图像中所具有的至少一待测生物，并能建构出对应的三维景深图像。所述信息处理装置内至少设有一图像数据库与一处理单元，其中，所述图像数据库储存有复数个生物模型与参数，所述处理单元能辨识出生物种类，且能根据所述待测生物处于该三维景深图像中的位置，计算出所述待测生物的体长及/或体宽，并能根据所述待测生物的体长及/或体宽，计算或推论出所述待测生物的重量。

较佳地，该信息处理装置是通过互联网接收该第一图像与该第二图像。

较佳地，所述生物自动量测系统还包括一云端数据库，该信息处理装置所计算出之该待测生物的信息，会储存至该云端数据库中。

较佳地，该处理单元内建有至少一学习演算模块，该学习演算模块能执行机器学习训练功能或深度学习训练功能，以能辨识出生物种类。

为了解决上述的技术问题，本发明所采用的另外一技术方案是，提供一种基于立体视觉的量测方法，所述量测方法是应用于一生物自动量测系统。所述生物自动量测系统至少包括一第一水下取像单元、一第二水下取像单元及一信息处理装置。其中，该第一水下取像单元能拍摄一第一范围中的景像，并形成一第一图像，该第二水下取像单元能拍摄一第二范围中的景像，并形成一第二图像，且该第二范围与该第一范围两者有部分区域重叠，以能仿真双目立体视觉。该信息处理装置内至少设有一图像数据库与一处理单元，该图像数据库储存有复数个生物模型与参数，该处理单元能辨识出生物种类，所述量测方法是使该信息处理装置执行下列步骤：接收该第一图像与该第二图像，并建构出对应的三维景深图像；辨识出该第一图像与该第二图像中所具有的至少一待测生物；将各该待测生物映像至该三维景深图像中的对应位置；计算出该待测生物的体长及/或体宽；根据该待测生物的体长及/或体宽，计算或推论出该待测生物的重量。

较佳地，该信息处理装置是以双目视觉的三角测量法计算该待测生物的体长及/或体宽。

较佳地，在同一待测生物出现于复数帧该第一图像与该第二图像的状态下，该信息处理装置会依时间顺序，接收复数帧该第一图像与该第二图像，并仅将其中一帧该第一图像与该第二图像的同一待测生物，映像至该三维景深图像中的对应位置，其余帧该第一图像与该第二图像中的同一待测生物，则不进行处理。

较佳地，该处理单元内建有至少一学习演算模块，该学习演算模块能执行机器学习训练功能或深度学习训练功能，以能辨识出生物种类。

为了解决上述的技术问题，本发明所采用的另外再一技术方案是，提供一种基于立体视觉的量测方法，所述量测方法是应用于一生物自动量测系统。所述生物自动量测系统至少包括一第一水下取像单元、一第二水下取像单元及一信息处理装置。其中，该第一水下取像单元能拍摄一第一范围中的景像，并形成一第一图像，该第二水下取像单元能拍摄一第二范围中的景像，并形成一第二图像，且该第二范围与该第一范围两者有部分区域重叠，以能仿真双目立体视觉。该信息处理装置内至少设有一图像数据库与一处理单元，该图像数据库储存有复数个生物模型与参数，该处理单元能辨识出生物种类，该方法是使该信息处理装置执行下列步骤：接收该第一图像与该第二图像；辨识出该第一图像与该第二图像中所具有的至少一待测生物；根据各该待测生物，建构出对应该待测生物的三维景深图像及其所处位置；计算出该待测生物的体长及/或体宽；根据该待测生物的体长及/或体宽，计算或推论出该待测生物的重量。

较佳地，该信息处理装置是以双目视觉的三角测量法计算该待测生物的体长及/或体宽。

较佳地，在同一待测生物出现于复数帧该第一图像与该第二图像的状态下，该信息处理装置会依时间顺序，接收复数帧该第一图像与该第二图像，并仅对其中一帧该第一图像与该第二图像的同一待测生物，建构出对应的三维景深图像及其所处位置，其余帧该第一图像与该第二图像中的同一待测生物，则不进行处理。

较佳地，该处理单元内建有至少一学习演算模块，该学习演算模块能执行机器学习训练功能或深度学习训练功能，以能辨识出生物种类。

为对本发明目的、技术特征及其功效，做更进一步之说明，现举具体实施方式配合附图，详细说明如下，然而所提供的附图仅用于提供参考与说明，并非用来对本发明加以限制。

附图说明

图1为本发明的生物自动量测系统的示意图。

图2为本发明的处理单元执行辨识模型的训练阶段的流程图。

图3为本发明的处理单元执行辨识模型的运行预测阶段的流程图。

图4为本发明的处理单元执行回归模型的训练阶段之流程图。

图5为本发明的处理单元执行回归模型的运行预测阶段的流程图。

图6为本发明其中一实施例的量测方法的流程图。

图7为本发明另一实施例的量测方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施方式，并参照附图，对本发明所公开有关“基于立体视觉的生物自动量测系统及其量测方法”的实施方式进一步详细说明。本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用，本说明书中的各项细节也可基于不同观点与应用，在不悖离本发明的构思下进行各种修改与变更。另外事先声明，本发明的附图仅为简单示意说明，并非依实际尺寸的描绘，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。以下的实施方式将进一步详细说明本发明的相关技术内容，但所公开的内容并非用以限制本发明的保护范围。

应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件或者信号，但这些组件或者信号不应受这些术语的限制。这些术语主要是用以区分一组件与另一组件，或者一信号与另一信号。另外实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本发明的保护范围。另外，本文中所使用的术语“或”，应视实际情况可能包括相关联的列出项目中的任一个或者多个的组合。

近年来，随着人工智能机器学习领域的发展突飞猛进，通过机器学习(machinelearning)与深度学习(deeplearning)的模型训练过程中，能够将不同目标图像或同一目标图像的各种图像特征同时纳入考虑，以有效提升图像处理的精准度，并且能够使用同一模型同时辨识出各种不同目标；除此之外，诸多立体视觉方法也被提出并且已被广泛应用，如，应用立体视觉方法于人脸辨识或三维建模等，因此，发明人特别将前述人工智能技术与立体视觉方法结合至本发明内，以能有效解决现有的问题。

本发明为一种基于立体视觉的生物自动量测系统及其量测方法，在一实施例中，请参阅图1所示，该生物自动量测系统1至少包括一第一水下取像单元11、一第二水下取像单元12及一信息处理装置15，其中，该第一水下取像单元11能位于水面下，且能拍摄一第一范围110中的景像，并将拍摄到的景像形成对应的一第一图像；该第二水下取像单元12同样能位于水面下，且能拍摄一第二范围120中的景像，并将拍摄到的景像形成对应的一第二图像，如图1所示，该第二范围120与第一范围110两者会有部分区域重叠，以能仿真出双目立体视觉(stereovision)，在此特别一提者，虽然前述实施例中，仅记载两个水下取像单元，但不以此为限，业者亦能够增加水下取像单元的数量，以仿真出更为真实与准确的双目立体视觉，又，所谓的双目立体视觉是机器视觉的一种重要形式，其是基于人体双眼的视差原理，将同一空间物理点在不同图像中的映像点对应起来(即，视差(disparity)图像)，并通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法，目前来说，双目立体视觉大多应用于工厂的生产线、非接触产品检测和质量控制上，尚未实际见于本发明之水下生物的应用环境中。

请再参阅图1所示，该信息处理装置15能分别与第一水下取像单元11、第二水下取像单元12相连接，以能接收该第一图像与第二图像，在该实施例中，该等水下取像单元11、12能够先连接至一录像单元13后，再由该录像单元13将第一图像与第二图像传输至该信息处理装置15，其中，该录像单元13能够先简单地对第一图像、第二图像进行处理(如：合成、调整明暗度、调整白平衡等)，或者录像单元13能够仅是储存该等图像信息，再转传至该信息处理装置15，又，该录像单元13传输至信息处理装置15的方式，除了能够通过实体线路外，亦可采用无线传输(如：wifi、蓝牙、zigbee、4g等)方式，此外，在本发明之其它实施例中，该录像单元13的相关功能亦能直接整合至该信息处理装置15中，使得该等水下取像单元11、12直接连接至信息处理装置15，或者，该信息处理装置15亦可位于云端，其能通过互联网接收该第一水下取像单元11、第二水下取像单元12所分别传来的第一图像与第二图像，以能满足各个用户的实际需求。

请再参阅图1所示，该信息处理装置15内至少设有一图像数据库151与一处理单元153，其中，该图像数据库151储存有复数个生物模型与参数，前述生物模型与参数至少能够包括辨识模型与回归模型所需的信息，其中，辨识模型所需的信息能够为水下生物的种类(如：点带石斑、龙胆石斑、大闸蟹等)、轮廓、班点、大小、色彩等，回归模型所需的信息能够为各个种类之水下生物的体长、体宽与体重间的对照数据等。另外，该处理单元153内建有至少一学习演算模块，该学习演算模块能执行机器学习(machinelearning)训练功能或深度学习(deeplearning)训练功能，以能执行辨识模型与回归模型所需的训练，并能根据训练后的模型进行结果推论(inference)，其推论出的结果包含辨识出生物种类，以及计算或推论出前述生物所对应的重量(体重)，惟，在前述实施例中，该信息处理装置15同时具有“训练”与“推论”两种能力，但是，在本发明之其它实施例中，业者亦能够将“训练”与“推论”分别由不同的机器所完成，意即，前述的机器学习(machinelearning)训练功能或深度学习(deeplearning)训练功能能够在其它机器(非本发明之该信息处理装置15)上进行，之后，再将训练完成的生物图像数据与生物辨识参数复制到该信息处理装置15，令该信息处理装置15(处理单元153)足以辨识出生物种类即可。

请参阅图1及图2所示，在该实施例中，针对用以辨识模型的学习演算模块(后称学习辨识演算模块1531)来说，该处理单元153能执行训练阶段，其会先建立至少一人工智能学习模型(如：监督与半监督式学习(supervisedandsemi-supervisedlearning)算法、强化学习(reinforcementlearning)算法、卷积类神经网络(convolutionalneuralnetwork)算法、随机森林(randomforest)算法等)，并在该学习辨识演算模块1531中输入巨量数据，前述巨量数据能够为生物图像数据与生物辨识参数，其中，生物图像数据能够为整张图片，或是图片经由图像处理方法所产生的图像信息(如：轮廓、斑点、大小等)。又，该处理单元153会由学习辨识演算模块1531测试图像辨识的正确率，以判断图像辨识正确率是否足够，当判断结果为是，则将训练完成的相关信息(生物模型与参数)输出并储存至图像数据库151中；当判断结果为否，则使学习辨识演算模块1531借由调整图像辨识参数或其他方式而实现自我修正学习；如此，借由重复上述步骤以完成训练。请参阅图1及图3所示，在该实施例中，该处理单元153会执行运行预测阶段，其能基于前述的学习辨识演算模块1531输入第一图像及/或第二图像与生物模型与参数，并比对第一图像及/或第二图像与生物模型与参数，以进行预测性图像辨识，进而得到该等图像中所包含的至少一个待测生物的识别信息，以能辨识出待测生物，如此，当养殖池中存有各种不同种类的水下生物时，本发明之生物自动量测系统1仍足以从中辨识出所需测量的生物。

请参阅图1及图4所示，在该实施例中，针对用以回归模型的学习演算模块(后称学习回归演算模块1533)来说，该处理单元153能执行训练阶段，其会先建立至少一人工智能学习模型，并在该学习回归演算模块1533中输入巨量数据，前述巨量数据能够为生物体长及/或体宽与体重数据，又，该处理单元153会由学习回归演算模块1533测试正确率，以判断生物的体长及/或体宽与体重间之关联性的正确率是否足够，当判断结果为是，则将训练完成的相关信息(生物模型与参数)输出并储存至图像数据库151中；当判断结果为否，则使学习回归演算模块1533借由调整参数或其他方式而实现自我修正学习；如此，借由重复上述步骤以完成训练。请参阅图1及图5所示，在该实施例中，该处理单元153会执行运行预测阶段，其能基于前述的学习回归演算模块1533输入待测生物的体长及/或体宽与生物模型与参数，以能计算出待测生物的重量，如此，该处理单元153在辨识出待测生物，且取得待测生物的体长及/或体宽后，便能计算出该待测生物的重量；惟，除了前述以计算方式来取得待测生物的重量外，该处理单元153亦可通过人工智能学习模型及其相关训练阶段，根据待测生物的体长及/或体宽来推论出待测生物的重量，合先叙明。

承上，请再参阅图1所示，该处理单元153在辨识出该第一图像与第二图像中所具有的至少一待测生物后，并且在计算出该待测生物的重量之前，还会先根据该第一图像与第二图像建构出对应的三维景深图像，所谓建构三维景深图像的原理，简单来说，其是基于双目立体视觉的三维重建，主要利用处于不同位置的相机经过平移或旋转拍摄同一场景，之后，通过计算物理点在两幅图像中的视差，得出该点的三维坐标值，从而重建该场景，以形成对应的三维景深图像。又，该处理单元153会根据该待测生物处于三维景深图像中的位置，辨识出该待测生物的体长及/或体宽，其中，该处理单元153能以双目视觉的三角测量法计算该待测生物的体长及/或体宽，但不以此为限。

为能明确揭露本发明之方法，以下兹仅就本发明之信息处理装置15的处理流程，进行说明，请参阅图1及图6所示，该信息处理装置15会执行下列步骤：

(201)该信息处理装置15接收该第一图像与第二图像，并建构出对应的三维景深图像，进入步骤(202)；在该实施例中，该信息处理装置15会根据该等水下取像单元11、12的参数计算出每个像素景深，以能建构出整个第一图像与第二图像所拍摄范围内的三维景深图像。

(202)该信息处理装置15辨识出该第一图像与第二图像中所具有的至少一待测生物，进入步骤(203)；在该实施例中，由于该第一图像与第二图像中可能拍摄了各种不同种类的鱼(如第1图之“虚点的鱼”及“无虚点的鱼”)，但该信息处理装置15能够依业者设定，而辨识出特定种类的鱼(如第1图之“虚点的鱼”)作为待测生物。

(203)该信息处理装置15将各该待测生物映像至三维景深图像中的对应位置，进入步骤(204)；

(204)该信息处理装置15计算出该待测生物的体长及/或体宽，进入步骤(205)；

(205)该信息处理装置15计算或推论出该待测生物的重量。

前述实施例中，该信息处理装置15是建构出整个第一图像与第二图像所拍摄范围内的三维景深图像，但是，在本发明之另一实施例中，请参阅第图1及图7所示，该信息处理装置15能够调整前述(201)～(203)项的步骤如下：

(301)该信息处理装置15接收该第一图像与第二图像，进入步骤(302)；

(302)该信息处理装置15辨识出该第一图像与第二图像中所具有的至少一待测生物，进入步骤(303)；

(303)该信息处理装置15根据各该待测生物，建构出对应该待测生物的三维景深图像及其所处位置，进入步骤(204)；在该实施例中，该信息处理装置15在辨识出待测生物后，只会根据待测生物所处范围，建构出三维景深图像，而不会建构出整个第一图像与第二图像所拍摄范围内的三维景深图像，如此，能有效降低该信息处理装置15的运作负担及提高运作速率。

综上所述可知，借由本发明之生物自动量测系统1与量测方法，业者只要调整第一水下取像单元11与第二水下取像单元12的位置，便能够轻易地取得水下生物的图像，而不需如现有技术一般，建立固定位置的取样空间，又，由于本发明之基于立体视觉，将辨识出的待测生物对应到三度空间的位置，因此，能够清楚地辨识出每一个待测生物，进而能取得该待测生物的体长及/或体宽，及计算出对应的重量，故，本发明不需限制水下生物的活动性，亦不会因水下生物的活动性(如：转身回游、多条鱼相邻近重叠游动等)而造成辨识错误，更何况，该生物自动量测系统1是以机器学习(machinelearning)或深度学习(deeplearning)来训练信息处理装置15，以能辨识出待测生物的相关特征，其中，机器学习最基础的用法，是使用大量的数据和算法来分析数据，以“训练”机器从中学习，而深度学习则更进一步地通过大量多层数的类神经网络，使机器可由类神经网络自己学习找出重要的特征信息，但无论是机器学习或深度学习，在后续辨识待测生物的成果上，均有效提高人工或单一镜头于辨识上的不足与效率，故能取得用户的青睐，亦有效提高业者掌握养殖池中之水下生物的生长情况。

此外，请再参阅图1所示，在该实施例中，由于待测生物是处于活动状态，因此，同一只待测生物在不同帧的第一图像与第二图像中，亦会处于不同位置，此举，会造成信息处理装置15对同一只待测生物执行后续步骤，浪费了无谓的作业，因此，当该信息处理装置15依时间顺序接收复数帧第一图像与第二图像，随后，其会根据其中一帧第一图像与第二图像取得同一只待测生物与三维景深图像中的对应位置(如第6～7图之步骤(203)、(303))后，便不再对其余帧第一图像与第二图像中的同一只待测生物进行处理。再者，该生物自动量测系统1还包括一云端数据库17，当该信息处理装置15计算出之该待测生物的信息(如：体长及/或体宽、体重)后，会将前述信息储存至该云端数据库17中，以便业者能够迅速且便利地取得相关数据，但不以此为限。

以上所述，仅为本发明的优选可行实施例，并非因此局限本发明的权利要求书的保护范围，所以凡是本领域技术人员，依据本发明所公开的技术内容，可以不付出创造性劳动就想到的等效变化，均应包含于本发明的权利要求书的保护范围内。