本发明有关一种影像扫描系统及其方法，尤指一种可针对影像中特定对象进行高分辨率扫描的影像扫描系统及其方法。
背景技术：
三维影像视觉技术的进步，使其可应用至更多领域，例如汽机车防撞、机器人、无人机、安全监控、智能家庭、智能城市、海事安全等系统。而这些系统的要求日益提高，例如要求在不同光源环境下，仍必须有侦测高精度的能力。
然而，现有技术中以相机影像为基础的深度传感器，无论是使用立体摄影机(stereocamera)或是结构光(structuredlight)等技术，都容易受到环境光源的影响，而有影像内对象辨识率低的问题，且三维深度信息分辨率也会随着距离或视野而降低。
因此，如何提出一种可提供高分辨率影像扫描的发明，为目前亟待解决的课题之一。
技术实现要素：
本发明的一实施例提供一种影像扫描系统，包括：第一光学单元，用以取得第一影像；第二光学单元，用以取得第二影像；以及处理单元，用以接收并处理第一影像或第二影像，处理单元包括：对象侦测模块，用以侦测出第一影像或第二影像内的对象；坐标计算模块，用以选定第一影像或第二影像内的对象中的至少一者作为感兴趣区域，并计算感兴趣区域与第二光学单元之间的相对坐标；控制模块，用以依据相对坐标控制第二光学单元持续扫描第一影像或第二影像内的感兴趣区域，以令处理单元产生第一影像或第二影像内的感兴趣区域的深度影像信息；以及影像整合模块，用以将深度影像信息整合至第一影像或第二影像中。
本发明的另一实施例提供一种影像扫描方法，包括：取得第一光学单元的视野内的第一影像及第二光学单元的视野内的第二影像；通过处理单元的对象侦测模块侦测出第一影像或第二影像内的对象；通过处理单元的坐标计算模块以选定第一影像或第二影像内的对象中的至少一者作为感兴趣区域，并计算感兴趣区域与第二光学单元之间的相对坐标；通过处理单元的控制模块依据相对坐标控制第二光学单元持续扫描第一影像或第二影像内的感兴趣区域，以令处理单元产生第一影像或第二影像内的感兴趣区域的深度影像信息；通过处理单元的影像整合模块将深度影像信息整合至第一影像或第二影像中。
附图说明
图1a为本发明的第一实施例的影像扫描系统的系统方块图；
图1b为本发明的另一实施例的影像扫描系统的系统方块图；
图2为本发明的第二实施例的影像扫描系统的系统方块图；
图3a为本发明的影像扫描系统所取得的影像内感兴趣区域的示意图；
图3b为本发明的影像扫描系统中第二光学单元对感兴趣区域进行扫描的路径的示意图；
图4为本发明的第二光学单元的一实施例的运作示意图；
图5为本发明的第二光学单元的另一实施例的运作示意图；
图6为本发明的第二光学单元的另一实施例的运作示意图；
图7为本发明的影像扫描方法的一实施例的步骤流程图；以及
图8为本发明的影像扫描方法的另一实施例的步骤流程图。
附图标记说明
1影像扫描系统
11第一光学单元
12第二光学单元
121激光发射器
122反射镜
123影像接收器
124固态激光导引器
13处理单元
131对象侦测模块
132坐标计算模块
133控制模块
134影像整合模块
135校正模块
14影像
141～144物件
145感兴趣区域
146路径
s11～s16、s21～s28步骤。
具体实施方式
以下借由特定的具体实施例加以说明本发明的实施方式，而本领域技术人员可由本说明书所公开的内容轻易地了解本发明的其他优点和功效，也可借由其他不同的具体实施例加以实施或应用。
请参阅图1a，本发明的影像扫描系统1包括第一光学单元11、第二光学单元12以及处理单元13。第一光学单元11用以取得第一光学单元11的视野内的第一影像，第二光学单元12用以取得第二光学单元12的视野内的第二影像。
在一实施例中，第一光学单元11为相机，第二光学单元12为三维光雷达传感器(lidar)。因此，第一光学单元11所取得的第一影像为二维影像，第二光学单元12取得的第二影像为包含有深度影像信息的三维影像。
处理单元13用以接收并处理第一影像或第二影像，处理单元13包括对象侦测模块131、坐标计算模块132、控制模块133及影像整合模块134。在本实施例中，处理单元13可为计算机、手机、平板、服务器或其他电子装置内的处理器，而此处所述的模块，指供处理器执行以达到特定功能的软件程序。
在另一实施例中，请参阅图1b，处理单元13位于第二光学单元12内。具体而言，处理单元13可为第二光学单元12内的处理器，而此处所述的模块(例如对象侦测模块131、坐标计算模块132、控制模块133及影像整合模块134)则为固件(firmware)。其中，图1a及图1b中仅处理单元13呈现不同态样，其余元件都相同且处理单元13内的各模块的功能也相同。以下进一步叙述各模块的详细技术内容。
对象侦测模块131用以侦测出第一影像或第二影像内的对象。在一实施例中，对象侦测模块131用以侦测对象所采用的算法，为以方向梯度直方图(histogramoforientedgradient，hog)为基础的算法。在另一实施例中，为增加辨识率，可以方向梯度直方图的算法搭配支持向量机(supportvectormachine，svm)、词袋模型(bag-of-wordsmodel，bow)或其组合，或搭配深度学习(deeplearning)的机器学习的人工神经网络、alexnet或r-cnns等算法，以使对象侦测模块131能更精确的侦测出影像内的对象。本发明并不限制对象侦测模块131所采用的算法的种类。
在一实施例中，请参阅图3a，影像14(如第一光学单元11所取得的第一影像)包含有对象侦测模块131所侦测出的多个对象141、142、143、144。坐标计算模块132用以选定影像14内的多个对象141、142、143、144中至少一者作为感兴趣区域(regionofinterest，roi)。如图3a中所示，坐标计算模块132选定对象144(例如汽车)作为感兴趣区域145。
在本实施例中，选定影像14中的对象144作为感兴趣区域145，可根据实际需求的不同而有不同的选定标准。例如，在汽机车防撞系统中，选定影像中为汽车、机车的对象来作为感兴趣区域；又例如，在安全监控系统中，选定影像中为人类的对象来作为感兴趣区域。本发明并不以此为限。
接着，坐标计算模块132计算感兴趣区域145与第二光学单元12之间的相对坐标。所谓的相对坐标，指影像14内感兴趣区域145相对于第二光学单元12所采用的坐标系的坐标而言。据此，控制模块133即可依据相对坐标来控制第二光学单元12持续扫描影像14内的感兴趣区域145，以令处理单元13产生影像14的感兴趣区域145的深度影像信息。所谓的持续扫描，如图3b所示，可在感兴趣区域145内形成多点扫描的路径146，由于扫描的点及密度集中，故从感兴趣区域145中所取得的对象144的深度影像信息的分辨率会提高。本发明并不限制路径146的形状。
请进一步参阅图4，以详细说明于一实施例中，第二光学单元12持续扫描影像14内的感兴趣区域145所采用的硬件架构及方法。第二光学单元12包括激光发射器121、反射镜122及影像接收器123。激光发射器121用以发出激光，反射镜122则位于激光的路径上。换言之，激光发射器121朝反射镜122发出激光，使得反射镜122可反射激光，而反射镜122的角度的改变，则可调整激光的路径，即可调整激光入射至对应影像14的感兴趣区域145内实际对象的位置。在激光射至实际对象后反射，经反射的激光可被影像接收器123所接收，使得第二光学单元12可取得影像14内感兴趣区域145的实际对象的深度影像信息。
在本实施例中，控制模块133依据相对坐标计算出第二光学单元12欲对影像14内的感兴趣区域145进行扫描的角度，进而产生第二光学单元12的电压数据，以控制反射镜122的角度来调整激光的路径，而能持续扫描影像14内的感兴趣区域145。
在另一实施例中，请参阅图5，第二光学单元12可包括激光发射器121、固态激光导引器(solidlaserbeamguider)124及影像接收器123。激光发射器121用以发出激光至固态激光导引器124，固态激光导引器124利用液晶波导(liquidcrystalwaveguide)或光相控阵(opticalphasedarray)来调整激光的路径，即可调整激光射至影像14内的感兴趣区域145内实际对象的位置。在激光射至实际对象后反射，经反射的激光可被影像接收器123所接收，使得第二光学单元12可取得影像14内感兴趣区域145的实际对象的深度影像信息。
在本实施例中，控制模块133依据相对坐标来控制固态激光导引器124，借此调整所射出的激光的路径，以持续扫描影像14内的感兴趣区域145。
再在一实施例中，请参阅图6，第二光学单元12包括影像接收器123及激光发射器121，激光发射器121为主动式扫描(activescanned)的形式。控制模块133可依据相对坐标，来调整激光发射器121所发出的激光的路径，而能使激光射至影像14内的感兴趣区域145的实际对象。在激光射至实际对象后反射，经反射的激光可被影像接收器123所接收，使得第二光学单元12可取得影像14内感兴趣区域145的实际对象的深度影像信息。
在取得影像14内感兴趣区域145的实际对象的深度影像信息后，影像整合模块134可将深度影像信息整合至第一影像或第二影像中，即，将对象的深度影像信息迭合至第一影像或第二影像中相同对象的区域中，据此取得包含对象的高分辨率的深度影像信息的影像，以供后续辨识而能获得更准确的结果。
在另一实施例的影像14为相机所取得的二维影像中，若影像14质量不佳或无法辨识时，影像14可改为三维光雷达传感器所取得的三维影像，以供对象侦测模块131、坐标计算模块132、控制模块133及影像整合模块134进行前述的处理。坐标计算模块132在选定影像14内的多个对象141、142、143、144中至少一者作为感兴趣区域(regionofinterest，roi)时，可依据原二维影像及三维影像的预期正确率并加权后以进行感兴趣区域的选定，本发明并不限定感兴趣区域的选定必须从二维影像而来，也可仅从三维影像而来，或从二维影像加三维影像而来。
请参阅图2，以下说明本发明的影像扫描系统1的另一实施例。在本实施例中，部份技术内容相同于之前所述，在此不再赘述。
影像扫描系统1包括第一光学单元11、第二光学单元12及处理单元13。第一光学单元11用以取得其视野内的第一影像，第二光学单元12用以取得其视野内的第二影像，处理单元13则用以接收并处理第一影像或第二影像，处理单元13包括校正模块135、影像整合模块134、对象侦测模块131、坐标计算模块132及控制模块133。
校正模块135用以校正第一影像及第二影像的影像信息。例如，第一影像为二维影像及第二影像为三维影像的情形，由于第一影像及第二影像分别来自相机与三维光雷达传感器，相机与三维光雷达传感器拍摄角度及所采用的坐标系往往不一致，因此必须进行前处理。前处理所使用的算法可为针孔相机模型(pinholecameramodel)，其公式如下：
sm′＝a[r|t]m′或
其中，(x，y，z)为在世界坐标(worldcoordinate)中三维点的坐标，(μ，v)为像素中投影点的坐标，a为相机矩阵或内参数矩阵，(cx，cy)为影像中心的主点，(fx，fy)为表现在像素元件中的焦距长度。但本发明并不限制只能使用此种校正公式，也可采用其他校正方式，本发明并不以此为限。
经校正的第一影像及第二影像的影像信息可供影像整合模块134进行处理。因经校正的第一影像及第二影像的影像信息可取得相同的相机坐标(cameracoordinate)或其之间不同坐标系的转换关系，使得影像整合模块134可将经校正的第一影像及第二影像的影像信息整合成第三影像。
接着，对象侦测模块131可侦测出第三影像内的对象，坐标计算模块132可选定第三影像内的对象中的至少一者作为感兴趣区域并计算出相对坐标，而控制模块133则根据相对坐标控制第二光学单元12持续扫描第三影像内的感兴趣区域，以产生感兴趣区域的深度影像信息。此部份详细技术内容相同于前述，在此不再赘述。
在取得深度影像信息后，影像整合模块134可将深度影像信息整合至第一影像、第二影像或第三影像中，据此取得包含对象的高分辨率的深度影像信息的影像，以供后续辨识而能获得更准确的结果。而经整合有深度影像信息的第一影像、第二影像或第三影像，可再提供给对象侦测模块、坐标计算模块及控制模块进行后续处理。
在一实施例中，除第一光学单元11及第二光学单元12可分别为相机及三维光雷达传感器的外，第一光学单元11及第二光学单元12都可为三维光雷达传感器，且第一影像及第二影像都为三维影像。不论第一影像为二维影像及第二影像为三维影像，或者第一影像及第二影像都为三维影像的情形，因第一光学单元11及第二光学单元12的拍摄角度及所采用的坐标系往往不一致，在运用第一影像及第二影像时，都必须经过前处理，例如使用针孔相机模型(pinholecameramodel)的算法，来转换至相同的坐标系。即本发明的影像扫描系统可仅取得三维影像来进行处理，或也可同时取得二维影像与三维影像来进行处理，本发明并不以此为限。
请参阅图7，本发明提供一种影像扫描方法，影像扫描方法的详细技术内容相同于前述影像扫描系统者，将不再赘述。影像扫描方法先取得光学单元视野内的影像(步骤s11)，即取得第一光学单元的视野内的第一影像及第二光学单元的视野内的第二影像。
接着，在步骤s12中，通过处理单元的对象侦测模块侦测出第一影像或第二影像内的对象，例如通过方向梯度直方图的算法搭配支持向量机(supportvectormachine，svm)、词袋模型(bag-of-wordsmodel，bow)或其组合，或搭配深度学习(deeplearning)的机器学习的人工神经网络、alexnet或r-cnns等算法，本发明并不以此为限。
在侦测出影像内对象后，在步骤s13中，可通过处理单元的坐标计算模块以选定第一影像或第二影像内的对象中的至少一者作为感兴趣区域，并计算感兴趣区域与第二光学单元之间的相对坐标。接着进至步骤s14。
在步骤s14中，则可通过处理单元的控制模块依据相对坐标控制第二光学单元持续扫描第一影像或第二影像内的感兴趣区域。接着，在步骤s15中，可令处理单元产生第一影像或第二影像内的感兴趣区域的深度影像信息。
之后，在步骤s16中，可通过处理单元的影像整合模块将深度影像信息整合至第一影像或第二影像中，据此取得包含对象的高分辨率的深度影像信息的影像，以供后续辨识而能获得更准确的结果。
请参阅图8，本发明再提供一种影像扫描方法，其中，步骤s21、s24～s28的技术内容相同于前述图7中的步骤s11～s16以及前述的影像扫描系统，在此不再赘述。以下仅说明其差异处。
在取得第一光学单元的视野内的第一影像及第二光学单元的视野内的第二影像(步骤s21)后，可先经一校正程序来校正影像的影像信息(步骤s22)。详细来说，可通过处理单元的校正模块校正第一影像及第二影像的影像信息，例如，第一影像为二维影像及第二影像为三维影像的情形，由于第一影像及第二影像分别来自相机与三维光雷达传感器，相机与三维光雷达传感器拍摄角度及所采用的坐标系往往不一致，因此必须进行前处理，而使用的算法可为针孔相机模型(pinholecameramodel)，但本发明并不以此为限。又例如第一影像及第二影像都为三维影像的情形，由于第一影像及第二影像都来自不同的三维光雷达传感器，且该些三维光雷达传感器拍摄角度及所采用的坐标系也往往不一致，因此同样必须进行前处理，使用的算法可为针孔相机模型(pinholecameramodel)，但本发明也不以此为限。接着进至步骤s23。
在步骤s23中，将经校正后的第一影像及第二影像予以整合。详细而言，因经校正的第一影像及第二影像的影像信息可取得相同的相机坐标(cameracoordinate)或其之间不同坐标系的转换关系，故可通过处理单元的影像整合模块将第一影像与第二影像整合成第三影像。接着进至步骤s24～27，以侦测出影像内的对象、选定感兴趣区域并计算相对坐标、根据相对坐标控制光学单元持续扫描感兴趣区域，最后产生感兴趣区域的深度影像信息。接着进至步骤s28。
在步骤s28中，可再将深度影像信息整合至第一影像、第二影像或第三影像中，据此取得包含对象的高分辨率的深度影像信息的影像，以供后续辨识而能获得更准确的结果。
综上所述，借由本发明的影像扫描系统及其方法，可针对影像内感兴趣区域进行三维光雷达传感器的扫描，所取得的感兴趣区域的深度影像信息的分辨率将会提高，且相较于使用三维光雷达传感器对全部对象而非感兴趣区域内的对象的扫描方式，本发明除可获得较高分辨率的功效外，其扫描速度更会有所提升，且将较高分辨率的感兴趣的深度影像信息再整合至影像中时，可令后续辨识获得更准确的结果。