一种图像采集装置及其冰箱、控制方法与流程

本发明涉及图像采集技术领域，尤其涉及一种图像采集装置及其冰箱、控制方法。

背景技术：

当今社会中，人工智能技术在家电领域中的应用越来越广泛。冰箱作为家电行业中的常用产品，其智能化发展已成为当前聚焦的方向之一。而冰箱的智能化主要体现在对储存的不同食材的信息识别。

目前的冰箱一般是在冰箱内部安装彩色相机，采集图像的方式分为存取食材结束后的静态采集和存取过程中的动态采集两类。

但是，相机安装在冰箱内部，相机仅能识别对应储藏室内的食材信息，如果在每一个储藏室中均安装彩色相机，则会提高成本；并且彩色相机还存在图像识别率低、难以获取距离和位置信息等弊端。

技术实现要素：

本发明的实施例提供一种图像采集装置以及冰箱、控制方法，能够对冰箱多个储藏室的食材进行信息识别，并且能够获取食材的位置信息。

为达到上述目的，本发明的实施例采用如下技术方案：

本发明一方面实施例提供一种图像采集装置，包括设置于冰箱箱体的顶面的图像采集组件，所述图像采集组件与所述箱体通过滑动机构滑动连接，所述图像采集组件由驱动机构控制滑动并向所述箱体的前侧滑动；

所述图像采集组件包括彩色相机和深度相机，当所述彩色相机和所述深度相机的视窗由所述箱体的顶面伸出时，所述彩色相机用于拍摄存取过程中的食材外观图片，所述深度相机用于获取存取过程中的食材与所述深度相机之间的距离信息。

本发明实施例提供的图像采集装置，将图像采集组件设置于箱体的顶面上、并且与箱体通过滑动机构滑动连接，图像采集组件通过驱动机构驱动其滑动，图像采集组件由深度相机和彩色相机构成，当图像采集组件伸出时，即彩色相机和深度相机处于箱体顶面边沿的外侧，然后对存取过程中的食材进行动态采集，通过彩色相机获取食材的外观图像，并且通过深度相机获取食材的距离信息，并通过该距离得知食材放置的位置信息，由于图像采集组件安装在冰箱顶面上，因此，对下方的每一个储藏室中的食材均可进行信息采集，不需安装过多的相机，降低了整体成本。

本发明另一方面实施例还提供了一种冰箱，包括箱体和如上任一技术方案所述的图像采集装置，所述图像采集装置设置于所述箱体的顶面上。

本发明实施例提供的冰箱，由于包括上述任一技术方案所述的图像采集装置，因此，能够解决相同的技术问题，取得相同的技术效果。

本发明另一方面实施例还提供了一种图像采集装置的控制方法，包括以下步骤：

检测冰箱门体打开；响应于冰箱门体的打开，所述驱动机构推动所述图像采集组件向冰箱箱体的前侧滑动；响应于所述图像采集组件中的视窗伸出所述箱体的顶面的边缘，控制所述图像采集组件中的所述彩色相机拍摄存取过程中的食材外观图片，所述深度相机获取存取过程中的食材的距离信息。

本发明实施例提供的图像处理装置的控制方法，以门体的打开和关闭或者用户语音指令作为信号，控制驱动机构运行，使图像采集组件被推出或者收回，推出时，对存取过程中的食材进行外观图片和位置信息采集，收回时，图像采集组件关闭，从而对图像采集组件形成保护，延长使用寿命。

附图说明

图1为本发明实施例提供的冰箱主视图；

图2为本发明实施例提供的冰箱侧视图(图像采集组件收回状态)；

图3为本发明实施例提供的冰箱侧视图(图像采集组件推出状态)；

图4为本发明实施例提供的冰箱顶面上的图像采集组件滑动结构的结构示意图；

图5为本发明实施例提供的图像采集组件的外壳内部结构示意图；

图6为本发明实施例提供的图像采集组件的外壳内部以及箱体结构示意图；

图7为本发明实施例提供的图像采集组件系统架构图(通信单元采用usb单元)；

图8为本发明实施例提供的图像采集组件系统架构图(通信单元采用wifi单元或有线网络单元)；

图9为本发明实施例提供的外壳底面结构示意图(扬声器开口位于该底面上)；

图10为本发明实施例提供的外壳底面结构示意图(扬声器开口位于外壳侧面上)；

图11为本发明实施例提供的深度相机的光路示意图；

图12为本发明实施例提供的深度相机的第一反射镜和第二反射镜的安装位置结构示意图；

图13为本发明实施例提供的深度相机的第二反射镜和深度相机的安装位置结构示意图；

图14为本发明实施例提供的图像采集装置的控制方法流程图。

附图标记：1、箱体；11、支座；12、滑板；13、驱动机构；14、图像采集组件；140、外壳；1401、彩色相机视窗；1402、深度相机视窗；1403、扬声器开口；1404、麦克风孔；141、彩色相机；142、深度相机；143、第一反射镜；144、第二反射镜；145、语音处理器；146、麦克风；147、扬声器；148、通信单元；149、应用处理器；150、中央处理模块；15、滑轨；16、滑块；17、镜像深度相机；2、门体；

具体实施方式

下面结合附图对本发明实施例提供的一种图像采集装置以及冰箱、控制方法进行详细描述。

在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、

“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明实施例提供的一种图像采集装置，如图1、图2、图4所示，包括设置于冰箱箱体1的顶面的图像采集组件14，图像采集组件14与箱体1通过滑动机构滑动连接，图像采集组件14由驱动机构13控制滑动，图像采集组件14沿水平方向、向箱体的前侧滑动；图像采集组件14如图4、图5、图6所示，包括彩色相机141和深度相机142，当彩色相机141和深度相机142的视窗由箱体1的顶面伸出时，彩色相机141用于采集存取过程中的食材的彩色图像信息，深度相机142用于采集存取过程中的食材的距离信息。

本发明实施例提供的图像采集装置，将图像采集组件14设置于箱体1的顶面上、并且与箱体1通过滑动机构滑动连接，图像采集组件14通过驱动机构13驱动其滑动，图像采集组件14由深度相机142和彩色相机141构成，当图像采集组件14伸出时，即彩色相机141和深度相机142处于箱体1顶面边沿外侧，然后对存取过程中的食材进行动态采集，通过彩色相机141获取食材的外观图像，并且通过深度相机142获取食材的距离信息，并通过该距离得知食材放置的位置信息，由于图像采集组件14安装在冰箱顶面上，因此，对下方的每一个储藏室中的食材均可进行信息采集，不安装过多的相机，降低了整体成本。

优选地，彩色相机采用市面上常用的普通相机即可，深度相机可采用目前市面上的基于tof(timeofflight，飞行时间法3d成像)、结构光、双目等原理的深度相机，或其他能够实现该测距功能的其他相机。

本发明实施例提供的滑动机构包括设置于箱体1的顶面的支座11，支座11上设置有滑轨15，如图4所示，滑轨15上滑动连接有滑块16，滑块16上设置有滑板12，驱动机构13驱动滑板12和滑块16沿滑轨15滑动，图像采集组件14设置于滑板12上。上述滑动机构采用滑板12与支座11之间设置滑轨15和滑块16实现滑动连接，从而使图像采集组件14沿滑轨15的设置方向滑动，然后通过驱动机构13作为动力，驱动图像采集组件14推出或收回，从而实现图像采集组件14的自动化控制。

本发明实施例中的驱动机构13可以采用旋转电机加齿轮齿条的传动结构或者旋转电机加滚珠丝杠的传动结构来带动滑板12滑动，使滑板12与齿条或者丝杠螺母等部件固定连接即可，也可以采用如下方案，如图4所示，驱动机构13为直线电机，直线电机的推杆与滑板12连接。相比于旋转电机加齿轮齿条或者旋转电机加滚珠丝杠的技术方案，直线电机具有结构简单，体积和重量小等优点，而且直线电机直接将其推杆与滑板12连接，中间不需要其他传动部件，因此定位精度更高。

本发明实施例提供的图像采集组件14如图7、图9所示，还包括外壳140，视窗包括设置于外壳140的底面上设置有彩色相机视窗1401和深度相机视窗1402，彩色相机141和深度相机142均设置于外壳内部，彩色相机视窗1401与彩色相机141位置对应，深度相机视窗1402与深度相机142位置对应；外壳140内部还设置有语音处理器145、麦克风146、扬声器147以及通信单元148，语音处理器145的信号输出端与扬声器147连接，麦克风146的信号输入端与语音处理器145连接，深度相机142、彩色相机141和语音处理器145均通过通信单元148与中央处理模块150进行通信。用户可以通过麦克风146进行语音录入食材信息，并且通过彩色相机141和深度相机142采集的食材信息及食材存储位置信息，和用户语音录入的食材信息经过通信单元上传至中央处理模块150，通过中央处理模块150对用户语音录入的信息和彩色相机141以及深度相机142采集的信息进行比对、纠错，然后将比对结果通过扬声器147播放，确保获取的食材信息的准确性。

需要指出的是，上述中央处理模块150为具有高算力的中央处理单元，负责冰箱整体的业务逻辑处理以及网络模型计算，并且具有该功能的设备均可用于本申请的方案中。

以下以西红柿为例，对上述系统进行详细描述，在存取西红柿时，当打开冰箱门时，图像采集组件伸出，使深度相机142和彩色相机141均移动至冰箱顶面边沿的外侧，然后用户向冰箱内放置西红柿，在用户拿着西红柿的手伸向冰箱内部时，彩色相机141采集西红柿的彩色图片，深度相机142采集西红柿距离深度相机142的距离信息，彩色图片和距离信息均通过通信单元148发送至中央处理模块150，中央处理模块150将接收到的彩色图像和距离信息进行处理，并且识别出食材种类为“西红柿”以及食材的存取操作、存取位置等处理结果，并且处理结果发送至语音处理器145，语音处理器145通过扬声器147播放给用户听，例如，“存放食材西红柿，存放于冷藏室第三层”，然后用户通过麦克风确认或者纠正扬声器147播放的处理结果，并且语音处理器145将确认或者纠正的语音信息通过通信单元148发送至中央处理模块150，中央处理模块150再次将语音信息与图像处理结果进行比对，然后将比对后确认或者纠正的结果通过扬声器147播放给用户听。

另外，用户也可以通过麦克风146录入存入的食材为“西红柿”以及食材的放置位置等语音信息，语音信息发送至语音处理器145，语音处理器145通过通信单元148将语音信息发送至中央处理模块150，中央处理模块150将接收到的语音信息与彩色图片以及距离信息进行比对，然后将比对结果通过通信单元发送至语音处理器145，语音处理器145通过扬声器147将比对结果播放给用户听，然后用户关闭冰箱门，图像采集组件收回，即完成西红柿的储存过程。反之，当取出西红柿的时候，图像采集组件的运动信号传输相同，固不再赘述。

在一些实施例中，彩色相机视窗1401与彩色相机141向对应是指彩色相机141的图像采集元件可以透过彩色相机视窗1401进行图像采集。

在一些实施例中，深度相机视窗1402与深度相机142位置对应是指深度相机142可以透过深度相机视窗1402进行图像采集。

优选地，如图7所示，通信单元148采用设置于外壳140上的usb接口。用户可以通过usb接口将图像采集组件与本地终端设备连接，进行信息的比对、纠错。

优选地，如图8所示，通信单元148采用wifi网络或有线网络。深度相机142、彩色相机141，麦克风146采集的数据将通过应用处理器149将数据打包，然后通过wifi网络或者有限网络与云端服务器连接，进行信息的比对、纠错。

本发明实施例提供的外壳140还包括与底面连接的朝向冰箱前侧的前侧面，外壳140的底面上还设置有扬声器开口1403和麦克风孔1404，如图7、图9所示，扬声器开口1403处设置扬声器147，麦克风孔1404处设置麦克风146，需要指出的是，该扬声器开口1403和麦克风孔1404的设置位置不唯一，可以将扬声器开口1403和麦克风孔1404均设置在外壳140上朝向门体2方向的侧面上，这样在用户使用时，麦克风146和扬声器147均距离用户较近，可以更好的录入语音信息和听到语音信息播报；也可以将将扬声器开口1403、麦克风孔1404以及彩色相机视窗1401均设置于外壳140底面上靠近前侧面的边缘处，彩色相机视窗1401设置于扬声器开口1403和麦克风孔1404之间。相比于设置于朝向冰箱门的侧面上的方案，设置于底面上的方案使用户不易看到扬声器开口1403以及麦克风孔1404，并且其距离用户依然很近，不影响用户录入语音以及听取语音播报，可以对麦克风146和扬声器147形成保护。而且将彩色相机视窗1401设置于二者之间，使彩色相机视窗1401处于中部位置能够均匀覆盖冰箱箱体1区域，精确获取食材图像信息。

更进一步地，本发明实施例提供的麦克风146采用麦克风146阵列，当该麦克风146较长时，则会占用外壳140底面上较大的位置，因此，如图7、图10所示，彩色相机视窗1401与扬声器开口1403均需要向远离麦克风孔1404的方向偏移，由于麦克风146和扬声器147之间的距离至少要满足语音去燥、回声消除等算法的要求，所以，此时可以将麦克风孔1404和彩色相机视窗1401设置于外壳140的底面上靠近冰箱门的边沿处，而扬声器开口1403可以设置于外壳140上与冰箱门垂直的侧壁上。

本发明实施例提供的深度相机142，不论采用市面上的基于tof、结构光、双目等原理的哪一种深度相机142，如果直接将深度相机的图像采集镜头直接设置在深度相机视窗1402所在的平面位置，由于采集视角的原因，其均存在最近探测距离，一般为十几厘米不等，即深度相机142能够探测距离其焦点十几厘米以外的物体，难以采集到更远距离处的深度信息，同时其采集视角覆盖的锥形区域较小，使得可检测存取动作的时间较短，要实现对存取动作的准确追踪，对芯片的处理能力要求较高。因此，为使深度相机142的有效探测距离覆盖冰箱的最上层空间，其需要将将深度相机142架设的高一些，即离冰箱顶部具有足够的高度，才能规避最近探测距离造成的盲区，但是如果将深度相机142设置高于冰箱顶面十几厘米，则使外壳140整体的高度过高，体积过大，从而导致占用空间较大，而且也不利于美观。

因此，如图4、图5所示，为了减小深度相机的盲区，同时避免深度相机142架设过高造成的问题，本发明实施例提供的外壳140内设置有横向排布的第一反射镜143和第二反射镜144，第一反射镜143与第二反射镜144均倾斜设置于外壳140内，第一反射镜143设置于第二反射镜144与外壳140的前侧面之间，第一反射镜143的镜面与第二反射镜144的镜面相对设置；经过深度相机视窗1402射入的光线，经过第一反射镜143反射到达第二反射镜144，反射光线经过第二反射镜反射进入深度相机142。

具体来讲，如图11所示，假设在外壳140上方设置有镜像深度相机17，并且该镜像深度相机17至冰箱顶面的距离满足深度相机142的最近探测距离(最近探测距离是指深度相机的最近有效探测距离，深度相机无法获得小于该距离的深度信息)，并且该位置的镜像深度相机17的探测范围可以有效覆盖冰箱的储藏间室，在光学仪器中，视场角越大，光学仪器的视角范围就越大，即探测范围就越大，视场角是以光学仪器的焦点为顶点，以被测目标的物像可通过镜头的最大范围的两条边缘构成夹角，因此该镜像深度相机17的视场角可以表示为由a点射出的两条光线，a点为镜像深度相机17的焦点，此时在外壳140内设置第一反射镜143，第一反射镜143上距离最远的两个顶点表示为b和c，即ab和ac形成的夹角为镜像深度相机17的视场角，也就是最大的探测范围，当镜像深度相机17发出的ab和ac两条光线在第一反射镜143上发生反射时，反射光线会射入第二反射镜144，即bb1和cc1，bb1和cc1为第二反射镜144可以接收的所有光线的最大范围，然后bb1和cc1经过第二反射镜144反射后的反射光线会产生一个交点a1，此时a1位置即为深度相机142的焦点位置，由于光路是可逆的，因此，深度相机142的探测范围等效于镜像深度相机17的探测范围，而且深度相机142不需要设置过高，从而使外壳140的高度降低，增加整体美观性，以及减少占用空间。

本发明实施例提供的第一反射镜143与第二反射镜144可以不相互平行设置，也可以使第一反射镜143与第二反射镜144相互平行设置。相比于不平行的方案，相互平行设置的两个镜面在安装时更加方便，而且更容易确定深度相机142的安装位置。

本发明实施例提供的深度相机142的探测范围，如图3所示，构成深度相机142的视场角的两条边沿，如图3中两条未相交的虚线表示深度相机142的探测范围，一条平行于箱体1储藏室开口的平面，另一条垂直于该开口的平面，两条虚线向上延伸的交点即为上述镜像深度相机17的焦点，该两条边沿构成的视场角范围即0°～90°，如图11所示，而第一反射镜143只需安装在深度相机142的探测范围内即可，因此，第一反射镜143与外壳140的底面之间形成的夹角为α，并满足0°＜α＜90°。由于第一反射镜143与第二反射镜144平行，因此，第二反射镜144与外壳140的底面之间的夹角也同样满足该范围。

优选地，如图3所示，彩色相机141采用广角相机，如图3中两条相交的虚线为彩色相机141的探测范围。

更进一步地，第一反射镜143与外壳140之间的角度可以变化，因此，第一反射镜143的安装位置会影响外壳140的体积，如图11所示，第一反射镜143需要处于镜像深度相机17的探测范围内，因此夹角α越大，则c点越高，即第一反射镜143与外壳140底面的夹角越大，外壳140的高度越高，为满足整体占用空间小的要求，则第一反射镜143与外壳140底面的夹角越小越好，但是其需要满足深度相机142的安装和电路结构在外壳140内的空间布局要求。

另外，第二反射镜144与第一反射镜143优选为相互平行结构，因此，当第二反射镜144与外壳140底面的夹角一定时，如图11所示，第二反射镜越大，则c1点距离外壳140的底面距离越大，从而导致深度相机142的设置高度越高，而第二反射镜144至少不能遮挡第一反射镜143的光路，由于反射镜储存越大越有利于加工，因此，第二反射镜144的尺寸可以相对制作较大，有利于保证加工工艺及装配精度。

由于深度相机142是通过深度相机视窗1402向下方探测存取过程中的食材信息的，为防止深度相机142的探测范围大于深度相机视窗1402的尺寸，导致深度相机142的探测范围被外壳140底面遮挡，因此，本发明实施例提供的第一反射镜143在外壳140的底面上的投影与深度相机视窗1402重合，或者第一反射镜143在外壳140的底面上的投影小于深度相机视窗1402。使第一反射镜143的投影与深度相机视窗1402重合或小于深度相机视窗4102，从而保证由深度相机视窗1402入射的每条光线均能够被第一反射镜143反射，防止深度相机142的探测范围被遮挡。

需要指出的是，第一反射镜143的投影小于深度相机视窗1402时，其投影需处于深度相机视窗1402的范围内，从而保证第一反射镜143能够接收到深度相机142探测范围内的每一条光线。

为防止第二反射镜144遮挡第一反射镜143的入射光线，本发明实施例提供的外壳140还包括与前侧面相对设置的后侧面，以及与底面相对设置的顶面，第二反射镜144靠近外壳140的底面的边沿在底面上的投影与后侧面之间的距离为第一距离，第一反射镜143靠近外壳140的顶面的边沿在底面上的投影与后侧面之间的距离位第二距离，第一距离不大于第二距离。如图12所示，由第二反射镜144的b1点和第一反射镜143的c点向外壳140的后侧面做垂线，垂足分别为b2和c2，b1b2为上述第一距离，cc2为上述第二距离，两条线段需满足b1b2小于或者等于cc2，即第一反射镜143在外壳140底面上的投影和第二反射镜144在外壳140底面上的投影相互不重合，从而保证二者不会相互影响，遮挡光线，避免影响深度相机142的探测范围。

由于前述内容中记载的深度相机142的视场角，其中一边平行于箱体1的开口，因此，本发明实施例提供的第二反射镜144靠近外壳140的顶面的边沿与深度相机142的焦点构成一个平面，该平面与外壳140的底面垂直。如图13所示，由深度相机142的焦点向外壳140的底面做垂线，垂足为a2，该垂线需满足a1a2必须经过第二反射镜的c1点，由于第一反射镜143与第二反射镜144相互平行，并且深度相机142与镜像深度相机17的探测范围等效，因此，镜像深度相机17的临界光线ac与外壳140的底面垂直，即深度相机142的探测范围确定为竖直方向沿逆时针方向转动90°的范围内，使深度相机142的探测范围更加精确。

本发明实施例提供的一种冰箱，包括箱体1和上述任一技术方案所述的图像采集装置，图像采集装置设置于箱体1的顶面上。由于冰箱包括上述技术方案的图像采集装置，因此，能够解决相同的技术问题，取得相同的技术效果。

本发明实施例提供的一种图像采集装置的控制方法，包括以下步骤，该方法流程图如图14所示：检测冰箱门体2打开；响应于冰箱门体2的打开，所述驱动机构13推动所述图像采集组件14向冰箱箱体1的前侧滑动；响应于所述图像采集组件14中的视窗伸出所述箱体1的顶面的边缘，控制所述图像采集组件14中的所述彩色相机141拍摄存取过程中的食材外观图片，所述深度相机142获取存取过程中的食材的距离信息。

本发明实施例提供的图像处理装置的控制方法，以门体2的打开和关闭作为信号，控制驱动机构13运行，使图像采集组件14被推出或者收回，推出时，对存取过程中的食材进行信息采集，收回时，图像采集组件14关闭，从而对图像采集组件14形成保护，延长使用寿命。

更近一步地，检测冰箱门体2关闭；响应于所述门体2的关闭，所述驱动机构13推动所述图像采集组件14反向滑动以回到初始位置；响应于所述图像采集组件14中的视窗被所述箱体1顶面的边缘遮挡，控制所述彩色相机141和所述深度相机142关闭。

需要指出的是，上述开关门信号通过现有技术中的开关传感器获取，例如吸合磁铁类、霍尔传感器类、机械开关等，或者其他能够实现该功能的元件均可。

优选地，图像采集组件14可以接收用户的语音指令，并控制驱动机构13推动或者拉动滑板12滑动。用户可以通过麦克风146发送语音指令，从而实现多种控制方式控制图像采集组件14推出或收回，使图像采集组件14的控制方式更加灵活。

在本说明书的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。