基于智能锁的快递管理方法及相关产品与流程

1.本技术涉及软件领域，特别涉及一种基于智能锁的快递管理方法及相关产品。


背景技术：

2.目前大部分现有的可视猫眼智能锁采用的是一个广角摄像头(例如选用200万像素)，正视门前场景，但是无法看到门口下方地面的物品区域，另外即使可以看到偏远处的地面区域，也无法对其范围内的物品进行识别和判定，因此，现有的智能锁无法实现对快递包裹的管理，影响了用户的体验度。


技术实现要素：

3.为解决上述问题，本技术公开了一种基于智能锁的快递管理方法及相关产品，可以实现对快递包裹的智能管理，提高了用户体验度。
4.本技术实施例第一方面提供了一种基于智能锁的快递管理方法，所述方法包括如下步骤：
5.智能锁接收来访者的视频通话请求，依据该视频通话请求实现来访者与业主终端的视频连接；
6.智能锁接收到业主终端的确认消息后，启动下摄像头模组采集第一图片，对第一图片进行识别确定是否为快递；
7.智能锁确定第一图片为快递时，启动快递管理流程对快递进行监控，判断是否出现快递异常，在确定快递异常时，启动告警流程。
8.第二方面，提供一种基于智能锁的快递管理装置，所述装置应用于智能锁，所述装置包括：
9.通信单元，用于接收来访者的视频通话请求，依据该视频通话请求实现来访者与业主终端的视频连接；接收到业主终端的确认消息；
10.处理单元，用于启动下摄像头模组采集第一图片，对第一图片进行识别确定是否为快递；确定第一图片为快递时，启动快递管理流程对快递进行监控，判断是否出现快递异常，在确定快递异常时，启动告警流程。
11.第三方面，提供一种智能锁，包括处理电路、存储器、摄像头以及一个或多个程序；所述程序包括用于执行第一方面提供的方法中的步骤的指令。
12.本技术实施例第四方面提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理电路执行时使所述处理电路执行本技术实施例第一方面所描述的方法。
13.实施本技术实施例时，具有如下有益效果：
14.本技术提供的技术方案智能锁接收来访者的视频通话请求，依据该视频通话请求实现来访者与业主的视频连接；智能锁接收到业主的确认消息后，启动下摄像头模组采集第一图片，对第一图片进行识别确定是否为快递；智能锁确定第一图片为快递时，启动快递
管理流程对快递进行监控，判断是否出现快递异常，在确定快递异常时，启动告警流程。这样在业主确认时，通过对快递的监控来实现对快递的管理，在出现快递异常时，启动告警流程，实现对快递的监控，避免快递被其他人员拿走，提高用户体验度。
附图说明
15.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为本技术实施例提供的智能锁的结构示意图；
17.图2为本技术实施例提供的一种基于智能锁的快递管理方法流程示意图；
18.图3为本技术实施例提供的一种基于智能锁的快递管理方法流程示意图；
19.图4为本技术实施例提供的另一种基于智能锁的快递管理方法流程示意图；
20.图5为本技术实施例提供的一种基于智能锁的快递管理装置的结构示意图；
21.图6为本技术实施例中一种智能锁的结构示意图。
具体实施方式
22.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、产品或设备固有的其他步骤或单元。
24.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
25.参阅图1，图1为本技术提供的一种智能锁的示意图，示例的，如图1所示，上述智能锁具体可以包括：指纹头模组、门铃键、前面板主板、键盘模块、电源管理模块、电池、快递管理模块和麦克(可选的)，上述部件可以通过总线连接，也可以通过其他方式连接，本技术并不限制上述连接的具体方式。
26.示例的，上述快递管理模块具体可以包括：人体红外侦测模组、双ir镜头模组、广角rgb镜头模组、mcu主控、人脸识别模组、视频模组、通信模组和下摄像头模组。
27.其中，人体红外侦测模组、双ir镜头模组、广角rgb镜头模组、mcu主控、人脸识别模组、视频模组、通信模组和下摄像头模组也可以通过总线连接，当然还可以通过其他方式连接。
28.示例的，智能锁的通信模组可以通过通信系统与外围网络设备连接，上述通信系统可以是：全球移动通讯(global system of mobile communication，gsm)系统、码分多址
(code division multiple access，cdma)系统、宽带码分多址(wideband code division multiple access，wcdma)系统、通用分组无线业主(general packet radio service，gprs)、长期演进(long term evolution，lte)系统、先进的长期演进(advanced long term evolution，lte-a)系统、新空口(new radio，nr)系统、nr系统的演进系统、免授权频谱上的lte系统(lte-based access to unlicensed spectrum，lte-u)、免授权频谱上的nr系统(nr-based access tounlicensed spectrum，nr-u)、通用移动通信系统(universal mobile telecommunication system，umts)、下一代通信系统或其他通信系统等。
29.参阅图2，图2提供了一种基于智能锁的快递管理方法的流程示意图，该方法在如图1所示的智能锁中实现，上述方法如图2所示，包括如下步骤：
30.步骤s201、智能锁接收来访者的视频通话请求，依据该视频通话请求实现来访者与业主终端的视频连接；
31.示例的，上述视频通话请求可以通过通信系统发送至网络设备连接至业主终端，本技术实施例并不限制上述视频通话请求的具体流程。
32.步骤s202、智能锁接收到业主终端的确认消息后，启动下摄像头模组采集第一图片，对第一图片进行识别确定是否为快递；
33.步骤s203、智能锁确定第一图片为快递时，启动快递管理流程对快递进行监控，判断是否出现快递异常，在确定快递异常时，启动告警流程。
34.本技术提供的技术方案智能锁接收来访者的视频通话请求，依据该视频通话请求实现来访者与业主的视频连接；智能锁接收到业主的确认消息后，启动下摄像头模组采集第一图片，对第一图片进行识别确定是否为快递；智能锁确定第一图片为快递时，启动快递管理流程对快递进行监控，判断是否出现快递异常，在确定快递异常时，启动告警流程。这样在业主确认时，通过对快递的监控来实现对快递的管理，在出现快递异常时，启动告警流程，实现对快递的监控，避免快递被其他人员拿走，提高用户体验度。
35.示例的，上述启动快递管理流程对快递进行监控具体可以包括：
36.智能锁启动人形探测确认人与智能锁的距离，在确定该距离低于第一阈值时，开启上摄像头采集第二图片，对第二图片执行人脸识别确定第二图片的第一身份，确定第一身份为非注册身份时，开启下摄像头模组录制第一视频，依据第一视频确定快递是否移动，若未移动，确定快递正常，再次启动人形探测确认人与智能锁的距离且该距离大于第一阈值时，关闭下摄像头；若移动，确定快递异常。
37.由于智能锁大部分为电池供电(例如锂电池或干电池等等)，其电量有限，不能因为频繁的检测快递而大幅消耗智能锁的电量，因此本技术通过上述流程，即在人未靠近智能锁(即距离大于第一阈值时)，不开启人脸识别以及下摄像头进而减低电量的消耗，因此上述方案能够减少智能锁的电量的消耗，具有节能的效果。
38.示例的，上述注册身份可以为：家庭成员、朋友或其他的授权用户，其具体可以由业主自行设定。
39.示例的，上述依据第一视频确定快递是否移动具体可以包括：
40.确定下摄像头模组中下摄像头的角度未移动时，从第一视频中采样n帧图片，对n帧图片进行重叠得到叠加图片，对叠加图片执行物体识别得到叠加图片的快递区域，统计快递区域内像素点的数量x2，若数量x2不等于数量x1，确定该快递移动，若数量x2等于数量
x1，确定快递移动，上述数量x1为第一图片中快递区域内的像素点的数量。
41.对于快递来说，由于其无法自动移动，那么放置以后，其不会出现移动，因此其范围是一定的，即如果快递不移动，n帧图片与第一图片中快递区域应该是一致的，而判断其一致的方式通过叠加图片的方式来确认，因为若n帧图片中快递区域发生变化，会出现快递区域的重叠，进而实现叠加图片以后的快递区域的增加，因此直接确定叠加图片快递区域的像素点数量即能够简单的判断快递是否会移动，简化流程的同时，提高检测的精度。
42.示例的，上述启动告警流程具体可以包括：
43.在快递异常之后，再次启动下摄像头模组拍摄快递的第二视频，将该视频发送至业主终端，并向业主终端发送告警信息。
44.示例的，上述智能锁接收到业主终端的确认消息具体可以包括：
45.在预设时间内未接受到业主终端的非确认消息(nack)。上述在预设时间内未接受到业主终端的非确认消息具有如下几种情况，例如，在预设时间内接受到业主终端的确认消息(ack)，又如，在预设时间内未接收到业主终端的任何消息，即业主终端长时间未反馈，默认业主终端同意。
46.实施例一
47.本技术实施例提供一种基于智能锁的快递管理方法，该方法的流程图如图3所示，本实施例的智能锁具体可以为wifi智联的3d人脸视频识别智能锁，其可以支持人脸开锁的开启方式，并且全天24小时远程可视猫眼功能，来访者通过按压门锁上自带的独立门铃，发起远程视频通话请求，手机app会收到门铃来电显示或弹窗，业主在业务终端点击接听后，可以通过通信系统远程查看视频锁的实时门外画面，并与门外的来访者进行视频对讲。此外，本技术在智能锁的前面板偏下方位置，加入一颗低像素的(例如30万像素，当然也可以为其他的像素，当然该低像素也可以更换成高像素，本实施例只是基于成本的考虑，才采用30万像素)的rgb摄像头，配合一个pir人体红外侦测传感器以及锁端已有的3d双目人脸识别模组，完成本技术实施例的看管快递包裹的功能。软件测，可以提供一套自由的app，当然也可以通过其他方式，例如公众号、小程序等等方式来提供相关的软体功能。
48.步骤s301、智能锁接收到快递员的视频通话请求(具体可以为门铃按键)，建立视频连接后双方进行视频对讲，业主可以通过视频对讲向快递人员发送将快递包裹放置在门口附近地面(特定位置，例如门前1-3米范围内)的指示；
49.步骤s302、业主终端通过app开启看管包裹功能，业主终端通过app获取下摄像头的视频画面，通过ai识别包裹的大小、位置，业主终端确认上述包裹的大小、位置以后，业务终端向智能锁发送看管命令；
50.上述通过ai识别包裹的大小、位置的具体实现方法可以包括：
51.锁端可以自动聚焦判定包裹的位置和大小并呈现在视频界面窗口上并绘制对应红框，用户亦可自行修正物体位置和大小，即用户可以自行修改物体位置和大小，更加的准确。
52.上述通过ai识别包裹的大小、位置具体可以包括：
53.对该视频画面进行初步识别确定具有包裹的第一帧图片(可以通过通用方式识别得到)，获取该第一帧图片中每个像素点的rgb值，依据像素点的rgb值的排列顺序得到输入矩阵【h】【w】【3】；将该输入矩阵【h】【w】【3】输入到神经网络模型运算得到包裹区域，依据该
包裹区域确定该包裹方位(即位置)。
54.示例的，上述将该输入矩阵【h】【w】【3】输入到神经网络模型运算得到包裹区域具体可以包括：
55.将该输入矩阵【h】【w】【3】与权值(3*3*3卷积核)执行卷积运算得到结果矩阵【h-2】【w-2】，查找出结果矩阵【h-2】【w-2】中最多相同值y，将结果矩阵中部位y的值保留得到过滤矩阵，将过滤矩阵中元素值相邻(可以左、右相邻，也可以上下相邻)划分为一个区域，若该一个区域的值也相同，确定该一个区域为包裹区域，依据该包裹区域中心位置在结果矩阵的方位确定该障碍物的方位。
56.对于障碍物来说，一般为与背景不同颜色的物体，那么通过输入矩阵与卷积核运算进而得到过滤矩阵，然后依据过滤矩阵中较大范围(因为物体有一定的体积)且值相同的区域(因为障碍物为一个物体，因此其颜色基本是相同的)确定为包裹区域。基于这个原理来确定包裹的区域。
57.步骤s303、业主终端依据该看管命令执行包裹看管流程执行包裹看管。
58.具体的，上述包裹看管流程如图4所示，具体可以包括：由于锁端是锂电池供电，rgb摄像头功能不能一直启动并查看包裹情况，接下来锁端主控休眠，启动pir，可以做人形探测功能，当有人靠近门锁3米(设定距离，该距离可以用户自行设定)(角度120
°
)范围内时，启动人脸识别模块，做人形识别，当识别为人形并判定非注册人脸用户(即家人)时，自动启动rgb摄像头模组，并对包裹区域进行跟踪判定，若包裹区域出现图像数据变化，立即发出声光报警，语音播报：您已被监控，请立即离开；并启动双镜头录像功能，对门前和门地面进行录像，并发送报警录像到用户app上，同时，用户若选配了电话提醒服务，则自动拨打用户电话进行强提醒。另外对于按门铃超时未接的情况，锁端会自动快捷回复，并指引快递员将包裹放置指定位置，自动启用看包裹功能。
59.本技术的技术方案的看包裹功能，支持对包裹区域进行ai智能识别，对于ai小概率识别不对的时候，用户可以手动绘制修正，后续通过ai自学习，更准确的判定；本技术的启动pir探测，可以让ai算法识别模块在平时情况下处于断电状态，节省电量，只有检测到红外人体触发后，才启动ai算法板，并进行人形和包裹位置图像判定，若非人形并且包裹位置图像触发则不触发报警，减少门锁的功耗和误报；本技术的检测人形之后，还继续进行家人识别(已注册人脸到人脸识别模组)，进一步区别不同的场景，对于自己家人，进行友情提示获取包裹，对于陌生人则进行声光报警，并抓拍录像远程推送给用户，精准区分家人和陌生人，实现精准看包裹。
60.参阅图5，图5提供一种基于智能锁的快递管理装置的结构示意图，所述装置应用于智能锁，所述装置包括：
61.通信单元，用于接收来访者的视频通话请求，依据该视频通话请求实现来访者与业主终端的视频连接；接收到业主终端的确认消息；
62.处理单元，用于启动下摄像头模组采集第一图片，对第一图片进行识别确定是否为快递；确定第一图片为快递时，启动快递管理流程对快递进行监控，判断是否出现快递异常，在确定快递异常时，启动告警流程。
63.示例的，所述处理单元，具体用于启动人形探测确认人与智能锁的距离，在确定该距离低于第一阈值时，开启上摄像头采集第二图片，对第二图片执行人脸识别确定第二图
片的第一身份，确定第一身份为非注册身份时，开启下摄像头模组录制第一视频，依据第一视频确定快递是否移动，若未移动，确定快递正常，再次启动人形探测确认人与智能锁的距离且该距离大于第一阈值时，关闭下摄像头；若移动，确定快递异常。
64.示例的，所述处理单元，具体用于确定下摄像头模组中下摄像头的角度未移动时，从第一视频中采样n帧图片，对n帧图片进行重叠得到叠加图片，对叠加图片执行物体识别得到叠加图片的快递区域，统计快递区域内像素点的数量x2，若数量x2不等于数量x1，确定该快递移动，若数量x2等于数量x1，确定快递移动，上述数量x1为第一图片中快递区域内的像素点的数量。
65.参阅图6，本技术实施例还提供一种智能锁，包括处理电路、存储器、摄像头以及一个或多个程序；所述程序包括用于执行如图2所示的方法中的步骤的指令。
66.本技术实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行图2的全部或部分方法步骤。
67.上述计算机可读存储介质可以是前述任一实施例上述的服务器的内部存储单元，例如服务器的硬盘或内存。上述计算机可读存储介质也可以是上述服务器的外部存储设备，例如上述服务器上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，上述计算机可读存储介质还可以既包括上述服务器的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述服务器所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
68.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
69.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的服务器和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
70.在本技术所提供的几个实施例中，应该理解到，所揭露的服务器和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、终端或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
71.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
72.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的
单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
73.上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。