热力分析方法、装置和系统与流程

本公开涉及图像处理技术领域，特别是一种热力分析方法、装置和系统。

背景技术：

在互联网时代，数据是所有应用的基础，线上用户可以根据用户的浏览历史路径、页面停留时长、搜索行为、点击次数、加购物车行为、关注、收藏、交易等数据做智能决策优化。

针对线下场景，可以采集热力图数据，作为分析顾客浏览区域热度和热门货架筛选的重要依据，根据热力数据可以进行货架调整和商品陈列优化，有助于门店智能决策。

技术实现要素：

本公开的一个目的在于提高热力分析的准确度。

根据本公开的一个方面，提出一种热力分析方法，包括：在目标区域的布局图中确定热力分布合法区域和热力分布非法区域；获取目标区域的初始热力分布图；根据初始热力分布图，将位于布局图中热力分布非法区域的热力值移至布局图中热力分布合法区域的对应位置，获取更新热力分布图。

在一些实施例中，热力分析方法还包括以下一项或多项：根据更新热力分布图调整目标区域的物品分布；或，根据更新热力分布图调整目标区域的物品库存量。

在一些实施例中，热力分析方法还包括：根据更新热力分布图测试调整目标区域的物品分布，并获取调整后的更新热力分布图；在更新热力分布图在测试前后的变化比例超过预定门限的情况下，根据更新热力分布图调整目标区域的物品库存量；在更新热力分布图在测试前后的变化比例未超过预定门限的情况下，根据需求调整目标区域的物品分布。

在一些实施例中，在目标区域的布局图中确定热力分布合法区域和热力分布非法区域包括：获取目标区域的布局图；在布局图中确定允许人通过的区域和不允许人通过的区域；设置允许人通过的区域为热力分布合法区域，不允许人通过的区域为热力分布非法区域。

在一些实施例中，在布局图中确定允许人通过的区域和不允许人通过的区域包括：将二值化的布局图做漫水填充并反转，获取漫水反转图；根据漫水反转图与二值化的布局图获取物品框选布局图；根据物品框选布局图确定允许人通过的区域和不允许人通过的区域。

在一些实施例中，在布局图中确定允许人通过的区域和不允许人通过的区域还包括：将物品框选布局图做膨胀操作；将膨胀操作后的物品框选布局图做腐蚀操作，获取更新物品框选布局图；根据物品框选布局图确定允许人通过的区域和不允许人通过的区域包括：根据更新物品框选布局图，确定摆放物品的区域和被摆放物品的区域包围的区域为不允许人通过的区域，未摆放物品且未被摆放物品的区域包围的区域为允许人通过的区域。

在一些实施例中，在布局图中确定允许人通过的区域和不允许人通过的区域还包括：将布局图做二值化处理，其中，二值化的布局图的底色为第一预定颜色，非底色部分为第二预定颜色；做漫水填充并反转包括：采用第二预定颜色做漫水填充；将第一预定颜色部分修改为第二预定颜色，将第二预定颜色部分修改为第一预定颜色；根据漫水反转图与二值化的布局图获取物品框选布局图包括：在漫水反转图或二值化的布局图中至少一个为第二预定色的位置，物品框选布局图为第二预定色，在漫水反转图和二值化的布局图中均第一预定色的位置，物品框选布局图为第一预定色；根据物品框选布局图确定允许人通过的区域和不允许人通过的区域包括：第二预定色的区域为不允许人通过的区域，第一预定色的区域为允许人通过的区域。

在一些实施例中，将位于布局图中热力分布非法区域的热力值移至布局图中热力分布合法区域的对应位置包括：确定初始热力分布图中位于热力分布非法区域的热力值非0的位置为异常位置；确定各个异常位置对应的最近合法位置，其中，最近合法位置位于热力分布合法区域；将各个异常位置的热力值累积在对应的最近合法位置。

在一些实施例中，获取目标区域的初始热力分布图包括：通过图像采集设备获取目标区域的监控视频；通过行人检测识别算法检测监控视频的各帧图像中行人的位置；根据在各个位置停留超过预定时长的人的数量和停留的时长确定目标区域的初始热力分布图。

在一些实施例中，获取目标区域的初始热力分布图还包括：根据多个图像采集设备的探测区域的位置关系，将各个探测区域映射到同一个目标区域的平面中。

在一些实施例中，目标区域的布局图包括目标区域的设计图，施工图或基于扫描恢复的目标区域的场景图。

通过这样的方法，能够在目标区域布局图的基础上得到热力分布合法区域和热力分布非法区域，进而对采集的初始热力分布图进行校正，使热力分布图合理化，提高热力分析的准确度。

根据本公开的另一些实施例的一个方面，提出一种热力分析装置，包括：区域确定单元，被配置为在目标区域的布局图中确定热力分布合法区域和热力分布非法区域；初始热力分布获取单元，被配置为获取目标区域的初始热力分布图；热力分布获取单元，被配置为根据初始热力分布图，将位于布局图中热力分布非法区域的热力值移至布局图中热力分布合法区域的对应位置，获取更新热力分布图。

在一些实施例中，热力分析装置还包括热力分布应用单元，被配置为执行以下一项或多项：根据更新热力分布图调整目标区域的物品分布；或，根据更新热力分布图调整目标区域的物品库存量。

在一些实施例中，热力分析装置还包括：测试单元，被配置为根据更新热力分布图测试调整目标区域的物品分布，获取调整后的更新热力分布图；热力分布应用单元，被配置为在更新热力分布图在测试前后的变化比例超过预定门限的情况下，根据更新热力分布图调整目标区域的物品库存量；在更新热力分布图在测试前后的变化比例未超过预定门限的情况下，根据需求调整目标区域的物品分布。

根据本公开的又一些实施例的一个方面，提出一种热力分析装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行上文中任意一种热力分析方法。

这样的热力分析装置能够在目标区域布局图的基础上得到热力分布合法区域和热力分布非法区域，进而对采集的初始热力分布图进行校正，使热力分布图合理化，提高热力分析的准确度。

根据本公开的再一些实施例的一个方面，提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上文中任意一种热力分析方法的步骤。

通过执行这样的计算机可读存储介质上的指令，能够在目标区域布局图的基础上得到热力分布合法区域和热力分布非法区域，进而对采集的初始热力分布图进行校正，使热力分布图合理化，提高热力分析的准确度。

另外，根据本公开的一些实施例的一个方面，提出一种热力分析系统，包括：上文中任意一种热力分析装置；和，图像采集设备，被配置为监控目标区域，获取监控视频。

这样的热力分析系统能够采集监控视频并得到初始热力分布图，在目标区域布局图的基础上得到热力分布合法区域和热力分布非法区域，进而对采集的初始热力分布图进行校正，使热力分布图合理化，提高热力分析的准确度。

附图说明

此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：

图1为本公开的热力分析方法的一些实施例的流程图。

图2为本公开的热力分析方法的另一些实施例的流程图。

图3为本公开的热力分析方法中确定热力分布合法区域和热力分布非法区域的一些实施例的流程图。

图4a～4e为本公开的热力分析方法中确定热力分布合法区域和热力分布非法区域的一些实施例的示意图。

图4f为本公开的热力分析方法的一些实施例的效果图。

图5为本公开的热力分析方法的又一些实施例的流程图。

图6为本公开的热力分析装置的一些实施例的示意图。

图7为本公开的热力分析装置的另一些实施例的示意图。

图8为本公开的热力分析装置的又一些实施例的示意图。

图9为本公开的热力分析系统的一些实施例的示意图。

具体实施方式

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

在线下零售场景下，通过ai(artificialintelligence，人工智能)算法对线下门店做进店客流人群画像，顾客轨迹跟踪，人群热力区域分布的数据进行收集分析。通过以上算法采集的数据对店铺的选品，选址，定价，促销等决策进行基础数据支撑。这些采集数据的质量对于依据数据做智能决策的门店系统至关重要。

在热力图坐标映射时在线下门店的店铺全局热力图上做坐标映射时，可以直接把计算机视觉算法上报的坐标点映射到店铺的全局图上进行绘制。但是，由于行人检测算法中视觉误差或运算误差带来的影响，上报坐标点在某些时候不能正确的映射在一个合理的区域，很多热力坐标映射到货柜，货架，展台上，导致热力图的呈现效果和可信度都大大降低。

本公开的热力分析方法的一些实施例的流程图如图1所示。

在步骤101中，在目标区域的布局图中确定热力分布合法区域和热力分布非法区域。在一些实施例中，热力分布合法区域指人能够到达的区域，热力分布非法区域指人不能够到达的区域，例如，摆放了货架的位置，或围起来顾客不可以进入的位置即热力分布非法区域。

在步骤102中，获取目标区域的初始热力分布图。在一些实施例中，初始热力分布图可以为通过摄像头等图像采集设备采集，并通过计算机视觉算法分析得到的热力分布图。

在一些实施例中，步骤101和步骤102的执行顺序不分前后。

在步骤103中，根据初始热力分布图，将位于布局图中热力分布非法区域的热力值移至布局图中热力分布合法区域的对应位置，获取更新热力分布图。在一些实施例中，可以将热力分布非法区域的热力值移至布局图中与当前位置距离最近的热力分布合法区域的位置。

通过这样的方法，能够在目标区域布局图的基础上得到热力分布合法区域和热力分布非法区域，进而对采集的初始热力分布图进行校正，使热力分布图合理化，提高热力分析的准确度和可信度。

在一些实施例中，在获得更新热力分布图后，可以根据更新热力分布图调整商品库存，例如，确定离热力值最高或较高的位置最近的货架上放置的物品，提高该种物品的库存量；确定离热力值最低或较低的位置最近的货架上放置的物品，降低该种物品的库存量，从而利用商品的受欢迎程度实现对货架的充分利用，提高空间的利用率和收益率。

在一些实施例中，在获得更新热力分布图后，可以根据更新热力分布图调整物品分布，例如，将利润更高的物品放置在离热力值最高或较高的位置最近的货架上，将利润较低的物品放置在离热力值最低或较低的位置最近的货架上，从而利用区域的受欢迎程度提高布置的合理性，提高利润率。

本公开的热力分析方法的另一些实施例的流程图如图2所示。

在步骤201中，在目标区域的布局图中确定热力分布合法区域和热力分布非法区域。

在步骤202中，获取目标区域的初始热力分布图。

在步骤203中，根据初始热力分布图，将位于布局图中热力分布非法区域的热力值移至布局图中热力分布合法区域的对应位置，获取更新热力分布图。

在步骤204中，根据更新热力分布图测试调整目标区域的物品分布，并获取调整后的更新热力分布图。在一些实施例中，对物品分布的调整可以包括：将离热力值最高或较高的位置最近的货架上的物品与离热力值最低或较低的位置最近的货架上的物品交换，或可以随机打乱物品排布。

在步骤205中，判断更新热力分布图在测试前后的变化比例是否超过预定门限。在一些实施例中，可以将测试前后的更新热力分布图各个点的热力值进行比较，确定发生变化的点的数量比例，与预定门限相比较。若更新热力分布图在测试前后的变化比例大于预定门限，则执行步骤206；若更新热力分布图在测试前后的变化比例不大于预定门限，则执行步骤207。

在步骤206中，由于更新热力分布图的变化大，因此说明热力分布的偏差更多是由物品本身引起的，根据更新热力分布图调整目标区域的物品库存量。

在步骤207中，由于更新热力分布图的变化不大，因此说明热力分布的偏差更多是由位置引起的，根据需求调整目标区域的物品分布。

通过这样的方法，能够利用测试的方式分析热力分布的影响因素，从而指定对应的策略，提高对热力分布应用的准确度，进而提高对有限的目标区域空间的有效利用。

在一些实施例中，由于目标区域中会存在位置固定的物体，如货架区域，也存在没有安放物品，但由于设计阻挡的问题使顾客无法进入的区域，因此要在设计图(如cad(computeraideddesign,计算机辅助设计)图)、施工图或基于扫描恢复的目标区域场景图中分析确定允许人通过的区域和不允许人通过的区域。本公开的热力分析方法中确定热力分布合法区域和热力分布非法区域的一些实施例的流程图如图3所示。

在步骤301中，将二值化的布局图做漫水填充并反转，获取漫水反转图。在一些实施例中，对于非二值化的布局图，可以先做二值化处理，底色为第一预定颜色，非底色部分为第二预定颜色，如图4a所示，第一预定颜色为黑色，第二预定颜色为白色。在获得二值化的布局图后，采用第二预定颜色做漫水填充，如图4b所示，进而如图4c所示，做反转处理，包括将第一预定颜色部分修改为第二预定颜色，将第二预定颜色部分修改为第一预定颜色。

在步骤302中，根据漫水反转图与二值化的布局图获取物品框选布局图。在一些实施例中，可以设定在漫水反转图或二值化的布局图中至少一个为第二预定颜色的位置，物品框选布局图为第二预定颜色，在漫水反转图和二值化的布局图中均第一预定颜色的位置，物品框选布局图为第一预定颜色。在一些实施例中，可以设置漫水反转图和二值化的布局图中第二预定颜色的位置为1，第一预定颜色的位置为0，将两图做或运算，运算结果为1的位置为第二预定颜色，运算结果为0的位置为第一预定颜色。

在一些实施例中，可以设定第二预定色的区域为不允许人通过的区域，即热力分布非法区域，第一预定色的区域为允许人通过的区域，即热力分布合法区域。

在一些实施例中，为提高准确性，避免噪点、小区域的影响，还可以执行步骤303和步骤304。

在步骤303中，将物品框选布局图做膨胀操作，如图4d所示。在一些实施例中，可以预设膨胀系数。

在步骤304中，将膨胀操作后的物品框选布局图做腐蚀操作，使物品还原膨胀之前的尺寸，获取更新物品框选布局图，如图4f所示。

通过膨胀和腐蚀操作去除了图中的文字、不规则区域等因素形成的非法离散点，提高了准确度。

在步骤305中，根据更新物品框选布局图，确定摆放物品的区域和被摆放物品的区域包围的区域为不允许人通过的区域，未摆放物品且未被摆放物品的区域包围的区域为允许人通过的区域。

通过这样的方法，通过对布局图的运算操作能够得到热力分布非法区域和热力分布合法区域，以便于对初始热力分布图进行矫正，得到如图4f所示的更新热力分布图，在提高热力分布图的可信度的同时，也提高了矫正的准确度和效率。

本公开的热力分析方法的又一些实施例的流程图如图5所示。

在步骤501中，通过图像采集设备获取目标区域的监控视频。在一些实施例中，监控视频可以由一个或多个分布在目标区域的摄像头采集。

在步骤502中，通过行人检测识别算法检测监控视频的各帧图像中行人的位置。在一些实施例中，可以预先标定图像采集设备的位置、与目标区域坐标的关系等，从而尽可能提高初始热力分布图的准确度。

在步骤503中，根据在各个位置停留超过预定时长的人的数量和停留的时长确定目标区域的初始热力分布图。在一些实施例中，可以将监控视频拆解成图片帧，确定图片帧中各个位置出现的人的数量，以及确定各个位置出现人的图片帧的数量，进行累计，从而从人数、停留时间两方面采集热力分布情况。

在一些实施例中，在存在多个摄像头的情况下，为实现图像的拼接，且避免对采集重叠区域的重复统计，需要预先通过监控图像的区域和尺寸，结合目标区域的实际情况进行图像间位置关系的确定，实现图像拼接，且对于重叠部分，只采用基于一个摄像头采集的重叠部分的监控图像，或对于该重叠部分，将全部能采集到该重叠部分的摄像头采集的监控图像中的热力值做取平均操作，从而进一步提高准确度。

在步骤504中，在目标区域的布局图中确定热力分布合法区域和热力分布非法区域。在一些实施例中，可以采用上文中提到的任意一种方式确定热力分布合法区域和热力分布非法区域。

在步骤505中，确定初始热力分布图中位于热力分布非法区域的热力值非0的位置为异常位置。

在一些实施例中，在步骤504中得到物品框选布局图或更新物品框选布局图后，可以对该图的结果进行像素值的输出，形成一个二维矩阵，该数组每个元素的值代表是否在封闭区域内，如黑色(第一预定颜色)为0，表示在非封闭区域，热力分布合法区域；白色(第二预定颜色)为255，表示为封闭区域，为热力分布非法区域，对布局图上每个点均用0或255标识，假设某个上报的非0热力值的坐标为(x,y)，把这个坐标的x和y代入到映射掩码矩阵中。如果得到值为0，表示则表示该映射坐标合理，直接绘制该热力点；如果得到值为255，则表示该映射坐标不合理。

在步骤506中，确定各个异常位置对应的最近合法位置。在一些实施例中，可以计算异常位置到热力分布合法区域的欧式距离最近的点，即为其对应的最近合法位置。

在步骤507中，将各个异常位置的热力值累积在对应的最近合法位置。在一些实施例中，对于不同异常位置对应相同最近合法位置的情况，将对应该最近合法位置的各个异常位置的热力值均累计在该最近合法位置。在一些实施例中，可以在映射掩码矩阵上通过欧式算法寻找一个最近的值为0的点(x1,y1)，并把这个点的(x1,y1)坐标返回替换x和y，绘制的热力点是(x1,y1)。

通过这样的方法，能够得到合理的热力分布数据，甚至能对遮挡了图像采集的部分的热力分布实现合理预测，方便为后续的智能决策提供准确的数据支撑，进而提高决策的准确度。

本公开的热力分析装置的一些实施例的示意图如图6所示。

区域确定单元601能够在目标区域的布局图中确定热力分布合法区域和热力分布非法区域。在一些实施例中，热力分布合法区域指人能够到达的区域，热力分布非法区域指人不能够到达的区域。

初始热力分布获取单元602能够获取目标区域的初始热力分布图。在一些实施例中，初始热力分布图可以为通过摄像头等图像采集设备采集，并通过计算机视觉算法分析得到的热力分布图。

热力分布获取单元603能够根据初始热力分布图，将位于布局图中热力分布非法区域的热力值移至布局图中热力分布合法区域的对应位置，获取更新热力分布图。在一些实施例中，可以将热力分布非法区域的热力值移至布局图中与当前位置距离最近的热力分布合法区域的位置。

这样的装置能够在目标区域布局图的基础上得到热力分布合法区域和热力分布非法区域，进而对采集的初始热力分布图进行校正，使热力分布图合理化，提高热力分析的准确度。

在一些实施例中，如图6所示，热力分析装置还可以包括热力分布应用单元604，能够根据更新热力分布图调整商品库存，例如，确定离热力值最高或较高的位置最近的货架上放置的物品，提高该种物品的库存量；确定离热力值最低或较低的位置最近的货架上放置的物品，降低该种物品的库存量，从而利用商品的受欢迎程度实现对货架的充分利用，提高空间的利用率。

在一些实施例中，热力分布应用单元604，能够根据更新热力分布图调整物品分布，例如，将利润更高的物品放置在离热力值最高或较高的位置最近的货架上，将利润较低的物品放置在离热力值最低或较低的位置最近的货架上，从而利用区域的受欢迎程度提高布置的合理性，提高利润。

在一些实施例中，热力分析装置还可以包括测试单元605，能够根据更新热力分布图测试调整目标区域的物品分布，并激活区域确定单元601、初始热力分布获取单元602和热力分布获取单元603获取更新热力分布图。测试单元605能够将测试得到的更新热力分布图与测试前的更新热力分布图进行比较，确定测试前后的变化比例。在变化比例大于预定门限的情况下，热力分布应用单元根据更新热力分布图调整目标区域的物品库存量，在变化比例不大于预定门限的情况下，热力分布应用单元根据需求调整目标区域的物品分布。

这样的热力分析装置能够利用测试的方式分析热力分布的影响因素，从而指定对应的策略，提高对热力分布应用的准确度，进而提高对有限的目标区域空间的有效利用。

本公开热力分析装置的一个实施例的结构示意图如图7所示。热力分析装置包括存储器701和处理器702。其中：存储器701可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储上文中热力分析方法的对应实施例中的指令。处理器702耦接至存储器701，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器702用于执行存储器中存储的指令，能够使热力分布图合理化，提高热力分析的准确度。

在一个实施例中，还可以如图8所示，热力分析装置800包括存储器801和处理器802。处理器802通过bus总线803耦合至存储器801。该热力分析装置800还可以通过存储接口804连接至外部存储装置805以便调用外部数据，还可以通过网络接口806连接至网络或者另外一台计算机系统(未标出)。此处不再进行详细介绍。

在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，能够使热力分布图合理化，提高热力分析的准确度。

在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现热力分析方法对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本公开的热力分析系统的一些实施例的示意图如图9所示。热力分析装置91可以为上文中的任意一种。图像采集设备92能够监控目标区域，获取监控视频，如监控目标区域的摄像头等。在一些实施例中，图像采集设备92可以为一个或多个。

这样的热力分析系统能够采集监控视频并得到初始热力分布图，在目标区域布局图的基础上得到热力分布合法区域和热力分布非法区域，进而对采集的初始热力分布图进行校正，使热力分布图合理化，提高热力分析的准确度。

本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

可能以许多方式来实现本公开的方法以及装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

最后应当说明的是：以上实施例仅用以说明本公开的技术方案而非对其限制；尽管参照较佳实施例对本公开进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本公开的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本公开技术方案的精神，其均应涵盖在本公开请求保护的技术方案范围当中。