一种确定魔法数字的方法、设备、介质及程序产品与流程

1.本技术涉及通信领域，尤其涉及一种用于确定魔法数字的技术。


背景技术：

2.在现有技术中，通常需要寻找一项业务的北极星指标，其本质就是找到1个与业务目标相关性最大(甚至是因果效应最大)的指标，并将其细分找到相关性的临界值(即"魔法数字")，然后通过产品和运营策略进行有效干预，让更多的用户实现这个魔法数字，以提升业务的目标。例如，某款社交app发现用户关注7个好友后留存率更高，而现在技术中的北极星指标分析方法存在的主要问题是“因果倒置”，尤其体现在老用户分析的过程中(新用户也会存在这类问题但影响相对较弱)。例如，分析发现，每天发生某种行为的用户比没发生该行为的次日打开留存率高20％，但其实更可能的情况是，打开意愿率更高的粘性用户更倾向产生这类行为。在这种情况下，比较各类行为对目标的重要性结论可能是错误的，某个特征的重要性其实远没有想象中的那么高，另外还存在特征变异性不足的问题，也就是某些指标每日可能波动很小，因此很难找到"魔法数字"。


技术实现要素：

3.本技术的一个目的是提供一种确定魔法数字的方法、设备、介质及程序产品。
4.根据本技术的一个方面，提供了一种确定魔法数字的方法，该方法包括：
5.根据目标应用的产品功能信息及用户的历史行为表现信息，确定业务目标对应的一个或多个第一指标特征；
6.根据多个维度对应的统计结果对所述一个或多个第一指标特征进行评估，根据评估结果在所述一个或多个第一指标特征中确定至少一个第二指标特征，其中，所述多个维度包括用户数量规模维度及历史业务效果维度；
7.将所述至少一个第二指标特征输入预定的特征评估模型，获得一个或多个第二指标特征对应的重要性信息，根据所述重要性信息在所述一个或多个第二指标特征中确定一个或多个目标指标特征；
8.确定所述一个或多个目标指标特征对应的临界取值信息，将所述临界取值信息作为所述业务目标对应的魔法数字。
9.根据本技术的一个方面，提供了一种用于确定魔法数字的计算机设备，该设备包括：
10.一一模块，用于根据目标应用的产品功能信息及用户的历史行为表现信息，确定业务目标对应的一个或多个第一指标特征；
11.一二模块，用于根据多个维度对应的统计结果对所述一个或多个第一指标特征进行评估，根据评估结果在所述一个或多个第一指标特征中确定至少一个第二指标特征，其中，所述多个维度包括用户数量规模维度及历史业务效果维度；
12.一三模块，用于将所述至少一个第二指标特征输入预定的特征评估模型，获得一
access memory，ram)和/或非易失性内存等形式，如只读存储器(read only memory，rom)或闪存(flash memory)。内存是计算机可读介质的示例。
28.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(phase-change memory，pcm)、可编程随机存取存储器(programmable random access memory，pram)、静态随机存取存储器(static random-access memory，sram)、动态随机存取存储器(dynamic random access memory，dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(electrically-erasable programmable read-only memory，eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(compact disc read-only memory，cd-rom)、数字多功能光盘(digital versatile disc,dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
29.本技术所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、ios操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程逻辑器件(programmable logic device，pld)、现场可编程门阵列(field programmable gate array，fpga)、数字信号处理器(digital signal processor，dsp)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(cloud computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、vpn网络、无线自组织网络(ad hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
30.当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本技术，也应包含在本技术保护范围以内，并在此以引用方式包含于此。
31.在本技术的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
32.图1示出根据本技术一个实施例的一种确定魔法数字的方法流程图，该方法包括步骤s11、步骤s12、步骤s13和步骤s14。在步骤s11中，计算机设备根据目标应用的产品功能信息及用户的历史行为表现信息，确定业务目标对应的一个或多个第一指标特征；在步骤s12中，计算机设备根据多个维度对应的统计结果对所述一个或多个第一指标特征进行评估，根据评估结果在所述一个或多个第一指标特征中确定至少一个第二指标特征，其中，所述多个维度包括用户数量规模维度及历史业务效果维度；在步骤s13中，计算机设备将所述至少一个第二指标特征输入预定的特征评估模型，获得一个或多个第二指标特征对应的重要性信息，根据所述重要性信息在所述一个或多个第二指标特征中确定一个或多个目标指标特征；在步骤s14中，计算机设备确定所述一个或多个目标指标特征对应的临界取值信
息，将所述临界取值信息作为所述业务目标对应的魔法数字。
33.在步骤s11中，计算机设备根据目标应用的产品功能信息及用户的历史行为表现信息，确定业务目标对应的一个或多个第一指标特征。在一些实施例中，首先用户需要指定一个业务目标，也就是确定业务预期达成的目标，例如“提升新增用户打开次日留存率”，然后需要穷举目标应用的产品功能以及用户在目标应用中的历史行为表现，然后再进行数据清洗、特征工程等工作，生成相应的一个或多个特征数据，然后进行特征相关性分析，分析该一个或多个特征数据与该业务目标之间的相关性，再根据分析结果进行特征筛选，在该一个或多个特征数据中筛选出与该业务目标之间存在非因果倒置类型的相关性的至少一个特征数据，然后再进行新特征构建，按照指标的定义或形式为该至少一个特征数据构建对应的指标特征，从而得到该业务目标对应的一个或多个第一指标特征，其中，该一个或多个第一指标特征与该业务目标之间存在相关性，且该相关性并非属于因果倒置类型，或者，该一个或多个第一指标特征与该业务目标之间存在大于或等于预定关联度的相关性，且该相关性并非属于因果倒置类型。
34.在步骤s12中，计算机设备根据多个维度对应的统计结果对所述一个或多个第一指标特征进行评估，根据评估结果在所述一个或多个第一指标特征中确定至少一个第二指标特征，其中，所述多个维度包括用户数量规模维度及历史业务效果维度。在一些实施例中，通过参考包括用户数量规模维度及历史业务效果维度在内的多个维度对应的外部统计结果，对该一个或多个第一指标特征的使用情况进行评估，即对于每个第一指标特征，根据该第一指标特征对应的用户数量规模以及历史业务效果，对该第一指标特征进行评估，评估该第一指标特征是否符合北极星指标条件，北极星指标条件主要包括两个，第一个是其面向的用户不应该太少，第二个是其对业务目标历史产生过的效果不应该太小，其中，用户数量规模可以是指该第一指标特征所涉及的用户的数量，或者，还可以是指该第一指标特征所涉及的用户的数量相对于目标应用的用户总数的占比，历史业务效果是指该第一指标特征在历史上对业务目标曾经产生过的量化后的平均业务效果。在一些实施例中，根据评估结果，在该一个或多个第一指标特征中确定出符合北极星指标条件的至少一个第二指标特征。
35.在步骤s13中，计算机设备将所述至少一个第二指标特征输入预定的特征评估模型，获得一个或多个第二指标特征对应的重要性信息，根据所述重要性信息在所述一个或多个第二指标特征中确定一个或多个目标指标特征。在一些实施例中，将该至少一个第二指标特征中的每个第二指标特征输入已训练的特征评估模型，获得该特征评估模型所输出的该第二指标特征对应的重要性信息，其中，该重要性信息用于量化该第二指标特征对于该业务目标的重要程度。在一些实施例中，可以将该一个或多个第二指标特征中对应的重要程度高于或等于预定阈值的第二指标特征作为目标指标特征，或者，还可以将该一个或多个第二指标特征中对应的重要程度最高的预定数量的第二指标特征作为目标指标特征。在一些实施例中，将该一个或多个目标指标特征作为业务目标的北极星指标。
36.在步骤s14中，计算机设备确定所述一个或多个目标指标特征对应的临界取值信息，将所述临界取值信息作为所述业务目标对应的魔法数字。在一些实施例中，对于每个目标指标特征，需要进一步细化具体的行为表现，可以通过类似找拐点的方法确定该目标指标特征对应的临界取值信息，该临界取值信息可以是指，按照该目标指标特征对应的所有
取值信息(其中，取值信息可以是一个个具体的数值，或者，还可以是一个个数值区间，例如，该目标指标特征是用户对于目标应用中的某个页面的浏览量，则其对应的取值信息可以包括浏览量为2、浏览量为3、浏览量为4。。。或者，其对应的取值信息还可以包括浏览量大于等于2、浏览量大于等于3、浏览量大于等于4。。。)从小到大的顺序或者从大到小的顺序，从该临界取值信息开始的后续取值信息，随着后续取值信息的变化，该目标指标特征在后续取值信息下关于该业务目标的量化后的历史业务效果的变化程度小于或等于预定阈值，即对应的量化后的历史业务效果的变化程度开始变得缓慢。例如，可以以该目标指标特征对应的取值信息作为横坐标，以该目标指标特征在每个取值信息下关于该业务目标的量化后的历史业务效果作为纵坐标，构建一条曲线，按照横坐标的正方向，将该曲线上的第一个对应的切线方向为水平方向的点所对应的横坐标值作为临界取值信息，或者，将该曲线上的第一个对应的切线方向与水平方向之间的夹角小于或等于预定角度阈值的点所对应的横坐标值作为临界取值信息。例如，若业务目标为“提升新增用户打开次日留存率”，则目标指标特征可以是“视频观看时长”，则该目标指标特征对应的临界取值信息可以是“2小时”，该目标指标特征在该临界取值信息下关于该业务目标的量化后的历史业务效果为“留存率为64％”，该目标指标特征在大于该临界取值信息下关于该业务目标的量化后的历史业务效果均在“留存率为64％”的上下浮动，且浮动范围在预定的区间阈值内。通过本技术可以实现一套可以通用的挖掘业务北极星指标的数据科学方法论，所有的关键行为表现均可以被量化、被衡量，并且基本适用于所有互联网和非互联网相关业务，其可以结合宏观分析和微观分析的特点，通常先用宏观分析方法确定关键指标(减少因果倒置的影响)，然后再通过微观分析方法寻找魔法数字。
37.在一些实施例中，所述步骤s11包括：计算机设备根据目标应用的产品功能信息及用户的历史行为表现信息，确定与业务目标之间存在关联性的至少一个第一指标特征；在所述至少一个第一指标特征中确定所述业务目标对应的一个或多个第一指标特征。在一些实施例中，会首先根据目标应用的产品功能以及用户在目标应用中的历史行为表现，通过数据清洗、特征工程等工作，生成相应的一个或多个特征数据，然后进行特征相关性分析，分析该一个或多个特征数据与该业务目标之间的关联性，再根据分析结果进行特征筛选，在该一个或多个特征数据中筛选出与该业务目标之间存在关联性的至少一个特征数据，然后再进行新特征构建，按照指标的定义或形式为该至少一个特征数据构建对应的指标特征，得到至少一个第一指标特征，然后对于该至少一个第一指标特征中的每个第一指标特征，通过量化的方式衡量该第一指标特征与该业务目标之间的匹配度，从而在该至少一个第一指标特征中挑选出对应的匹配度大于或等于预定的匹配度阈值的一个或多个第一指标特征。
38.在一些实施例中，所述在所述至少一个第一指标特征中确定所述业务目标对应的一个或多个第一指标特征，包括：对于所述至少一个第一指标特征中的每个第一指标特征，确定该第一指标特征与所述业务目标之间所存在的关联性是否属于因果倒置，若是，舍弃该第一指标特征；将所述至少一个第一指标特征中剩余的第一指标特征作为所述业务目标对应的一个或多个第一指标特征。在一些实施例中，对于该至少一个第一指标特征中的每个第一指标特征，需要确定该第一指标特征与所述业务目标之间所存在的关联性是否属于因果倒置，即需要确定是因为该第一指标特征的出现导致了该业务目标的实现或者该业务
目标的量化后的业务效果的提高，还是因为该业务目标的实现或者该业务目标的量化后的业务效果的提高导致了出现该第一指标特征，若是后者，则其明显属于因果倒置的关联性，若该第一指标特征与所述业务目标之间所存在的是属于因果倒置的关联性，则需要舍弃该第一指标特征，否则，保留该第一指标特征。在一些实施例中，可以是将该至少一个第一指标特征中剩余的第一指标特征作为该业务目标对应的一个或多个第一指标特征，还可以是将至少一个第一指标特征中剩余的第一指标特征中对应的匹配度大于或等于预定的匹配度阈值的第一指标特征作为该业务目标对应的一个或多个第一指标特征，或者，还可以是先从该至少一个第一指标特征中挑选出对应的匹配度大于或等于预定的匹配度阈值的若干个第一指标特征，然后再对于该若干个第一指标特征中的每个第一指标特征，确定该第一指标特征与所述业务目标之间所存在的关联性是否属于因果倒置，若是，舍弃该第一指标特征，从而将该若干个第一指标特征中剩余的第一指标特征作为该业务目标对应的一个或多个第一指标特征。
39.在一些实施例中，所述将所述至少一个第一指标特征中剩余的第一指标特征作为所述业务目标对应的一个或多个第一指标特征，包括：根据所述至少一个第一指标特征中剩余的第一指标特征互相之间的相关性，将所述剩余的第一指标特征划分为一个或多个指标特征集合，其中，每个指标特征集合中的第一指标特征互相之间的相关性大于或等于预定阈值；对于所述每个指标特征集合，仅保留该指标特征集合中与所述业务目标之间的匹配度最高的一个第一指标特征；将所述一个或多个指标特征集合中剩余的第一指标特征作为所述业务目标对应的一个或多个第一指标特征。在一些实施例中，首先需要计算该至少一个第一指标特征中剩余的第一指标特征互相之间的相关性(例如，皮尔逊相关性)，将互相之间的相关性大于或等于预定阈值(例如，0.8)的若干个第一指标特征划分到一个指标特征集合中去，从而得到一个或多个指标特征集合，每个指标特征集合中包括若干个第一指标特征，该若干个第一指标特征互相之间的相关性大于或等于预定阈值，然后对于每个指标特征集合，分别通过量化的方式衡量该指标特征集合中的每个第一指标特征与该业务目标之间的匹配度，仅保留该指标特征集合中对应的匹配度最高的一个第一指标特征，然后将该一个或多个指标特征集合中剩余的第一指标特征作为该业务目标对应的一个或多个第一指标特征。
40.在一些实施例中，所述至少一个第二指标特征对应的用户数量规模达到预定的规模阈值，所述至少一个第二指标特征对应的历史业务效果达到预定的效果阈值。在一些实施例中，该至少一个第二指标特征中的每个第二指标特征需要满足该第二指标特征涉及的用户数量规模大于或等于预定的规模阈值，且该第二指标特征在历史上对业务目标曾经产生过的量化后的平均业务效果大于或等于预定的效果阈值。
41.在一些实施例中，所述至少一个第二指标特征对应的综合系数信息大于或等于预定的系数阈值，其中，所述综合系数信息是根据所述至少一个第二指标特征对应的用户数量规模和历史业务效果确定的。在一些实施例中，对于该至少一个第二指标特征中的每个第二指标特征，可以将该第二指标特征所涉及的用户数量规模以及该第二指标特征在历史上对业务目标曾经产生过的量化后的平均业务效果输入预定的函数关系式，将该函数关系式的输出作为该第二指标特征对应的综合系数，该综合系数需要满足其大于或等于预定的系数阈值。
42.在一些实施例中，所述方法还包括：计算机设备根据所述至少一个第二指标特征对应的用户数量规模及第一权重信息，以及所述至少一个第二指标特征对应的历史业务效果及第二权重信息，确定所述综合系数信息。在一些实施例中，对于该至少一个第二指标特征中的每个第二指标特征，可以将该第二指标特征所涉及的用户数量规模与预定的第一权重值的乘积作为第一数值，将该第二指标特征在历史上对业务目标曾经产生过的量化后的平均业务效果与预定的第二权重值的乘积作为第二数值，然后将第一数值与第二数值之和作为该第二指标特征对应的综合系数，该综合系数需要满足其大于或等于预定的系数阈值。
43.在一些实施例中，所述根据多个维度对应的统计结果对所述一个或多个第一指标特征进行评估，根据评估结果在所述一个或多个第一指标特征中确定至少一个第二指标特征，包括：基于用户数量规模维度和历史业务效果维度构建坐标空间，根据所述一个或多个第一指标特征对应的用户数量规模和历史业务效果，将所述一个或多个第一指标特征映射为所述坐标空间中的至少一个坐标点；将位于所述坐标空间中的预定区域中的坐标点对应的第一指标特征确定为至少一个第二指标特征。在一些实施例中，可以基于用户数量规模维度和历史业务效果维度构建坐标空间，对于该一个或多个第一指标特征中的每个第一指标特征，将该第一指标特征所涉及的用户数量规模作为一个坐标轴，将该第一指标特征在历史上对业务目标曾经产生过的量化后的平均业务效果作为另一个坐标轴，从而将该第一指标特征映射为该坐标空间中的一个坐标点。作为一个示例，如图2所示，可以将位于该坐标空间中的预定区域(例如，右上角的虚线区域)中的至少一个坐标点(例如，坐标点-功能/行为1、坐标点-功能/行为2)所对应的至少一个第一指标特征确定为第二指标特征。
44.在一些实施例中，所述特征评估模型为夏普利值模型。在一些实施例中，该特征评估模型可以是夏普利值(shapley value)模型，对于每个第二指标特征，可以将该第二指标特征输入该夏普利值模型，该夏普利值模型输出的是边际效应，并且可以给出明确的正向影响还是负向影响，可以根据该边际效应的数值大小来评估该第二指标特征对于该业务目标的重要程度。
45.在一些实施例中，所述特征评估模型为多个；其中，所述多个模型包括以下一项：夏普利值模型；特征重要性树模型；特征相关性树模型；其中，所述将所述至少一个第二指标特征输入预定的特征评估模型，获得一个或多个第二指标特征对应的重要性信息，包括：将所述至少一个第二指标特征输入预定的多个特征评估模型，根据所述多个特征评估模型的输出结果，确定一个或多个第二指标特征对应的重要性信息。在一些实施例中，可以使用多个特征评估模型，该多个特征评估模型包括但不限于夏普利值模型、特征重要性树模型、特征相关性树模型。在一些实施例中，对于每个第二指标特征，可以将该第二指标特征分别输入各个特征评估模型，得到该各个特征评估模型的输出结果，其中，夏普利值模型输出的是边际效应，可以根据该边际效应的数值大小来确定该第二指标特征对于该业务目标的第一重要程度，然后特征相关性树模型输出的是该第二指标特征与该业务目标之间的相关性数值，可以根据该相关性数值来确定该第二指标特征对于该业务目标的第二重要程度，然后特征重要性树模型输出的直接就是该第二指标特征对于该业务目标的第三重要程度，然后根据第一重要程度、第二重要程度和第三重要程度来综合共同评估该第二指标特征对于该业务目标的重要程度，例如，将这三个重要程度的平均值作为该第二指标特征对应的重
要性信息，又例如，还可以将各个重要程度与其对应的特征评估模型的预定权重值的乘积之和作为该第二指标特征对应的重要性信息。
46.在一些实施例中，所述根据所述多个特征评估模型的输出结果，确定一个或多个第二指标特征对应的重要性信息，包括：将所述至少一个第二指标特征输入夏普利值模型，得到所述夏普利值模型输出的所述至少一个第二指标特征对应的影响方向信息；根据所述影响方向信息在所述少一个第二指标特征中确定一个或多个第三指标特征，将所述一个或多个第三指标特征输入特征相关性树模型，得到所述特征相关性树模型输出的所述一个或多个第三指标特征对应的相关系数；根据所述相关系数在所述一个或多个第三指标特征中确定一个或多个第二指标特征，将所述一个或多个第二指标特征输入特征重要性树模型，得到所述特征重要性树模型输出的所述一个或多个第二指标特征对应的重要性信息。在一些实施例中，对于每个第二指标特征，先将该第二指标特征输入夏普利值模型，该夏普利值模型会输出该第二指标特征对于该业务目标的影响方向，若该影响方向为负向影响，则舍弃该第二指标特征，若该影响方向为正向影响，则将该第二指标特征继续输入相关性树模型，该相关性树模型会输出该第二指标特征与该业务目标之间的相关系数，若该相关系数小于预定阈值，则舍弃该第二指标特征，若该相关系数大于或等于该预定阈值，则将该第二指标特征继续输入特征重要性树模型，该特征重要性树模型会输出该第二指标特征对应的重要性信息即该第二指标特征对于该业务目标的重要程度。
47.在一些实施例中，所述确定所述一个或多个目标指标特征对应的临界取值信息，包括：对于每个目标指标特征，确定该目标指标特征对应的业务目标历史效果曲线上的拐点；将所述拐点对应的取值信息作为该目标指标特征对应的临界取值信息。在一些实施例中，对于每个目标指标特征，可以以该目标指标特征对应的取值信息作为横坐标，以该目标指标特征在每个取值信息下关于该业务目标的量化后的历史业务效果作为纵坐标，构建一条该目标指标特征对应的业务目标历史效果曲线，然后需要确定该曲线上的拐点，该拐点可以是指该曲线上对应的切线方向为水平方向的点，或者，还可以是指该曲线上对应的切线方向与水平方向之间的夹角小于或等于预定角度阈值的点，然后将该拐点所对应的取值信息作为该目标指标特征对应的临界取值信息。作为一个示例，如图3所示，业务目标是“提升新增用户打开次日留存率”，目标指标特征是指用户对于目标应用中的某个页面的当日浏览量，将该浏览量对于的各个取值信息(例如，分别是浏览量大于等于2、浏览量大于等于3、浏览量大于等于20)作为横坐标，将该目标指标特征在每个取值信息下关于该业务目标的量化后的历史业务效果(例如，分别是留存率为35.0％、留存率为41.8％、留存率为64.1％)作为纵坐标，构建一条曲线，然后将该曲线上的拐点(例如，该拐点的横坐标为“浏览量大于等于20”，该拐点的纵坐标为“留存率为64.1％”)所对应的取值信息作为该目标指标特征对应的临界取值信息。
48.在一些实施例中，所述拐点为多个；其中，所述第二指标特征对于该业务目标的第三重要程度，包括：在所述多个拐点中确定目标拐点；将所述目标拐点对应的取值信息作为该目标指标特征对应的临界取值信息。在一些实施例中，若该曲线上存在多个拐点，则可以按照横坐标的正方向的顺序，将该多个拐点中的首个拐点对应的取值信息作为该目标指标特征对应的临界取值信息。
49.在一些实施例中，所述在所述多个拐点中确定目标拐点，包括：根据每个拐点对应
的取值信息的用户数量规模，在所述多个拐点中确定目标拐点。在一些实施例中，还可以将该多个拐点中对应的取值信息所涉及的用户数量规模最多的拐点对应的取值信息作为该目标指标特征对应的临界取值信息，或者，还可以按照横坐标的正方向的顺序，将该多个拐点中的首个对应的取值信息所涉及的用户数量规模大于或等于预定的规模阈值的拐点对应的取值信息作为该目标指标特征对应的临界取值信息。
50.在一些实施例中，所述确定所述一个或多个目标指标特征对应的临界取值信息，包括：对于每个目标指标特征，根据该目标指标特征对应的业务目标历史效果曲线，以及该目标指标特征对应的用户数量规模曲线，确定该目标指标特征对应的临界取值信息。在一些实施例中，对于每个目标指标特征，可以以该目标指标特征对应的取值信息作为横坐标，以该目标指标特征在每个取值信息下关于该业务目标的量化后的历史业务效果作为纵坐标，构建一条该目标指标特征对应的业务目标历史效果曲线，并同样以该目标指标特征对应的取值信息作为横坐标，以该目标指标特征在每个取值信息下所涉及的用户数量规模作为纵坐标，或者，以该用户数量规模除以一个预定的缩放系数所得到的数值作为纵坐标，构建一条该目标指标特征对应的用户数量规模曲线，然后根据这两条曲线来确定该目标指标特征对应的临界取值信息，例如，可以将这两条曲线的交点作为该目标指标特征对应的临界取值信息。
51.图4示出根据本技术一个实施例的一种用于确定魔法数字的计算机设备结构图，该设备包括一一模块11、一二模块12、一三模块13和一四模块14。一一模块11，用于根据目标应用的产品功能信息及用户的历史行为表现信息，确定业务目标对应的一个或多个第一指标特征；一二模块12，用于根据多个维度对应的统计结果对所述一个或多个第一指标特征进行评估，根据评估结果在所述一个或多个第一指标特征中确定至少一个第二指标特征，其中，所述多个维度包括用户数量规模维度及历史业务效果维度；一三模块13，用于将所述至少一个第二指标特征输入预定的特征评估模型，获得一个或多个第二指标特征对应的重要性信息，根据所述重要性信息在所述一个或多个第二指标特征中确定一个或多个目标指标特征；一四模块14，用于确定所述一个或多个目标指标特征对应的临界取值信息，将所述临界取值信息作为所述业务目标对应的魔法数字。
52.一一模块11，用于根据目标应用的产品功能信息及用户的历史行为表现信息，确定业务目标对应的一个或多个第一指标特征。在一些实施例中，首先用户需要指定一个业务目标，也就是确定业务预期达成的目标，例如“提升新增用户打开次日留存率”，然后需要穷举目标应用的产品功能以及用户在目标应用中的历史行为表现，然后再进行数据清洗、特征工程等工作，生成相应的一个或多个特征数据，然后进行特征相关性分析，分析该一个或多个特征数据与该业务目标之间的相关性，再根据分析结果进行特征筛选，在该一个或多个特征数据中筛选出与该业务目标之间存在非因果倒置类型的相关性的至少一个特征数据，然后再进行新特征构建，按照指标的定义或形式为该至少一个特征数据构建对应的指标特征，从而得到该业务目标对应的一个或多个第一指标特征，其中，该一个或多个第一指标特征与该业务目标之间存在相关性，且该相关性并非属于因果倒置类型，或者，该一个或多个第一指标特征与该业务目标之间存在大于或等于预定关联度的相关性，且该相关性并非属于因果倒置类型。
53.一二模块12，用于根据多个维度对应的统计结果对所述一个或多个第一指标特征
进行评估，根据评估结果在所述一个或多个第一指标特征中确定至少一个第二指标特征，其中，所述多个维度包括用户数量规模维度及历史业务效果维度。在一些实施例中，通过参考包括用户数量规模维度及历史业务效果维度在内的多个维度对应的外部统计结果，对该一个或多个第一指标特征的使用情况进行评估，即对于每个第一指标特征，根据该第一指标特征对应的用户数量规模以及历史业务效果，对该第一指标特征进行评估，评估该第一指标特征是否符合北极星指标条件，北极星指标条件主要包括两个，第一个是其面向的用户不应该太少，第二个是其对业务目标历史产生过的效果不应该太小，其中，用户数量规模可以是指该第一指标特征所涉及的用户的数量，或者，还可以是指该第一指标特征所涉及的用户的数量相对于目标应用的用户总数的占比，历史业务效果是指该第一指标特征在历史上对业务目标曾经产生过的量化后的平均业务效果。在一些实施例中，根据评估结果，在该一个或多个第一指标特征中确定出符合北极星指标条件的至少一个第二指标特征。
54.一三模块13，用于将所述至少一个第二指标特征输入预定的特征评估模型，获得一个或多个第二指标特征对应的重要性信息，根据所述重要性信息在所述一个或多个第二指标特征中确定一个或多个目标指标特征。在一些实施例中，将该至少一个第二指标特征中的每个第二指标特征输入已训练的特征评估模型，获得该特征评估模型所输出的该第二指标特征对应的重要性信息，其中，该重要性信息用于量化该第二指标特征对于该业务目标的重要程度。在一些实施例中，可以将该一个或多个第二指标特征中对应的重要程度高于或等于预定阈值的第二指标特征作为目标指标特征，或者，还可以将该一个或多个第二指标特征中对应的重要程度最高的预定数量的第二指标特征作为目标指标特征。在一些实施例中，将该一个或多个目标指标特征作为业务目标的北极星指标。
55.一四模块14，用于确定所述一个或多个目标指标特征对应的临界取值信息，将所述临界取值信息作为所述业务目标对应的魔法数字。在一些实施例中，对于每个目标指标特征，需要进一步细化具体的行为表现，可以通过类似找拐点的方法确定该目标指标特征对应的临界取值信息，该临界取值信息可以是指，按照该目标指标特征对应的所有取值信息(其中，取值信息可以是一个个具体的数值，或者，还可以是一个个数值区间，例如，该目标指标特征是用户对于目标应用中的某个页面的浏览量，则其对应的取值信息可以包括浏览量为2、浏览量为3、浏览量为4。。。或者，其对应的取值信息还可以包括浏览量大于等于2、浏览量大于等于3、浏览量大于等于4。。。)从小到大的顺序或者从大到小的顺序，从该临界取值信息开始的后续取值信息，随着后续取值信息的变化，该目标指标特征在后续取值信息下关于该业务目标的量化后的历史业务效果的变化程度小于或等于预定阈值，即对应的量化后的历史业务效果的变化程度开始变得缓慢。例如，可以以该目标指标特征对应的取值信息作为横坐标，以该目标指标特征在每个取值信息下关于该业务目标的量化后的历史业务效果作为纵坐标，构建一条曲线，按照横坐标的正方向，将该曲线上的第一个对应的切线方向为水平方向的点所对应的横坐标值作为临界取值信息，或者，将该曲线上的第一个对应的切线方向与水平方向之间的夹角小于或等于预定角度阈值的点所对应的横坐标值作为临界取值信息。例如，若业务目标为“提升新增用户打开次日留存率”，则目标指标特征可以是“视频观看时长”，则该目标指标特征对应的临界取值信息可以是“2小时”，该目标指标特征在该临界取值信息下关于该业务目标的量化后的历史业务效果为“留存率为64％”，该目标指标特征在大于该临界取值信息下关于该业务目标的量化后的历史业务效果均在“留存率为64％”的上下浮动，且浮动范围在预定的区间阈值内。通过本技术可以实现一套可以通用的挖掘业务北极星指标的数据科学方法论，所有的关键行为表现均可以被量化、被衡量，并且基本适用于所有互联网和非互联网相关业务，其可以结合宏观分析和微观分析的特点，通常先用宏观分析方法确定关键指标(减少因果倒置的影响)，然后再通过微观分析方法寻找魔法数字。
56.在一些实施例中，所述一一模块11用于：根据目标应用的产品功能信息及用户的历史行为表现信息，确定与业务目标之间存在关联性的至少一个第一指标特征；在所述至少一个第一指标特征中确定所述业务目标对应的一个或多个第一指标特征。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
57.在一些实施例中，所述在所述至少一个第一指标特征中确定所述业务目标对应的一个或多个第一指标特征，包括：对于所述至少一个第一指标特征中的每个第一指标特征，确定该第一指标特征与所述业务目标之间所存在的关联性是否属于因果倒置，若是，舍弃该第一指标特征；将所述至少一个第一指标特征中剩余的第一指标特征作为所述业务目标对应的一个或多个第一指标特征。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
58.在一些实施例中，所述将所述至少一个第一指标特征中剩余的第一指标特征作为所述业务目标对应的一个或多个第一指标特征，包括：根据所述至少一个第一指标特征中剩余的第一指标特征互相之间的相关性，将所述剩余的第一指标特征划分为一个或多个指标特征集合，其中，每个指标特征集合中的第一指标特征互相之间的相关性大于或等于预定阈值；对于所述每个指标特征集合，仅保留该指标特征集合中与所述业务目标之间的匹配度最高的一个第一指标特征；将所述一个或多个指标特征集合中剩余的第一指标特征作为所述业务目标对应的一个或多个第一指标特征。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
59.在一些实施例中，所述至少一个第二指标特征对应的用户数量规模达到预定的规模阈值，所述至少一个第二指标特征对应的历史业务效果达到预定的效果阈值。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
60.在一些实施例中，所述至少一个第二指标特征对应的综合系数信息大于或等于预定的系数阈值，其中，所述综合系数信息是根据所述至少一个第二指标特征对应的用户数量规模和历史业务效果确定的。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
61.在一些实施例中，所述设备还用于：根据所述至少一个第二指标特征对应的用户数量规模及第一权重信息，以及所述至少一个第二指标特征对应的历史业务效果及第二权重信息，确定所述综合系数信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
62.在一些实施例中，所述根据多个维度对应的统计结果对所述一个或多个第一指标特征进行评估，根据评估结果在所述一个或多个第一指标特征中确定至少一个第二指标特征，包括：基于用户数量规模维度和历史业务效果维度构建坐标空间，根据所述一个或多个第一指标特征对应的用户数量规模和历史业务效果，将所述一个或多个第一指标特征映射为所述坐标空间中的至少一个坐标点；将位于所述坐标空间中的预定区域中的坐标点对应
的第一指标特征确定为至少一个第二指标特征。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
63.在一些实施例中，所述特征评估模型为夏普利值模型。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
64.在一些实施例中，所述特征评估模型为多个；其中，所述多个模型包括以下一项：夏普利值模型；特征重要性树模型；特征相关性树模型；其中，所述将所述至少一个第二指标特征输入预定的特征评估模型，获得一个或多个第二指标特征对应的重要性信息，包括：将所述至少一个第二指标特征输入预定的多个特征评估模型，根据所述多个特征评估模型的输出结果，确定一个或多个第二指标特征对应的重要性信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
65.在一些实施例中，所述根据所述多个特征评估模型的输出结果，确定一个或多个第二指标特征对应的重要性信息，包括：将所述至少一个第二指标特征输入夏普利值模型，得到所述夏普利值模型输出的所述至少一个第二指标特征对应的影响方向信息；根据所述影响方向信息在所述少一个第二指标特征中确定一个或多个第三指标特征，将所述一个或多个第三指标特征输入特征相关性树模型，得到所述特征相关性树模型输出的所述一个或多个第三指标特征对应的相关系数；根据所述相关系数在所述一个或多个第三指标特征中确定一个或多个第二指标特征，将所述一个或多个第二指标特征输入特征重要性树模型，得到所述特征重要性树模型输出的所述一个或多个第二指标特征对应的重要性信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
66.在一些实施例中，所述确定所述一个或多个目标指标特征对应的临界取值信息，包括：对于每个目标指标特征，确定该目标指标特征对应的业务目标历史效果曲线上的拐点；将所述拐点对应的取值信息作为该目标指标特征对应的临界取值信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
67.在一些实施例中，所述拐点为多个；其中，所述第二指标特征对于该业务目标的第三重要程度，包括：在所述多个拐点中确定目标拐点；将所述目标拐点对应的取值信息作为该目标指标特征对应的临界取值信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
68.在一些实施例中，所述在所述多个拐点中确定目标拐点，包括：根据每个拐点对应的取值信息的用户数量规模，在所述多个拐点中确定目标拐点。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
69.在一些实施例中，所述确定所述一个或多个目标指标特征对应的临界取值信息，包括：对于每个目标指标特征，根据该目标指标特征对应的业务目标历史效果曲线，以及该目标指标特征对应的用户数量规模曲线，确定该目标指标特征对应的临界取值信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。
70.除上述各实施例介绍的方法和设备外，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
71.本技术还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
72.本技术还提供了一种计算机设备，所述计算机设备包括：
73.一个或多个处理器；
74.存储器，用于存储一个或多个计算机程序；
75.当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
76.图5示出了可被用于实施本技术中所述的各个实施例的示例性系统；
77.如图5所示在一些实施例中，系统300能够作为各所述实施例中的任意一个设备。在一些实施例中，系统300可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或nvm/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本技术中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。
78.对于一个实施例，系统控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
79.系统控制模块310可包括存储器控制器模块330，以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
80.系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例，系统存储器315可包括任意适当的易失性存储器，例如，适当的dram。在一些实施例中，系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(ddr4sdram)。
81.对于一个实施例，系统控制模块310可包括一个或多个输入/输出(i/o)控制器，以向nvm/存储设备320及(一个或多个)通信接口325提供接口。
82.例如，nvm/存储设备320可被用于存储数据和/或指令。nvm/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(hdd)、一个或多个光盘(cd)驱动器和/或一个或多个数字通用光盘(dvd)驱动器)。
83.nvm/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，nvm/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
84.(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
85.对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(soc)。
86.在各个实施例中，系统300可以但不限于是：服务器、工作站、台式计算设备或移动
计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统300包括一个或多个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。
87.需要注意的是，本技术可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本技术的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本技术的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本技术的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
88.另外，本技术的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本技术的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
89.通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、rf、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
90.作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(ram,dram,sram)；以及非易失性存储器，诸如闪存、各种只读存储器(rom,prom,eprom,eeprom)、磁性和铁磁/铁电存储器(mram,feram)；以及磁性和光学存储设备(硬盘、磁带、cd、dvd)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
91.在此，根据本技术的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本技术的多个实施例的方法和/或技术方案。
92.对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在不背离本技术的精神或基本特征的情况下，能够以其他的具体形式实现本技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有
变化涵括在本技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。