一种跨境电商数据处理方法及装置与流程

本发明涉及数据处理，尤其是一种跨境电商数据处理方法及装置。

背景技术：

1、跨境电子商务作为推动经济一体化、贸易全球化的技术基础，具有非常重要的战略意义。跨境电子商务不仅冲破了国家间的障碍，使国际贸易走向无国界贸易，同时它也正在引起世界经济贸易的巨大变革。对企业来说，跨境电子商务构建的开放、多维、立体的多边经贸合作模式，极大地拓宽了进入国际市场的路径，大大促进了多边资源的优化配置与企业间的互利共赢；对于消费者来说，跨境电子商务使他们非常容易地获取其他国家的信息并买到物美价廉的商品。频繁的跨境交易每天都会在各大跨境电子商务系统中产生大量的数据，通过对这些数据的处理和分析，可以为企业的营销策略提供数据基础，从而为客户推荐其所感兴趣的商品。跨境交易产生的过程中会产生大量的物联网数据，导致物联网系统的带宽负载变多，实时性变差，网络连接稳定性受损，使跨境交易在各个环节都容易受到外界风险的干扰，使用户及企业的信息安全性得不到保障。故本发明提出一种跨境电商数据处理方法及装置，对跨境电商数据进行消冗处理，并对跨境电商数据进行风险预测，保障用户及企业跨境电商数据的安全性。

技术实现思路

1、本发明的目的是通过提出一种跨境电商数据处理方法及装置，以解决上述背景技术中提出的缺陷。

2、本发明采用的技术方案如下：

3、提供一种跨境电商数据处理方法，包括如下步骤：

4、s1：通过物联网网关节点采集跨境电商数据；

5、s2：对采集的跨境电商数据进行预处理；

6、s3：搭建跨境电商数据的风险预测模型，对预处理后的跨境电商数据进行风险预测。

7、作为本发明的一种优选技术方案：所述跨境电商数据包括商品外观数据、商品属性数据、商品属性定位数据以及交易数据。

8、作为本发明的一种优选技术方案：所述s2中，通过信息熵抑制的方法去除采集的跨境电商数据中的重复数据。

9、作为本发明的一种优选技术方案：所述s2中去除采集的跨境电商数据中的重复数据具体如下：

10、使用下式计算基于边缘计算法计算跨境电商数据的缩减率ω：

11、

12、其中，cj表示具有重复性的基于边缘计算法跨境电商数据字节数，co表示重复数据取出后的字节数；

13、使用下式对基于边缘计算的跨境电商数据缩减率进行优化：

14、

15、其中，为优化后的缩减率，r是数据处理开销；

16、

17、其中，a表示基于边缘计算的物联网数据大小，b表示基于边缘计算的平均数据块大小。

18、作为本发明的一种优选技术方案：所述s2中，使用bloom filter数据结构得到m个跨境电商数据ym的集合w：

19、w＝(y1,…ym)

20、在指定的区间中，采用h个互相独立的信息熵函数依次映射集合里的各个跨境电商数据，则针对随机一个基于边缘计算的跨境电商数据y，向量d被映射至第j个信息熵函数uj的表达式为：

21、

22、通过h个信息熵函数把集合w＝(y1,…ym)里所有跨境电商数据映射至n位的数组：

23、

24、其中，q是基于边缘计算法跨境电商数据映射至n位数组后的值；

25、设定数组里目前值是0的比例是α，若α的取值非未知，则错误率的运算方法如下：

26、(1-α)k＝(1-s)k

27、若计算边缘运算的跨境电商数据的数组位数是n，则数据量是n，最优信息熵函数的数量是l，将l进行转换：

28、

29、对上式进行求导得到：

30、

31、通过上式实现信息熵一致的跨境电商数据消冗：

32、

33、其中，f是消冗后基于边缘计算的跨境电商数据集合。

34、作为本发明的一种优选技术方案：所述s3中搭建catboost算法对所述s2中处理后的跨境电商数据进行风险预测。

35、作为本发明的一种优选技术方案：所述catboost算法搭建步骤如下：

36、s3.1：构建catboost算法模型，按照一定的比例划分训练集和测试集；

37、s3.2：将catboost算法作为训练目标，将测试集验证模型得到的准确率作为麻雀搜索算法的适应度函数，基于麻雀搜索算法，对参数进行优化调整；

38、s3.3：判断是否达到最大迭代次数，若达到则停止迭代，输出使模型性能指标达到最优的参数组合，否则返回s3.2继续调整参数；

39、s3.4：存储当前最优参数组合，将其装载到catboost模型中，通过训练得到最终的预测模型。

40、作为本发明的一种优选技术方案：所述s3.2中对参数进行优化调整具体如下：

41、采用矩阵x表示种群的初始化位置，共有n只麻雀，矩阵的每一行为d维空间中每只麻雀初始的位置：

42、

43、其中，xc,d表示第c只麻雀第d维的位置；

44、根据下式更新生产者位置：

45、

46、其中，表示种群中第t+1代第k个体的第d维的位置，表示种群中第t代第k个体的第d维的位置，α为[0,1]间的一个随机数，τ表示最大迭代次数，q表示一个标准正态分布随机数，l表示一个1×d的元素全为1的矩阵，r表示侦查麻雀发现捕食者发出鸣叫的预警值，取值范围为[0,1]中的均匀随机数，s表示预设的安全值；

47、基于下式更新乞讨者位置：

48、

49、其中，表示第t+1次迭代生产者占据的最优位置，表示第t次迭代的当前全局最差位置，a+表示一个1×d的矩阵，元素随机分配1或-1，并且a+＝at(aat)-1；

50、麻雀的初始位置根据下式初始化：

51、

52、其中，表示第t次迭代的当前全局最优位置，β表示步长控制参数，m是[-1,1]间的一个随机数，fi为麻雀适应度值，fg和fw分别为当前全局最佳和最差适应度值，ε为使分母不为零的最小常数。

53、提供一种跨境电商数据处理装置，包括：

54、数据读入模块：用于采集跨境电商数据；

55、数据预处理模块：用于去除采集的跨境电商数据中的重复数据；

56、数据分析模块：用于对预处理完成后的跨境电商数据进行风险预测；

57、显示模块：用于显示读入的跨境电商数据和处理过程及结果。

58、作为本发明的一种优选技术方案：还包括按键，所述按键用于控制跨境电商数据处理过程。

59、本发明提供的跨境电商数据处理方法及装置，与现有技术相比，其有益效果有：

60、本发明对跨境电商数据进行消冗处理，获取高质量的跨境电商数据，提升数据传输效率；并通过麻雀搜索算法优化获得的catboost算法对跨境电商数据进行风险预测和显示，保障用户及企业接收的跨境电商数据的安全性，且全程通过按键控制数据的处理过程，保证了数据的可控性。