运营商网络运营大数据应用实践研究

运营商网络运营大数据应用实践研究

韩银丹

中国联合网络通信有限公司河南省分公司 河南省郑州市 450011

摘要：以电信运营商的大数据资源为基础，对网络运营大数据平台所要汇聚的数据范围、系统定位及功能架构进行了分析，并与4 G网络的建设和推广相联系，说明了怎样才能更好地运用网络运营大数据平台的大量数据资源，来对移动互联网的业务进行全面的评估，同时还可以对网络运营大数据平台在网络精细化运营中所具有的价值进行挖掘，为运营数据资源的内部应用提供借鉴。

关键词：运营商；网络运营；大数据平台；数据资源

1.网络运营大数据概述

1.1客户信息

由顾客的实际注册信息、业务定单、消费、付款、投诉等信息构成，该信息以顾客关系管理（CRM）和客服系统为主，以“客户/人”为“主 KEY”进行相关聚合，并体现出该用户所使用的电信服务的基础信息。

1.2用户实时业务信息

具体包含了用户的实时位置信息、正在使用的业务类型、业务内容、 APP名称、终端型号版本、业务使用感知（时延、成功率、速率）等内容，它的主要作用是对用户的行为进行描述，能够反映出用户使用业务时实时体验的动态信息。通常情况下，运营商会使用部署探针、镜像抓包等方式来对其进行捕捉和存储，之后再对其进行分析。

1.3网络/设备运行信息：

具体内容有：反映各设备/各端口/各链路的速率、带宽、抖动、延时等硬件运行情况的信息，还有能够反映网络情况的业务统计信息（例如，无线信号强度/覆盖/干扰等一系列指标、各端口消息收发成功率及处理时延、各协议定义的计数器情况、性能指标等）等，这类信息通常是由网管系统进行监控和采集的。在这些数据中，无论是用户实时业务信息还是网络/设备运行信息，都是从现网实时产生并实时采集到的动态信息。这一类型的信息，不仅包括了用户使用电信业务及互联网业务的行为特点，而且还能反映出用户使用业务时的网络实时状况，这对运营商提升网络质量以及提升用户使用业务时的感知有着十分重要的作用。

2.网络运营大数据平台架构

2.1实时性

通信网络每时每刻都在对各种业务进行处理，因此，网络的运行情况也是实时变化的。因此，网络精细化运营需要以网络实时情况为依据，及时地获取用户的实时流量感知，并对其进行动态调配，从而提升资源的利用率，从而保证用户拥有良好的实时业务体验。

2.2关联性

用户在进行一项服务的时候，会经历很多的互动，其中包括了多个不同的专业，多个不同的设备，因此，如何将这些分布在各个设备上的大量的、实时的服务信息进行关联，并还原出用户在进行服务时的实际情况，始终是一个很大的问题。

2.3清单数据快捷查询

在网络运营数据的另一个应用场景，就是要对用户的网络投诉进行处理，找到故障点，并对其进行及时的修复。因此，就需要对各种信令/消息/日志等原始清单数据展开查询，以便于对用户故障发生的具体原因进行定位。所以，在利用大量信息来分析趋势、整体规律等的前提下，网络运营大数据必须可以满足对列表数据的直接获取和应用。以网络运营数据的特征为基础，网络运营大数据处理平台应该能够同时满足实时业务流处理、海量数据多维关联、清单数据快捷查询等需求，网络运营大数据处理平台系统架构具体包含了各专业数据源、数据汇聚层、数据清洗框架、数据共享平台、数据探索平台、各应用平台。在这些数据中，各个专业的数据源包含了当前各个专业的网管/支撑系统、信令监测采集系统、自动测试系统、电子运维系统、资源系统、企业GIS系统等。网络运营大数据处理平台将分散在各专业的操作数据进行了整合，从而达到了数据的集约统一，为后续的关联挖掘分析奠定了坚实的基础。数据清洗框架的工作内容包括：对原始数据进行脱敏加密、剔除异常数据、输出数据源的统计信息等，数据清洗规则能够按照需要以及数据源的情况来对输入进行灵活地配置。清理后的数据将会进入到网络运营数据共享平台中，该平台将为以运营商运营数据为基础的各个应用实践提供数据资源，并与数据探索平台进行互联。而数据发现平台则是面向大数据的挖掘、分析、建模，并从中发现数据的价值及应用方向。

3.基于网络运营大数据的应用实践

网络运营大数据中包含了大量的用户在使用业务时的感知体验信息，还包含了运营商各设备的实时运行信息，因此它有许多可以被挖掘和实践的应用方向。

3.1移动互联网业务感知评估方法

手机网络服务具有“20/80效应”的特征，其服务范围涵盖了绝大多数的用户：有数据显示，在手机上，手机上，新闻/门户网站，视频/即时通讯等类的服务，所花费的时间和流量都在80%以上；并且，每一种商业模式都表现出较为显著的“尾巴”效应，使用 TOPn可以覆盖大多数商业模式。所以，我们可以从三个典型的服务场景中，对用户对网页浏览、视频和即时消息的感知的影响因素进行分析，从而得到对移动互联网服务的整体感知。

3.2移动互联网业务感知指标采集及建模分析

本项目拟通过在4 G网络 SGW端部署深度包探测（DPI)，对3种典型的移动互联网服务（网页、视频和即时通讯）进行4个关键质量指标的采集，对4 G网络中的4种主要质量指标进行采集，通过对4 G核心网络中的 SGW侧进行深度包探测，实现对4种主要服务质量指标的捕捉，从而获得4个质量指标，并对3 G网络中用户的服务质量进行全面的评价。在此基础上，收集应用程序的测试数据，提取出对用户友好的端到端的 KQI指数，并根据 KQI指数对整个网络中的用户服务感知进行全面的评估，最终得到一个稳定的、客观的服务感知评估模型。例如，对于网络搜索服务，将 APP测试点布置在用户的终端上，能够获得最能体现实际用户感受的 KQI指数，但是，因为样本的数量太少，所以只是一个小样本；将 DPI检测器布置于网络端，可收集全网用户在使用全部服务时的 KQI指标，并将二者相结合，构建全网用户服务感知的综合评价模型。

3.3移动互联网业务感知评估实施及效果评估

通过对网络中用户服务感知的全面评价，实现了对网络中用户服务感知的实时把握。针对用户感知差的区域及时段，展开端到端关联、逐层钻取分析，找出造成用户感知差的原因，并有针对性地展开优化整改工作。以组网拓扑和业务流程为依据，将 KQI层层映射分解到网络设备的运行指标，也就是：无线网 KPI指标、信令监测计算生成的 KQI/KPI指标、承载网的 KPI指标、 EPC （核心网）网管 KPI指标以及 DPI系统计算生成的 KQI/KPI指标等，将 KQI指标最后映射成各网络上的运行指标 KPI，从而达到监测网络和优化网络运行指标来提升移动互联网业务感知的目的。在此基础上，构建“指标收集→ KQI评价→ KPI指标优化→再收集评价”的闭环过程中，通过持续的反馈优化，实现从用户感受到网络性能指标之间的建模关联，并将用户感受到的提高应用到日常的网络运营与维护中，实现了网络维护与优化目标的针对性、资源的有效配置与使用。在此基础上，本项目以面向移动互联网服务的大数据为研究对象，通过对大数据的收集与抽取、 KQI与 KPI之间的对应关系的建模与分析，实现对大数据的存储、处理与建模，并通过 Hadoop框架下的 Hive、 Spark等模块实现对大数据的存储、处理与建模与分析，来检验大数据平台对各类数据的支持能力。

结束语

在最近几年中，大数据技术的研究和应用成为了一个备受关注的话题，不管是传统产业，还是新兴产业，都在期待着利用大数据进行分析，来发掘其中的数据价值，进而找到新的应用机会，创造出新的盈利点。在对电信运营商网络运营大数据进行研究和分析的基础上，本文对网络运营大数据的系统架构和建设提出了一些建议，并展开了以现网实时运行数据为基础的内部应用实践，为运营商内部精细化运营提供了一些借鉴。

参考文献

[1]宫云平, 向勇, 严宇. 运营商网络运营大数据应用实践研究[J]. 移动通信, 2016, 40(4):5.

[2]谢晓康.大数据关键技术及其在运营商中的应用研究综述[J].广东通信技术，2015，（8）

[3]陈如明.大数据时代的挑战、价值与应对策略[fJl.移动通信，2016.（17）

[4]王晖，中国移动转型环境下的规划思路分析[fJl.互联网天地，2015，（14）