随着IT技术的不断发展,云原生、容器、服务网格等新技术层出不穷,企业网络的运维管理遇到前所未有的挑战。数字孪生使能网络的可观测性和可预测性,屏蔽技术的复杂性,让企业网络可管可控。
近年来,数字孪生、城市大脑等智慧中枢概念层出不穷,相关产业及标准化加速发展。数字孪生是综合运用感知、计算、建模等信息技术,通过软件定义,对物理空间进行描述、诊断、预测、决策,进而实现物理空间与虚拟空间的相互映射。
为了解决企业网络的运维难题,华为在企业网络中引入数字孪生技术,推出网络数字孪生引擎,通过该引擎构建物理网络实体及虚拟孪生体,二者可进行实时交互映射,打造虚拟网络数字世界。数字孪生的引入,能让用户通过与数字模型的交互,实现对真实世界的信息交互,从而衍生出全新的业务,推动网络由传统人工运维向智能运维的全生命周期网络演进,同时提供以服务客户和保障业务质量为核心的低成本试错、高质量运维和网络服务。
图1 数字孪生使能自动驾驶网络
构建数字孪生网络模型,需要经过以下过程:
• 首先需要收集网络相关的历史数据,包括网元存量数据、网络业务配置数据、各类性能数据和告警数据、日志等;
• 将收集到的原始数据通过数据仓库进行加工,建立多维多层模型,基于模型驱动自动生成网络拓扑;
• 每一时刻多维信息都会自动留存快照,记录网络现状和历史,支持历史按需回放,并可支持不同历史时刻快照对比,直观呈现网络多维变化趋势;
通过构建简单、易用、轻量级的数据底座,在整个网络数字化发展过程中提供基础能力保障。以数字地图还原ICT真相(拓扑、业务路径、路况),根据业务和应用意图,进行控制闭环,实现自优化。
华为网络数字孪生引擎主要围绕数据、建模、仿真、可视四个方向,结合图表征、SMC等数学和自治理论构建数字孪生引擎核心能力。
图2 数字孪生引擎核心能力
数字孪生引擎会收集企业客户所有ICT相关数据,并对这些多源数据进行全量映射后发布主题数据,利用局部数据反向生成全网流量数据。通过开放的数据采集框架,可以灵活的对接外部三方系统进行数据的自动采集和同步,并进行数据的清洗和加工,过滤冗余和冲突数据,最终将多源数据全面映射成唯一ID,挖掘出显式及隐式关系,形成网络数据资产,提升NetDevOps开发效率,提供带标签的数据集,支持算法验证。
数据处理流程如下所示:
1.映射:多源(含3rd系统)数据进行全量映射。
图3 多元数据映射模型举例
基于值识别同一属性,利用模式匹配算法,挖掘同义数据映射关系,构建映射模型,实现全网多源数据的全量映射,去除冗余数据。
2.增强:分析现网流量特征,生成动态采集策略,反向生成全网流量。
图4 数据处理增强流程示意
3.压缩:对高频采集流量进行模式匹配,基于特征识别相似性进行数据压缩,效果达到3倍以上。
图5 流量数据模式匹配示例
针对流量数据的结构性、趋势性及对偶性特征,确定评估函数。通过基于时间序列聚类的模式挖掘算法和低损压缩算法,实现精度误差的5%范围内,减少70%的数据传输。
孪生建模是数字孪生引擎中最核心的能力,也是考验数字孪生能否发挥价值的重要指标。大规模组网的海量数据,包括配置、路径、策略、流量等网络多层异构数据,因涉及层内自治、层间关联等问题,难于统一建模。华为自动驾驶网络数字孪生引擎,利用图论解决层内&层间数据关系的抽象建模;利用图表征解决网络与应用行为模型的特征挖掘;利用组合优化实现网络与应用的资源建模;利用图论和概率论实现网络自身可靠性的建模等等,最终解决海量异构多维数据的建模难题。通过网络KPI、日志、表项、应用流等多维异构数据采集、数据治理,最终实现原始数据向模型的准实时数据映射。
建模的目标主要是支撑网络全生命周期规建维优营的全场景自动化,所以需要针对不同的场景匹配不同的模型,核心的关键模型如下:
• 优化类模型:提供资源规划、容量提升、负载均衡等问题的确定解析框架;
• 拟合类模型:突破统计、数理分析、AI关键技术,实现时序KPI拟合类建模;
• 流量模型:构建多场景、多类型流量模型,实现低成本数据表征与高精度数据增强;
• 网络资源模型:构建IP、协议、转发表资源模型,实现资源自治(自分配、自优化);
• 安全策略模型:基于多维标签模型的主客体访问控制模型,达成策略易部署、可验证;
孪生仿真是基于形式化建模技术,通过构建大规模网络虚拟环境执行仿真评估,实现模型运行、校验,支持事件响应、状态数据传递等数字孪生虚拟环境仿真系统构建。孪生仿真解决了大规模复杂组网、应用的业务抽象建模及高还原度在线运行问题,以及形式化仿真验证技术在实际业务中的可靠性和准确性问题。
仿真的价值在于通过模型双向映射及形式化建模仿真等技术,实现复杂规模网络下的仿真及业务评估,零风险、低投入实现网络SLA保障;通过形式化仿真工具及模型校验技术,构建网络模型及模型实例双向映射孪生仿真基础机制,实现重保应用对应的组网/路径/应用数据大规模仿真。
孪生仿真的框架包括:模型定义及发布和仿真验证两大块,其上可以支撑多业务场景的仿真验证评估的需求。
• 模型定义&发布:通过模型定义,进行实例数据和模型互映射以及基于模型的实例数据生成。
• 仿真&验证:利用建模及仿真技术体系,实现模型的验证框架。
孪生可视主要目标是解决最终用户的数据使用体验,通过可视化的方式将内部建模后的多维数据进行综合可视。
网络拓扑是运维的主要入口之一,传统网管把拓扑作为网络的可视化呈现手段,叠加以基本告警和状态信息,帮助监控人员概览网络。华为创新性地提出通过地图的方式进行整体的数据呈现,打造IT基础设施的高精数字地图。华为iMaster NCE自动驾驶网络管理与控制系统打造的数字孪生高精数字地图,目标是成为“网络驾驶的主屏幕”,将来自不同应用/环境等多重信息按照场景有机整合到主拓扑单屏中,通过多图层、多视角、多维度的方式将内部数据进行全方位无死角的展示,通过单一画布、无极缩放、标注定位等特性,为网络管理员带来一站式操作体验。
华为iMaster NCE通过对网元存量数据、网络业务配置数据、各类性能数据和告警数据、日志等持续不间断采集和存储,在智能管控单元中将物理网络数字化映射到数字孪生网络地图。
孪生可视基于模型驱动自动生成网络拓扑,基于智能布局快速还原物理网络拓扑结构,帮助运维人员快速识别网络、设备特征,提升运维效率。同时,每一时刻多维信息都会自动留存快照,记录网络现状和历史,支持历史按需回放,并可支持不同历史时刻快照对比,直观呈现网络多维变化趋势。
图6 数字孪生可视数据分类
IT系统不断增加的复杂度,导致IT系统越来越复杂,人工快速排障变得越来越难。传统的应用监控(APM)和网络监控(NPM)工具,可以发现某个函数调用失败或者某个链路性能下降,却难以在复杂的云环境下找到故障发生的根本原因。因此需要IT基础设施具备可观测性。高精数字地图通过在可观测性数据与直观的地图显示之间搭建桥梁,帮助用户快速理解这些数据。
图7 数字地图全栈多维可视化呈现
数字地图的核心能力包括以下几方面:
1.网络拓扑关系智能还原,取代传统人工打标签方式,利用AI计算在准确性、实时性和覆盖面等方面提供质的变化;
2.网络KPI实时叠加,借助告警压缩计算,通过地图直观呈现网络异常,让运维人员第一时间发现问题;
3.提供应用+网络全方位关联映射及可视化能力,帮助网络用户快速定界定位故障;
4.提供企业全栈可视,从用户到业务、业务到应用、应用到服务、服务到网络端到端一体化追踪的能力;
5.地图能力开放,延展用户的价值空间,适配更多场景;
6.一键网络导航,帮助运维人员快速定位问题应用程序之间的网络路径;
7.全网检索,借助内置的模型算法,可帮助客户快速找到关注的资源,如设备版本EOS风险查询;
最后,通过数字地图的形式将数字孪生的能力进行泛化,从而孵化更多更高级的价值场景,实现自动、自优、自治的自动驾驶网络高阶服务。