文｜黄从治 金海啸

随着国家“一带一路”战略的深入推进，大型建筑央企全球业务规模日益壮大，分支机构、项目部数量随之增加，各种业务对网络的需求与依赖也随之增加,传统的互联网和企业点对点专线组网方式难以应对分布于非洲、南美洲、中东、南亚等基础设施欠发达地区项目分支的数据交互。在对建筑央企2000多名海外从业人员的问卷调研中，有90%的人员反应网络速度慢、稳定性差，很难与国内办公、财务和生产业务系统进行高效通讯，且多数项目分支均无网络安全防控措施，存在一定的信息安全风险。因此通过研究overlay组网、广域网优化、网络虚拟化和软件定义网络等技术，与企业wan深度融合，修建基于sd-wan的全球化高品质数据传输链路，解决“最后一公里”的网络通达问题，为企业海外业务开展、员工日常办公提供稳定、高效的信息化支撑，提升海外人员业务访问体验和办公效率，保障数据传输安全具有十分必要和急迫的现实意义。

基于sd-wan的全球广域网络建设的整体思路是通过将sdn、nfv技术与mstp、mpls、internet等wan链路融合，以服务企业数字化转型为目标，支撑各类生产、办公数据高效、稳定、安全传输，解决大型建筑企业项目分散、流动性强、生命周期较短、所处地区基础设施欠发达而造成的互联成本高，网络部署效率低、业务应用时间长的问题。

整体架构如图1所示，由上至下为管理平面、控制平面和网络平面。

图1 sd-wan整体架构

管理平面包含配置管理层和业务编排层两部分，配置管理层实现统一对全网进行集中管理和快速变更配置，包含全网分支设备配置管理、策略模版管理、auto vpn、sd-wan智能选路模版管理、分支设备批量升级管理等；业务编排层实现对全网质量监控数据的状态展示和实时告警，并同步提供定制化api接口对接第三方网管平台。

控制平面具有贯通南北向的作用，包含管理隧道、配置下发、状态上报等功能，分支设备要接受管理平台的集中管控，首先需要同管理平台创建管理隧道。分支cpe和管理平面之间创建完管理隧道后，管理平台即可向全网的分支下发配置。分支设备也可利用管理隧道定期上报设备状态信息和告警信息给集中管理平台做业务数据编排。

网络平面是整体架构的躯干，包含各种常见的网络设备和wan链路，具体可分为物理网络和虚拟网络。物理网络即underlay网络，主要指运营商提供的sdh、mstp专线及internet互联网等wan。虚拟网络即overlay网络，通过引入overlay虚拟化技术，sd-wan在物理网络上构建一张或者多张虚拟的overlay网络，业务策略部署在虚拟网络上，与物理网络脱离，从而将业务的复杂度和wan互联的复杂度解耦，服务于不同用户或业务，是网络平面的核心组网技术。

搭建高效、稳定、安全、灵活的广域网络平台，需综合研究运用sd-wan的重点关键技术包括：

依托sdn控制器与传统企业wan技术结合，融入路由、qos、安全、业务编排等技术，实现wan自动化配置、集中控制管理，提高网络健壮性、灵活性，提升链路利用率，降低整体成本。

传统的网络架构采用分布式控制、系统封闭，其控制功能和数据转发功能紧耦合。这种网络架构灵活性差，对网络设备商的依赖性非常强，运维和管理复杂。sdn让代表业务的应用可以参与对网络的控制管理，增强业务的敏捷性，同时提升网络运维效率，分为应用层、控制层和基础设施层。应用层包含组织使用的典型网络应用或功能；控制层代表集中式sdn控制器软件，充当软件定义网络的大脑，在服务器上管理整个网络的策略和流量；基础设施层由网络中的物理交换机、路由器等设备组成，执行网络流量转发，这三层使用各自的北向和南向api进行通信。sdn在企业云数据中心网络（lan）中应用较成熟，但企业广域网（wan）应用场景较少。企业应积极应用sdwan技术，在试用mstp、mpls专线外，因特网上实现软件定义企业广域网络，通过overlay和vpn技术实现混合wan互联（如图2），以有效降低署成本并改善使用效率。

图2 混合wan架构

overlay技术是一种物理网络架构上叠加的虚拟化技术模式，借助ip隧道封装技术，使业务流量被封装在隧道内，以实现流量在不同wan链路的透明穿越，其具有独立的控制和转发平面。vpn技术一般是通过在ip报文中增加额外的vpn字段来实现不同网络域的标识，最终达到企业私有化网络和运营商公共网络。本次研究的融合vpn技术使用隧道加密技术（des、3des、aes128、aes256等）对数据包进行加密传输，构建的overlay隧道支持采用网络编辑技术auto vpn实现隧道的自动化构建，并通过隧道监测和智能选路实现对物理线路被挖断、广域网网络传输故障等网络中断情况进行秒级切换，实现网络高可靠。

在sd-wan网络中，各个分支机构将作为站点被sdn控制器纳管并进行业务编排，为了实现各站点之间的网络通信，需要部署实际的边缘网络设备（cpe）。传统cpe通常包含主板、接口卡、多核cpu以及各种硬件组件，提供二层交换和三层路由功能。随着企业业务类型的增加，基本的路由转发功能已经不能满足企业的业务需求，企业需要部署网络安全、行为管理、流量加速、负载均衡等业务，然后这些业务的使用均需要购买相应的专有硬件设备，从而导致在全球范围内部署变得异常复杂，也不便于整体维护。随着云计算和nvf技术的发展，传统的专有硬件设备都已经具有了软件化的形态，将网络设备、计算、存储等资源作为基本组成元素，通过一体机的方式承载分支机构的it网络建设，降低设备的成本和能耗，实现灵活快速的业务发放。具体架构如图3。

图3 cpe架构

cpe设备软件架构主要包含计算虚拟化、网络设备虚拟化和存储虚拟化三大组件，同时通过sdn控制器南向接口被整体纳管，是sd-wan网络中的核心组成部分。

在cpe设备上实现计算资源虚拟化，使cpe设备具备抽象解耦和分区隔离的优势。给每一台虚拟机分配适量的内存、cpu、网络和磁盘，并加载所有虚拟机的客户操作系统。常见的hypervisor分两类，本方案主要采取裸金属型。

在cpe设备中通过nfv技术，将网络资源统一池化，最终希望实现超融合架构中网络资源的灵活定义、按需分配、随需调整。nfv与sdn有很强的互补性，nfv增加了功能部署的灵活性，sdn可进一步推动nfv功能部署的灵活性和方便性。

存储虚拟化基于分布式文件系统glusterfs进行定制研发，并作为cpe架构中的重要组成部分，融合了分布式缓存、ssd读写缓存加速、多副本机制保障、故障自动重构机制等诸多存储技术，能够满足关键业务的存储需求，保证业务高效稳定可靠的运行。

大型建筑企业的应用种类繁多，包括视频会议、oa办公、电子邮件、财务共享、一体化平台、项目综合管理系统等。不同类型的应用对带宽和链路质量的要求各不相同，例如视频会议对链路的丢包率、时延、抖动容忍度非常低，一旦出现丢包就会导致卡顿花屏；而电子邮件对丢包率相对不敏感。通过应用识别、选路、qos方案等可以实现不同价值应用运行在不同链路上，解决链路质量下降时的动态选路和链路优化问题。

抗丢包技术包括单路径fec、单路径a-fec（自适应向前纠错）、多路径包复制和多路径fec等。通过代理拦截指定的数据流，按照一定的算法编码生产冗余校验包，cpe把voip报文的原始包和冗余校验包发送到对端，由接收端cpe进行校验，通过校验包还原丢失的原始包，并结合智能选路技术，选择最合适的链路进行传输。

数据去重技术要最大化利用现有带宽资源，可基于缓存技术，通过在两端站点部署数据去重功能，对传输数据进行缓存、分块并建立索引，继而优化下一次传输内容（相同数据只传输索引即可找到数据缓存），减少传输数据量，提升带宽利用率。

通过缓存和合并技术可以加速网页访问速度。缓存技术在本地用户第一次访问网站时就将文本、图片等文件下载到本地cpe设备，后续本地用户访问时可以直接从本地调取。通过合并技术实现对网页上的文件批量获取，通过一次http请求即可获取所有文件，减少http交互时延。

根据sd-wan网络设计理念，结合大型建筑企业业务特点和全球分支机构分布情况，广域网络设计。

整体网络基于分层拓扑模型设计，结合企业分支机构分布情况，在总部数据中心部署sdn控制（sd-wan集中管理平台），在欧洲、非洲和南美洲建立网络汇聚中心，通过mpls专线实现与数据中心的网状互联（fullmesh）。根据业务情况和分支机构需求，在各区域内采用星型组网拓扑（hub-spoke），同时在各分支部署具备防火墙、路由器、交换机、广域网加速、北斗定位等功能的组网一体机设备（cpe），基于因特网和4g、5g移动互联网的underlay网络，构建ipsec vpn隧道的overlay网络，通过应用智能选路、qos方案、广域网加速等技术实现数据高效、稳定、安全传输。具体有如下功能：

sd-wan组网支持包括所有ip三层可达的物理网络，包含mpls vpn、mstp专线、internet、lte等类型的网络或者混合网络。cpe设备支持以网关模式或者旁路模式部署在分支原有的网络当中，统一通过部署在总部或者数据中心的sd-wan控制器进行网络编排和策略管理，并可集中和分级显示全球一张网的状态。

sd-wan组网支持“零接触”部署，也就是设备即插即用的易部署，即不需要it人士现场支持，只需部署边缘设备，插上通信链路，接入电源，设备即可通过集中管理设备自动下载指定配置和策略，实现简化灵活部署。

基于sd-wan的全球广域网络具有vpn通道和默认通道双通道能力，可分别承载vpn应用流量、上网应用流量。同时，通过广域网优化技术提升网络容错性，以保障数据传输的质量，提升应用访问体验。

sd-wan集中管理平台可实现全网的集中管理和可视化呈现，全网质量监控模块包含underlay监控中心、overlay监控中心和故障告警中心三大核心模块。underlay监控包含针对分支的硬件使用状态展示与部署位置分布；overlay监控包含隧道的质量状态监控（连通性状态和qoe状态等信息）；故障告警中心可对分支站点设备进行设备状态和隧道状态的告警设置，当分支出现故障异常，分支通过管理隧道主动上报告警信息到sd-wan集中管理平台，再由工单系统通知运维管理员进行故障处理。

基于sd-wan的广域网络平台综合应用于某建筑行业大型央企，在全球范围内建设了网络汇聚中心，在分支机构部署了边缘cpe设备，实现了网络高效、稳定、安全的传输。典型应用场景如下：

在欧洲某地建立了海外网络汇聚中心，开展了网络设备的上架、安装、调试，并拉通了回国的mpls专线，并将相应设备统一纳管至总部sd-wan集中管理平台。

建设初期，某海外网络汇聚中心sd-wan接入流量汇聚情况统计，数据显示流量上升趋势，如图5所示。

在某海外分支机构部署了c p e设备，通过s dwan广域网络访问总部数据中心系统效果明显优于以往网络模式，连续ping1000个数据包显示延时从371ms下降到257ms，丢包率从2.6%下降到0.8%。

依托sdn、nfv和广域网加速技术，研究设计基于sd-wan的大型建筑企业全球广域网络，解决了建筑企业全球分支机构系统使用需求，将网络延伸至了最后一公里，打通了数据回国链路，提升了视频会议、oa办公和财务共享等应用访问体验，实现了全球业务数据高效、稳定、安全传输，主要解决了三个问题。

图4 某海外网络汇聚中心sd-wan接入流量统计图

第一，融合专线、因特网等多种wan链路，降低企业网络互联成本。大型建筑企业海外分支机构数量众多，国际专线租赁费用昂贵，如采用传统专线方式覆盖各分支机构将付出巨大的带宽租赁成本，而单纯采用成本较低的因特网访问国内业务延迟高、效果差。通过overlay技术，结合sdn控制器和智能选路技术，不同场景使用不同wan链路，可以矩阵式降低综合链路租赁成本。

第二，通过nfv和广域网加速技术，降低设备投入成本，解决分支机构网络部署难问题，提升应用访问体验。大型建筑企业海外分支机构数量多、分布广、所处地区基础设施欠发达，如果采用传统模式，部署防火墙、路由器、交换机、广域网加速等设备，将大幅提升设备投入成本和实施部署难度。通过nfv和广域网加速技术，将防火墙、路由器、抗丢包等功能的专业设备集成为一台组网一体机，并通过sd-wan集中管理平台进行策略下发和统一开局，可以大幅降低分支机构组网难度和投入成本，提升各类应用访问体验。

第三，通过sdn控制器集中管理多种wan链路和cpe设备，解决全网运维问题，提升运维和管理效率。上千的海外分支机构缺少统一的集中运维手段，需要大量的本地网络运维人员，并且传统的网络问题越来越不可预测，网络质量难以保障。通过sd-wan集中管理平台南北向接口对业务、设备和链路进行统一管理、网络编排、策略下发和预警监控，能够有效减少运维人员，提高运维效率，保障全网运行质量。