第一章 绪论
1.1研究背景与意义
近年来，随着社交网络、云存储服务、搜索引擎等高度依赖数据的互联网应用以及云计算、大数据、人工智能等依托于数据服务的科研方向的迅猛发展，作为现代信息服务基础设施核心的数据中心规模以及网络流量也在不断增加。
数据中心需要为数以亿计的用户提供高效、稳定、可靠的网络服务，这对服务器提出了必须具备承受大量用户高并发请求，提供快速响应处理并保证网络稳定的服务能力需求[1]。数据中心通过服务器集群的横向扩张和联合服务来解决服务器处理和 I/O 能力受限的问题，但是在网络带宽、请求响应时间、时延抖动等网络性能指标方面仍然会出现一些问题。其主要原因可以归纳为流量请求分配不合理致使服务器集群中负载不均衡，部分服务器分配任务过多导致负载严重甚至崩溃，而部分服务器则长期处于空闲状态，无法完全利用服务器集群资源。因此，如何高效利用服务器集群资源从而提高整个集群的网络服务质量，成为现代数据中心发展过程中亟需解决的一个问题。传统网络中的服务器集群负载均衡方案虽然在一定程度上能够解决负载均衡问题，但其高成本（昂贵的专用负载均衡器）、可扩展性差、易出现单点故障、无法精确负载均衡等问题限制了其应用范围。另一方面，随着数据中心的发展，数量不断增加，新计算模式下带来更加复杂的拓扑结构，分布式应用环境使得数据中心内部流量从“南北向”模式向“东西向”模式发展，流量规模巨大导致数据中心内部网络拥塞[2]。因此，怎样灵活管理的管理大规模网络拓扑和合理有效地调度数据中心内部网络流量以提高整体网络利用率，又成为一大难题。
软件定义网络（Software Defined Network，SDN）[3]的诞生和飞速发展为数据中心网络大规模流量调度问题提供了新的思路。数据中心网络管理实体的唯一性，使得其比传统网络更适合集中式的管理和控制。SDN 将网络的控制平面和数据平面分离，提供对分布式网络的集中化控制能力和提供开发统一的 API，从而能够有效地解决传统 IP 网络的弊端，使其能够很好地满足数据中心网络简单高效的集中式管控、网络虚拟化部署以及多路径路由等需求。OpenFlow[4]初步实现了 SDN 可编程网络的核心设计思想，网络状态、数据以及控制信息通过OpenFlow 协议这一标准接口实时传递，为将基于 OpenFlow 的 SDN 网络部署到数据中心提供了可能。
..........................
1.2国内外研究现状
随着云计算、大数据等新型计算模式以及现代数据中心的高速发展，国内外学者及企业机构正致力于将基于 OpenFlow 的 SDN 网络架构迁移至数据中心网络。Google 和 Facebook等大型互联网公司均已在其新型数据中心网络建设中引入了 SDN 架构。Google SDN 战略三大支柱之一的 Jupiter[5]作为其第五代数据中心网络，利用多级互联的 Clos 网络拓扑技术，在OpenFlow 协议的基础上，通过可靠的控制平面网络和三层路由协议 FirePath 来进行中心化的网络管控，其 Pbps 量级的带宽支持已经能够满足了大规模数据中心网络的需求。Facebook 的Altoona[6]数据中心网络在引入 SDN 架构的基础上，仅利用 BGP[7]协议和 ECMP 协议实现简单的拓扑，并以主干-分支的新型网络结构来实现可扩展性和模块化，其自产的基于 SDN 的BGP 控制器可以在网络负载较大的情况下依然有优秀的路径探索能力。
1.2.1 基于 SDN 的数据中心网络流量调度技术研究现状
国内外研究学者也在不断地利用基于 OpenFlow 的 SDN 技术为现代数据中心网络进行流量工程的实验和革新。
文献[8]首次提出将 OpenFlow 技术引入数据中心网络建设工作，采用 NOX 控制器作为基准控制平台，提供逻辑上的集中访问和高级网络抽象，并通过网络控制在 OpenFlow 交换机转发表中安装流条目，实现了两种较为典型的数据中心网络 Portland[9]、VL2[10]的可扩展拓扑、寻址路由方案及其他核心功能。文献[11]中提出的快速原型化横向扩展数据中心网络的模块化平台 Ripcord 同样实现了这两种结构的数据中心网络，并在其基础上，并展示了支持流量分类的路由引擎、支持网络健康监控和自动警报的统计聚合器、动态网络管理器三个自定义交互式网络功能的示例。
文献[12]设计了一个全网范围的能量管理器 ElasticTree，它可以动态调节活动网络元素集合（OpenFlow 交换机，链路）从而适应数据中心流量负载的变化需求。结果表明，对于数据中心工作负载，ElasticTree 可以节省高达 50％的网络能量，同时保持处理流量激增的能力。
文献[13]提出的高速网络平台 OpenPipes，使用 OpenFlow 网络作为模块之间的互连，使其能够完全控制互连中的所有流量。OpenFlow 提供的控件允许动态修改运行系统，从而达到允许硬件设计跨物理资源分布的目的。
......................
第二章 SDN 网络流量调度技术的相关研究
2.1基于 OpenFlow 的 SDN 相关技术研究
2.1.1 SDN 定义
为了解决当前 TCP/IP 网络体系架构面临的诸多问题，各大国家已开展了大规模未来网络的研究，如美国的 GENI[29]、日本的 JGN2plus[30]、欧盟的 FIRE[31]以及我国的 SOFIA[32]等。在此背景下，斯坦福大学的 Nick McKeown 教授受其研究项目 Ethane 引导，于 2006 年提出了 OpenFlow 的原型，其 2008 年在 ACM SIGCOMM 发表的论文《OpenFlow: enabling innovation in campus networks》中首次详尽地介绍了 OpenFlow 的概念。基于 OpenFlow 的网络架构分离传统网络设备的控制平面和数据平面，通过集中式控制器开放的标准化接口及其可编程特性能够对网络进行控制策略的设置和下发，能够很好地适应于新型大规模网络架构。随后，基于 OpenFlow 的飞速发展，McKeown 等人提出并开始推广 SDN 概念。SDN 是一种动态，可管理，经济高效且适应性强的新兴架构，使其成为当今应用程序的高带宽，动态特性的理想选择。 该架构将网络控制和转发功能分离，使网络控制变得可直接编程，并为应用和网络服务抽象出底层基础设施。
OpenFlow 作为 SDN 设计思想的原型实现方式，从严格意义上来讲，OpenFlow 只是 SDN数据平面和控制平面间多种通信协议中的一种，但狭义上，OpenFlow 凭借其可扩展性、广泛应用性、高效灵活性已成为 SDN 实际上的标准通信协议，类似于传统网络体系架构的通信标准 TCP/IP 协议。
基于 OpenFlow 的 SDN 技术与 2009 年被美国 MIT 主办的《技术评论杂志》评选为十大前沿技术之一。开放式网络基金会（Open Networking Foundation，ONF）专门负责网络技术相关标准的制定和推广，包括 OpenFlow 标准、OpenFlow 管理和配置协议（OF-Config）和SDN 体系架构。ONF 于 2016 年发布了新版 SDN 白皮书《SDN Architecture Issue 1.1》，其中SDN 被定义为满足如下 4 项原则的一种网络架构[33]：
（1）控制与转发分离原则：该原则的目的是允许独立部署网络的控制和流量转发和处理实体。
（2）集中化控制原则：集中式控制器利用网络的全局视图和对网络资源细节进行抽象的能力，实现网络资源的高效利用。集中化控制原则最好被理解为考虑集中化的成本-收益权衡的建议。
（3）网络服务可编程原则：该原则允许客户端在建立服务之前通过发现或协商与 SDN控制器交换信息，或者在服务的生命周期内根据客户需求的变化或客户端的虚拟状态来交换信息资源。
（4）开放接口原则：该原则要求对网络领域通用和公共的功能接口进行标准化，从而保证应用与网络的解耦，同时也不影响专有功能接口的灵活性。
................................
2.2数据中心网络特征研究
网络流量的合理调度和管控对于规模日趋庞大的数据中心而言，至关重要。然而，与传统网络相比，数据中心网络自身复杂的结构和网络流量特征使得传统流量调度方案无法达到良好的效果，数据中心网络正在实现数据平面和控制平面的分离，使得在控制平面完成全局流量的集中管控成为可能，因此，需要研究和分析数据中心网络的拓扑结构和流量特征，从而设计相对应的流量调度方案。
2.2.1 数据中心网络结构特征
...........................
第三章 基于 SDN 的数据中心网络流量调度技术研究.......................................... 19
3.1研究背景 ......................................... 19
3.2流量调度机制总体框架 .............................................. 20
3.2.1 网络拓扑和总体框架 .................................. 20
3.2.2 架构模块分析 ....................................... 22
第四章 基于 SDN 的服务器集群负载均衡技术研究......................................... 37
4.1研究背景 ...................................... 37
4.2动态负载均衡机制设计 .................................... 38
4.3动态负载均衡机制的具体实现 ............................ 41
第五章 基于 SDN 的数据中心网络流量调度原型系统设计 .................................... 54
5.1应用场景描述 ................................................ 54
5.2原型系统设计与实现分析 ................................... 55
第五章 基于 SDN 的数据中心网络流量调度原型系统设计
5.1应用场景描述
基于 SDN 的集中控制方式利用全局视图对网络进行综合管控，能克服分布式转发的不足。基于 SDN 的流量工程具有以下优势：（1）通过对全局信息的网络管控,针对网络资源的瓶颈处,通过下发策略到节点设备动态地调整网络状态；（2）能够做到应用层信息全局的快速部署,例如 QoS、路由策略等，不需要对每个节点交换设备进行配置；（3）具有可编程性,能够对处于数据平面支持 OpenFlow 协议的交换机预编程以及根据控制器下发策略动态地重新编程；（4）OpenFlow 交换机支持的多流表流水线使得对数据流的管理更加灵活和有效。这些优势使得 SDN 成为流量工程未来的一种发展趋势，并且相对于传统的分布式转发网络，能够更精确地进行流量均衡。
综上所述，本章以实现第三章提出的基于 HGSAFS 算法的数据中心流量调度机制以及第四章提出的基于 SDN 的服务器集群动态负载均衡机制为目标，针对现有的数据中心，将两者结合，设计并搭建基于 SDN/OpenFlow 架构的数据中心流量工程原型系统，达到提高网络利用率和网络服务质量的目的。
该原型系统接受外部的网络流量请求，结合 sFlow 协议来测量网络状态信息和服务器负载信息，以集中方式为 SDN 控制器提供全网视图信息，一定程度上降低控制器开销。根据收集的服务器负载信息设置负载均衡流表规则集（包括 SF 和 GF），将其预先下发安装在交换机上来预测并引导客户端请求至具体的服务器节点，减少转发至控制器的操作，降低控制器开销，紧接着，对传入的流量请求依据服务类型进行分类。同时，检测出网络中的大流并标记，利用大流带宽需求预测算法预测大流实际所需带宽，使用 HGSAFS 算法为大流计算全局最优路径交由控制器生成流表项进行重路由，完成转发过程。
...........................
第六章 总结与展望
现代数据中心需要为数以亿计的用户提供高效、稳定、可靠的网络服务，快速增长的服务器和内部流量规模带来了严峻的挑战。数据中心通过服务器集群的横向扩张和联合服务来解决服务器处理和 I/O 能力受限的问题，但服务请求分配不均匀导致无法完全利用服务器集群资源，如何设计负载均衡方案高效利用服务器集群资源从而提高整个集群的网络服务质量，成为现代数据中心发展过程中亟需解决的一个问题。同时，新计算模式下带来更加复杂的拓扑结构，分布式应用环境使得数据中心内部流量从“南北向”模式向“东西向”模式发展，流量规模巨大导致数据中心内部网络拥塞。因此，怎样灵活管理的管理大规模网络拓扑和合理有效地调度数据中心内部网络流量以提高整体网络利用率，又成为一大难题。
基于 OpenFlow 的 SDN 技术的出现为解决数据中心网络大规模流量调度问题提供了新的思路。数据中心网络管理实体的唯一性，使得其比传统网络更适合集中式的管理和控制。SDN将网络的控制平面和数据平面分离，通过提供对分布式网络的集中化控制能力和提供开发统一的 API，能够有效地解决传统 IP 网络的弊端。这些特点使其能够很好地满足数据中心网络的集中式管控、网络虚拟化部署以及多路径路由等需求。
本文围绕 SDN 技术在数据中心内的应用，以基于 SDN 的数据中心网络数据层的流量调度：路径流量负载均衡、服务请求流量负载均衡这两个方面为核心研究对象。两者目的都是提高数据中心资源利用率，提供更高质量的网络服务。主要做了如下几个方面的工作：
（1）介绍了 SDN 的定义、体系架构以及关键技术架构，包括 OpenFlow 协议、OpenFlow交换机技术、SDN 控制器技术等，并且分析了现代数据中心网络的体系结构特征和流量特征，从基于 SDN 的数据中心网络流量调度技术和服务器集群负载均衡技术两方面分析概括了当前的国内外相关研究现状，总结了目前基于 SDN 的数据中心网络流量调度方案的优势和不足。
（2）路径流量负载均衡方面，针对常用的 Fat-Tree 数据中心网络在传统的流量调度机制下存在链路负载不均衡，大流冲突过多导致的网络性能不佳等问题，分析传统多路径路由机制如 ECMP 及现有基于 SDN 的方案如 Hedera、Mahout 的不足，针对性地提出基于混合遗传模拟退火算法的流量调度机制，充分利用 SDN 全网视图的优势，对网络流量进行高效管控。首先，引入端服务器处检测机制探测并标记大流，提出利用端服务器网卡带宽的限制设计大流真实带宽需求预测算法，将大流调度问题归约为多背包问题，利用改进的混合遗传模拟退火算法为大流搜索全局最优路径进行调度，最后 OpenFlow 交换机采用分段路由的方式对重路由的大流进行传输。
参考文献（略）