大型企业数据中心建设方案

目录

第1章 总述 .................................................................... 4 1.1 XXX公司数据中心网络建设需求 ............................................... 4

1.1.1 传统架构存在的问题 .................................................... 4 1.1.2 XXX公司数据中心目标架构 ............................................... 5 1.2 XXX公司数据中心设计目标 ................................................... 6 1.3 XXX公司数据中心技术需求 ................................................... 7 1.3.1 整合能力 .............................................................. 7 1.3.2 虚拟化能力 ............................................................ 7 1.3.3 自动化能力 ............................................................ 8 1.3.4 绿色数据中心要求 ...................................................... 8 第2章 XXX公司数据中心技术实现 ................................................. 9 2.1 整合能力 .................................................................. 9 2.1.1 一体化交换技术 ........................................................ 9 2.1.2 无丢弃以太网技术 ..................................................... 10 2.1.3 性能支撑能力 ......................................................... 11 2.1.4 智能服务的整合能力 ................................................... 11 2.2 虚拟化能力 ............................................................... 12 2.2.1 虚拟交换技术 ......................................................... 12 2.2.2 网络服务虚拟化 ....................................................... 14 2.2.3 服务器虚拟化 ......................................................... 14 2.3 自动化 ................................................................... 15 2.4 绿色数据中心 ............................................................. 16 第3章 XXX公司数据中心网络设计 ................................................ 17 3.1 总体网络结构 ............................................................. 17 3.1.1 层次化结构的优势 ..................................................... 17 3.1.2 标准的网络分层结构 ................................................... 17 3.1.3 XXX公司的网络结构 .................................................... 18 3.2 全网核心层设计 ........................................................... 19 3.3 数据中心分布层设计 ....................................................... 20 3.3.1 数据中心分布层虚拟交换机 ............................................. 20 3.3.2 数据中心分布层智能服务机箱 ........................................... 20 3.4 数据中心接入层设计 ....................................................... 22 3.5 数据中心地址路由设计 ..................................................... 25 3.5.1 核心层 ............................................................... 25 3.5.2 分布汇聚层和接入层 ................................................... 25 3.5.3 VLAN/VSAN和地址规划 .................................................. 26 第4章 应用服务控制与负载均衡设计 ............................................. 27 4.1 功能介绍 ................................................................. 27 4.1.1 基本功能 ............................................................. 27

页脚内容1

劳动合同签订意向调查表

4.1.2 应用特点 ............................................................. 28 4.2 数据中心的应用情况 ....................................................... 32 4.2.1 XXXX应用1 ............................................................ 32 4.2.2 XXXX应用n ............................................................ 33 4.3 应用优化和负载均衡需求 ................................................... 33 4.3.1 XXXX应用的负载均衡要求 ............................................... 33 4.3.2 开放式系统应用的负载均衡要求 ......................................... 34 4.4 应用优化和负载均衡设计 ................................................... 34 4.4.1 智能服务机箱设计 ..................................................... 34 4.4.2 应用负载均衡的设计 ................................................... 37 4.4.3 地址和路由 ........................................................... 40 4.4.4 安全功能的设计 ....................................................... 42 4.4.5 SSL分流设计 .......................................................... 44 4.4.6 扩展性设计 ........................................................... 45 4.4.7 高可用性设计 ......................................................... 46 第5章 网络安全设计 ........................................................... 49 5.1 网络安全部署思路 ......................................................... 49 5.1.1 网络安全整体架构 ..................................................... 49 5.1.2 网络平台建设所必须考虑的安全问题 ..................................... 50 5.2 网络设备级安全 ........................................................... 51 5.2.1 防蠕虫病毒的等Dos攻击 ................................................ 51 5.2.2 防VLAN的脆弱性配置 ................................................... 52 5.2.3 防止DHCP相关攻击 ..................................................... 53 5.3 网络级安全 ............................................................... 53 5.3.1 安全域的划分 ......................................................... 5.3.2 防火墙部署设计 ....................................................... 5.3.3 防火墙策略设计 ....................................................... 56 5.3.4 防火墙性能和扩展性设计 ............................................... 56 5.4 网络的智能主动防御 ....................................................... 58 5.4.1 网络准入控制 ......................................................... 58 5.4.2 桌面安全管理 ......................................................... 59 5.4.3 智能的监控、分析和威胁响应系统 ....................................... 61 5.4.4 分布式威胁抑制系统 ................................................... 第6章 服务质量保证设计 ....................................................... 67 6.1 服务质量保证设计分类 ..................................................... 67 6.2 数据中心服务质量设计 ..................................................... 67 6.2.1 带宽及设备吞吐量设计 ................................................. 67 6.2.2 低延迟设计 ........................................................... 69 6.2.3 无丢弃设计 ........................................................... 70 6.3 非数据中心网络的服务质量设计 ............................................. 71 6.3.1 QoS实施方案 .......................................................... 72 6.3.2 分析业务需求 ......................................................... 72 6.3.3 QoS策略的制定和部署 .................................................. 75

页脚内容2

劳动合同签订意向调查表

6.3.4 评测和调整 ........................................................... 79 6.4 QOS策略管理 .............................................................. 80 6.4.1 QoS自动配置 .......................................................... 80 6.4.2 QoS策略管理器解决方案 ................................................ 80 第7章 网络管理和业务调度自动化 ............................................... 83 7.1 MARS安全管理自动化 ....................................................... 83 7.2 VFRAME业务部署自动化 ...................................................... 83 第8章 两种数据中心技术方案的综合对比 ......................................... 84 8.1 技术方案对比 ............................................................. 84 8.1.1 传统技术领域对比 ..................................................... 84 8.1.2 下一代数据中心技术能力比较 ........................................... 85 8.2 技术服务对比 ............................................................. 88 8.3 商务对比 ................................................................. 88 8.4 总结 ..................................................................... 第9章 数据中心网络割接方案 ................................................... 90 第10章 附录：新一代数据中心产品介绍 .......................................... 91 10.1 CISCO NEXUS 7000 系列10插槽交换机介绍 ...................................... 91 10.2 CISCO NEXUS 5000 / 2000系列交换机介绍 ...................................... 92 10.3 CISCO NX-OS 数据中心级操作系统简介 ........................................ 94

页脚内容3

劳动合同签订意向调查表

第1章 总述

为进一步推进XXX公司信息化建设，以信息化推动XXX公司股份有限公司业务工作的改革与发展，需要在新建的办公大楼内建设XXX公司的新一代绿色高效能数据中心网络。

1.1 XXX公司数据中心网络建设需求

1.1.1 传统架构存在的问题

XXX公司现有数据中心网络采用传统以太网技术构建，随着各类业务应用对IT需求的深入发展，业务部门对资源的需求正以几何级数增长，传统的IT基础架构方式给管理员和未来业务的扩展带来巨大挑战。具体而言存在如下问题：

维护管理难：在传统构架的网络中进行业务扩容、迁移或增加新的服务功能越来越困难，每一次变更都将牵涉相互关联的、不同时期按不同初衷建设的多种物理设施，涉及多个不同领域、不同服务方向，工作繁琐、维护困难，而且容易出现漏洞和差错。比如数据中心新增加一个业务类型，需要调整新的应用访问控制需求，此时管理员不仅要了解新业务的逻辑访问策略，还要精通物理的防火墙实体的部署、连接、安装，要考虑是增加新的防火墙端口、还是需要添置新的防火墙设备，要考虑如何以及何处接入，有没有相应的接口，如何跳线，以及随之而来的VLAN、路由等等，如果网络中还有诸如地址转换、7层交换等等服务与之相关联，那将是非常繁杂的任务。当这样的IT资源需求在短期内累积，将极易在使得系统维护的质量和稳定性下降，同时反过来减慢新业务的部署，进而阻碍公司业务的推进和发展。

资源利用率低：传统架构方式对底层资源的投入与在上层业务所收到的效果很难得到同比发展，最普遍的现象就是忙的设备不堪重负，闲的设备资源储备过多，二者相互之间又无法借用和共用。这是由于对底层网络建设是以功能单元为中心进行建设的，并不考虑上层业务对底层资源调用的优化，这使得对网络的投入往往无法取得同样的业务应用效果的改善，反而浪费了较多的资源和维护成本。

服务策略不一致：传统架构最严重的问题是这种以孤立的设备功能为中心的设计思路无法真正从整个系统角度制订统一的服务策略，比如安全策略、高可用性策略、业务优化策略等等，造成跨平台策略的不一致性，从而难以将所投入的产品能力形成合力为上层业务提供强大的服务支撑。

页脚内容4

劳动合同签订意向调查表

因此，按传统底层基础设施所提供的服务能力已无法适应当前业务急剧扩展所需的资源要求，本次数据中心建设必须从根本上改变传统思路，遵照一种崭新的体系结构思路来构造新的数据中心IT基础架构。

1.1.2 XXX公司数据中心目标架构

面向服务的设计思想已经成为Web2.0下解决来自业务变更、业务急剧发展所带来的资源和成本压力的最佳途径。从业务层面上主流的IT厂商如IBM、BEA等就提出了摒弃传统的“面向组件（Component）”的开发方式，而转向“面向服务”的开发方式，即应用软件应当看起来是由相互、松耦合的服务构成，而不是对接口要求严格、变更复杂、复用性差的紧耦合组件构成，这样可以以最小的变动、最佳的需求沟通方式来适应不断变化的业务需求增长。鉴于此，XXX公司数据中心业务应用正在朝“面向服务的架构Service Oriented Architecture（SOA）”转型。与业务的SOA相适应，XXX公司提出支撑业务运行的底层基础设施也应当向“面向服务”的设计思想转变，构造“面向服务的数据中心”（Service Oriented Data Center，SODC）。

传统组网观念是根据功能需求的变化实现对应的硬件功能盒子堆砌而构建企业网络的，这非常类似于传统软件开发的组件堆砌，被已经证明为是一种较低效率的资源调用方式，而如果能够将整个网络的构建看成是由封装完好、相互耦合松散、但能够被标准化和统一调度的“服务”组成，那么业务层面的变更、物理资源的复用都将是轻而易举的事情。SODC就是要求当SOA架构下业务的变更，导致软件部分的服务模块的组合变化时，松耦合的网络服务也能根据应用的变化自动实现重组以适配业务变更所带来的资源要求的变化，而尽可能少的减少复杂硬件的相关性，从运行维护、资源复用效率和策略一致性上彻底解决传统设计带来的顽疾。

具体而言SODC应形成这样的资源调用方式：底层资源对于上层应用就象由服务构成的“资源池”，需要什么服务就自动的会由网络调用相关物理资源来实现，管理员和业务用户不需要或几乎可以看不见物理设备的相互架构关系以及具体存在方式。SODC的框架原型应如下所示：

页脚内容5

劳动合同签订意向调查表

在图中，隔在物理架构和用户之间的“交互服务层”实现了向上提供服务、向下屏蔽复杂的物理结构的作用，使得网络使用者看到的网络不是由复杂的基础物理功能实体构成的，而是一个个智能服务——安全服务、移动服务、计算服务、存储服务……等等，至于这些服务是由哪些实际存在的物理资源所提供，管理员和上层业务都无需关心，交互服务层解决了一切资源的调度和高效复用问题。

SODC和SOA构成的数据中心IT架构必将是整个数据中心未来发展的趋势，虽然实现真正理想的SODC和SOA融合的架构将是一个长期的历程，但在向该融合框架迈进的每一步实际上都将会形成对网络灵活性、网络维护、资源利用效率、投资效益等等方面的巨大改善。因此XXX公司本次数据中心的网络建设，要求尽可能的遵循如上所述的新一代面向服务的数据中心设计框架。

1.2 XXX公司数据中心设计目标

在基于SODC的设计框架下，XXX公司新一代数据中心应实现如下设计目标：

简化管理：使上层业务的变更作用于物理设施的复杂度降低，能够最低限度的减少了物理资源的直接调度，使维护管理的难度和成本大大降低。

高效复用：使得物理资源可以按需调度，物理资源得以最大限度的重用，减少建设成本，提高使用效率。即能够实现总硬件资源占用量降低了，而每个业务得到的服务反而更有充分的资源保证了。

策略一致：降低具体设备个体的策略复杂性，最大程度的在设备层面以上建立统一、抽象的服务，每一个被充分抽象的服务都按找上层调用的目标进

页脚内容6

劳动合同签订意向调查表

行统一的规范和策略化，这样整个IT将可以达到理想的服务规则和策略的一致性。

1.3 XXX公司数据中心技术需求

SODC架构是一种资源调度的全新方式，资源被调用方式是面向服务而非象以前一样面向复杂的物理底层设施进行设计的，而其中交互服务层是基于服务调用的关键环节。交互服务层的形成是由网络智能化进一步发展而实现的，它是底层的物理网络通过其内在的智能服务功能，使得其上的业务层面看不到底层复杂的结构，不用关心资源的物理调度，从而最大化的实现资源的共享和复用。要形成SODC要求的交互服务层，必须对网络提出以下要求：

1.3.1 整合能力

SODC要求将数据中心所需的各种资源实现基于网络的整合，这是后续上层业务能看到底层网络提供各类SODC服务的基础。整合的概念不是简单的功能增多，虽然整合化的一个体现是很多设备的功能被以特殊硬件的方式整合到网络设备中，但其真正的核心思想是将资源尽可能集中化以便于跨平台的调用，而物理存在方式则可自由的根据需要而定。

数据中心网络所必须提供的资源包括：

智能业务网络所必须的智能功能，比如服务质量保证、安全访问控制、

设备智能管理等等；

数据中心的三大资源网络：高性能计算网络；存储交换网络；数据应用

网络。

这两类资源的整合将是检验新一代数据中心网络SODC能力的重要标准。

1.3.2 虚拟化能力

虚拟化其实就是把已整合的资源以一种与物理位置、物理存在、物理状态等无关的方式进行调用，是从物理资源到服务形态的质变过程。虚拟化是实现物理资源复用、降低管理维护复杂度、提高设备利用率的关键，同时也是为未来自动实现资源协调和配置打下基础。

新一代数据中心网络要求能够提供多种方式的虚拟化能力，不仅仅是传统的网络虚拟化（比如VLAN、VPN等），还必须做到：

页脚内容7

劳动合同签订意向调查表

交换虚拟化 智能服务虚拟化 服务器虚拟化

1.3.3 自动化能力

自动化是SODC架构中上层自动优化的实现服务调用必须条件。在高度整合化和虚拟化的基础上，服务的部署完全不需要物理上的动作，资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。

这部分需要做到两方面的自动化：

网络管理的自动化 业务部署的自动化

1.3.4 绿色数据中心要求

当前的能源日趋紧张，能源的价格也飞扬直上；绿地（Green Field）是我们每个人都关心的议题。如何最大限度的利用能源、降低功耗，以最有效率方式实现高性能、高稳定性的服务是新一代的数据中心必须考虑的问题。

页脚内容8

劳动合同签订意向调查表

第2章 XXX公司数据中心技术实现

根据以上新一代数据中心网络的技术要求，必须对传统数据中心所使用的常规以太网技术进行革新，数据中心级以太网（Data Center Ethernet，简称DCE）技术由此诞生。

DCE之前也被一些厂商称为汇聚型增强以太网技术（Converged Enhanced Ethernet，简称CEE），是兼容传统以太网协议并按新一代数据中心的传输要求，对其进行全面革新的一系列标准和技术的总称。因此，为达到XXX公司的新一代数据中心的建设目标，必须摒弃传统以太网技术，而采用新一代的DCE（CEE）技术进行组网。

具体而言，本次XXX公司数据中心所采用的DCE技术，可以达到以下的技术目标。

2.1 整合能力

2.1.1 一体化交换技术

DCE技术的重要目标是实现传统数据中心最大程度的资源整合，从而实现面向服务的数据中心SODC的最终目标。在传统数据中心中存在三种网络：使用光纤存储交换机的存储交换网络（Fiber Channel SAN），便于实现CPU、内存资源并行化处理的高性能计算网络（多采用高带宽低延迟的InfiniBand技术），以及传统的数据局域网。DCE技术将这三种网络实现在统一的传输平台上，即DCE将使用一种交换技术同时实现远程存储、远程并行计算处理和传统数据网络功能。这样才能最大化的实现三种资源的整合，从而便于实现跨平台的资源调度和虚拟化服务，提高投资的有效性，同时还降低了管理成本。

XXX公司业务的特点不需要超级计算功能，因此本次项目要实现存储网络和传统数据网络的双网合一，使用DCE技术实现二者的一体化交换。当前在以太网上融合传统局域网和存储网络唯一成熟技术标准是Fiber Channel Over Ethernet技术（FCoE），它已在标准上给出了如何把存储网(SAN)的数据帧封装在以太网帧内进行转发的相关技术协议。由于该项技术的简单性、高效率、经济性，目前已经形成相对成熟的包括存储厂商、网络设备厂商、主机厂商、网卡厂商的生态链。具体的协议发布可参见 FCoE 的相关Web Sites。 (http://www.fcoe.com http://www.t11.org/fcoe )

页脚内容9

劳动合同签订意向调查表

本次数据中心建设将做好FCoE的基础设施准备，并将在下一阶段完成基于FCoE技术的双网融合。

2.1.2 无丢弃以太网技术

为保证一体化交换的实现，DCE改变了传统以太网无连接、无保障的Best Effort传输行为，即保证主机在通过以太网进行磁盘读写等操作、高性能计算所要求的远程内存访问、并行处理等操作，不会发生任何不可预料的传输失败，达到真正的“无丢包”以太网目标。DCE在网络中以硬件及软件的形式实现了以下技术：

基于优先级类别的流控(Priority Flow Control) 制 IEEE 802.1Qaz 标准定义基于IEEE 通过基于IEEE 802.1p类别通道的PAUSE功能来提供基于数据流类别的流量控带宽管理 802.1p 流量类别的带宽管理以及这些流量的优先级别定义 拥塞管理 IEEE 802.1Qau 标准定义如何管理网络中的拥塞(BCN/QCN) 基于优先级类别的流控在DCE 的理念中是非常重要的一环，通过它和

拥塞管理的相互合作，我们可以构造出“不丢包的以太网”架构；这对今天的我们来说，它的诱惑无疑是不可阻挡的。不丢包的以太网络提供一个安全的平台，它让我们把一些以前无法安心放置到数据网络上的重要应用能安心的应用到这个DCE的数据平台。

带宽管理在以太网络中提供类似于类似帧中继(Frame Relay)的带宽控

制能力，它可以确保一些重要的业务应用能获得必须的网络带宽；同时保证网络链路带宽利用的最大化。

拥塞管理可以提供在以太网络中的各种拥塞发现和定位能力，这在非连

接的网络中无疑是一个巨大的挑战；可以说在目前的所有非连接的网络中，这

页脚内容10

劳动合同签订意向调查表

是一个崭新的应用；目前的研究方向主要集中在后向拥塞管理(BCN)和量化拥塞管理(QCN)这两个方面。

2.1.3 性能支撑能力

为保证实现一体化交换和资源整合，DCE还必须对传统以太网的性能和可扩展性的进行革新。

首先为保证三网合一后的带宽资源，万兆以太网技术只是DCE核心层带宽的起点。而正在发展中的40G/100G以太网才是DCE技术将来的主流带宽。因此，要保证我们今天采购的设备能有5年以上的生命周期，就必须考虑硬件的可扩展能力。这也就是说从投资保护和工程维护的角度出发，我们需要一个100G平台的硬体设备，即每个设备的槽位至少要支持100G的流量（全双工每槽位200Gbps），只有这样才能维持该设备5年的生命周期。同时从经济性的角度来考虑，如果能达到400G的平台是最理想的。

另外存储网络和高性能计算所要求的通过网络实现的远程磁盘读写、内存同步的性能需求，DCE设备必须提供比传统以太网设备低几个数量级的端口间转发延迟。DCE要求的核心层的三层转发延迟应可达到30us以下，接入层的二层转发延迟应可在3～4us以下。这都是传统以太网技术无法实现的性能指标要求。

2.1.4 智能服务的整合能力

众所周知，应用的复杂度是在不断的提升，同时伴随着网络的融合，应用对网络的交互…可以预见的是网络的复杂度也将不断的提升。这也印证我们的判断：应用对网络的控制将逐步增强，网络同时也在为应用而优化。

因此构建一个单业务的简单L2转发网络并不是网络设备的设计方向；全业务的设备和多业务融合的网络才是我们所需要的环境。

那么我们需要什么样的全业务呢，很明显Data Center Ethernet 是一个必备的项目，同时我们至少还需要其它的基本业务属性来保障一个多业务网络的运行，如：

服务质量保证 访问列表控制

QoS ACL

虚拟交换机的实现 Virtual Switch 网络流量分析

Netflow

页脚内容11

劳动合同签订意向调查表

CPU抗攻击保护 CoPP

远程无人值守管理 CMP 嵌入式事件管理

EEM

当然，所有这些业务的实现都是在不影响转发性能的前提条件下的。失去这个大前提，多业务的实现就变得毫无意义。

所以设计一个好的产品就必须顾全多业务、融合网络这个大前提。如何使这些复杂的业务处理能够在高达100G甚至是400G的线路卡上获得线速处理的性能是考验一个硬件平台的重要技术指标。

最终的胜出者无疑就是能够用最小的代价来换取最大业务实现和性能的设备平台。

2.2 虚拟化能力

DCE对网络虚拟化不仅仅是传统意义上的VLAN和VPN，为实现SODC的交互服务层资源调度方式，DCE还能够做到以下的虚拟化能力。

2.2.1 虚拟交换技术

虚拟交换技术可以实现当我们使用交换机资源时，我们可以不用关心交换服务的物理存在方式，它可能是由一台交换机提供，也可能是两台交换机设备，甚至可以是一个交换机中的几个虚拟交换机之一。思科的DCE技术就提供了将两个物理交换机虚拟为一台交换机的虚拟交换系统（VSS）技术，以及将一个交换机虚拟化为多个交换机的虚拟设备（VDC）技术。

（一）虚拟交换系统（VSS）

页脚内容12

劳动合同签订意向调查表

VSS技术可将网络的双核心虚拟化为单台设备，比如使用的Cisco 6509的9插槽设备将完全被虚拟化成为单台18槽机箱的虚拟交换机。虚拟交换机性能倍增、管理复杂度反而减半。具体有如下优势：

单一管理界面：管理界面完全为单台设备管理方式，管理和维护工作量减轻一半；

性能翻倍：虚拟交换系统具备两台叠加的性能，与其它交换机通过跨物理机箱的双千兆以太网或双万兆以太网捆绑技术，远比依靠路由或生成树的负载均衡更均匀，带宽和核心吞吐量均做到真正的翻倍。

协议简单：虚拟交换系统与其它设备间的动态路由协议完全是单台设备与其它设备的协议关系，需维护的路由邻居关系数以二次方根下降，在本系统中可达4～5倍下降，工作量和部署难度大大降低；虚拟交换系统同时作为单台设备参与生成树计算关系，生成树计算和维护量以二次方根下降，在本系统中可达4～5倍下降，工作量和部署难度大大降低。

冗余可靠：虚拟交换系统形成虚拟单机箱、物理双引擎的跨机箱冗余引擎系统，下连接入交换机原来需要用动态路由或生成树实现冗余切换的，在VSS下全都可以用简单的链路捆绑实现负载均衡和冗余，无论是链路还是引擎，冗余切换比传统方式更加迅捷平滑，保持上层业务稳定运行。以前两个单引擎机箱的其中一台更换引擎，一定会导致数据的丢失，而虚拟交换系统里任意一台更换引擎，数据可以保证0丢失。

页脚内容13

劳动合同签订意向调查表

（二）虚拟设备系统（VDC）

VDC技术则可以实现将一台交换机划分为多个虚拟的子交换机，每个交换机拥有的配置界面，的生成树、路由、SNMP、VRRP等协议进程，甚至的资源分配（内存、TCAM、转发表等等）。它与VSS配合，将在实现更加灵活的、与物理设备无关的跨平台资源分配能力，为数据中心这种底层设施资源消耗型网络提供更经济高效的组网方式，也为管理和运营智能化自动化创造条件。

物理设备虚拟成若干个逻辑上的设备的图示：

2.2.2 网络服务虚拟化

在服务资源整合以及设备虚拟化的基础之上，DCE要求每个虚拟化的网络应用区都有自己的业务服务设施，比如自己的防火墙、IDS、负载均衡器、SSL加速、……网络服务，这些如果都是物理上独占式分配的，将是高成本、低效率且难于维护管理的。DCE网络在提供这些网络智能服务时都可以以虚拟化的方式实现各类服务的资源调用，思科的DCE网络中就可以实现虚拟防火墙、虚拟IDS、虚拟负载均衡器、虚拟SSL VPN网络……等等，从而实现网络智能服务的虚拟化。

2.2.3 服务器虚拟化

服务器虚拟化可以使上层业务应用仅仅根据自己所需的计算资源占用要求来对CPU、内存、I/O和应用资源等实现自由调度，而无须考虑该应用所在的物理关联和位置。当前商用化最为成功的服务器虚拟化解决方案是VMWare的VMotion系列，微软的Virtual Server和许多其它第三方厂商（如Intel、AMD等）也正在加入，使得服务器虚拟化的解决方案将越来越完善和普及。

然而人们越来越意识到服务器虚拟化的系统解决方案中除了应用、主机、操作系统

页脚内容14

劳动合同签订意向调查表

的角色外，网络将是一个更为至关重要的角色。网络将把各个自由联系成为一个整体，网络将是实现自由虚拟化的桥梁。服务器虚拟化需要DCE能够提供以下能力：

资源的整合：业务应用运行所依赖的物理计算环境都需要网络实现连接，然而在传统网络中，传输数据的数据网、互连CPU和内存的计算网、互连存储的存储网都是孤立的，这就无法真正实现与物理无关的服务器资源调度，因此实现真正意义上彻底的服务器虚拟化，前面提到的DCE三网一体化交换架构是必须的条件。

网络的虚拟机意识：传统网络是不具备虚拟机意识的，即在网络上传递的信息是无法区别它是来自于哪个虚拟机，也无法在网络上根据虚拟机来提供相应的网络服务，当虚拟机迁移，也没有相应的网络跟踪手段保证服务的全局一致性。不过这些都是DCE正在解决的问题，一些DCE的领导厂商，比如思科，已经在推出的商用化DCE产品中提供了相应的虚拟机标识机制，并且思科已经联合VMware等厂商将这些协议提交IEEE实现标准化。

虚拟机迁移的网络环境：服务器虚拟化是依靠虚拟机的迁移技术实现与物理资源无关的资源共享和复用的。虚拟机迁移需要一个二层环境，这导致迁移范围被局限在传统的VLAN内。我们知道Web2.0、云计算等概念都需要无处不在的数据中心，那么如何实现二层网络的跨地域延展呢？传统的L2 MPLS技术太复杂，于是IEEE和IETF正在制定二层多路径（即二层延展）的新标准，DCE的领导厂商思科公司也提出了一种新的协议标准Cisco Over the Top Virtualization(OTV)来解决跨城域或广域网的二层延展性问题，从而为服务器虚拟化提供可扩展的网络支撑。

2.3 自动化

自动化是SODC架构中上层自动优化的实现服务调用必须条件。在高度整合化和虚拟化的基础上，服务的部署完全不需要物理上的动作，资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。现在商用的DCE自动化解决方案包括管理自动化和业务部署自动化。

XXX公司数据中心将在后续的建设中逐步完善自动化管理和自动化业务部署，但需要在本期通过DCE技术的实施打下未来自动化部署的坚实基础。

页脚内容15

劳动合同签订意向调查表

2.4 绿色数据中心

DCE技术的整合化、虚拟化和自动化本身就是在达到同样业务能力的要求下实现高效率利用硬件资源、减少总硬件投入、节约维护管理成本等方面的最佳途径，这本身也是绿色数据中心的必要条件。

另外DCE产品必须在硬件实现上实现低功耗、高效率，包括

利用最新半导体工艺

（越小纳米的芯片要比大纳米的芯片省电）

降低逻辑电路的复杂度 （在接入层使用二层设备往往要比三层设备

省电）

减少通用集成电路的空转 （使用定制化的专业设计的芯片往往比通

用芯片省电）

等等……

由此可见，对于一台网络设备，在业务能力相当的前提条件下，越小的功耗就代表越先进的技术。在DCE设备一般可以做到维持三层的全业务万兆吞吐功耗小于25W、二层的万兆吞吐功耗小于13W。

综上所述，在本次XXX公司新一代数据中心网络的建设中，将采用不同于传统以太网技术的DCE以太网技术，构建面向服务的高效能数据中心网络平台。

页脚内容16

劳动合同签订意向调查表

第3章 XXX公司数据中心网络设计

3.1 总体网络结构

本次XXX公司数据中心网络的建设将采用新一代的DCE技术，并使用DCE技术的代表厂商Cisco公司的Nexus系列产品。网络结构将采用大型数据中心典型的层次化、模块化组网结构。

3.1.1 层次化结构的优势

采用层次化结构有如下好处：

节约成本：园区网络意味着巨大的业务投资正确设计的园区网络可以提

高业务效率和降低运营成本。

便于扩展：一个模块化的或者层次化的网络由很多更加便于复制、改造

和扩展的模块所构成，在添加或者移除一个模块时，并不需要重新设计整个网

络。每个模块可以在不影响其他模块或者网络核心的情况下投入使用或者停止使用。

加强故障隔离能力：通过将网络分为多个可管理的小型组件，企业可以

大幅度简化故障定位和排障处理时效。

3.1.2 标准的网络分层结构

层次化结构包括三个功能部分，即接入层、分布层和核心层，各层次定位分别如下：

页脚内容17

劳动合同签订意向调查表

核心层：是企业数据交换网络的骨干，本层的设计目的是实现快速的数

据交换，并且提供高可靠性和快速的路由收敛。

分布层：也称为汇聚层。主要汇聚来自接入层的流量和执行策略，当第

三层协议被用于这一层时可以获得路由负载均衡，快速收敛和可扩展性等好处。分布层还是网络智能服务的实施点，包括安全控制、应用优化等智能功能都在此实施。

接入层：负责提供服务器、用户终端、存储设施等等的网络第一级接入

功能，另络智能服务的初始分类，比如安全标识、QoS分类将也是这一层的基本功能。

3.1.3 XXX公司的网络结构

根据业界企业网络最佳设计实践参考，在边缘节点端口较少的小型网络中，可以考虑将核心层与分布层合并，小型网络的网络规模主要由接入层交换机决定。但对于XXX公司而言，结合XXX公司的业务现状及发展趋势，我们可以看到未来几年内业务处于一个高速成长期，必须在本期网络架构中充分考虑未来的可扩展性。所以XXX公司企业内部核心网络层次结构必须具有以上严格清晰的划分，即具有清晰的核心层、会聚分布层、接入层等分层结构，才能保证网络的稳定性、健壮性和可扩展性，以适应业务的发展。

XXX公司的业务应用特点又决定了核心层将相对接入的网络模块较少，只有楼层汇聚接入、数据中心汇聚接入、广域网接入等三块，如果采用单独的大容量物理核心设备将造成浪费，而如果采用低端核心设备则会对业务相对繁忙的数据中心汇聚形成瓶颈，也影响网络整体的稳定性。鉴于此，我们采用超大规模核心层设备Cisco Nexus 7000作为核心，但虚拟化为两套交换机，一套用于全网核心，一套用于数据中心汇聚。这样做的优势如下：

逻辑上仍然是清晰的两套设备，完全保持了前述网络分层结构的优势。 在性能上实现了网络核心和数据中心汇聚交换机资源的共享和复用，非

常好的解决了核心层数据量和数据中心数据量可能存在较大差异的问题。

以较低的投入升级了数据中心汇聚交换机的能力（相当于可以与核心层

复用4Tbps以上的交换能力），适于下一阶段要进行的数据中心双网融合的资源需求。

减少了设备数量，降低了设备投入成本、功耗开销和维护管理的复杂度。

XXX公司新一代数据中心整体网络结构如下图所示：

页脚内容18

劳动合同签订意向调查表

3.2 全网核心层设计

本次我们采用能扩展到15Tbps以上的Cisco Nexus 7000系列大型DCE交换机，每台Nexus7000划分为两个VDC（虚拟交换机），一个虚拟交换机作为XXX公司全网核心，另一个虚拟交换机作为数据中心的分布汇聚层交换机。

我们选择的是10插槽Nexus7010，以双机双冗余方式部署在网络核心。每台当前支持的最大交换容量为4Tbps，最大万兆端口容量为256个，每插槽交换能力为230Gbps（未来可扩展到500Gbps以上），可以在未来扩展40G/100G以太网。

本次每台N7010实配32个万兆端口，48个千兆端口，这些端口都可在物理上划分为属于全网核心的虚拟交换机和属于数据中心汇聚的虚拟交换机，每个虚拟交换机从软件进程到配置界面都各自，但可以共享和复用总的交换机资源。

每个虚拟交换机都支持vPC技术（Virtual Port-Channel），即可以实现跨交换机的端口捆绑，这样在下级交换机上连属于不同机箱的虚拟交换机时，可以把分别连向不同机箱的万兆链路用与IEEE 802.3ad兼容的技术实现以太网链路捆绑，提高冗余能力和链路互连带宽的同时，大大简化网络维护。

核心层虚拟交换机与其它设备互连都采用路由端口和三层交换方式，因此采用vPC进行链路捆绑时使用三层端口链路捆绑技术。如图所示：

页脚内容19

劳动合同签订意向调查表

3.3 数据中心分布层设计

3.3.1 数据中心分布层虚拟交换机

数据中心的分布汇聚层交换机是采用上述Nexus 7010内单独划分处理的虚拟交换机实现。虚拟交换机之间通过外部互连，并同样采用vPC的三层端口链路捆绑技术。分布汇聚层虚拟交换机与下面的接入层采用二层端口的vPC跨机箱捆绑技术互连，如下图所示。

3.3.2 数据中心分布层智能服务机箱

数据中心的网络智能服务由设计在分布层的智能服务机箱提供（Multi-Services Chassis）。单独的服务机箱可以不破坏高性能的一体化交换架构形成的数据中心主干，有选择的对三网合一的数据中心流量提供按需的网络智能服务。比如本地存储流量没有

页脚内容20

劳动合同签订意向调查表

必要在传输过程中经过数据应用类防火墙的检查（存储网内有自己的安全访问控制机制），这样的设计比较容易实现类似的FCoE流量的无干扰直达。

智能服务机箱采用Cisco Catalyst 6500交换机，配置720G引擎和18个万兆端口，内置防火墙模块（FWSM）、应用控制模块（ACE）， 提供应用级安全访问控制和应用优化、负载均衡功能。

智能服务机箱采用双机冗余结构，利用Catalyst 6500的VSS虚拟交换机功能，两个的机箱完全可以看成为一个逻辑机箱，再通过共4个万兆上连至2个N7000上的分布汇聚层虚拟交换机上。VSS技术形成了一个具有1.44Tbps能力的智能服务机箱，再通过N7000的vPC技术，则形成了智能服务机箱和N7000之间全双工高达80Gbps的互连带宽。由于N7000和6500VSS上都预留了足够的万兆端口，这个捆绑带宽值根据未来智能服务处理性能的需要还可以成倍的平滑升级。物理和逻辑的连接示意图如下面所示。

物理结构图 逻辑结构图

在一期实施中，智能服务机箱内智能服务器硬件模块的部署密度不高——每个机箱内防火墙模块、负载均衡模块各一块，这样每个机箱内使用引擎加速技术的防火墙模块最大迸发吞吐量32Gbps，负载均衡模块最大四层吞吐能力16Gbps（而且不是所有都需要负载均衡），完全满足当前业务需求，因此可以在实施中简化配置，改双机箱VSS结构为一主一备机箱方式，在以后随业务需求上涨，业务模块增多，再完善为双机箱负载均衡的VSS模式。

由于服务机箱内的防火墙模块和应用控制优化模块都支持虚拟化技术，因此还可以利用智能服务虚拟化实现基于每个数据中心业务组的定制服务策略和功能，使每个业务

页脚内容21

劳动合同签订意向调查表

应用使用所需资源时不必过度关注其物理存在方式，从而实现与物理无关的跨平台智能服务调用（SODC的交互服务调用），极大的提高资源利用效率，减少了物理设施维护的复杂度。这部分将在后面智能服务的详细设计中加以阐明。

3.4 数据中心接入层设计

使用Cisco Nexus 5000和2000系列DCE接入交换机，可以实现数据中心接入层的分级设计。

本次建议XXX公司使用的是具有将近1.2Tbps交换能力、初始配置有40个万兆以太网端口的Nexus 5020交换机，以及具备48个10/100/1000M以太网端口、4个万兆上连端口的Nexus 2148T。Nexus 2000是5000系列的交换矩阵延展器，通过部署在柜顶（Top of the Rack，ToR）的2148T，可以将本地接入的高密度服务器上连到5020，4个上连万兆端口可以提供48个千兆端口中至少40个端口的全线性转发能力，通过连接多台2148T，5020可以将1.2T的惊人交换能力延展到多个机柜，实现高性能、高密度、低延迟的DCE服务器群接入能力。而且作为5020的延展设备，2148T无需自身进行复杂配置，所有管理和配置都可在其上游的5020上完成，大大简化了多机柜、高密度服务器接入设备的管理复杂度。

Nexus 5000和2000都是按柜顶（Top of the Rack，ToR）交换机的尺寸设计，1～2U的高度内紧凑的集成了高密度的DCE端口，但同时提供可热插拔的冗余风扇组和冗余电源系统，其可靠性远非其它传统以太网中固定接口小交换机所可比。

Nexus 5000是业界第一款商用化FCoE交换机，其所有万兆以太网端口都支持FCoE。同时Nexus 5000支持扩展16个1~4G Fiber Channel端口或8个1~8G Fiber Channel端口，完全支持Fiber Channel SAN交换机的完整功能特性。也即传统需要以太网卡、FC存储卡（HBA）、InfiniBand卡的主机，只需要一张FCoE的以太网卡（CNA）就可以实现三种网络的接入，用户在操作系统上也可以看见虚拟化的以太网卡、HBA卡和InfiniBand卡，而它们共享万兆的高带宽，Nexus 5000还可通过Fiber Channel接口连接传统的SAN网络，实现SAN/LAN的整合，通过这种整合和虚拟化实现资源的自由调度和最大化利用，同时成倍减少的网卡数节约了功耗，提高了可靠性，降低了维护成本。

XXX公司的20个主机、服务器机柜将分为两列，每列选两个列中柜（Middle of the Row），柜内部署Nexus 5020，而每列其它8个普通机柜在柜顶（ToR）放置Nexus 2148T。物理部署类似下图所示：

页脚内容22

劳动合同签订意向调查表

普通的机柜内放置千兆端口服务器，每机柜可容纳具有冗余网卡的千兆服务器高达20个。每列的两个列中柜（MoR）内可放置具备万兆以太网卡的高性能服务器、万兆FCoE卡的新型服务器、具备Fiber Channel卡（HBA）的服务器和SAN交换机，甚至将来可以扩展具备FCoE接口的盘阵。

提供两种实际物理接线的方法： 方法1：交叉冗余链接

每两个普通机柜的设备都与另一个机柜的Nexus 2148T冗余交叉上连，每个普通机柜柜顶（ToR）的Nexus 2148T又通过4个万兆交叉上连至本列的两个列中柜（MoR）内的Nexus 5020，每列两个列中柜（MoR）内的Nexus 5020冗余互连，并且再交叉上连至Nexus 7000的虚拟交换机上。物理连接类似下图所示：

页脚内容23

劳动合同签订意向调查表

方法2：以Nexus 5000为单位的冗余和负载均衡

这种方法保证对于每个Nexus 2000而言只连接一个Nexus 5000，避免跨越Nexus 5000的负载均衡，也即避免负载均衡时偶发的在两个Nexus 5000互连的链路上产生流量。这种方法的优点是负载均衡效果更好，避免两个Nexus 5000之间可能产生的拥塞

页脚内容24

劳动合同签订意向调查表

（虽然可能性比较小），而且网络结构简单，易于管理。但缺点是冗余能力不如方法1，由于方法1让每一个Nexus 2000交错连接，所以可以容忍2000、5000同时出现故障。

由于2000、5000同出故障的概率极低，而方案2更容易实施，管理复杂度更小，所以一期施工推荐使用方法2。

在服务器的分配应尽量遵循相互业务紧密、访问量大或需要相互进行虚拟机迁移和调度的物理服务器应放置在同一柜列（Row）的原则，即共用一对Nexus 5000。

上图每个机柜的20台服务器可以完全实现双网卡的Load Balance Teaming方式下的线性网络接入，即每台服务器2G带宽（4G吞吐量）的网络接入能力。在一期实施中，为简化服务器端设计，可以服务器网卡可以先采用Active/Standby的Teaming方式。

3.5 数据中心地址路由设计

3.5.1 核心层

XXX公司数据中心核心层与分布汇聚层之间采用路由端口，实现三层交换，建议使用OSPF路由协议。

3.5.2 分布汇聚层和接入层

分布汇聚层和接入层之间使用交换端口，实现二层交换。如前所述，当前的主流虚拟机软件，如VMware、Virtual Server等都需要在二层交换下实现虚拟机迁移，因此在数据中心接入层使用二层交换将方便虚拟机的迁移和调度。当前由于Cisco独特的VSS虚拟交换机技术和vPC跨设备端口捆绑技术的使用，可以实现在二层结构下完全没有环路，从根本上解决了生成树算法收敛慢、不稳定、故障多的问题，也使得在一个数据中心内二层结构下的可扩展性与三层结构没有根本的区别。如下图所示，只要经过适当设计，本项目接入层的二层部分将没有环路，快速生成树算法将只用于在误操作等极端情况下的防范手段。

页脚内容25

劳动合同签订意向调查表

当IEEE的改进生成树协议或者IETF的二层路由协议技术成熟，或者直接使用思科当前就可以提供的OTV技术，二层结构还可以扩展到城域和广域网中去，扩大服务器虚拟化的调度范围，向云计算的理想迈进。

分布汇聚层的智能服务机箱相关的地址和逻辑设计将在后面专项的智能服务介绍中详细阐述。

3.5.3 VLAN/VSAN和地址规划

接入层内的Nexus 5000和2000将可以把主机服务器和存储设备一并接入统一交换，其中数据网络部分实现传统的VLAN设计，而存储网络则支持VSAN。

在DCE的一体化交换架构下，数据网络部分的逻辑结构设计（地址和路由）与分层设计的传统网络完全兼容，因此用户现有的主机、服务器在割接到新数据中心时无需变更地址，实现平滑过度。

页脚内容26

劳动合同签订意向调查表

第4章 应用服务控制与负载均衡设计

4.1 功能介绍

4.1.1 基本功能

本项目我们在数据中心的分布汇聚层的智能服务机箱内配置了Cisco 应用控制模块 (Application Control Engine, ACE)，作为数据中心的重要网络智能服务，该模块可为后台应用服务器提供高性能表现和最高级别的体系控制和安全保护。ACE主要针对大型企业和电信用户的服务器集群环境，可以有效地对重要应用数据的传送进行优化和简化，同时具备良好的性价比。

ACE提供了如下的性能和功能：

ACE 提供四到七层数据包的内容交换和负载均衡功能，为服务器机群

提供虚拟地址和端口。ACE在插入Catalyst 6500后，交换机上的所有端口即可成为四层交换端口。ACE与Catalyst 6509数据总线和交换矩阵都有连接，最高带宽为16Gbps,每秒连接数为345000个。ACE不仅为服务器提供负载均衡，还可为外部的防火墙、VPN集中器……等等网络服务设施提供负载均衡。

ACE具备资源分配和隔离功能，是服务器虚拟化的重要手段之一。在一

个物理模块中，ACE可以划分为多个的分区，每一个分区都可以分配给一个应用或者一个用户使用。另外，每一个分区都支持层次化的管理模式，提供了资源管理的灵活性和安全性。ACE支持基于角色的访问控制(role-based access control), 所有的用户都被分配了相应的角色(role),每个角色在分区内被允许执行相关的命令集。例如系统管理员角色(system admin role)可以执行ACE所有的命令而应用程序管理员角色(application admin role)只能执行和后台应用及内容交换的命令等。

ACE具有强大的安全功能，可以有效地保护后台的应用程序免受恶意攻

击。主要的技术包括： HTTP深层包检测、双向动态、静态和基于策略的地址转换(NAT/PAT)，访问控制列表、TCP包头验证、TCP连接状态监控等。

ACE支持多层次的冗余性，对关键业务提供最高等级的可用性保护。ACE

是目前业界唯一可以实现以下三种高可用性保护的四层交换机

机箱间冗余 --- 两台机箱间的ACE板卡可互为冗余保护 板卡间冗余 --- 同一机箱内的多个ACE板卡可互为冗余保护

页脚内容27

劳动合同签订意向调查表

虚拟分区前冗余 –同一ACE板卡内的不同虚拟分区之前可互为保护

ACE的冗余保护对动态的连接进行保护，保证当主业务板卡故障时业务

连接仍然得以保持。

硬件加速方式的协议控制，对常见协议提供有效的检查、过滤和绑定。

这些协议包括HTTP,RTSP,DNS,FTP,ICMP等。硬件方式实现ACL和NAT功能，最多支持一百万个NAT转换表项。

4.1.2 应用特点

4.1.2.1.虚拟化分区

虚拟分区实现了资源分段和隔离，使思科ACE可作为一个物理模块中的多个虚拟模块运行。凭借这个解决方案，企业能够利用一个思科ACE模块，为多达250个不同的企业机构、应用、或客户和合作伙伴提供事先定义的服务水平。虚拟分区使应用基础设施能更好地用于业务运营，同时减少设备并实现出色的控制。

另外，每个虚拟分区还包括分级管理域，既能确保应用的性能水平，又可使ACE模块中的可用资源得到最大限度的利用。

思科ACE为分散的管理提供集中的控制，从而为每个虚拟分区提供了基于模板的或可自定义的用户访问权限。基于角色的访问控制(Role Based Access Control, RBAC)特性允许企业对管理角色进行定义，限定管理员对模块或虚拟分区内特定功能的使用权。由于一个机构中可能有多位管理员需要以不同级别（例如，应用管理、服务器管理、网络管理、安全管理等）与思科ACE模块互动，因此，对这些管理角色进行准确定义，使每个管理员群组都能够在不影响其他群组的情况下顺利地执行任务，无疑是一项重要工作。

通过与Cisco Catalyst 6500的虚拟路由转发(VRF)、防火墙模块的虚拟化相集成，可支持从路由功能、防火墙到应用控制负载均衡的端到端的智能服务虚拟化（如下图所示）。

页脚内容28

劳动合同签订意向调查表

4.1.2.2.性能和扩展性

思科ACE提供了业界最高水平的应用供应能力。每个思科ACE模块的吞吐率可高达16 Gbps，每秒支持345,000个持续连接，可以轻松地处理大量数据文件、多媒体应用和庞大的用户群体。ACE系列模块配备了“随增长而投资”的付费许可证，提供了最高16 Gbps的可扩展吞吐率，客户无需为扩充容量而全面升级系统。在设计上，ACE也为未来的增值服务和扩展功能预留了空间。实际上，通过在单一Cisco Catalyst 6500机箱中安装四个ACE模块，它提供了业界最高水平的可扩展性。

思科ACE还提供了多层冗余性、可用性和可扩展性，为您的关键业务提供最大限度的保护。它还是业内唯一提供三种高可用性模式的产品：

机箱间高可用性：一台Cisco Catalyst 6500中的ACE由对等Cisco

Catalyst 6500中的ACE保护。

机箱内高可用性：Cisco Catalyst 6500中的一个ACE由同一Cisco

Catalyst 6500中的另一个ACE保护(Cisco Catalyst 6500内置了强大的冗余性)。

分区之间高可用性：思科ACE支持在两个模块上配置的虚拟分区之间的

高可用性，使特定分区能够在不影响模块中其他分区和应用的基础上执行故障切换。

所有这些可用性模式均通过复制连接状态和连接表，提供了快速的状态化应用冗余性。

页脚内容29

劳动合同签订意向调查表

4.1.2.3.安全功能

思科自防御网络提供了多个级别的防御功能，使客户可以高枕无忧。思科ACE可通过以下特性，保护数据中心和关键应用免受恶意流量的影响：

HTTP深度包检测——HTTP报头、URL和净负荷 双向网络地址转换(NAT)和端口地址转换(PAT)

支持静态、动态和基于策略的NAT/PAT

访问控制列表(ACL)可选择地允许端口间的哪些流量通过 TCP连接状态跟踪 用于UDP的虚拟连接状态 序列号随机生成 TCP报头验证 TCP窗口尺寸检查

在建立会话时检查单播反向路径转发(URPF)

4.1.2.4.集成硬件加速协议控制功能

在应用供应领域尚属首次面世，为许多常用数据中心协议，如HTTP、实时流协议(RTSP)、域名系统(DNS)、 FTP和互联网控制消息协议(ICMP)，提供了有效的检测、过滤和修复功能。

拥有多达256,000个条目的大型可扩展ACL能够同时支持应用希望获得的前端可扩展性（用户/客户端应用数量）和后端可扩展性（服务器/服务器群数量）。此外，多达1,000,000个条目的高性能、可扩展NAT事件处理功能也支持许多大型数据中心的整合和应用更快速的面世。虚拟分区则可以使所有重叠的IP子网保持，无需为保护数据中心而进行费用高昂的网络重新设计、重新配置，或添加额外的设备。

思科ACE也支持对于协议符合性的检查，且可为安全分析提供事件记录和报告。

页脚内容30

劳动合同签订意向调查表

4.1.2.5.基础设施简化

第二至七层网络集成——作为Cisco Catalyst 6500机箱的一个模块，思科ACE可以轻松地插入任何新型或现有的网络，提供了一个第二至七层全面而丰富的解决方案。该解决方案支持Catalyst 6500所支持的所有端口类型和数量，支持高达720 Gbps的机箱吞吐率，可以轻松扩展，来满足最大型网络的要求，此外，该集成解决方案也节省了所占空间。利用路由状态注入 (RHI)和自动状态集成，可支持应用和数据中心高可用性，而ACE虚拟分区通过开启或关闭网络中的物理接口可强制进行故障切换。

4.1.2.6.功能整合

通过在一台设备上整合内容交换、SSL加速、数据中心安全等功能，思科ACE获得了从bps到pps的性能显著提升，缩短了应用延迟。利用功能整合，TCP信息流只需终结一次，而无需在网络上的四个或四个以上的位置进行终结，既节省了时间，又减少了处理工作和内存占用。加密和解密、负载均衡决策、安全性检查和业务策略分配及验证均在网络中的单一地点完成，以较少的设备、简化的网络设计和更方便的管理，实现了更理想的应用性能。

4.1.2.7.管理功能

思科ANM可对多个ACE模块上的虚拟分区和层次化管理域进行管理。这个基于服务器的管理套件能对多个ACE模块上的大量虚拟分区进行发现、配置、监控和报告，使部署完全透明化。基于模板的配置和审计与服务激活/中止功能相配合，可快速实施应用。通过匹配服务API，可配置任务的RBAC组，允许多位管理员群组在多个ACE模块和虚拟分区上同时进行操作。

4.1.2.8.SSL加速

思科ACE解决方案集成了SSL加速技术，可卸载外部设备（服务器、设备等）的SSL流量加密和解密工作，允许思科ACE对加密数据进行更深入的检查，并应用安全和内容交换策略。这一设置不仅使思科ACE可以作出更明智的策略决策，还可确保您的应用供应平台遵守内部和外部法规。利用重加密功能，思科ACE解决方案在确保敏感数据端到端加密的同时，还可执行智能策略。

页脚内容31

劳动合同签订意向调查表

4.1.2.9.事务处理可视性

凭借每秒处理350,000个系统日志的业界领先速度，思科ACE解决方案可记录大量连接设置和断接，它提供了事务处理级可视性，且不会影响数据传输性能。

4.1.2.10.开放的硬件平台

利用两个可现场升级的子卡插槽，未来的需要硬件化处理的新功能都可作为子卡插入ACE模块，思科ACE模块能支持未来的功能和更高可扩展性。这种灵活性确保了思科ACE解决方案在今后的若干年中，都可以随着需求的发展而扩展，无需实施全面的模块升级，且几乎或完全不会造成业务中断。

4.2 数据中心的应用情况

在XXX公司相关部门的明确指导和大力协助下，我们在设计前期信息收集过程中，充分了解了XXX公司数据中心各应用的基本情况及其对网络层次的要求。目前XXX公司的数据中心服务的应用系统中有如下核心应用：

……

其中需要特殊对待的主要是XXXX等几种应用应用和开放式系统应用，随着项目向前推进，应用需求也可能会略有增加或发生变化，本设计文档也会相应地更新，确保达XXX公司数据中心网络良好地服务于各种业务应用系统。

4.2.1 XXXX应用1

目前，XXX公司数据中心共部署有X套XXXX实例，每套XXXX实例负责托管共有来自不同地理位置的X名最终用户访问的XXXX应用，各套XXXX实例间相互。XXXX客户使用HTTP/HTTPS接入XXXX的WEB主页，根据客户在菜单中的选择，XXXX WEB服务器可建立到开放式系统或XXXX的连接。见图 “XXXX方框图”。

图：……

每套 XXXX实例包括以下内容： ……

页脚内容32

劳动合同签订意向调查表

4.2.2 XXXX应用n

……

4.3 应用优化和负载均衡需求

XXX公司系统应用中，XXXX应用和开放式系统应用需要提供基于网络的服务器负载均衡：

XXXX环境中的HTTP和HTTPS流量

XXXX WEB服务器和开放式系统服务器之间的后台流量（服务器到服务

器的流量）。

4.3.1 XXXX应用的负载均衡要求

最终用户将HTTPS（TCP端口443）流量发送至AD/LDAP管理服务器进

行认证。SSL会话在AD服务器上终接，且不需要服务器负载均衡。

最终用户向VIP（Virtual IP）发出HTTP/HTTPS GET请求，ACE将对这

些请求进行负载均衡处理并转发到WEB服务器。

在打开XXXX web主页之后，根据应用要求，最终用户的HTTP流量可能

会被重定向到一台SSL服务器上进行数据加密。

需要更多数据的时候，WEB服务器可以建立与以下系统的直接连接：

DB服务器（通过 SQL RPC）

XXXX服务器（Unix，通过TCP套接字） XXXX服务器（Unix，通过TCP套接字） XXXX主机 （主机，通过 TCP套接字）

Open Systems （Unix/Windows，通过信道接口） XXXX DB服务器以工作/备用模式运行，不需要负载均衡。

通常，客户端的源IP保存在通往真实服务器的流量路径中，用于应用

记账和管理目的。

页脚内容33

劳动合同签订意向调查表

4.3.2 开放式系统应用的负载均衡要求

每台开放式系统服务器由16 个LPAR组成，每个LPAR可以运行多个应

用程序，如WEB、APP和DB。

在一期建设中，30个开放式系统中只有部分应用明确需要网络层提供

服务器负载均衡。

XXXX Web服务器到开放式系统的流量（服务器到服务器或服务器发起

的流量）将被负载均衡。

4.4 应用优化和负载均衡设计

4.4.1 智能服务机箱设计

4.4.1.1.物理连接

ACE模块和防火墙模块是一期数据中心实施中服务机箱提供的两个主要网络智能功能设备。在未来理想的设计蓝图中，两个服务机箱将通过VSS技术合并为虚拟的单一机箱，并同时实现内部服务模块的冗余和负载均衡。而在本期中，由于服务机箱内智能服务器硬件模块的部署密度不高——每个机箱内防火墙模块、负载均衡模块各一块，这样每个机箱内使用引擎加速技术的防火墙模块最大迸发吞吐量32Gbps，负载均衡模块最大四层吞吐能力16Gbps（而且不是所有都需要负载均衡），完全满足当前业务需求，因此可以在实施中简化配置，改双机箱VSS结构为一主一备机箱方式，在以后随业务需求上涨，业务模块增多，再完善为双机箱负载均衡的VSS模式。如下图所示：

页脚内容34

劳动合同签订意向调查表

每个机箱双万兆上连到两台Nexus 7000，建议如果有富余万兆端口可以每台使用4个万兆端口、双双上连到Nexus 7000，这样在Nexus 7000使用vPC跨机箱捆绑技术后，整个拓扑将可用看成是一个三角形结构——每个智能服务机箱上连带宽40G（双工80G），服务机箱之间带宽20G（双工40G）。

4.4.1.2.逻辑结构

根据前面分析的数据中心业务特点，可以将数据中心划分为n个业务区，每个业务区将有自己的智能网络服务策略，比如对应的虚拟防火墙，对应的虚拟ACE，对应的虚拟路由VRF和虚拟局域网组VLAN Group。每个业务区在管理员给定的许可资源范围内充分共享和复用底层资源，以最低的管理和成本代价实现高效复用。如下图所示：

页脚内容35

劳动合同签订意向调查表

虚拟服务区划分的原则如下：

建议一个安全域对应一个虚拟服务区，这样每个虚拟防火墙的策略将可用简单化为入策略和出策略（安全设计章节将详细介绍）

虚拟防火墙、虚拟ACE、VRF、VLAN组一一对应是最理想化的虚拟化模式，这样将最大程度的实现与特定业务相关的从路由到应用、再到安全的一整套虚拟化资源划分策略

同一业务一定要在一个虚拟服务区中

需要进行虚拟机迁移的虚拟主机要在一个虚拟服务区中

划分不宜过细，分区不宜过多，建议一期不超过5个分区

服务机箱相互之间、与Nexus 7000之间的链路都采用二层交换方式，万兆在捆绑后使用IEEE 802.1Q封装，通过VLAN标记使不同的VLAN Group对应到机箱内不同的虚拟化服务上去。

上面的逻辑结构对应到前述的三角形拓扑中会看到一个冗余的环路，在二层结构中将会导致生成树算法而关闭冗余链路，我们建议将IEEE 802.1Q的VLAN Trunking链路上进行VLAN范围设置，使服务机箱互连的捆绑链路上的VLAN和每个服务机箱上连

页脚内容36

劳动合同签订意向调查表

Nexus 7000的VLAN不同，前者的VLAN只用于服务模块相互间状态、配置同步和故障时的临时通道，这样所有链路都会被充分利用，而也不会形成环路并需要生成树算法收敛计算路径。

4.4.2 应用负载均衡的设计

ACE的核心功能是负载均衡服务，在一般设计中有两种提供负载均衡服务的方式：串联模式和单臂模式。

以下为简单起见，只对Active部分进行描述，Standby部分的设计与Active部分完全相同，只有在Active局部或全部失效，才会由Standby来局部或全部接管，在后面“高可用性设计”部分有详细讨论。

4.4.2.1.方案一：串联模式的应用负载均衡模块ACE

应用负载均衡模块ACE和防火墙模块FWSM均以串连方式在网络中部署。在桥接模式下串联部署的ACE非常简单，因为VIP（Virtual IP）直接位于客户端和服务器间的路径上。

在串联模式ACE设计方案中，发往VIP的客户端流量到达MSFC，MSFC执行IP路由查询，然后将流量转发至FWSM。FWSM做安全控制策略后再将其转发给ACE以作出负载均衡决策。选择真实服务器后，ACE执行L2重写（服务器NAT）并将流量转发至真实服务器。真实服务器发出的返回流量通过相同的路径回到客户端。如下图所示。

页脚内容37

劳动合同签订意向调查表

串联模式ACE的方案的特点：

比较容易做到虚拟防火墙、虚拟负载均衡理想的一一对应（如上图） FWSM 放置在ACE和MSFC之间，不能利用ACE的路由动态插入RHI功能（RHI后面将有介绍）

要在不同子网上实现新服务器群的负载均衡，要在ACE上添加新的服务器VLAN和客户端VLAN

服务器备份等发往WEB服务器的非负载均衡流量也都必须桥接通过ACE。

其它没有负载均衡必要的服务器通信都必须通过ACE进行

4.4.2.2.方案二：单臂模式的应用负载均衡模块ACE

在单臂模式ACE设计方案中，ACE仅通过一个VLAN连接到MSFC，并处于防火墙保护之外。

页脚内容38

劳动合同签订意向调查表

从客户端发往VIP地址的流量即需要负载均衡的流量从MSFC路由到ACE，ACE进行负载均衡后，选择真实服务器后，执行L3重写（服务器NAT），并将流量转发到FWSM进行包检查，然后再转发到真实服务器。在MSFC上配置PBR时，FWSM将发自真实服务器的返回流量转发到MSFC。PBR对流量进行分类，随后将其发回ACE。ACE为服务器NAT执行反向L3重写，将流量发回MSFC，MSFC再将其转发回客户端。ACE单臂VLAN的默认网关是MSFC接口IP，真实服务器的默认网关则是FWSM上的接口IP。FWSM上定义了默认路由来将服务器流量转发到MSFC。

ACE单臂模式下，为了确保返回的流量能够回到ACE，需要NAT或策略路由（PBR），源NAT比较简单，但不适合使用源IP地址追踪客户端使用模式来进行记账和计费的客户。PBR避免了这一问题，但又带来了其他问题，如路由复杂性、非负载均衡流量的非对称路由和VRF支持等问题。

单臂模式ACE方案的特点：

最大的优势是可以对需要负载均衡的流量才经过ACE，这样大大提高了数据中心的可扩展性

可以配置RHI来动态地将VIP作为主机路由发布给MSFC，简化配置，实现动态学习

没有FWSM的保护，但对于内网而言并不关键，特别是ACE本身有极强的安全保护能力

页脚内容39

劳动合同签订意向调查表

MSFC上需要源NAT或PBR，以确保由真实服务器发送的返回流量可转发回ACE

比较难实现虚拟化ACE与虚拟化防火墙的理想一一对应模式，因为为实现该方式必须把ACE连到VRF上，而当前在Cat6500上基于VRF的PBR还有一些

4.4.2.3.应用负载均衡设计方案比较

根据详细的方案比较，结合XXX公司数据中心网络特点和各应用要求，我们认为当前业务对使用虚拟化ACE的迫切程度远不及防火墙的虚拟化，而相对不需要使用ACE的数据中心业务流量还比较多，因此我们推荐采用单臂模式ACE的方案。在将来业务发展，业务端到端虚拟化要求迫切，并且未来基于VRF的PBR比较完善后，我们还可用比较容易的切换到基于虚拟化ACE的单臂模式。

4.4.3 地址和路由

4.4.3.1.ACE的路由设计

在以上设计中的虚拟防火墙和ACE模块都将采用路由模式。路由实现如下图所示：

页脚内容40

劳动合同签订意向调查表

（一）Inbound流量的路由设计

服务机箱Catalyst 6500的MSFC将在Global路由上运行与核心一致的OSPF协议。 ACE和MSFC之间将使用路由动态插入（Route Health Injection，RHI）。RHI允许ACE将VIP作为主机路由插入到MSFC的IP路由表中，从而可以在整个网络中公布该VIP地址的可用性。使用RHI有如下好处：

易于管理维护：没有RHI，要将流量转发至新的VIP，MSFC上就可能需

要手动定义的静态路由。有了RHI，VIP可以作为主机路由自动公布，并插入到MSFC IP路由表中。

动态自动更新维护：创建一个新的VIP时，仅当服务器群中至少有一个

工作的真实服务器时才会将主机路由插入到MSFC IP路由表中。如果服务器群中的所有真实服务器均处于非运行状态，主机路由便会从MSFC IP路由表中删除。

在虚拟防火墙和MSFC之间也可以采用RHI特性，同理每个虚拟防火墙都把自己的内网口直连路由、自己指向内网的静态路由、NAT Pool等报告给MSFC，并在MSFC的OSPF中动态发布，无需人工在MSFC上配置大量指向内网的静态路由和繁琐的日常静态路由表维护工作。

页脚内容41

劳动合同签订意向调查表

虚拟防火墙上将配置指向内网的静态路由、做NAT等，这些路由信息都将使用RHI特性报告给MSFC，并由MSFC发布出去。建议在地址设计时将每个虚拟防火墙内部的各个VLAN的地址设计为连续且易于汇总的地址块，这样在每个虚拟防火墙上做的静态路由工作将会降至最低。

在虚拟防火墙内还有VRF（虚拟路由转发），它直连并终结接入层的VLAN，有可能是一个VLAN，也可以是多个VLAN。数据中心接入层的服务器将默认网关设在VRF的对应VLAN接口上（VRRP或HSRP的虚拟IP地址）。同一个安全域内的VLAN之间的路由直接由VRF通过直连路由完成三层交换，让防火墙解脱同安全等级流量转发的负担。这些VLAN对VRF都是直连网段，在VRF上无需设置任何指向内部的静态路由。

（二）Outbound流量的路由设计

向外流量的路由则非常简单，主机通过默认网关指向Active的VRF VLAN接口，VRF通过默认路由指向Active的虚拟防火墙内网口，虚拟防火墙通过默认路由指向Active的MSFC内部接口，ACE通过默认路由指向Active的MSFC。其中VRF、MSFC将使用VRRP/HSRP，防火墙模块、ACE模块将运行Active/Standby方式的冗余热备协议。

4.4.3.2.VIP地址变更的流程设计

对于XXX公司数据中心的各个业务应用中，可能一些应用在项目初始阶段不需要流量负载均衡，为了适应未来的增长并提供应用系统冗余，可以使用以下两种方法之一来将非负载均衡流量迁移至负载均衡环境中。

方法一：新的VIP－在ACE等负载均衡器上，以及包括现有真实服务器

和新增服务器的新服务器群上定义一个新的VIP。现有真实服务器IP地址保持不变，而新的服务器会分配到一个新的IP地址。（注意：必要时更新新的VIP的DNS服务器的记录）。

方法二： 现有VIP－将现有真实服务器IP移到ACE上作为新的VIP，

为现有的真实服务器和新增的真实服务器分配新的IP地址。（注意：不需要更新DNS服务器的记录）

4.4.4 安全功能的设计

除了服务器负载均衡功能之外，ACE在3.0及以后的版本中还提供强大的应用安全特性，使得单臂模式ACE方案中非处于防火墙保护之内的ACE模块的安全性得到了强有力的保障，这些功能包括：

页脚内容42

劳动合同签订意向调查表

访问控制列表ACL：ACL包括一系列语句，定义网络流量的概况。每个

条目允许或拒绝网络流量（入和出）到达条目中规定的网络各部分。除了一个执行单元（允许或禁止）外，每个条目还包括一个基于源地址、目的地址、协议、协议特定参数等标准的过滤器单元。在每个ACL的最后都有一个隐式的拒绝全部的条目，因此在希望允许连接的每个接口上都必须配置一个ACL。否则ACE将拒绝该接口上的全部流量。

AAA：ACE模块可执行用户身份认证和记账（AAA）服务，为访问ACE的

用户提供更高的安全性。AAA服务使得可以使用多个AAA服务器来控制哪些人可以访问ACE，并跟踪访问ACE的每个用户的操作。根据所提供的用户名和口令组合，ACE可使用本地数据库执行本地用户身份认证，或者使用外部AAA服务器来实现远程身份认证和记账。

应用协议检查：在数据包通过ACE的时候，某些应用需要对数据包的数

据部分进行特别处理。应用协议探测有助于验证协议的行为并识别流经ACE的有害的或恶意的流量。根据通信流量策略的规定，ACE可接受或拒绝数据包，从而确保应用和服务的安全使用。可能需要ACE执行HTTP、FTP、DNS、ICMP和RTSP协议的应用检测，作为将数据包转发到目的服务器前的第一步。对于HTTP，ACE将执行深层数据包检查来监控HTTP协议的状态并根据用户定义的流量策略来允许或拒绝流量通过。HTTP深层数据包检查主要关注HTTP属性，如HTTP报头、URL以及有效负载等。对于FTP，ACE将执行针对FTP会话的FTP明令检查，从而允许您根据ACE特定命令。应用检测有助于识别TCP或UDP流中嵌入的IP地址信息的位置。这些检测使ACE可以转换嵌入的IP地址并更新受转换影响的校验和或者其他字段。

TCP 标准化：TCP标准化是一种第4层特性，包括ACE在数据流传输不

同阶段（从最初的连接建立到连接关闭）执行的一系列检查。可以通过配置一个或多个高级TCP连接设置来控制很多分段检查。ACE使用这些TCP连接设置来确定执行哪些检查，并根据检查结果确定是否丢弃一个TCP分段。ACE会丢弃那些显得异常和畸形的分段。这种特性可检查发现非法或可疑（如从服务器发送到客户端的一条SYN，或从客户端发送到服务器的一条SYN/ACK）的分段，并根据配置的参数设置采取恰当的措施。ACE可使用TCP标准化来阻塞某种类型的网络攻击，如插入（insertion）攻击和躲避（evasion）攻击。插入攻击是指设计一种机制，使检查模块接收终端系统拒绝的数据包。躲避攻击是指设计一种机制，使检查模块拒绝被终端系统接受的数据包。ACE总是自动丢弃坏分段校验和的数据包、坏TCP报头或错误的有效负载长度的数据包、带有可疑的TCP标记 （如 NULL、SYN/FIN或 FIN/URG） 的数据包。

页脚内容43

劳动合同签订意向调查表

网络地址转换：为了给服务器提供安全性，还可以将服务器的专用IP

地址映射到一个全局可路由的IP地址。客户端可使用该地址来连接到服务器。在这种情况下，从客户端发送数据到服务器时，ACE将把全局IP地址转换为服务器专用IP地址。相反，当服务器响应客户端的时候，ACE将把本地服务器IP地址转换为一个全局IP地址，以达到安全目的，这个过程称为DNAT。 我们建议在一期建设中由于本项目的数据中心处于内网，来自外部的攻击相对少，可以部分的使用ACE的这些安全特性作为自身保护和对防火墙的功能补充、负担卸载（比如对特定协议的检查），不建议作为主要的安全手段使用。

4.4.5 SSL分流设计

ACE可以实现在网络上协助完成SSL的分流，以减轻后台服务器操作SSL的压力。安全套接层（SSL）是一种应用层协议，为互联网提供加密技术，依赖证书和私钥/公钥交换来实现这一层次的安全性，从而确保安全交易，如为电子商务网站传输信用卡号。通过结合私密性、身份认证以及SSL数据完整性，SSL可在客户端和服务器之间提供安全的数据交易。

ACE模块通过一组特殊的SSL命令组来在客户端和服务器之间执行加密功能。SSL功能包括服务器认证、私钥公钥生成、证书管理以及数据包加密和解密。

ACE支持SSL第3.0版以及传输层安全（TLS）第1.0版。ACE可以理解并接受SSL 2.0版的Client Hello消息（该消息也称为混合2/3 hello消息），从而允许两种版本的客户端同ACE通信。在客户在ClientHello 第2.0版中指明SSL第3.0版时，ACE了解该客户端可以支持SSL 3.0版并返回一条3.0版的Server Hello消息。如果客户端仅支持SSL第2.0版，则ACE不能让网络流量通过。

建议根据不同的应用要求，可以有选择的配置SSL分流（off-loading）功能来为服务器提供数据加密/解密。在SSL Off-loading的情况下，客户端发送 HTTPS流量到ACE VIP，ACE 将SSL 流量转发到板上（on－board）SSL模块进行加密。明文流量将发回到ACE以做出负载均衡决策，然后再转发到真实服务器。从真实服务器发出的返回流量被转发到ACE，ACE再将明文流量发送到SSL模块进行重新加密。然后，加密的流量就发送回ACE，ACE再将其转发回客户端。从而最终解脱服务器繁重的SSL处理负担。

页脚内容44

劳动合同签订意向调查表

4.4.6 扩展性设计

XXX公司数据中心网络设计中采用了业务功能模块化和网络拓扑层次化的设计架构，使用了核心、分布和接入层模式，在这种模式下，服务器负载均衡、防火墙、SSL卸载等网络服务在分布层提供。应用承载设计中两个关键部件的性能指标给方案的可扩展性提供了良好支持。

ACE提供业界最高的第4至7层性能，每个模块每秒的吞吐量可达16Gbps，支持的连接数可达345000条。凭借这一最佳性能和250个虚拟分区的支持， ACE可以提供最高的应用和用户群可扩展性。一个Catalyst 6500机箱中最多可以安装4个ACE模块，实现最大的可扩展性。

表 1 ACE性能及容量

特性 综合性能

吞吐量

每秒通过的数据包数

每秒处理的系统日

志数

内容交换性能

每秒最大连接数 同步连接 SSL 加速 内容交换配置

虚拟服务器 服务器群 真实服务器 VLAN 总量（客户端/服务器）

最高性能/配置

16 Gbps*, 8 Gbps* 和 4 Gbps 650万 350,000

345,000完整的交易速率 4 百万

5K, 10K, 15K* SSL 交易每秒； 默认为1,000

4,096 16,000 16,000 4000

ICMP、TCP、UDP、Echo、Finger、DNS、Telnet、FTP、HTTP、HTTPS、 SMTP、POP3、IMAP、RADIUS和Scripted

最多256,000个接入控制单元 250*, 基本报价包括5 个虚拟分区

4000

* 需要购买升级许可

页脚内容45

探测器

ACL条目 虚拟分区 VLAN总数 （客户端/服务器）

劳动合同签订意向调查表

4.4.7 高可用性设计

数据中心的业务和应用都有较高的可用性要求，这就要求网络具有支持业务永续性的冗余能力，这种冗余旨在消除设备或连接故障造成的影响。将这些冗余特性设计在适当的位置，并确保发生故障时数据仍可以从客户端流向服务器很重要。在XXX公司数据中心网络中，从机箱、路由模块、ACE模块、FWSM模块都充分考虑了冗余设计。

4.4.7.1.路由模块的冗余

Catalyst 6500机柜内有多种硬件特性可用于提供具有弹性的高可用性解决方案。这包括双电源以及双机箱系统。

电源将以冗余模式运行。在这种模式下，如果一个电源出现故障，或者机柜的交流电源出现故障，其余的电源将继续支持机柜的运行。

4.4.7.2.防火墙模块FWSM的冗余

FWSM支持状态故障切换，这意味着TCP连接和UDP流可从主动防火墙模块复制到备用防火墙模块。发生故障时，备用模块将变成主用模块，继续为已建立的连接转发流量。FWSM故障切换时间大约可在1～3秒。

在前面的设计中我们提到，两个服务机箱采用一主一备的冗余设计，两个机箱的防火墙模块通过一个特定VLAN（Failover VLAN）交换心跳信号和配置同步，从而能够检测出另一设备是否存在任何故障，并选择主用和备用设备。我们还在FWSM之间另外使用一个特定VLAN （Stateful VLAN）来复制防火墙正在转发的流量的状态信息，使得在切换后另一个防火墙上保留所有连接状态信息，可以提供切换前后不中断业务服务。

建议使用单独的冗余物理端口实现Failover VLAN和Stateful VLAN。

4.4.7.3.应用负载均衡模块ACE的冗余

应用负载均衡设计中，ACE模块的状态冗余就显得尤为重要了。ACE的状态故障切换可以在机箱内得到支持，也可以像XXX公司数据中心网络设计中那样跨不同机柜在对等的ACE模块间实现。

页脚内容46

劳动合同签订意向调查表

为了支持这种主用/备用配置，可以创建一个FT VLAN接口来传输心跳信号。FT对等设备内定义了心跳信号的频率，例如，每100毫秒和丢失10次心跳信号可视为对等设备丢失。故障切换定时器可由用户配置。

建议使用单独的冗余物理端口实现FT VLAN。

4.4.7.4.服务器的冗余

服务器的冗余实际是负载均衡服务器群中的多台服务器组成的负载均衡集群实现的，集群中服务器的健康状况主要由ACE进行实时动态监控，可以通过配置运行状况探测器（有时叫作keepalives）来指示ACE检查服务器和服务器群的运行状况。创建探测器后，就可以将它分配给某真实服务器或服务器群。探测器可以是以下类型中的一种：

TCP ICMP Telnet FTP HTTP GET HTTP HEAD

根据应用要求，可以调整运行状况探测器的参数，如时间间隔、故障检测（faildetect）、通过探测（passdetect）等，以满足需求。

时间间隔： 以秒为单位的探测间隔时间 失败探测： 记录真实服务器故障前的续错误数目

通过探测： 两次探测到服务器故障之间的时间间隔，单位为秒

负载均衡器定期发出探测信息以确定某服务器的状态，检查服务器响应以及其他可能阻止客户端到达服务器的网络问题。根据服务器的响应，负载均衡器可以使服务器开始运行或停止运行。根据服务器群中服务器的状态，负载均衡器就可以做出可靠的负载均衡决策。

页脚内容47

劳动合同签订意向调查表

4.4.7.5.服务器NIC Teaming（成组）

只有一个NIC接口的服务器可能会存在很多单点故障，如NIC卡、电缆及所连接的交换机。NIC成组是NIC卡供应商开发的一种解决方案，可通过提供特定的驱动器来消除这种单点故障。该方法允许将两块NIC卡连接到两个不同的接入交换机或同一接入交换机上的不同模块端口。如果一个NIC卡出现故障，第二块NIC卡就会接过服务器的IP地址并接替运行而不出现任何中断。NIC成组解决方案有多种类型，包括Active/Standby模式（一主一备）以及Active/Active（双活）模式。

根据单服务器的业务量和Teaming对网络复杂度的影响评估，我们推进的服务器NIC Teaming方式是Active/Standby模式（一主一备），并使用一个IP和共享的MAC地址。

4.4.7.6.高可用设计下的数据流分析

交换机、防火墙模块、ACE模块，任何一处的故障点都可以单独切换。

比如当前的A机箱内的防火墙故障，另一机箱B的防火墙将接管，应用业务将使用A机箱的VRF、B机箱的防火墙模块、A机箱的ACE完成所有数据流的处理。AB机箱内的数据流交互，通过AB之间的VLAN Trunking完成。

4.4.7.7.未来高可用性扩展

当前网络智能服务机箱使用主备模式工作，我们可用在未来考虑利用虚拟化技术，使一部分虚拟区以A机箱为主用，一部分虚拟区以B机箱为主用，这样两个机箱将形成Active/Actice的双活模式，形成真正的负载均衡和冗余共存的设计。当然这样的方案也会带来非对称路径处理等诸多复杂设计，我们建议当系统对智能服务的峰值处理量一个机箱内无法承载时，可用升级为这种双活服务机箱模式。

无论主备还是双活，思科都支持通过VSS技术将两个服务机箱虚拟化为一个机箱，以实现更为清晰的智能服务管理和更高性能的网络负载均衡能力。这也是我们可以在未来考虑进一步升级实施的。

页脚内容48

劳动合同签订意向调查表

第5章 网络安全设计

5.1网络安全部署思路

5.1.1 网络安全整体架构

目前大多数的安全解决方案从本质上来看是孤立的，没有形成一个完整的安全体系的概念，虽然已经存在很多的安全防护技术，如防火墙、入侵检测系统、防病毒、主机加固等，但是各个厂家鉴于各自的技术优势，往往厚此薄彼。必须从全局体系架构层次进行总体的安全规划和部署。

XXX公司本次信息建设虽然仅包括数据中心、内网楼层以及广域网中心部分的改造和建设，但也必须从全局和架构的高度进行统一的设计。建议采用目前国际最新的“信息保障技术框架（IATF）”安全体系结构，其明确提出需要考虑3个主要的因素：人、操作和技术。本技术方案着重讨论技术因素，人和操作则需要在非技术领域（比如安全规章制度）方面进行解决。

技术因素方面IATF提出了一个通用的框架，将信息系统的信息保障技术层面分为了四个技术框架域：

网络和基础设施：网络和基础设施的防护 飞地边界：解决边界保护问题

局域计算环境：主机的计算环境的保护

支撑性基础设施：安全的信息环境所需要的支撑平台

并提出纵深防御的IA原则，即人、技术、操作相结合的多样性、多层叠的保护原则。如下图所示：

页脚内容49

劳动合同签订意向调查表

主要的一些安全技术和应用在框架中的位置如下图所示：

我们在本次网络建设改造中需要考虑的安全问题就是上图中的“网络和基础设施保护”、“边界保护”两个方面，而“计算机环境（主机）”、“支撑平台”则是在系统主机建设和业务应用建设中需要重点考虑的安全问题。

5.1.2 网络平台建设所必须考虑的安全问题

高速发达的网络平台衍生现代的网络病毒、蠕虫、DDoS攻击和黑客入侵等等攻击手段，如果我们的防护手段依然停留在对计算环境和信息资产的保护，将处于被动。需

页脚内容50

劳动合同签订意向调查表

要从网络底层平台的建设开始，将安全防护的特性内置于其中。因此在SODC架构中，安全是一个智能网络应当对上层业务提供的基本服务之一。

XXX公司网络从平台安全角度的安全设计分为以下三个层次：

设备级的安全：需要保证设备本身的安全，因为设备本身也越来越可能成为攻击的最终目标；

网络级的安全：网络作为信息传输的平台，有第一时间保护信息资源的能力和机会，包括进行用户接入认证、授权和审计以防止非法的接入，进行传输加密以防止信息的泄漏和窥测，进行安全划分和隔离以防止为授权的访问等等；

系统级的主动安全：智能的防御网络必须能够实现所谓“先知先觉”，在潜在威胁演变为安全攻击之前加以措施，包括通过准入控制来使“健康”的机器才能接入网络，通过事前探测即时分流来防止大规模DDoS攻击，进行全局的安全管理等。

XXX公司应在上述三个方面逐步实施。

5.2网络设备级安全

网络设备自身安全包括设备本身对病毒和蠕虫的防御以及网络协议本身的防范措施。有以下是本项目所涉及的网络设备和协议环境面临的威胁和相应的解决方案：

5.2.1 防蠕虫病毒的等Dos攻击

数据中心虽然没有直接连接Internet，但内部专网中很多计算机并无法保证在整个使用周期内不会接触互联网和各种移动存储介质，仍然会较多的面临大量网络蠕虫病毒的威胁，比如Red Code，SQL Slammer等等，由于它们经常变换特征，防火墙也不能完全对其进行过滤，它们一般发作的机理如下：

利用Microdsoft OS或应用的缓冲区溢出的漏洞获得此主机的控制权

获得此主机的控制权后，安装病毒软件，病毒软件随机生成大量的IP地址，并向这些IP地址发送大量的IP包。

有此安全漏洞的MS OS会受到感染，也随机生成大量IP地址，并向这些IP地址发送大量的IP包。

导致阻塞网络带宽，CPU利用率升高等

直接对网络设备发出错包，让网络设备CPU占用率升高直至引发协议错误甚至宕机

页脚内容51

劳动合同签订意向调查表

因此需要在设备一级保证受到攻击时本身的健壮性。此次XXX公司的核心交换机Nexus 7000、智能服务机箱Catalyst 6500均支持硬件化的控制平面流量管制功能，可以自主必须由CPU亲自进行处理的信息流速，要求能将包速管制阈值设定在CPU可健康工作的范围内，从根本上解决病毒包对CPU资源占用的问题，同时不影响由数据平面正常的数据交换。特别是Nexus 7000的控制平面保护机制是在板卡一级分布式处理的，具备在大型IDC中对大规模DDoS的防护能力。

另外所有此类的蠕虫和病毒都会利用伪造源IP地址进行泛滥，局域网核心交换机和广域网骨干路由器都应当支持对转发的包进行源地址检查，只有源地址合法的IP包才会被转发，这种技术称为Unicast Reverse Forwarding（uRPF，单播反转路径转发）。该技术如果通过CPU实现，则在千兆以上的网络中将不具备实用性，而本次XXX公司网络中在万兆一级的三层端口支持通过硬件完成的uRPF功能。

5.2.2 防VLAN的脆弱性配置

在数据中心的不同安全域进行防火墙访问控制隔离时，存在多个VLAN，虽然广泛采用端口捆绑、vPC等技术使正常工作中拓扑简化甚至完全避免环路，但由于网络VLAN多且关系复杂，无法在工程上完全杜绝诸如网络故障切换、误操作造成的临时环路，因此有必要运行生成树协议作为二层网络中增加稳定性的措施。

但是，当前有许多软件都具有STP 功能，恶意用户在它的PC上安装STP软件与一个Switch相连，引起STP重新计算，它有可能成为STP Root, 因此所有流量都会流向恶意软件主机, 恶意用户可做包分析。局域网交换机应具有Root guard（根桥监控）功能，可以有效防止其它Switch成为STP Root。本项目我们在所有允许二层生成树协议的设备上，特别是接入层中都将启动Root Guard特性，另外Nexus5000/2000还支持BPDU filters, Bridge Assurance等生成树特性以保证生成树的安全和稳定。

还有一些恶意用户编制特定的STP软件向各个Vlan加入，会引起大量的STP的重新计算，引起网络抖动，CPU占用升高。本期所有接入层交换机的所有端口都将设置BPDU Guard功能，一旦从某端口接收到恶意用户发来的STP BPDU,则禁止此端口。

（三）防止ARP表的攻击的有效手段

本项目大量使用了三层交换机，在发送数据前其工作方式同路由器一样先查找ARP，找到目的端的MAC地址，再把信息发往目的。很多病毒可以向三层交换机发一个冒充的ARP,将目的端的IP地址和恶意用户主机的MAC对应，因此发往目的端的包就会发往恶意用户，以此实现包窃听。

在Host上配置静态ARP是一种防止方式，但是有管理负担加重，维护困难，并当通信双方经常更换时，几乎不能及时更新。

页脚内容52

劳动合同签订意向调查表

本期所使用的所有三层交换机都支持动态ARP Inspection功能，可动态识别DHCP，记忆MAC地址和IP地址的正确对应关系，有效防止ARP的欺骗。实际配置中，主要配置对Server和网络设备实施的ARP欺骗，也可静态人为设定，由于数量不多，管理也较简单。

5.2.3 防止DHCP相关攻击

本项目中的楼层网段会采用DHCP Server服务器提供用户端地址，但是却面临着几种与DHCP服务相关的攻击方式，它们是：

DHCP Server 冒用：当某一个恶意用户再同一网段内也放一个DHCP 服

务器时，PC很容易得到这个DHCP server的分配的IP地址而导致不能上网。

恶意客户端发起大量DHCP请求的DDos 攻击：恶意客户端发起大量DHCP

请求的DDos 攻击，则会使DHCP Server性能耗尽、CPU利用率升高。

恶意客户端伪造大量的MAC地址恶意耗尽IP地址池

应采用如下技术应对以上常见攻击：

防DHCP Server 冒用：此次新采购的用户端接入交换机应当支持DHCP Snooping VACL, 只允许指定DHCP Server的服务通过，其它的DHCP Server的服务不能通过Switch。

防止恶意客户端发起大量DHCP请求的DDos 攻击：此次新采购的用户端接入交换机应当支持对DHCP请求作流量限速，防止恶意客户端发起大量DHCP请求的DDos 攻击，防止DHCP Server的CPU利用率升高。

恶意客户端伪造大量的MAC地址恶意耗尽IP地址池：此次新采购的用户端接入交换机应当支持DHCP option 82 字段插入，可以截断客户端DHCP的请求，插入交换机的标识、接口的标识等发送给DHCP Server；另外DHCP服务软件应支持针对此标识来的请求进行限量的IP地址分配，或者其它附加的安全分配策略和条件。

5.3 网络级安全

网络级安全是网络基础设施在提供连通性服务的基础上所增值的安全服务，在网络平台上直接实现这些安全功能比采用的物理主机实现具有更为强的灵活性、更好的

页脚内容53

劳动合同签订意向调查表

性能和更方便的管理。在本次数据中心的设计范围内主要是访问控制和隔离（防火墙技术）。

从XXX公司全网看，集团网络、各地机构广域网、互联网、内部楼层、内部数据中心等都是具备明显不同安全要求的网络，按飞地边界部署规则，都需要有防火墙进行隔离。本文档仅讨论数据中心部分内部的防火墙安全控制设计。

5.3.1 安全域的划分

数据中心安全域的划分需要建立在对数据中心应用业务的分析基础之上，因而与前述的虚拟服务区的划分原则一致。实际上按SODC的虚拟化设计原则，每一个虚拟服务区应当对应唯一的虚拟防火墙，也即对应唯一的一个安全域。具体原则如下：

同一业务一定要在一个安全域内

有必要进行安全审计和访问控制的区域必须使用安全域划分 需要进行虚拟机迁移的虚拟主机要在一个安全域中

划分不宜过细，安全等级一致的业务可以在安全域上进行归并，建议一

期不超过5个安全域

一般可以划分为：OA区，应用服务区，数据库区，开发测试区等。

5.3.2 防火墙部署设计

各个安全域的流量既需要互访、又必须经过严格的访问控制和隔离，如果按照传统的网络设计，需要在每个网络应用和交换平台之间的边缘部署防火墙设备来进行安全保护，这样需要大量的防火墙，性能也受限于外部连接接口的带宽，还增加了网络管理的复杂度，未来也难以扩展。因此我们应当使用内置于交换机的高性能防火墙模块，可以不考虑复杂的连线而方便的进行安全域划分，容易扩展和管理，也提高了整体性能。

如果每个安全域有自己的防火墙，那么每一个安全域就只用考虑自己的一套出入策略即可，安全域复杂的相互关系变成了每个安全域各自的一出一进的关系，这样整个防火墙的策略就变得模块化、清晰化和简单化了。我们在诊断策略的问题时，只要到相关的安全域去看其专用的防火墙所使用的策略，就容易找到问题所在。我们在本次防火墙设计中将充分使用虚拟防火墙技术。

这里的虚拟防火墙功能是指物理的防火墙可以被虚拟的划分为多个的防火墙。每个虚拟防火墙有完全的配置界面、策略执行、策略显示等等，所有操作就象在一个单独的防火墙那样。而且虚拟防火墙还应当具有的可由管理员分配的资源，比如

页脚内容

劳动合同签订意向调查表

连接数、内存数、策略数、带宽等等，防止一个虚拟防火墙由于病毒或其它意外而过多占用资源。仅仅用VLAN一类的技术划分防火墙是无法起到策略性和资源性的目的的，不属于这里所指的虚拟防火墙。

虚拟防火墙还应当配合虚拟三层交换机来使用。每一个安全域可能内部存在多个IP子网，它们之间需要有三层交换机进行路由。但不同安全域之间这样的路由不应当被混同在一个路由表中，而应当每个安全域有自己的路由表，可以配置自己的静态和动态路由协议，就好像有自己使用的一个路由器一样。不同安全域相互之间仅通过虚拟防火墙互相连接。因此各个安全域的互连逻辑结构如下图所示：

最终应当达到虚拟化数据交换中心的使用效果。即交换机的任何物理端口或VLAN端口都能够充当防火墙端口，同时每个安全域有自己虚拟路由器，自己的路由表和的动态路由协议。每个安全域对应有一个自己专用的虚拟防火墙，每个虚拟防火墙拥有的管理员权限定义安全策略和使用资源。不同安全域的管理员只负责本区域虚拟防火墙的策略控制管理，而不用关心其它虚拟防火墙的配置工作，避免了单一区域安全策略配置错误而对其它区域可能造成的影响，从根本上简化大型数据中心管理维护的难度。

对防火墙模块的物理和逻辑的部署请参见前面“智能服务机箱设计”一节。

页脚内容55

劳动合同签订意向调查表

5.3.3 防火墙策略设计

不同安全域之间的访问控制策略由于虚拟化设计而只需考虑各个安全域内出方向策略和入方向策略即可。建议初始策略依据如下原则设定，然后根据业务需求不断调整：

出方向上不进行策略，全部打开 入方向上按“最小授权原则”打开必要的服务

允许发自内部地址的双方向的ICMP，但对ICMP进行应用检查（Inspect） 允许发自内部地址的Trace Route，便于网络诊断

关闭双方向的TCP Seq Randomization，在数据中心内的防火墙可以去

除该功能以提高转发效率

减少或者不进行NAT，保证数据中心内的地址透明性，便于ACE提供服

务

关闭nat-control（此为默认），关闭xlate记录，以保证并发连接数 对每个虚拟防火墙的资源进行最大限定：总连接数，策略数，吞吐量 基于每个虚拟防火墙设定最大未完成连接数（Embryonic Connection），

将来升级到定义每客户端的最大未完成连接数

5.3.4 防火墙性能和扩展性设计

本期项目建议采用的防火墙模块是具有5.5Gbps吞吐量、100万并发连接数、每秒10万新建连接数能力的高端防火墙系统。如下表所示：

表 FWSM性能和容量

特性 综合性能

最高性能/配置 5.5 Gbps 3 M pps

100万条同步连接

每秒100,000条HTTP/HTTPS

连接

256,000 当前 NAT 和 PAT转换

页脚内容56

全局配置

劳动合同签订意向调查表

VLAN接口

每个服务模块1000个 路由模式下每个虚拟防火墙256个VLAN

透明模式下每个虚拟防火墙8对VLAN对

在单一虚拟防火墙模式下最多为80,000个ACLs

20、50、100或250个 虚拟防火墙许可证

接入控制列表

虚拟防火墙

虽然在双活模式下，本项目的防火墙系统最大可以提供高达11Gbps的吞吐量，但作为未来的数据中心防火墙系统，我们认为还应当具备完全线性的吞吐量能力。幸运的是在本次提供的最新一版防火墙模块中，我将提供高达32Gbps的单模块吞吐能力，甚至以后可以扩展到300Gbps以上。这需要在防火墙模块上实现思科的最新技术：SUP Acceleration（引擎加速）。

在数据中心大数据量交互中，最占据防火墙处理开销的不是黑客攻击、越权访问等这些被拒绝的流，而是存储、备份、文件传输、虚拟机映像加载、内存同步等等大带宽消耗的正常应用的可信任流，它们的特点是在持续稳定的TCP连接或UDP会话中以最大的可传送能力（Best Effort）进行数据传送，往往可以侵占巨大的带宽，传统的防火墙对这类流量都会逐包进行检查处理，将导致防火墙内部处理的拥塞。思科的新一代防火墙模块可以实现“借用”交换机的资源提高防火墙模块自身的吞吐性能。实际上防火墙可以对一个流的前几个包进行处理，当得到这个流是可以通过的信任流的结论后，将这个流的特征提取出来送给交换机，交换机就用这个特征对流的后续包进行识别和处理，相当于这个流的后续部分交给交换机来完成了，这样交换机的资源和防火墙的资源实现真正的融合，大大提高的安全访问控制的处理速度，以前单个防火墙模块可以实现实测的5.5Gbps的吞吐量，而在使用资源整合技术之后，这个数值实测已经达到32Gbps，而且可以软件升级到300Gbps以上的防火墙模块。这正是面向服务的数据中心对资源整合化的典型技术实现，也为客户带来的资源融合的益处。

我们在全球多个大型数据中心的实际使用环境中通过调查发现，除去这些“可信任流”，其余流量使用防火墙本身的5.5Gbps处理能力都是绰绰有余的，因此在本项目中一期工程中即使不采用双活的智能服务机箱，也足以保证防火墙环节的无瓶颈。未来还可以通过2个防火墙模块的双活，甚至使用虚拟ACE实现4个防火墙模块的双向负载均衡。

页脚内容57

劳动合同签订意向调查表

5.4 网络的智能主动防御

传统的不停的打补丁和进行特征码升级的被动防御手段已经无法适应安全防御的要求，必须由网络主动的智能的感知网络中的行为和事件，在发生严重后果之前及时通知安全网络管理人员，甚至直接联动相关的安全设备，进行提早措施，才能有效减缓危害。要实现这种智能的主动防御系统，需要网络中进行如下部署：

对桌面用户的接入进行感知和相应措施 对桌面用户的行为进行分析和感知

对全网安全事件、流量和拓扑进行智能的分析、关联和感知 对各种信息进行综合分析然后进行准确的报告 在报告的同时进行网络的联动以提早抑制威胁

以上整个过程需要多个产品进行部署才能实现。以下对这些产品的部署进行简述。

5.4.1 网络准入控制

网络准入控制技术——Network Access Control（NAC），就是一种由网络智能对终端进行感知，而判断其威胁性，从而减少由终端发起的攻击的一种技术。NAC类似于前面提到的身份识别安全接入控制技术，只不过它对主机、网络设备等接入的判别标准不仅仅是基于用户身份的，而是基于该设备的“网络健康状态”。NAC允许各机构实施主机补救策略，将不符合安全策略要求及可疑的系统放置到隔离环境中（比如一个特定的专用于软件升级的VLAN），或禁止其访问生产网络，等威胁消除后，再回到生产网络。通过将端点安全状态信息与网络准入控制的执行标准结合在一起， NAC使各机构能够大幅度提高其计算基础设施的安全性。

在XXX公司实施的准入控制，需要能够实现以下要求：

一体化的准入控制：不仅仅是有线端的准入控制，而且要实现包括无线、VPN接入在内的准入控制，而且应当是统一的一个系统下的准入控制，这就需要以太网交换机、无线AP设备、无线控制器、VPN集中器都可以支持统一的准入控制；

支持多种准入控制形式：包括能够支持基于Infrastructure的准入控制，比如对于有线局域网、无线局域网可基于实现IEEE 802.1x和动态VLAN的准入控制，对于路由器、防火墙、VPN集中器等等可实施基于过滤机制的准入控制，也可以支持基于网络专用设备的准入控制，比如对于网络交换机、路由器是由不同厂商品牌设备构成的异构网络也可以实施基于专用在线设备的准入控制；

页脚内容58

劳动合同签订意向调查表

与身份标识相结合：准入控制机制应当与身份标识是一体化的，不同身份标识的用户可以有相应的准入控制策略，即对身份的识别和对健康的检查可以进行联系；

对客户机健康状态进行评估：能够结合其它病毒厂商软件进行安全状态检查，更可以对客户端行为进行检查，包括操作系统补丁、病毒软件版本等，还应当包括检查注册表可疑记录、非法修改等等，能够通过对客户机状态进行深度判断，而基本上脱离复杂的第三方厂商病毒软件的部署而对健康状态进行准确评估。

提供自动修复：准入控制系统应包括提供在线的自动修复能力，包括各种策略的软件分发和链接推送等。

能够发现和自动识别打印机、IP电话等非常规NAC客户端

本期将主要以数据中心的建设为主，建议XXX公司在以后的楼层接入的完善化建设中考虑对桌面的准入控制解决方案。

5.4.2 桌面安全管理

准入控制是一种网络对接入主机的智能判断，但一般只能在接入的瞬间进行检查和动作，用户在接入后进行的操作、收发的信息，准入控制系统不再干预。而网络各种病毒、蠕虫和黑客软件的泛滥与每个客户机本身的上网行为是分不开的。一个大型企业网的管理员无法真正控制用户端的行为，是网络变得脆弱和事故频发的主要祸首，也是管理员最头痛的问题。

XXX公司随着将来IT业务的深化发展，需要这样的桌面安全管理软件——基于行为特征来保护终端的技术。客户端软件是基于行为而不是基于特征码标记的，即不管这个病毒是不是我识别库里的，只要其行为危害了系统，就可以被阻止，客户端软件看行为进行专家级的分析，这样可以减少频繁的对客户端软件的升级，更重要的是能够防止终端免受所谓“零日攻击”，即那些还未被人们所了解的病毒、蠕虫、间谍软件、恶意代码以及最新的变种的危害，另外还能基于应用程序、行为实施各种安全策略，对用户本人进行的有意或无意的系统危害进行管理和控制。具体应当有如下功能：

识别恶意或无意的不安全行为：对各种威胁行为，比如不支持的注册表修改、不正常的内存访问、收到对本机端口不正常的扫描、对邮件系统不正常的后台调用等等，无论是病毒还是用户有意或无意造成的，都可以即时提示用户进行阻止，也可以不提示用户，而是作为一条Log信息报告给后台的安全智能网管。

自动统计PC上安装了哪些应用程序：能统计客户机器上都安装了

页脚内容59

劳动合同签订意向调查表

哪些应用程序，以及安装的版本。如是否安装了BT等软件。然后向后台安全智能网管报告。

调查应用程序的运行情况：能统计哪些应用程序在运行，并生成相应的报表报告给后台智能网管。

禁止安装和运行管理员指定的应用程序：能够禁止客户机安装和运行不符合公司策略的应用程序，比如BT，钓鱼软件等。

保护敏感数据，不允许复制、拷贝：被保护的文件可以打开阅读，但是不能复制，无论是复制文件或文件夹，都不允许，也不能从文件中拷贝、粘贴内容出来，所以是非常好的防止机密信息泄漏的方法。

禁用USB等移动设备：USB、光驱等各种可移动设备，常常是引入病毒、风险的入口。客户端管理软件应当可以设定不允许特定的客户机上的这些设备，或者只能看设备上有什么内容，但是不允许读。只有当管理员授权时，才能使用和访问。

统计并能够控制应用程序对网络使用：可以统计应用程序对网络的使用情况，提供对应用程序使用网络的控制，比如可以让制订应用的IP包打上QoS标记，禁止访问指定的网段，禁止邮件附带机密文件等等。

能够和准入控制相结合：能够和准入控制无缝结合，比如准入控制对终端健康的识别包括了是否安装了客户端安全管理软件，是否制订了相应安全级别的策略；反过来，客户端安全管理软件也可以根据准入控制的结果（是隔离还是已被允许进入网络）来提供不同的安全保护策略。

集中控管：客户端管理软件由中心进行软件分发，由中心网管进行统一策略设置、维护和升级，集中控管，

维护简单。

后台报警、报表：所有以上功能都即时跳出窗口，让用户了解安全威胁，询问用户是否阻止，也可以让用户在使用时完全无知，而把详细的使用情况报表、报警等通过后台传送给集中控管的智能安全网管控制台，使管理员对整个用户网络使用情况一目了然，而提早采取措施。

以上的功能由一个集中控管的服务器端管理软件和分布在各个用户主机上的客户端软件构成。通过中心策略设置，将客户端软件分发到各个客户端主机，将工作模式设为后台告警和报表模式，减少对前端用户正常工作的干扰，而让管理员了解所有计算机的安全运作情况，再根据这些信息确定安全预防措施。

建议在以后逐步实施的楼层网络优化和改造项目中再实施类似对客户端桌面的管理和控制。

页脚内容60

劳动合同签订意向调查表

5.4.3 智能的监控、分析和威胁响应系统

XXX公司已经部署、而且还将部署大量的各种安全设备，它们的使用都需要人来去参与，这形成了巨大的安全管理挑战。当一个常见的蠕虫早期发生时，相关的网络设备、防火墙、IDS/IPS都会有异常记录产生，而这些都会淹没数以万计的日志和告警之中，管理员很难发现，往往等待其爆发、形成损失再去调查。而即使我们能够把爆发过程所有信息都拿到，也难以从如此多的设备、如此多的记录中分析其爆发的源头。

XXX公司网管中心需要一个智能的安全管理系统，它应当象一个精通所有网络安全设施的专家，由他来帮助我们进行早期预警、源头跟踪、措施建议等等。安全监控、分析和威胁响应系统”（Monitor, Analysis and Response System，MARS）具体应当包括这样的功能：

监控安全设备：MARS系统能够监控所有安全设备形成了日志、记录和告警，进行收集；

监控网络拓扑形态：MARS系统能够了解整个网络拓扑、设备类型和路由表、地址表等等信息；

监控网络流量：MARS系统能够监控网络中的各种流量，比如某个特定TCP/UDP端口号的流量变化，能够采集设备的Netflow 信息，进行统计、形成日常基线，从而能够识别异常流量；

监控网络设备：MARS系统能够监控各种厂商的网络设备的记录，包括路由器、交换机、VPN设备、NAT等等；

统一进行分析功能：MARS把以上的所有监控信息统一进行分析，特别是和网络的拓扑和异常流量相关联，从而将各种看似分离的事件相关联，把各种重复的、错误的报告删除，最后把浩如烟海的问题报告浓缩成少量的安全事故报告，供管理员参考。往往数十万个告警最后仅剩下十几个高中低不同优先级的事故报告。

形象的呈现：最后的事故报告可以向管理员清晰的描述攻击的源、路径、目标，攻击次数等等，并且在网络拓扑图中将上述信息标识处理，供管理员参考。

智能专家建议：根据发生的安全事故，MARS可以向管理员进行智能建议，比如对拓扑和路径智能分析后告诉管理员应在何处最佳位置进行过滤，过滤应采用的访问控制列表的具体命令等等。

远程修复：通常MARS可以自动形成多个措施建议，供管理员选择，一旦管理员同意某个措施，这个措施，比如写一个访问控制列表或关闭一个

页脚内容61

劳动合同签订意向调查表

端口，就会自动被发向目标设备，自动完成修复。

兼容各厂商设备：MARS应当可以对各个主流网络设备厂商、安全设备厂商的设备都能予以支持，对于少量非主流的厂商设备MARS可以经过简单的定制予以支持。

MARS必须有别于上一代的安全信息管理系统（SIMS），需要增强如下功能：

信息收集和关联的方式：MARS监控的内容不仅仅是安全设备的记录，还包括网络的拓扑和流量信息，把这些与安全事件相关联所进行的判断更准确；

信息报告的方式：MARS可以显示整个网络的拓扑，能够把攻击形象的标识在拓扑图上，管理员可以清晰的掌握网络安全威胁波及的源头和范围，从而主动的进行防御；

修复的智能化和自动化：MARS可以直接建议安全措施，甚至将安全措施具体表现在命令一级，管理员只需要按一个按钮，就直接进行远程设置和修复。

下图是直观的攻击拓扑显示。

下图是对攻击源所在位置的直观显示：

页脚内容62

劳动合同签订意向调查表

下图是MARS对抑制该攻击的建议，只需点击Push，就可以对攻击源所在的交换机进行设置，帮助你抑制正在发生的攻击。

建议将来在XXX公司考虑全局网络运营管理时应部署MARS系统，而且在部署MARS时应同时部署与MARS兼容的网络状态监控设施，这些设施包括IDS/IPS、防火墙、网络设备、流量监控设备等。建议XXX公司在未来部署网络状态监控设施时应当考虑如下部署原则，以保证MARS系统作用的充分实现：

IDS/IPS要求：作为MARS信息的主要来源，XXX公司的楼层局域网应部署硬件IDS以监控核心局域网，一二级网络之间应部署硬件IDS以监控国家级主干和省级的接入，IDS应当为内置或至少1G连接带宽的外部IDS；

页脚内容63

劳动合同签订意向调查表

广域网的接入路由器应支持内置或外部IPS，但要保证一定性能。

防火墙要求：按前面安全域隔离方案部署防火墙，防火墙应有完整Log记录和NAT记录，能够和MARS兼容。（目前推进的数据中心防火墙方案满足此要求）

网络设备要求：网络主干设备应当具有硬件化的流量华能芯片或模块，能够支持Netflow硬件化采集，并能够在万兆核心交换板卡上提供1：1的取样（Sampling）能力。网络设备还应当对主要的安全事件（如ACL过滤、NAT等）提供Log和审计。（目前Nexus 7000完全满足此要求）

兼容性要求：主要网络设备（IDS、防火墙、中高档路由器和交换机等）应当能与MARS系统兼容，其监控信息报告无须定制即可被MARS系统直接使用，也可以接受MARS系统的控制以实现安全响应。对于其它少量不兼容设备，MARS系统应可以支持通过定制化方式监控和管理。（目前Cisco设备、主流国外厂商设备可以满足此要求，国内厂商设备需要定制）

5.4.4 分布式威胁抑制系统

XXX公司已通过广域网连接大量远程分支机构，对于这样大规模多点分布式的网络，就更难于在中心总部来控制远程各点的安全接入，而广域网对于蠕虫、病毒等威胁又更敏感，只有一种病毒爆发，广域网线路就可轻易被塞满，公司领导的视频会议、乃至各类业务都将无法正常传输。必须考虑在分布的各个广域网点都进行有力的遏制，即实现“分布式威胁抑制”。

在各地孤立的部署防火墙和IDS/IPS是一种解决办法，但会有管理、成本和性能功能相互矛盾的问题，即要有效的抑制，就需要在各地有较完善的IDS/IPS和防火墙系统，但管理难度、成本将非常高。

XXX公司可以考虑形成以MARS系统为管理核心、各个网络设备内置安全防御系统的分布式威胁抑制系统。 其主要实现特征如下：

管理：在中心使用MARS系统，可以管到所有分布在地方节点的安全设施，而且MARS的拓扑发现、报警收集、事件分析报告、直观的威胁路径图形、远程自动修补等等的功能，可以保证分散的安全设施的有效管理；

成本：MARS可以配合内置有IPS、防火墙功能的路由器，可以节省单独购买IPS、防火墙系统的经费；

性能和功能：这是MARS分布式攻击抑制解决方案的核心。网络设备内置有IPS、防火墙等功能，如果通过软件由CPU来完成，其性能和功能肯定不具备实用性，如果内置专门的IDS/IPS硬件模块，则对大规模的分散

页脚内容

劳动合同签订意向调查表

节点将形成极高的成本投入，而MARS是这样解决这个矛盾的：

o 通过路由器软件完成的IPS会有性能和功能问题的主要原因是IPS是基于状态的特征码识别系统，需要在高速数据流中提取特定识别信息，与一个巨大的病毒特征码数据库进行匹配。如果由CPU去完成，其性能可想而知。因此内置的软件IPS功能只能开启很少的特征识别码。实际上一个企业在一段时期内只会被一种或少数病毒所困扰，不可能在一个网络中同时发生着历史跨度极大的数百种病毒，因此路由器对每个数据包逐一去匹配一个完整的病毒特征数据库是没有必要的。放在省级节点的MARS可以具有这样的功能，就是它从本地网络中心的硬件IDS/IPS中探知当前正在发作的几种病毒，然后将其特征码收集后推送到各下级单位节点的路由器上，这些路由器的IPS仅仅装载这几种特征码，然后进行高效率的识别匹配，这种按需进行匹配的IPS可以成功的解决低端路由器病毒过滤的性能问题，而且还自动完成了特征码的升级和维护。

分布式威胁抑制实现机制图示如下：

MARS系统为中心的分布式威胁抑制系统要求：

中心总部配置MARS系统

中心总部配置高性能的硬件IDS/IPS模块或单元设备

页脚内容65

劳动合同签订意向调查表

分布在各个下属单位的中低端路由器支持内置IDS/IPS功能（软件硬件皆可），并与MARS特征码推送功能兼容

建议在未来实现XXX公司全国网络规划改造时，可以考虑实施这种经济简单同时又能最大限度的保证广域网线路稳定可靠的远程分布式威胁抑制解决方案。

页脚内容66

劳动合同签订意向调查表

第6章 服务质量保证设计

6.1 服务质量保证设计分类

XXX公司本次网络的服务质量保证（QoS）设计主要包括两个方面：

数据中心服务质量设计：由于采用Data Center Ethernet技术，因此

主要是DCE以太网QoS设计；

传统局域网广域网服务质量设计：这一部分业务类型复杂，包括业务数

据、IP电话、视频会议等等，加上传统局域网和广域网技术都有自身机制和带宽资源的制约，因此是QoS设计的重点，这部分将主要是IP QoS设计。

6.2 数据中心服务质量设计

本次数据中心采用Data Center Ethernet（DCE）技术，DCE的设计目标之一就是为未来大型数据中心的业务提供传输保障。我们知道衡量QoS质量的四个要素是：带宽，延迟，延迟抖动和丢弃率。在资源整合后的面向服务的数据中心中，对带宽、延迟和丢弃率的要求是非常苛刻的，因此要达到新一代数据中心的设计目标，必须使DCE能够满足对带宽、延迟和抖动的服务质量要求。

6.2.1 带宽及设备吞吐量设计

保证在资源整合后的网络传输带宽和网络设备吞吐能力，必须实现以下DCE设计：

6.2.1.1.设备吞吐能力

选择的设备必须能够提供足够的交换容量，Nexus 7000具备4Tbps的交换吞吐能力，每插槽230Gbps（可扩展500Gbps）；在接入层设备选择上采用接近1.2Tbps交换能力的Nexus 5000，并使用交换延展设备Nexus 2000将这一交换能力线性延展到每个服务器机柜。

6.2.1.2.带宽设计

首先要在数据中心的拓扑设计中规划好带宽。在本次设计中接入层的每列机柜基本上保证每服务器接入网络的线速，这是依靠每台柜顶交换机（Nexus 2000）上连时的4个万兆链路捆绑后所提供的带宽保证，另外Nexus 5000的1.2Tbps交换能力也保证了所有万兆汇聚后的无瓶颈处理。

页脚内容67

劳动合同签订意向调查表

数据中心当前最大规模的带宽占用还是在服务器之间的内存同步、并行计算、数据备份和融合SAN之后的存储访问，如果能够将未来支持FCoE的存储机柜设计在Nexus 5000接入，其它万兆网卡的高性能服务器直接在Nexus 5000所在机柜接入，并保证服务器机柜分配得当的条件下，以上大量资源耗费的处理都可以在接入层的同一对Nexus 5000内完成，因此基本可以保证带宽的线性处理。

而接入层到数据中心汇聚层（Nexus 7000的VDC）的连接中是有一定过载，这些过载也只针对跨越两对Nexus 5000即两个列（也可称为POD）之间的流量，当前每对Nexus 5000到7000之间采用4个万兆，在万兆端口数量不紧张的情况下还可以扩容并保证跨机箱的vPC技术实现充分负载均衡的端口捆绑。而考虑到当前服务器数量远没有达到完全过载数量（充分过载是0台全线性1G的服务器接入），而且在适当安排服务器后两列之间的流量基本上非常少，大部分带宽消耗型应用将在列内完成，因此当前的过载比是完全满足当前和至少今后5年内的数据处理量要求的。

数据中心服务机箱（Catalyst 6500）和数据中心汇聚（Nexus 7000 VDC）之间当前的设计带宽是每机箱双万兆上连（40Gbps全双工吞吐量），这个数值已经超过当前每个机箱内的单防火墙模块在引擎加速特性下的吞吐能力（32Gbps）和单ACE模块的最大处理性能（16Gbps），因此也没有连接瓶颈。在以后智能服务扩容时，互连的带宽还可以继续扩容，通过vPC和VSS技术保证跨机箱捆绑的充分负载均衡。

从数据中心汇聚到全网核心（Nexus 7000的VDC之间）则可以通过灵活的万兆线路跳接方便的扩容互连带宽，根据整个股份公司对数据中心访问量的评估，当前的互连方式（全双工超过80Gbps）也是完全满足至少5年的业务发展需求的。

6.2.1.3.DCE带宽管理：

在以上的理论分析中，带宽设计已经完全满足本次设计的需要，但是我们可以看到即使最完美的设计也不可能保证网络中处处线性、没有过载，这是不必要也不经济的。在出现过载的位置，我们可以通过技术手段使得最需要带宽的服务能够保证优先获得资源，这也是服务质量保证设计的重点。

在本次推荐的DCE网络技术中已经完全支持IEEE最新的带宽管理技术802.1Qaz ETS（Enhanced Transmission Selection），该技术可以保证在过载情况下优先保证如高性能计算网、存储网流量的带宽，而一般数据业务可以灵活、高效的使用剩余有效带宽，如下图所示11G对10G过载情况下的QoS优化带宽分配：

页脚内容68

劳动合同签订意向调查表

6.2.2 低延迟设计

DCE的资源汇聚使得存储业务和高性能计算业务都将在一个交换平台上传送，DCE的一个重要要求就是保证这些网络原来的低延迟、低抖动能力一样可以在以太网上获得，这主要依靠设备的低延迟转发特性和在拥塞情况下高级的队列调度来实现。

在本期所推荐采用的Nexus系列交换机最大特点就是使用了Cisco在MDS系列存储交换机上实现的SAN网络低延迟技术和专利，使以太网交换机获得了极低的转发延迟，三层端口对端口的转发延迟可在10～20us，而二层的端口见转发延迟可在3个us以下。充分保证远程存储读写、远程内存访问的流畅性。

与带宽设计时一样，网络不可能在任何位置都通过充裕的资源，在适当的进行带宽分配和设计后，在许多关键的位置虽然存在过载，但仍不会带来资源的紧张。但仍可能出现突发和不可预测的资源分配不够的问题，这时就需要采用高级的队列管理和调度，对延迟不敏感的业务主动出让一些资源，以保证对延迟极为敏感的业务服务质量不受影响。在以太网上协调资源实现类似流量控制的很早就有，比如最常见的端口暂停帧机制（IEEE 802.3 Annex 31B），当有拥塞发生时通过互连端口信息的传递，让端口流量发送暂缓，以保证自己有足够的资源处理关键业务。而这种传统的控制方式将导致一个物理端口内的所有业务的暂停，导致不可预料的延迟。

本次我们采用的DCE网络支持IEEE最新的Priority Flow Control (IEEE 802.1Qbb)技术，如下图所示，可以对多达8种不同业务给与完全不同的流量区别，从而保证迫切需要资源的存储、访存类业务流的低延迟优先性。

页脚内容69

劳动合同签订意向调查表

8类业务可以常规QoS的802.1Q优先标识和IP Precedence优先标识进行统一定义。

6.2.3 无丢弃设计

资源缺乏会导致系统对业务进行丢弃，而存储业务、高性能计算业务等是对丢弃极为敏感的，由于业务机制对延迟和成功率的苛刻要求，即使少量的丢弃也会对业务效率产生极为严重的影响。DCE有“无丢弃以太网”的别称，就是在许多方面改善了传统以太网易于丢弃的简单流控行为。主要表现在以下方面：

Switch Fabric VoQ：这是SAN交换机的交换矩阵以及运营商核心设备

所广泛采用的矩阵队列调度方式，现在该技术广泛使用在DCE的各级设备，有效的避免在设备交换处理时的头端堵塞现象，保证高优先级流量的无丢弃。

硬件化的Credit 机制：这也是传统SAN交换机在硬件上保证的传输无

丢弃技术，它通过收发双方能有一个互相沟通收发能力的计数器相互协商对方的发送和接收能力，以一种高效沟通的方式保证在底层传输上的无丢弃。现在该技术以在DCE的各级交换机上采用，保证收发以太网帧可以象过去收发存储FC帧一样做到无丢弃。

Per Virtual Lane (VL) Credit：上面的技术是物理端口级别的，在

DCE中还将这种硬件Credit技术用在端口内的Virtual Lane级别，这意味着在同一收发双方的物理口内，可以实现不同业务采用不同Credit参数，实现

页脚内容70

劳动合同签订意向调查表

不同的流控要求，比如传统数据不进行这种机制以节约资源，而FCoE帧则必须使用该机制，而它们都将在一对收发物理接口内共存。

BCN/QCN (IEEE 802.1Qau)：这是一种后向拥塞控制机制，它最大的特

点是可以在网络中检测出拥塞，然后发信令到源头，来降低过载的流量，使拥塞得以缓解，并保证优先业务无丢包。该技术曾用于ATM等精细流量管理的网络中。如下图所示。

6.3 非数据中心网络的服务质量设计

为了保证XXX公司非数据中心网络部分的关键应用，将对应用按重要等级进行分类，在网络上，实现对不同等级的应用提供优先权不同的质量服务。实时多媒体应用如IP电话、视频会议等应用将给予绝对的保证，而对一些不十分紧要的应用，在网络带宽充足的情况下将予以保证，在网络带宽不足的情况下，将预先舍弃，以保证关键应用。

XXX公司局域网和广域网需要具备提供数据、图像、语音、传真和各种多业务综合承载和接入能力。信息传递的服务质量保证和性能优化设计将是最为关键的一个环节，它直接影响到华能系统应用的稳定。

实际上IP网的两个技术根源——以太网和TCP/IP是众所周知的“无服务质量保证技术”，所谓无服务质量保证不是指服务的质量一定不好，而是在技术本质上只考虑数据的可达性、正确性，并没有机制去考虑数据递送中诸如延迟、延迟抖动等服务质量要素，因而又称之为“尽最大努力”（Best Effort）的传送方式。随着网络技术的不断发展，今天的华能网络已从单一的数据传输应用转向了综合的多媒体应用，如IP电话业务应用、视频应用等。这种转变引发对包括网络带宽、性能和灵活性在内的网络服务质

页脚内容71

劳动合同签订意向调查表

量的大量需求，因而也产生了大量高新技术和产品。如何利用TCP/IP、以太网高效和通用性来传输要求较高服务质量保证的业务、如何在XXX公司各级网络中进行设计和部署性能优化特性就是这里将要重点说明的。

实际上即使使用IP和以太网技术原本的Best Effort传送方式只要在资源充足的情况下用户也不会感到有服务质量的问题。因此只要网络资源充裕，语音、视频、传统应用等等各种用户都不会抱怨网络的传送，但是无的资源是不现实的，更多见的是突发和不可预测性造成的资源的局部紧张，在这样的网络中保证各种业务有它们最佳的服务质量才是性能优化设计的最终目标。在XXX公司网络上有3种实现服务质量保证的思路：

（1）提供充裕的资源：这需要有高容量的吞吐能力、极低的转发延迟和充裕的带宽，在Best Effort环境里，即使不能提供无限丰富的资源，也需要网络尽可能的少的出现拥塞或至少不在关键部位（如骨干）出现拥塞，这需要精细的设计；

（2）拥塞处理机制：万一发生了拥塞，采用何种技术处理，如Email延迟几秒钟到达没有用户会抱怨，而视频会议如果出现这样的问题就很严重了。因此如何使视频、语音、实时交互软件感觉不到拥塞则是需要在拥塞发生时处理的主要问题；

（3）拥塞规避：等到拥塞发生再进行的处理，对于容量大、要求延迟低而且对延迟抖动要求极为苛刻的视频应用来说可能已经来不及了，换句话说对于大规模视频流应用而言仅仅依靠拥塞处理机制是不可能达到预期效果的，必须对这些特殊应用的流量施行“拥塞规避”措施，即采用某种机制保证它们不拥塞（即使网络资源不是极大丰富的前提下），而其他业务使用它们使用剩余的资源。

以上解决手段不是孤立出现的，下面针对以上三个思路分别介绍在XXX公司各级网络实现IP QoS的方式。

6.3.1 QoS实施方案

我们通常按以下步骤来考虑QoS的实施：

步骤1：分析业务需求 步骤2：QoS策略的制订和部署 步骤3：评测和调整

6.3.2 分析业务需求

首先我们需要了解XXX公司网络中存在哪些应用、其流量特征基线和未来发展情况，其次我们需要了解每种应用的服务质量特性和需求。

根据我们对XXX公司业务的了解，我们认为XXX公司存在视频会议应用、语音业务

页脚内容72

劳动合同签订意向调查表

应用和各类不同档级的数据业务。

我们需要在实施前对网络所存在的这样业务现有情况进行流量基线调查，包括其细致的应用所占带宽比例，使用频度，未来的增长趋势等。这需要依靠协议分析设备（比如XXX公司已有的网络协议分析模块）、网络设备的Netflow/Netstream功能（这在前面建议的设备中都具有了），然后作出一个类似下图的分析：（此图仅是示例，不代表XXX公司网络的实际情况，实际情况需要在实施前使用上述工具进行统计）

在充分了解后当前各业务，特别是构成复杂的数据业务后，制订各个业务的QoS需求。以下做各个业务需求的示例：

页脚内容73

劳动合同签订意向调查表

页脚内容74

劳动合同签订意向调查表

其中数据业务最为复杂，我们只能根据一个大致的分类，将不同优先级的应用归入相关的类别，以后再逐步调整。

6.3.3 QoS策略的制定和部署

QoS的策略我们遵循Diff-Serv框架所规定的分类、标识、调度、供给的流程准则。如下图所示，不同的网络区域被Diff-Serv框架赋予不同的责任，因此也要在其位置赋予不同的QoS策略。

页脚内容75

劳动合同签订意向调查表

上图把网络分为分类标识区、QoS调度区和广域网供给区。该区域划分规则广泛适用于XXX公司各级局域和广域网络。下面我们分别说明QoS的策略制订：

6.3.3.1.分类和标识区

分类和标识区位于网络边缘。在本项目中基本上是局域网的接入层，以及前面提到的省级广域网上下连路由器之间、市级广域网上下连路由器之间的拥有丰富局域网端口的汇聚层。

在此处我们要标识各种应用进行标识，比如802.1p、DSCP（DiffServ Code Point）、传统的IP Precedence等等，利于后续的QoS调度。我们对上述各类应用的标识要求如下表所示：

我们建议尽可能根据局域网端口进行标记，只要是该端口进入的流量即作相应标识，这种分类和标识方式占CPU资源少、性能影响小，XXX公司视频终端的接入、特定的应用服务器的接入都可以采用这里的分类和标识方式。

还有一类业务是在应用级就做好了标识，比如IP电话，在音频流出IP电话机端口时相应的标记就已经打好。

如果设备的物理端口进入的流量混杂有多种复杂的应用，要打不同的优先级标识，我们推荐两种方法：一个是利用桌面安全管理系统的应用标识功能（在“安全服务”一章有详述），直接在主机内进行标识；还可以在网络设备内根据该业务流的特征（比如协议端口号）进行标识。前者需要安装桌面安全管理软件，后者需要设备支持基于硬件的流分类匹配技术，才能不影响性能。

接入层网络设备应当支持边缘端口对进入流量所打的标记是否信任进行设置，比如连接的是IP电话，则信任其设置的标识，如果是普通的客户端，则不信任，将其标识

页脚内容76

劳动合同签订意向调查表

重置为Best Effort，这样可有效防止客户端欺骗。

另外局域网设备应当支持一套默认的二层和三层标识的转换映射，比如MAC帧内的CoS对IP包内的IP Precedence的映射，如果不能默认支持，那么将极大的增加管理和配置工作量。

6.3.3.2.QoS调度区

QoS调度区是数据流传送所经过的网络主体，包括各级局域网和广域网路由器。我们只需要识别流量中做好的标识，根据标识进行资源的调度。由于局域网和广域网在资源供给上的巨大差异，因此它们的调度措施是完全不同的。

（一）局域网

在局域网上我们认为提供充裕资源的条件是具备的，如果有明显拥塞，首先应检查其局域网设计是否合理，增加带宽、升级设备对于现在的局域网而言所花费的代价和得到的效果远远优于复杂的设计所花费的代价和得到的效果。在高速的局域网上的过于复杂的QoS调度反而有可能降低总体性能。

但局域网设备仍应当默认支持一些高效率、低开销的调度算法，比如根据标识优先级加权的WRR队列分配算法；根据标识优先级加权的拥塞规避算法（WRED）。前者各级二层局域网设备应当默认启动，后者可以人为配置给金、银业务中基于TCP的数据业务。

（二）广域网

广域网路由器是部署QoS的重点。我们对各类业务部署的策略如下：

（1）视频业务：根据标记识别视频业务，将视频业务按CBLLQ（Class-based Low Latency Queue）进行调度，给定视频业务的管制带宽，管制带宽为该业务所占带宽资源的上限，以防止绝对优先业务膨胀侵吞所有资源，比如广域网为视频专门预留2M×2，视频业务的管制带宽建议设为为3M（4M的75％），为一些隐蔽的系统流量（比如路由器协议、Keepalive等）保留一些带宽；

（2）音频业务：根据标记识别音频业务，将音频业务按CBLLQ进行调度，给定音频业务的管制带宽为其能够容纳的话路数乘以每路话路的带宽（在前期业务分析中已得出）。注意，路由器应当支持利用H.323的呼叫允许控制(CAC)功能控制VoIP的话路数，从而到达控制VoIP占用带宽的目的，而不是去尽量容纳所有的话路而导致所有话音质量下降；

（3）数据业务：根据标识识别金服务、银服务、铜服务和剩余资源，为每种服务施加CBWFQ保证其“拥塞带宽”，并同时实施基于DSCP的智能丢弃（CBWRED）。

CBWFQ：CBWFQ保证了拥塞带宽，是拥塞处理算法。拥塞带宽是指当出现拥塞时能为该业务所至少能保证的平均带宽。所有拥塞带宽和前面所说

页脚内容77

劳动合同签订意向调查表

的管制带宽之和尽量不要超过广域网线路实际物理带宽的75％，以便为系统流量（路由协议、Keepalive等）预留一些带宽。金服务和银服务的带宽根据其实际带宽占用比例进行设置（前面的业务需求分析中得出的带宽比例），一般金服务的带宽更充裕一点。而铜服务和剩余资源的拥塞带宽都为0，即没有带宽保证。

CBWRED：CBWRED替代了原有的队尾丢弃，而变为加权随机早期丢弃，这是拥塞规避算法。金服务比银服务的丢弃概率要低一些，银服务比铜服务的丢弃概率低一些，而剩余资源是丢弃概率最大的一类服务。

6.3.3.3.广域网供给区

广域网供给区是指广域网线路的传送部分，我们要考虑广域网线路的带宽、传送质量、传送延迟等对各类业务的影响。

（一）带宽

第一步的“业务需求分析”是广域网带宽申请的主要指导，另外在QoS调度时需要注意两个原则，最高优先的业务量（比如LLQ的业务的管制带宽）不应当超过物理带宽的33％，所有CBWFQ的拥塞带宽和CBLLQ的管制带宽之和不要超过物理带宽的75％。根据这些规则，在广域网中，我们应当把两种LLQ业务——语音和视频分在两个线路上，其中语音和其它业务在DS3线路，而视频单占2M×2线路。只有一条线路故障、所有业务才会走到一条线路上。正常情况视频独占4M线路，因此可以允许视频的LLQ管制带宽超过33％而达到75％（3M）。

（二）传送质量

我们要考虑广域网线路的质量，以满足业务分析中所要求的丢弃率指标，在申请线路时索要线路质量评估报告，以保证其符合我们线路上所传送业务中要求最高的那种业务的质量要求。

（三）延迟

在线路上的延迟由串行延迟和传送延迟构成。

串行延迟是指数据包要串行化发送所不得不发生的延迟，比如一个1500字节的包在K线路上传送，必须将1500字节一个比特一个比特的放到线路上传送，这需要耗费1500×8/000＝187.5ms，仅串行延迟就超出了语音的单程延迟150ms以内的要求。因此即使业务拥有了最高优先级和绝对优先发送权，也无法避免夹在大包之间发送，只要前面有大包，在低带宽线路上也会出现过大的延迟抖动。因此我们需要将大包分解成小包交替放到线路上发送。

在广域网上，线路带宽都大于2M，经过计算，即使是最大包1500字节其串行延迟

页脚内容78

劳动合同签订意向调查表

也非常低，没有必要分解传送，而在其它广域网如果带宽过低，则应当分包传送，请参考下表的分包值（表中的值是要达到可控延迟标准在相应带宽线路上建议的分解后的包大小，红色叉子表示分的包长已大于1500，不需要分包了）

还有一类传送延迟，指在线路上传送信号所耗费的时间，仅在距离超长（比如卫星线路）上会有此问题，此处不需讨论。

6.3.4 评测和调整

QoS的部署是一种调优的部署，需要不断调整以达到最佳。但我们怎样评估刚刚部署的策略是否起到效果了呢？在生产网络上用真实业务进行测量是有风险且无法定量评估的。因此我们需要在网络中实现一套准确的测量和评测方法。我们认为华能网络必须支持以下QoS测量方法：

协议分析设备的测量方法：利用协议分析设备的应用响应时间功能进行测算，XXX公司可以购买NAM模块可以实现该功能，可以进一步在关键节点使用该类模块；

IP SLA：这是最重要的QoS测量方法，传统的ping测量无法得到延迟、抖动、丢弃率等信息，而且协议和测量位置都受限，IP SLA可以从任何支持该功能的网络节点出发测量包括延迟、抖动、丢弃率在内的各种参数，并配合网管形成丰富的统计报表和图形，帮助我们分析QoS结果。XXX公司本次改造的主要路由器和局域网核心交换机都应当支持IP SLA功能。网管软件应当支持IP SLA的呈现功能；

Netflow/Netstream：符合标准RFC 39的Netflow/Netstream流量统计是测算特定业务是否获得相应的网络资源的有力方法，但是在高速网络中这种由设备担当的统计会耗掉过多的资源，真正有实际意义的

页脚内容79

劳动合同签订意向调查表

Netflow/Netstream应当是硬件化的，因此XXX公司本次建设的所有核心交换机和广域网主干路由器都应当支持通过硬件进行Netflow/Netstream统计。

6.4 QOS策略管理

由于XXX公司网络系统分布较广，QoS的策略管理是非常关键的问题。XXX公司网络应当从两个方面解决这个问题：

设备本身部署QoS策略的自动化； 集中式的QoS策略管理软件

6.4.1 QoS自动配置

XXX公司网络设备应当具有QoS自动配置功能，即只需要键入简单命令，便可以形成人机对话界面，自动生成QoS策略配置命令行。大大简化QoS的部署。

6.4.2 QoS策略管理器解决方案

另外XXX公司还需要有一套功能强大、行之有效的集中式QoS策略管理软件对全网的QoS进行管理，这样可以大大提高网络维护的质量，降低维护成本。

QoS策略管理软件应当具有如下的功能：

集中策略控制：一个集中的、覆盖整个网络的策略数据库消除了在路由选择和交换环境中为实现QoS的配置、修改和部署而一个设备一个设备地进行管理的必要。

易于使用的策略配置：QPM简化了通信流分类和端对端QoS供应的配置，同时可以提供基于规则的策略有效性验证。

为关键商业应用提供差别服务：根据应用定义定义不同的服务等级，可通过内容级的应用识别功能得到加强。

语音QoS支持：确保高质量语音和视频服务的性能。

全面的QoS功能支持：提供广泛的可以利用智能QoS功能的拥塞管理、拥塞避免和通信流整形服务。

自动化策略部署：确保在设备上部署可控的和可靠的QoS策略。

通过提供能够在您的网络上定义端对端服务质量（QoS）策略的工具，QoS策略管理器（QPM）解决方案使网络管理员能够确保关键应用的性能，充满信心地部署新的应用，随着业务的增长而对网络进行扩张，以及加强服务级别协议（SLA）。

页脚内容80

劳动合同签订意向调查表

作为端对端QoS和智能网络服务的一个整体组成部分，QPM通过能够对应用和用户进行识别的、集中的策略管理，可以最大程度地对通信流进行加强。作为一个全功能的QoS系统，QPM能够支持差别服务和信号服务，确保整个网络基础设施内QoS的一致性。

1、功能介绍

集中策略控制—一个集中的、覆盖整个网络的策略数据库消除了在路由选择和交换环境中为实现QoS的配置、修改和部署而一个设备一个设备地进行管理的必要。

易于使用的策略配置—QPM简化了通信流分类和端对端QoS供应的配置，同时可以提供基于规则的策略有效性验证。

为关键商业应用提供差别服务—根据应用定义定义不同的服务等级，可通过内容级的应用识别功能得到加强。

语音QoS支持—确保高质量语音和视频服务的性能。

全面的QoS功能支持—提供广泛的可以利用智能QoS功能的拥塞管理、拥塞避免和通信流整形服务。

自动化策略部署—确保在Cisco设备上部署可控的和可靠的QoS策略。

2、QoS策略管理器的优点

QoS的目标是通过提供专用带宽、控制抖动和延迟、管理拥塞和提高通信流效率来提供一致、可预测的网络服务。作为增强智能网络的一部分，QoS对整个企业来说都是非常重要的。通过实现应用性能需求到QoS策略的转换过程的自动化，QPM可以确保关键商业应用、语音和多媒体通信流的可靠性能，它们都在争夺非关键性通信流。QPM提供的关键益处包括能够支持整个网络范围内的基于内容的差别服务，自动化的QoS配置和部署，以及确保园区网到WAN的策略控制。

3、提供整个网络范围内的差别服务

根据应用通信流的相对重要性提供网络资源是最有效的提供QoS的方式。分组分类是一个关键功能，它允许为通过某一网络单元或特定接口的适当的数据分组提供QoS服务。使用QPM，一个管理员可以快速构建基于规则的能够对应用通信流进行识别并将其划分为不同服务等级的QoS策略。被分类以后，可以根据适当的IP优先级或差别服务代码点（DSCP）对这些数据分组作出标记。

QPM支持粒度等级良好的通信流分类，包括TCP/用户数据报协议（UDP）端口和IP地址。通过Cisco IOS软件中网络应用识别（NBAR）的增强分类功能，QPM还可以支持Cisco内容组网。NBAR支持通过应用签名、分组中的特殊内容（包括Web URL）以及动态协议的捕获来进行分类。

页脚内容81

劳动合同签订意向调查表

QPM允许您创建覆盖整个网络范围的QoS策略体系结构，它可以根据服务级别在网络边界确定应用程序的处理优先级，然后使用拥塞避免和拥塞管理技术在网络的核心部分对这一策略进行加强。

4、使QoS的配置和部署自动化

即使是使用高级、智能化的网络设备，在整个网络的范围内手工部署QoS策略仍是一个易于出错和费时的任务。QPM使与策略定义、验证、配置和部署相关的步骤实现了自动化。使用QPM GUI，您可以快速而可靠地实现QoS策略的部署，同时不要求您对QoS机制有详细的了解。通过QPM，您可以：

规定基于规则的策略，为应用和用户建立差别化的通信流等级。 支持一组丰富的QoS服务，包括拥塞管理、拥塞避免和通信流整形机制。

通过使QPM能够高效地将策略转换为特殊的QoS配置命令，确保策略的一致性。

页脚内容82

劳动合同签订意向调查表

第7章 网络管理和业务调度自动化

自动化是SODC架构中上层自动优化的实现服务调用必须条件。在高度整合化和虚拟化的基础上，服务的部署完全不需要物理上的动作，资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。

作为SODC一种理想的管理和业务调度方式，完全的自动化是需要坚实的DCE建设基础的。我们可以在新型DCE网络建设并稳定运行后逐步实施一些自动化措施。

作为SODC的提出和倡导厂商，思科公司已经商用化一些管理自动化和业务自动化解决方案，下面简单介绍，以作为未来实施的参考。

7.1 MARS安全管理自动化

思科的网络监测、分析和响应系统（Monitoring, Analysis & Response System，MARS）能够感知网络中发生的各种安全事件，包括网络的拓扑、设备的配置、地址转换、各种安全设备的记录、流量状况和分布……等等，然后加以智能分析、关联和过滤，最终发现不同安全等级的安全威胁，并把他们形象的表示在管理员的拓扑图上，最重要的是可以即时根据安全事故的具体情况产生相应的补救策略，自动完成网络相关设备的配置，实现真正自动、自主的主动安全防御。因此MARS是一种自动调用底层资源实现安全服务的机制。这在前面的安全设计中已有介绍。

7.2 VFrame业务部署自动化

思科的VFrame系统，可以根据输入的业务逻辑，自动按最优化资源来配置智能网络中的虚拟网、虚拟防火墙、服务器虚拟化软件、虚拟存储、虚拟负载均衡等设施，自动完成包括安全、存储、计算等在内的数据中心业务部署规划，最大限度的减少管理复杂度，提高了物理资源使用效率，而管理漏洞和差错则降为最低。

以上两种自动化服务部署技术可以在XXX公司的数据中心基础设施整合和虚拟化部署到一定程度后逐步进行实施。

页脚内容83

劳动合同签订意向调查表

第8章 两种数据中心技术方案的综合对比

根据以上对两套方案的详细描述，我们在此进行横向对比和总结。我们将不仅仅限于技术，而从包括对用户的服务到商务条件在内全方位的进行对比。

8.1 技术方案对比

在技术上，我们除了传统上的从性能、可扩展性、安全、可靠性和可管理性等方面进行对比以外，还需要根据前面对新一代数据中心的技术发展要求的阐述，从如何适应XXX公司建设新一代的适于SOA业务能力的数据中心要求出发，按面向服务的数据中心的技术要求进行对比分析，这些技术要求在前面有过详细描述，分别是：整合化，虚拟化、自动化和绿色数据中心能力。下面一一进行比较分析。

8.1.1 传统技术领域对比

类别 性能 核心和汇聚的性能 方案1：DCE方案 案 - N7000是4.1Tbps； - 100G以太网平台； - 每插槽230Gbps； - 万兆端口全线性； - 千兆端口基本线性（1.2:1）； - 先进的软硬件机制，保证不丢包的以太网 - 单机箱可扩展到15T以上； - 每插槽可扩展到500G； - 40个万兆固定端口，可扩展至52万兆端口，全部已经为FCoE端口； - 可扩展FiberChannel端口； - NX-OS操作系统的稳定性，更彻底的页脚内容84

方案2：传统以太网方- Cat6500是720Gbps； - 10G以太网平台； - 每插槽80Gbps； - 万兆端口2：1过载； - 千兆端口2.4：1过载； - 有先进的QoS机制，尽可能少的丢弃 - 单机箱可扩展1.44T以上； - 每插槽可扩展到160G； - 本次已经配满，无法扩展； - 不支持FCoE和Fiber Channel技术； 接入层性能 总体服务质量 可扩展 核心和汇聚 接入层 可靠性 核心和汇聚 - IOS模块化操作系统，微核结构，比劳动合同签订意向调查表

多线程保护机制； - 支持vPC技术保证双核心可靠性； 接入层 - 所有接入层支持双电源、可在线更换的风扇系统； - NX-OS操作系统，稳定的模块化操作系统 - 分布式控制平面保护能力 - 丰富的二层安全机制 - 不支持三层安全保护机制 - vDC能力 - vPC能力 - 普通终端Console口 - 特殊的无需协议栈的网管端口 - 被管理物理实体2套，管理简单 - 采用FEX（虚拟交换矩阵延展），通过N5000管理N2000 - 被管理实体4套，管理简单 - CiscoWorks - Cisco Fabric Manager - Cisco Data Center Network Manager - 已部署1000多套，正逐步成熟 传统IOS的进程保护能力增强； - VSS技术保证双网可靠性； - 所有接入层支持双电源、可在线更换的风扇系统； - 传统IOS，不支持模块化操作系统 - 集中式控制平面保护 - 丰富的二层安全机制 - 丰富的三层安全机制 - VSS能力 - VSS能力 - 普通终端Console口 - 无专用网管端口 - 被管理物理实体4套，管理复杂 - 无FEX虚拟延展功能 - 被管理实体20套，管理复杂 - CiscoWorks 安全性 核心和汇聚 接入层 可管理性 核心和汇聚 接入层 管理系统 管理成熟性 - 多年验证的成熟性保证 8.1.2 下一代数据中心技术能力比较

类别 整合化 一体化交换能力 方案1：DCE方案 案 - 支持一体化交换技术：数据以太网、页脚内容85

方案2：传统以太网方- 数据以太网单一技术 劳动合同签订意向调查表

无丢弃的以太网技术 低延迟 高吞吐能力 虚拟化 系统虚拟化 网络虚拟化 网络智能服务虚拟化 服务器虚拟化 高性能计算网络、存储局域网（SAN）三网整合 - 支持ANSI FCoE标准 - 实现高带宽、大容量、低延迟、无丢弃技术，整合SAN网络 - 实现高带宽、大容量、低延迟、无丢弃技术，代替InfiniBand技术 - 支持优先流量控制（根据优先级的暂停帧支持） - 支持IEEE 802.1Qaz（带宽管理） - 移植SAN Credit技术实现帧流控 - IEEE 802.1Qau 标准的拥塞管理(BCN/QCN) - 端口到端口的低延迟能力（二层3us，三层30us） - 面向100G以太网的技术 - 4T～15T吞吐能力 - 使用VDC（虚拟设备）和VSS（虚拟交换系统）两种技术 核心和汇聚采用VDC 智能服务机箱使用VSS - 支持VSS和VPC - 防火墙系统、负载均衡系统等支持虚拟化 - 一体化交换保证存储和计算资源整合程度高 - 网络支持页脚内容86

- 无区分的普通暂停帧技术 - 不支持IEEE 802.1Qaz - 无精确帧流控技术 - 传统基于IP QoS和IEEE 802.1p的排队和流量管理 - 传统以太网机技术的存储转发方式的延迟 - 面向10G以太网的技术 - 720G～1.44T的吞吐能力 - 核心和汇聚只支持VSS，不支持VDC - 只支持VSS - 防火墙系统、负载均衡系统等支持虚拟化 - 不支持高资源整合度的的服务器虚拟化 - 不支持劳动合同签订意向调查表

自动化 业务部署自动化 VN-link，有虚拟机策略迁移能力 - 提供高吞吐、低延迟、可扩展的二层接入环境，利于虚拟机迁移 - 一体化交换、资源整合能力，具备虚拟机意识的虚拟化能力，保证基于服务器和应用业务部署的自动化实现 - VDC技术减少核心和汇聚设备的硬件数量，资源复用率高 - 支持一体化交换技术，减少网络硬件和服务器网卡数量，提高硬件复用率，减少能耗 - 基本采用专业设计定制的芯片，不使用通用芯片，避免通用器件中大量无用器件的能耗 - 采用更新的低能耗半导体工艺，整合FCoE的Nuova芯片以太网网卡比分立的以太网卡和存储HBA卡能耗更低 - 专为高密度数据中心机房设计，从核心到接入都按最新的数据中心机房制冷方式优化 - 专为高密度万兆端口设计，接入层采用分布式交换矩阵延展技术，减少万兆布线距离，可大量采用低能耗、低成本的10GE BASE - CU SFP+线缆 - 按新一代虚拟页脚内容87

绿色数据中心 资源利用率 低能耗半导体工艺 VN-link，无虚拟机意识 - 提供可扩展的三层环境，适于传统业务应用，不适于虚拟机环境 - 不支持一体化交换和虚拟机网络，只能在网络功能部分实现自动化，很难实现服务器和业务应用部署的自动化 - 汇聚层设备可以整合智能服务功能，硬件整合能力比传统网络提高，但需要1＋1的6000W大功率电源支撑 - 无一体化交换能力 - 基本采用专业设计定制的芯片，不使用通用芯片，避免通用器件中大量无用器件的能耗 - 所采用的半导体工艺比DCE稍早，能耗表现稍逊，且不支持FCoE 设备送风方式 - 侧送风，适于传统低密度机房。 万兆端口能耗 - 传统万兆接口，不支持10GBASE-CU SFP+线缆，不适于接入层高密度部署 接入层产品定- 传统以太网设劳动合同签订意向调查表

位 化数据中心优化，其接入层设备具备高密度万兆线和千兆的线性处理能力，适于运行VMware等平台，但去掉功耗较大、接入层不需要的功能，如三层交换、复杂的路由协议、MPLS等 计思路，高性能、高密度万兆和千兆设备必然是功能复杂的三层路由设备，而三层设备每端口功耗远高于二层设备，也增加了设备和管理成本。

8.2 技术服务对比

类别 安装实施 方案1：DCE方案 案 - 新技术，原厂承诺与集成商相配合的现场服务 - 标准的CSSP服务 - 新技术，中国思科售后服务支持中心（TAC）成立专门队伍保证对DCE产品的支持 - CSSP规定的标准备件先行服务，从备件数量和备件到达时间上均有保证 - 对DCE技术能够提供远程客户概念验证测试中心服务（CPOC服务） - 传统技术，集成商提供现场服务，原厂对集成商通过开Case实现远程支持 - 标准的CSSP服务 - 传统技术，TAC走一般性支持流程 方案2：传统以太网方售后技术支持 备件保修服务 概念验证服务 - CSSP规定的标准备件先行服务，从备件数量和备件到达时间上均有保证 - 无该项服务

8.3 商务对比

类别 一次性投资 低 运行能耗 维护管理 - 低 - 物理设备少，二层结构简单，维护成本页脚内容88

方案1：DCE方案 案 - 与传统相近，略方案2：传统以太网方- 略高于DCE方案 - 中 - 传统技术，维护管理成本可控 劳动合同签订意向调查表

升级扩展 可控 - 100GE-ready，未来扩展成本低 - FCoE系统，未- 来融合成本低 - 万兆服务器扩展能力强 - - 100GE扩展需更换核心设备 SAN网和当前数据网分离，当前设备无法实现未来融合 万兆接入成本较DCE方案高，万兆服务器扩展能力弱

8.4 总结

根据以上对比，在技术上，方案1的DCE适于新型的准备容纳更多万兆服务器、更高性能存储网络、有VMware虚拟化服务器需求的大型数据中心；而方案2则更适于没有或较少万兆接入、不准备使用光纤通道技术做存储网络、不准备使用虚拟机技术的传统数据中心。

而在商务上则刚好是如果需求只需要传统数据中心，则方案2具备更高的性价比，而如果需求是新型数据中心，则按同样的配置要求下（比如本次数据中心的端口需求）反而方案1的价格要比方案2的价格低很多。

在服务方面显然方案1能够获得的原厂支持和重视程度要大于方案2，这在很大程度上弥补了方案1的产品投放时间短、技术较新的顾虑。

由于XXX公司已经制定了向新一代面向服务业务架构的数据中心转变的既定发展目标，而方案1无疑是在技术上实现这一目标的最佳解决方案，并且其同时又有在服务和商务上相对于方案2的多重优势，因此我们向用户郑重推荐采用方案1作为本次XXX公司新一代数据中心的建设方案。

页脚内容

劳动合同签订意向调查表

第9章 数据中心网络割接方案

页脚内容90

劳动合同签订意向调查表

第10章 附录：新一代数据中心产品介绍

10.1 Cisco Nexus 7000 系列10插槽交换机介绍

产品概述

Cisco® Nexus 7000系列交换机最大限度地集成可扩展性和运营灵活性。

Cisco Nexus 7000系列交换机是一个模块化数据中心级产品系列，适用于高度可扩展的万兆以太网网络，其交换矩阵架构的速度能扩展至15Tbps以上。 它的设计旨在满足大多数关键任务数据中心的要求，提供永续的系统运营和无所不在的虚拟化服务。Cisco Nexus 7000系列建立在一个成熟的操作系统上，借助增强特性提供实时系统升级，以及出色的可管理性和可维护性。 它的创新设计专门用于支持端到端数据中心连接，将IP、存储和IPC网络整合到单一以太网交换矩阵之上。

作为第一款下一代交换机平台，Cisco Nexus 7000系列10插槽机箱(图1)提供集成永续性，以及专为数据中心可用性、可靠性、可扩展性和易管理性而优化的特性。

图1. Cisco Nexus 7000系列10插槽机箱.

特性和优势

在Cisco NX-OS软件的支持下，Cisco Nexus 7000系列10插槽机箱为数据中心提供一系列丰富的特性，保证系统的永续运营。

前后通风，带10个前面板接入的垂直模块插槽和一个集成电缆管理系统，能够支持新老数面向数据中心的高可靠性和最高可用性设计方法，所有接口和控制引擎模块都采取前面板系统采用两个专用控制引擎模块；可扩展、完全分布式的交换矩阵架构最多能容纳5个后拥有8个I/O模块插槽的Cisco Nexus 7000系列10插槽机箱最多支持256个万兆以太网或384

据中心的安装、运营和冷却。

接入，冗余电源、风扇和交换矩阵模块则完全采用后端接入，以确保维护过程中布线不受影响。 端安装的交换矩阵模块，配合10插槽机型的机箱中板设计，整个系统能提供最高7 Tbps的转发能力。 个千兆以太网端口，能够满足最大型数据中心的部署需求。

页脚内容91

劳动合同签订意向调查表

前后通风确保Cisco Nexus 7000系列10插槽机箱能用于数据中心，并满足热通道和冷通道

部署要求，而不会增加复杂性。它分别采用两个系统风扇架和两个交换矩阵风扇架进行冷却。每个风扇架都配备有冗余风扇，变速风扇能随着周围温度自动调整，不仅降低进行出色管理的设施的能耗，而且能实现最佳交换机运行状态。该系统为所有风扇架设计冗余功能，进行热插拔时不会影响系统；如果一个风扇或风扇架发生故障，系统能继续运行，不会对冷却效果造成重大影响。

求。

集成电缆管理架能将所有电缆正确、整齐地放在一边或两边。

系统拥有可选的空气过滤器，能确保流过系统的空气清洁。添加空气过滤器能满足NEBS要机箱顶端的一系列LED清晰地提供主要系统组件的状态显示，能提示操作员是否需要执行电缆管理盖和可选的模块前门能使安装在系统中的布线和模块不受意外事件的影响。透明

进一步的调查。这些LED负责报告电源、风扇、交换矩阵、控制引擎和I/O模块的状态。 的前门使客户能够查看布线、模块指示灯和状态指示灯情况。

10.2 Cisco Nexus 5000 / 2000系列交换机介绍

产品概述

CiscoNexus 5000系列是一个为数据中心应用提供支持的线速、低延迟、零丢包万兆以太网，思科数据中心以太网和以太网光纤通道(FCoE)交换机（参见图1）。

图1. Cisco Nexus 5000系列包括支持万兆以太网、思科数据中心以太网和FCoE的Cisco Nexus 5020

在当今的数据中心中，具有强大的多内核处理器、机架安装的密集刀片服务器日益增多。机架内计算密度的激增，以及虚拟化软件的普及，都推动对于万兆以太网和整合I/O的需要： Cisco Nexus 5000系列能完美地支持这一应用。Cisco Nexus 5000系列具有延迟低、前后通风及后面板端口的特点，适用于正要迁移到万兆以太网的数据中心，以及那些已准备部署统一阵列，以支持通过单一链路联网的局域网、存储局域网和服务器集群（或采用双链路实现冗余）的数据中心。

此交换机系列使用简洁的架构，在所有端口上支持万兆以太网，而且无论数据包大小和实施何种服务，都保持一致的低延迟。它支持思科数据中心以太网功能，提高以太网的可靠性、效率和可扩展性。这些特性使该交换机可在一个无损耗的以太网阵列上，支持多个流量类别，由此实现局域网、存储局域网和集群环境的整合。它能将FCoE连接到本地光纤通道，保护现有存储系统投资，并大大简化机架内布线。除在服务器上支持标准万兆以太网卡(NIC)外，Cisco Nexus 5000系列能与融合网络适配器(CNA)的整合式I/O适配器集成，将以太网NIC与光纤通道主机总线适配器(HBA)相结合，透明地迁移到一个统一网络阵列，与现有实践、管理软件和OS驱动程序协调一致。此交换机系列与第三方集成收发器和Twinax布线解决方案集成，在机架级别为服务器提供非常经济高效的万兆以太网连接，无需再使用昂贵的光收发

页脚内容92

劳动合同签订意向调查表

器。

无论实施哪些网络服务以及数据包大小如何，Cisco Nexus 5000系列交换机阵列使用的简洁技术都能支持统一的低延迟以太网解决方案。该产品系列专为数据中心环境而设计，采用前后通风，网络端口位于后部，使交换操作更贴近服务器，并尽量简化和缩短布线。此交换机系列非常便于维护，采用冗余、可热插拔的电源及风扇模块。其软件以数据中心级Cisco NX-OS软件为基础，提供高可靠性和易管理性。

Cisco Nexus 5020 56端口交换机

Cisco Nexus 5020是一款2机架单元(2RU)、万兆以太网、思科数据中心以太网和FCoE 1/2/4 Gbps光纤通道交换机，能够以极低延迟提供1.04Tbps吞吐率。它有40个固定万兆以太网、思科数据中心以太网和FCoE SFP+端口。通过配置，2个扩展模块插槽能增加支持12个万兆以太网、思科数据中心以太网和FCoE SFP+端口、多达16个光纤通道交换机端口，或二者的结合。该交换机有1个串行控制台端口和1个带外10/100/1000 Mbps以太网管理端口。它采用可热插拔的1+1冗余电源，以及可热插拔的4+1冗余风扇模块，以提供高可靠的前后通风。

扩展模块选项

Cisco Nexus 5000系列能够支持扩展模块，以增加万兆以太网、思科数据中心以太网和FCoE端口的数目；或经由1/2/4 Gbps光纤通道交换机端口连接到光纤通道存储局域网(SAN)；或实现这两个目的。Cisco Nexus 5020支持以下任意两个模块的组合（参见图2）：

1个以太网模块，提供6个万兆以太网、思科数据中心以太网和FCoE SFP+端口。

1个光纤通道和以太网模块，提供4个万兆以太网、思科数据中心以太网和FCoE SFP+端口，1个光纤通道模块，提供8个经由SFP接口提供1/2/4 Gbps本地光纤通道的端口，以便透明

以及4个经由SFP接口提供1/2/4 Gbps本地光纤通道连接的端口。

连接现有光纤通道网络（未来提供）。

图2. 从左到右：6端口万兆以太网、思科数据中心以太网和FCoE模块；4端口光纤通道和4端口万兆以太网、思科数据中心以太网和FCoE模块；8端口本地光纤通道扩展模块

高效的收发器和布线选项

万兆以太网的高带宽对传输提出巨大挑战，而现在这已被Cisco Nexus 5000的收发器和布线选项所克服。该产品系列支持一个创新的Twinax铜布线解决方案，它连接标准SFP+连接器以便机架内使用，并为较长的电缆提供光布线（参见图3）。

对于机架内布线或邻接机架布线，Cisco Nexus 5000系列支持SFP+直连式万兆以太网铜缆，

这个创新解决方案将收发器和Twinax电缆集成到一个节能、低成本、低延迟的解决方案中。SFP+直连式万兆以太网Twinax铜缆每收发器仅使用0.1瓦(W)功率，每链路大约只有0.25微秒的延迟。

如需进行较长布线，Cisco Nexus 5000系列还支持多模、短距离SFP+光收发器。每个光收

发器的功率大约1W，延迟不到0.1微秒。

这两种选项与10GBASE-T相比，延迟更短，能效更高。10GBASE-T标准使用功率在4到8W之间的收发

页脚内容93

劳动合同签订意向调查表

器，每链路延迟高达2.5微秒，很大程度上增加网络级功耗。

图3. Cisco Nexus 5000 系列使用SFP+直连式万兆以太网铜缆进行机架内布线，使用光传输解决方案来支持更长连接

技术 电缆 距离 电源（每边） 收发器延迟（链路） SFP+铜缆

SFP+USR超短距离传输 SFP+SR短距离传输

与整合式适配器兼容

思科及其合作伙伴已开发CAN，为服务器操作系统提供一个以太网NIC和一个光纤通道HBA，使IT部门能以完全透明的方式，使用与这两个网络相同的操作系统驱动程序、管理软件和最佳实践，来部署FCoE。这些适配器参与交换机自动协商，简化管理并有助于减少配置错误。Emulex和Qlogic提供基于ASIC的定制融合网络适配器，Intel则提供基于软件的融合网络适配器。

Nexus 2000——Nexus 5000的交换矩阵延展器

为了将Nexus 5000的服务延展到更多机柜，提供更高密度的DCE接入，但又无需增加管理上的负担，思科提供了Nexus 2000——Nexus5000专用的延展器，它提供高密度的千兆或万兆本地接入，然后用几乎线性的性能完成万兆的上连，而所有管理则完全放在上连的Nexus5000上，从而提供了最佳性价比、且支持VN-link等高级DCE功能的数据中心接入解决方案。

10.3 Cisco NX-OS 数据中心级操作系统简介

产品概述

Cisco NX-OS是一个数据中心级的操作系统，该操作系统体现模块化设计、永续性和可维护性。在业界成熟的Cisco SAN-OS软件的基础上，Cisco NX-OS确保持续的可用性，并为承担关键业务的数据中

页脚内容94

劳动合同签订意向调查表

心环境设立标准。Cisco NX-OS的自行恢复和高度模块化的设计实现对业务无影响的运行，提供出色的运营灵活性。

Cisco NX-OS是面向数据中心的需要而设计的，它所提供的强大、丰富的特性集，不仅能满足当前数据中心的路由、交换和存储网络要求，还能满足未来的数据中心需求。凭借XML界面和类似Cisco IOS软件的CLI，Cisco NX-OS为相关网络标准和各种真正数据中心级思科创新的实施提供鼎力支持。

®

特性和优势

灵活性和可扩展性

软件兼容性：Cisco NX-OS 4.0能与运行各种Cisco IOS软件操作系统的思科产品互操作。整个数据中心通用的软件：Cisco NX-OS简化数据中心的操作环境，提供一个统一的OS，模块化软件设计：Cisco NX-OS能够在SMP、多核CPU和分布式线卡处理器上支持分布式多

Cisco NX-OS 4.0也能与遵循本产品简介中所列举的网络标准的网络OS互操作。 能够在数据中心网络的各个区域运行，包括局域网、SAN和第四到七层网络服务。

线程处理功能。硬件表编程等需要大量计算的任务能卸载给分布在多个线卡上的专用处理器。Cisco NX-OS模块化进程在受保护内存空间中逐个按需启用。因此，只有当一个特性启用后，进程才会启动，开始分配系统资源。模块化进程由实时预先排程器管理，有助于确保及时处理关键功能。

虚拟设备环境(VDC)：Cisco NX-OS能够将OS和硬件资源划分为模拟虚拟设备的虚拟环境。

每个VDC拥有其自身的软件进程、专用硬件资源(接口)和的管理环境。VDC有助于将分立网络整合为一个通用基础设施，保留物理上的网络的管理界限划分和故障隔离特性，并提供单一基础设施所拥有的多种运营成本优势。

页脚内容95

劳动合同签订意向调查表

可用性

持续系统运营：Cisco NX-OS提供持续的系统运营，维护、升级和部署软件认证，同时不

会造成服务中断。通过将进程模块化、模块化修补、思科运行中软件升级（ISSU）功能和不间断转发(NSF)平稳重启相结合，极大地降低软件升级和其他操作所带来的影响。

思科ISSU：思科ISSU利用冗余引擎在平台上提供透明的软件升级功能，极大地缩短停机时迅速开发增强特性和故障修复：Cisco NX-OS的模块化特性使新的特性、增强特性和故障

间，使客户能够在极少影响或不影响网络运营的情况下，集成最新的特性和功能。

修复能够迅速地集成入软件。因此，模块化修复功能能够在极短的时间内完成开发、测试和交付使用，满足紧迫的时间要求。利用ISSU，这些更新镜像能在不干扰正常运行的情况下安装。

进程应急启动：关键进程在受保护的内存空间中运行，于其他进程和内核，从而提供

精确的服务分隔和故障隔离，支持模块化修补和升级，以及快速重启功能。各进程能够分别重启，不会丢失状态信息，不会影响数据转发，因此，在升级或故障后，进程会在数毫秒内重启，而不会影响邻近的设备或服务。利用基于标准的NSF平稳重启机制，拥有大量状态信息（如IP路由协议）的进程能够得以重启；其他进程则借助本地永久存储服务（PSS）维持其状态。

状态化引擎故障切换：冗余引擎始终保持同步，支持快速的状态化引擎故障切换。它具有可靠的进程间通信：Cisco NX-OS提供进程间可靠的通信功能，能够确保故障过程中和出

先进的检验功能，有助于确保故障切换后整个分布式架构中状态的统一性和可靠性。

现不利情况下，所有信息都得以传送和正确地发挥作用。该通信功能有助于确保进程同步化和状态的一致性，这些进程能够在分布于多个引擎和I/O模块上的处理器上启用。

冗余交换以太网带外信道(EOBC)：Cisco NX-OS能充分利用冗余EOBC来支持控制和I/O模块基于网络的可用性：通过提供工具和功能，使故障切换和回退透明、迅速，从而优化网络

处理器间的通信。

收敛。例如，Cisco NX-OS提供生成树协议增强特性，如BPDU防护、环路防护、根防护、BPDU过滤器和网桥保证，以确保生成树协议控制平面的状态正常；UDLD协议；路由协议NSF平稳重启；毫秒间隔的FHRP；SPF优化，如LSA Pacing和iSPF；以及带可调整计数器的IEEE 802.3ad链路汇聚。

可维护性

故障排除和诊断：Cisco NX-OS拥有独特的可维护性功能，使网络操作员能够根据网络趋

势和事件提前采取行动，从而增强网络规划，缩短网络运营中心(NOC)和厂商的响应时间。呼叫到家、思科通用在线诊断(GOLD)和Cisco NX-OS嵌入式事件管理器(EEM)是Cisco NX-OS用于提高可维护性的部分特性。

交换端口分析器（SPAN）：SPAN特性允许管理员在不对运营造成影响的情况下，将SPAN

进程流量导向连接一个外部分析器的SPAN目的地端口，从而对端口(称为SPAN源端口)间的所有流量进行分析。

嵌入式数据包分析器：Cisco NX-OS拥有一个内置数据包分析器，用于控制平面流量的监智能呼叫到家：智能呼叫到家特性能够持续监控软硬件，并通过电子邮件发送关键系统事

控和故障排除。该数据包分析器以常用的Wireshark开放源网络协议分析器为基础而构建。 件通知。它拥有多种消息格式，能与寻呼机服务、标准电子邮件和基于XML的自动分析应用等出色兼容。它提供报警分组功能和可定制目的地功能。该特性有多种用途，例如直接寻呼网络支持工程师、发送电子邮件给NOC，以及利用思科自动通知服务直接开启一个思科技术支持中心(TAC)案例等。这一特性向实现自治系统运营迈出重要的一步，使网络设备在出现问题时能通知IT，确保故障得以迅速地解决，缩短解决时间，最大限度地延长系统正常运行时间。

思科GOLD: 思科GOLD是一个诊断套件，负责检验硬件和内部数据路径是否按设计要求运

行。思科GOLD特性集包括引导时间诊断、持续监控，以及按需和定期测试等。这个业界领先的诊断

页脚内容96

劳动合同签订意向调查表

子系统能够执行对当今连续运行环境十分重要的快速故障隔离和持续系统监控功能。

思科EEM: 思科EEM是一项强大的设备和系统管理技术，集成在Cisco NX-OS之中。思科EEMCisco Netflow: Netflow是Cisco NX-OS中的一个组件，它支持版本5和版本9输出，以及

能够帮助客户充分利用思科软件的网络智能优势，使其能根据发生的网络事件，定制所采取的行动。 灵活Netflow配置模式和基于硬件的样本Netflow，提高可扩展性。 可管理性

可编程XML界面：在NETCONF业界标准的基础上，Cisco NX-OS XML界面为设备提供一个统SNMP协议：Cisco NX-OS符合SNMP版本1、2和3的规定，支持广泛的管理信息库（MIB）。 配置验证和回退：凭借Cisco NX-OS，系统操作员能够在应用配置前，验证配置的一致性

一的API，使客户能快速开发和创建工具，增强网络性能。

和所需硬件资源的可用性。因此，设备能预配置，之后再应用经过验证的配置。配置还包括检查点，以使管理员能根据需要回退到以前的完善配置。

基于角色的访问控制(RBAC)：凭借RBAC，Cisco NX-OS使管理员能分配用户角色，用思科数据中心网络管理器（DCNM）：思科DCNM是一个专门用于数据中心网络运营的管理解

户对交换机的操作。管理员能够定制接入功能，仅允许必要用户访问网络。

决方案。它大幅延长整个数据中心基础设施的正常运行时间，提高可靠性，因而能够支持业务连续性。思科DCNM是为Cisco NX-OS产品系列专门设计的。

连接管理处理器（CMP）支持：Cisco NX-OS支持利用CMP对平台实施“熄灯式”远程管理。

通过提供NX-OS控制台带外接入信道，CMP为运营提供有力支持。 流量路由、转发和管理

以太网交换：Cisco NX-OS支持高密度、高性能的以太网系统，提供全面的数据中心级以

太网交换特性集。该特性集包括IEEE 802.1D-2004 快速和多生成树协议(802.1w和802.1s)、IEEE 802.1Q VLAN和中继、支持16,000名用户的VLAN、IEEE 802.3ad链路汇聚、私有VLAN、跨机箱私有VLAN、主动和标准模式UDLD，以及流量抑制(单播、组播和广播)。生成树协议利用生成树环境中的ISSU、BPDU防护、环路防护、根防护、BPDU过滤器、网桥保证和巨型帧支持，实现透明升级。

IP和路由：Cisco NX-OS支持广泛的IP版本4和6 (IPv4和v6)服务及路由协议。这些协议的

实施完全符合最新标准的要求，提供先进的增强特性和参数，如4字节ASN和增量SPF，并且无需使用率低下的传统功能，其出色实施能够提高特性速度和系统稳定性。所有单播协议都支持不间断转发平稳重启(NSF-GR)。所有协议都支持各种类型的接口，包括以太网接口、交换虚拟接口（SVI）和子接口、端口信道、隧道接口和环回接口。

IP组播：Cisco NX-OS提供业界领先的IP组播特性集。Cisco NX-OS 4.0的实施为未来开发Cisco NX-OS去除已废弃的功能，如PIM密集模式，这是体现操作系统的前瞻性发展方向的服务质量(QoS)：Cisco NX-OS支持多种QoS机制，包括分类、标记、队列、监管和调度。

支持组播的丰富网络功能奠定基础。 一个实例。

所有QoS特性都支持模块化QoS CLI (MQC)。MQC能用于在各种思科平台上提供统一的配置。 网络安全

Cisco TrustSec: 作为Cisco TrustSec安全套件的一个组件， Cisco NX-OS提供出色的数

据保密性和完整性，利用128位高级加密标准（AES）支持标准的IEEE 802.1AE链路层加密。链路层加密保证端到端数据私密性，允许按照加密路径添加安全服务设备。安全组访问控制列表(SGACL)是网络访问控制的一个新模式，是在安全组标记而非IP地址的基础上构建的，能够支持更加精确的策略，且因为具有拓扑结构性，使管理更加方便。

页脚内容97

劳动合同签订意向调查表

-

其他网络安全特性：除Cisco TrustSec以外，Cisco NX-OS 4.0还提供以下安全特性：

数据路径入侵检测系统（IDS），用于协议遵从性检查 - 控制平面限速（CoPP） - MD5路由协议验证

- 思科集成安全特性，包括动态ARP检测(DAI)、DHCP电子欺骗和IP源防护 - AAA和TACACS+ - SSH协议版本2 - SNMPv3支持 - 端口安全

- IEEE 802.1x验证和RADIUS支持

- 第二层思科网络准入控制(NAC)局域网端口IP

- 由命名ACL (基于端口的ACL [PACL]、基于VLAN的ACL [VACL]和基于路由器的ACL [RACL])支持的、基于MAC和IPv4地址的策略

页脚内容98