数据中心服务器机柜布线方式及交换及选型

TOR（Top of Rack）指的是在每个服务器机柜上部署1～2台交换机，服务器直接接入到本机柜的交换机上，实现服务器与交换机在机柜内的互联。虽然从字面上看，Top of Rack指的是“机柜顶部”，但实际TOR的核心在于将交换机部署在服务器机柜内，既可以部署在机柜顶部，也可以部署在机柜的中部（Middle of Rack）或底部（Bottom of Rack），如图2-1所示。通常而言，将交换机部署在机柜顶部是最有利于走线的，因此这种架构应用最多。

图2-1 TOR交换机的部署位置

以TOR方式部署在服务器机柜上的交换机，我们称之为TOR交换机。TOR交换机一般由高度在1U～2U的盒式交换机承担，比如华为的CE5800和CE6800系列交换机。

TOR架构最大的优点就是简化了服务器到交换机之间的连线。机柜内服务器上的GE/10GE/25GE端口可以直接通过短跳线连接到TOR交换机上，再经由10GE/40GE/100GE光纤双上行连接至汇聚交换机，如图2-2所示。这样连线极大地缩短了线缆的使用距离，简化了线缆管理，降低了网络结构复杂性，更符合数据中心绿色和节能的趋势。当后续业务扩展需要更换线缆时，也更加便利。

图2-2 TOR交换机连接至汇聚交换机

对于TOR架构，每个机柜可以被看做一个独立的管理实体。当服务器或交换机需要升级时，可以以机柜为单位逐一升级，升级过程中不会影响其他机柜的流量转发，将对业务的影响控制在最小范围内。

TOR交换机上行链路通常会选择光纤，因为从长期的投资保护考虑，光纤比铜缆更有优势。光纤可以承载更高的带宽，当需要更换更高速率的链路时，光纤的选择也更加灵活。

因此在选择TOR交换机时，通常您需要同时考虑交换机下行连接服务器的端口数量、速率以及上行端口的灵活性。一般情况下：

• 当服务器端口为GE口时，您可以选择CE5855EI系列交换机。CE5855EI系列交换机分为CE5855-48T4S2Q-EI和CE5855-24T4S2Q-EI两款，分别提供下行48和24个10/100/1000BASE-T以太网电接口；上行提供2个40GE QSFP+以太网光接口和4个10GE SFP+以太网光接口，同时每个40GE接口还支持拆分为4个10GE接口。
• 当服务器端口为10GE口时，您可以选择CE6856HI系列交换机。CE6856HI系列交换机分为CE6856-48S6Q-HI和CE6856-48T6Q-HI两款，分别提供下行48个10GE SFP+以太网光接口和10GBASE-T以太网电接口；上行均提供6个40GE QSFP+以太网光接口，每个接口支持拆分为4个10GE接口。
• 如果您希望TOR交换机提供大缓存，则建议您选择CE6870EI系列交换机。按照下行口类型及数量的不同，CE6870系列交换机分为CE6870-48S6CQ-EI、CE6870-24S6CQ-EI和CE6870-48T6CQ-EI三款。以图2-3所示的CE6870-48S6CQ-EI为例， 该交换机上行支持6个40GE/100GE QSFP28以太网光接口，同时还支持拆分成4个10GE或4个25GE接口。CE6870EI丰富的上行接口类型，为不同的业务需求提供了灵活的选择，从长期来看很好的保护了客户投资。CE6870系列交换机提供4GB的大缓存，可轻松应对数据中心中视频、搜索等应用引起的流量浪涌。

  图2-3 CE6870-48S6CQ-EI

当然，TOR架构也有其缺点。最明显的一个就是，TOR架构扩大了整个数据中心机房的管理域。每个机柜上都部署交换机，也就意味着机房中交换机的数量会比较多，每一台交换机都需要进行配置、管理和维护。假设您的机房中有10排机柜，每排放置10台机柜，每台机柜上部署两台TOR交换机，那么您就需要管理维护200台TOR交换机。尽管这200台交换机的配置基本是相同的，但是依然需要花费大量的人力成本，并且也增加了设备误配置的概率。

针对上述问题，CE系列交换机也提供了相应的解决方案。比如针对新出厂或空配置设备，您可以使用ZTP（Zero Touch Provisioning）功能进行批量自动配置。CE系列交换机默认开启ZTP功能。运行ZTP后，交换机可以从U盘或文件服务器获取版本文件（包括系统软件、配置文件、License文件、补丁文件、自定义文件）并自动加载，实现设备的免现场配置。CE系列交换机还支持丰富的设备虚拟化技术（比如堆叠），可有效简化设备的管理平面，进而降低人力成本，提升部署效率。在第五章将会对这些技术做详细介绍。

TOR架构的另一个缺点是端口浪费。目前，大多数的TOR交换机都可以提供48个GE/10GE/25GE下行端口。以每机柜部署两台TOR交换机为例，则共有96个下行端口，那么您需要在机柜中放置大量的服务器才有可能全部利用好这些接口。

通过在相邻机柜之间交叉连线可以在一定程度上降低端口的浪费。如图2-4所示，两台机柜上分别部署一台48端口TOR交换机，每台交换机的24个端口提供本机柜的服务器接入，另外24个端口提供给相邻机柜的服务器接入。正如你所看到的，这种方案的代价就是需要增加在两机柜间的连线，因此也并非一个完美的方案。但是相比每个机柜部署两台TOR交换机造成的端口浪费，这种方案也不失为一种低成本并且行之有效的选择。

图2-4 相邻机柜间交叉连线

EOR/MOR

与TOR不同，EOR（End of Row）架构在每排机柜的末端提供统一的网络接入点。如图2-5所示，在每排机柜末端部署，供服务器统一接入网络的交换机，我们称之为EOR交换机。

图2-5 EOR交换机的部署位置

出于可靠性考虑，每排机柜通常会配备两个网络机柜，分别位于这一排的头端和末端。服务器网卡使用相对较短的RJ45/DAC/光纤跳线连接到同一机柜的配线架，配线架上的网线、光纤、铜缆等经捆绑后穿过架空线缆槽或地板连接到每排最边端的网络机柜。

EOR架构将接入交换机集中放置在1～2个机柜中，方便了管理和维护，但同时也增加了服务器机柜到网络机柜之间的连线。服务器机柜离网络机柜越远，在机房中的布线距离越长，由此导致线缆维护工作量大，灵活性差。

MOR（Middle of Row）架构是对EOR的一种改进，也为服务器提供统一的网络接入机柜，但是MOR要求将网络机柜放在整排机柜的中部，在一定程度上缩短了服务器机柜到网络机柜的距离，简化了线缆的管理与维护。但是与TOR相比，无论是EOR还是MOR，布线复杂、管理维护难度大依然是它们的最大缺点。若无特殊说明，下文中出现的EOR的相关描述同时也适用于MOR。

EOR交换机一般由框式交换机承担，比如华为的CE12800系列交换机。如果您的机房内服务器数量不多的话，也可以选择CE8800和CE7800系列。

相比盒式交换机，框式交换机在以下方面具有明显的优势：

• 提供更大数量、丰富类型的接入端口。通过在框式交换机上配置不同数量不同速率的接口板，您可以灵活控制接入端口的数量和速率。以CE12800系列交换机为例，截止目前支持36*100GE、36*40GE、48*10GE、48*GE等接口板类型（以最高端口数量举例），接口还支持丰富的拆分类型，为不同数据中心服务器的接入提供了灵活的选择。
• 可靠性高。框式交换机提供冗余硬件，例如多交换网板、多电源模块、多风扇模块，整机可靠性更高。
• 保护客户投资。当数据中心需要比现在更高的接入速率，您只需要更换更高速率的接口板，而不用整台设备换掉。从整个生命周期来看，成本更低。

EOR架构使得数据中心的管理领域大大减少，因为它是基于每排而不是每机架进行管理。但是，这同时也意味着一旦EOR交换机出现故障或者升级失败，它的影响范围也会是一整排的服务器。这也是为什么对EOR交换机要求更高的原因。