【IT168评测中心】处理器、IO和内存是影响一个平台性能的三个关键因素。在平衡的平台上，这三个方面的性能应该相互匹配，不应该有过于突出或者过于“瘸腿”的方面，这也就是Amdahl定律的中心思想。

　　最近几年，CPU技术迅速的发展，除了主频快速提升之外，还通过增加超线程技术、多核心技术等来提升处理器的性能；已经使用了十余年的PCI总线也开始被PCI-Express总线取代，IO性能更高，配置也更灵活了；显然内存技术也需要作相应的改进才能适应其它两个方面的改变。

　　首先新的内存技术必须可以解决容量和带宽的问题，另外还要保持较为理想的内存延迟。现有服务器平台上所使用的DDR/DDR2内存均为并行设计，随着内存工作频率越来越高，抑制多条并行信号线之间的干扰变得越来越困难。一般的解决方法是降低每通道所支持的DIMM数量，但是这同服务器平台上需要越来越大容量的内存的发展趋势是不符的。虽然现在单条内存模组的容量越来越大，但是依然无法抵消有限的每通道DIMM数量的限制。

图1：DRAM传输率限制了每通道设备数量

　　为什么不改进内存控制器让它能够支持更多的通道呢？现在的并行内存通道每个接口的针脚数量已经达到了240 pins，如果继续增加内存控制所支持的内存通道数量，相关电路的复杂程度会使得整个平台的成本提升到无法接受的地步。

　　其次，新的内存技术升级换代成本不能太高，自身的成本也不能有明显的提升，否则无法应用于主流平台上。为了满足这个需求，新的内存技术应该尽可能少的影响现有内存厂商，特别是内存芯片厂商，这样才能获得更广泛的支持，使得新的内存技术标准得以存活下去。

　　第三，新的内存技术标准必须能够满足未来10年左右的服务器、存储、工作站和通讯等平台的需求，提供足够的可靠性、可用性和适用性（RAS）。

　　FB-DIMM内存技术的优势

　　FB-DIMM（Fully-Buffered DIMM）技术借助于串行技术，在现有DDR2内存模组上成功的实现了上述的设计目标。如下图所示，它在内存控制器接口和现有的内存模组接口之间插入了一个缓冲部件，这个缓冲部件到DRAM芯片之间的接口兼容目前的DDR2技术规范，因此可以直接现有的DDR2内存芯片来装配FB-DIMM内存模组（同样的原理，未来FB-DIMM可以采用DDR3芯片，以满足服务器平台今后发展的需要）。内存控制器和缓存部件之间则采用了点对点串行接口技术，而不再是现在的共享并行接口。

图2-1：FB-DIMM基本工作概况

　　FB-DIMM内存所采用的缓冲部件被称为AMB（advanced memory buffer，高级内存缓冲）的芯片，Intel、IDT、NEC等厂商均已经开始生产这种芯片。这颗芯片的主要作用是响应内存控制器的命令，它将内存控制器发出的指令传送给DRAM。它实际上担当了串行和并行转换的角色，因为它的存在，可以在FB-DIMM上直接使用现有的DRAM芯片。这种设计思路可以大大降低推广这种新内存技术的阻力，因为它不需要内存芯片厂商做任何的改变，而之前从SDRAM向DDR或者Rambus转变的过程则需要内存芯片厂商的支持。更重要的是它为今后的内存技术升级提供了较大的空间，比如未来DDR3投入应用之后，FB-DIMM技术也可以通过采用DDR3 DRAM芯片而“升级”。

　　而且在FB-DIMM的宣传材料中出现了向后兼容的字样，也就是说现有的FB-DIMM平台很有可能可以直接使用FB-DIMM DDR3内存——因为内存控制器是通过AMB芯片同DRAM芯片交互的，实现这一点并非不可能。

　　应用FB-DIMM技术的平台最高可支持6个通道，每通道可支持8 DIMMs，每DIMM可支持2 Ranks内存模组。目前最高容量的FB-DIMM内存为4GB，因此理论上该平台最高可配置192GB的内存。从Intel已经发布的Intel 5000系列芯片组来看，他们最多支持4个通道，每通道支持4个DIMMs，理论上可配置64GB内存。不过，就我们目前所看到已经发布的服务器而言，大部分是配置了8 DIMM，因此最大内存容量为32GB。每个FB-DIMM通道的数据输出带宽可达6.7GB/s，6个通道总共可以提供40.2GB/s的内存带宽。即便是现在的Intel 5000P芯片组也可以提供26.8GB/s。

　　可见，FB-DIMM技术大大提高了服务器平台内存容量和带宽，为X86服务器进入更高端应用奠定了基础。

图2-2：FB-DIMM布线优势

　　每个FB-DIMM通道仅需要69条信号线即可，同现在的并行DDR2通道需要240条信号线相比，其布线的复杂程度将会大大的降低。上图是支持DDR2内存主板的布线（左）和支持FB-DIMM内存主板的布线（右），在支持DDR2 Registered DIMM的主板上，1个通道需要两个Routing层用于信号线，另外还需要一层用于供电，而在支持FB-DIMM的主板上，2个通道则仅需要两个Routing层即可（供电亦包括在其中）。很明显，这样会大大简化主板布线，降低主板设计难度，缩短产品研发周期，提升生产率。

　　FB-DIMM技术对于操作系统和应用程序是透明的，因此现有的操作系统和软件均可直接在应用了FB-DIMM技术的硬件平台上运行。

　　FB-DIMM技术细节

　　FB-DIMM技术，更确切的说是一种新的内存架构，它主要用于解决服务器平台对于内存容量、带宽等方面提出的更高的需求。从内存系统架构的角度来看，FB-DIMM同Registered DIMM和Unbuffered DIMM有着很大的不同。FB-DIMM协议采用了很多新技术，其中支持封包数据格式的串行链路接口和专用的读/写路径是其关键点。点对点差分信号互联和数字去重(de-emphasis)是FBD通道链路的关键点。利用数据流进行时钟恢复（Clock recovery）是FBD时钟的关键点。FB-DIMM支持时钟重同步和重采样操作。CRC (Cyclic Redundancy Check，循环冗余码校验)同数据流一并传输，可确保在高速数据传输过程中的可靠性。Failover机制支持带有动态IO故障的系统运行。另外，FB-DIMM采用了菊花链方式连接，也就是AMB和AMB之间、AMB和Host之间、AMB和DRAM之间都是点对点互联。

　　这个章节的名称虽然是《FB-DIMM技术细节》，但是我们无意也不可能在短短一个章节中面面俱到，因此我们将通过了解几个关键词，来对于这种新的内存技术做更进一步的了解。

　　关键词之一：频率

图3-1：FB-DIMM内存系统概要

　　在FB-DIMM技术中有多个需要了解的频率参数，包括时钟频率、DRAM时钟频率、DRAM数据传输率、通道传输率和通道单元间隔（channel unit interval）。所有的频率参数之间具有一定的比例关系。外部时钟源为AMB和Host提供基准时钟输入信号，这个频率相对于通道和DRAM频率要低的多。AMB倍增了外部时钟输入，为DRAM的运行提供时钟信号。DRAM数据传输率两倍于DRAM时钟输入信号——这也就是DDR（Double data rate）的基本工作模式。通道速度则由单元间隔（UI：Unit Interval）来衡量，单元间隔也就是在FBD通道中电源转换的平均时间间隔。它六倍于DRAM数据传输率。

　　因此如果外部时钟源为166MHz（6ns），那么AMB则为DRAM输出333MHz（3ns）的信号源，很容易计算FBD通道单元间隔为250 ps（皮秒，1ns＝1000ps），也就是4.0Gbps的传输率。

图3-2：FB-DIMM主要频率关系

　　在FB-DIMM平台设计中，为每个AMB和Host提供的基准时钟信号并没有考虑相位调节的问题。这主要是其时钟同步是通过FB-DIMM内存子系统的外部基准时钟和通道数据流来实现的——这一点同PCI-Express总线的实现方式是相同的。这种方式也造成了在没有数据通讯的时候，使得发射器和接收器之间不同步，在FBD通道内通过引入最小转换密度来解决这个问题。

图3-3：时钟信号的矫正

　　关键词之二：接口

图3-4：AMB接口功能

　　FB-DIMM中的关键部件为AMB（Advanced Memory Buffer，高级内存缓冲）和它的所有接口。它们包括2个FBD链路（links）接口,1个DDR2通道接口和1个SMBus接口。FB-DIMM采用了菊花链拓朴结构，提供了良好的扩展性，每通道可支持单DIMM到8 DIMM扩展。

　　FB-DIMM通道具有双向通讯路径，南向（south bound）链路和北向（north bound）链路，均采用物理差分信号，分别代表不同方向的信号传输。南向指的是从主控制器向DIMM的方向，北向则相反。南向主要用于传输到DRAM的命令和在DRAM中寻址并且向其中写入数据。而北向则用于从DRAM读取的数据。南向输入链路宽度为10 lane，北向输入链路宽度为14 lane。

　　AMB所提供的DDR2通道可直接连接到DDR2 SDRAM。DDR2通道支持2 ranks，每rank包含8 bank，可操作16 row/column请求，具有64条数据信号线和8条校验位信号线。

　　AMB支持SMBus接口，这也就意味着它允许系统不必通过FBD链路也能访问配置寄存器。不过，AMB并非SMBus的主控制器，仅是从属接口，其工作频率为100 kHz。这个接口在启动系统过程中、诊断链路故障的时候非常的有用，对AMB所必需的。

　　关键词之三：帧和带宽

　　南向和北向具有不同的数据帧格式和帧格式容量，其中北向的读取数据传输率两倍于写入数据传输速率。采用这种非对称设计的主要原因是因为实际应用中读多写少。

图3-5：帧格式

　　南向包括10对差分信号线（20条物理信号线），它采用了10x12 (10 IO [或者 Lane] x 12 IO switching)帧格式，可以传送10x12 bit 信息每DRAM时钟。一个南向帧被分为三个命令slot，如上图所示，Command slot A传送带地址的命令。Command slot B 和 C 传送带抵制的命令或者向DRAM的写数据。

　　写数据通过Command+Wdata帧在FBD南向命令和数据连接上传输。每个FBD通道内的Command+Wdata帧可以传输72 bits数据。两个Command+Wdata帧则可以传输144 bits数据，这同单个DRAM命令时钟周期内传输的数据量（18 Bytes）是相匹配的。单通道内可以产生1个DRAM突发8传输或者在两个连续通道可以产生1个突发4传输，均可以提供72 Bytes的数据（64 Bytes数据 ＋ 8 Bytes ECC数据）。南向命令和数据连接的峰值理论吞吐量将只有单DRAM通道的一半。比如，当使用DDR2 533 DRAM时，南向命令和数据连接峰值理论带宽为2.133 GB/s。

　　北向包括14对差分信号线（28条物理信号线）。它采用了 14x12 (14 IO [或者Lane] x 12 IO switching)帧格式，每个DRAM时钟可以传输14x12 bit信息。一个北向帧可以分为两个部分，均可以从DRAM读取数据。

　　FBD通道的北向数据链路用于传输读取到的数据。每个FBD北向数据帧可传输144bits数据，也就是18Bytes，正好是单个DRAM命令时钟周期内所能传输的包含有ECC数据的容量。14单通道可完成1个DRAM 8突发，相邻的两通道可完成1个DRAM 4突发，这两种方式均可提供72 Bytes的数据（64 Bytes数据 ＋ 8 Bytes ECC数据）。北向数据链接将会同单个DRAM通道的峰值理论吞吐量相同。比如，当使用DDR2 533 DRAM时，北向数据连接峰值理论带宽是4.267 GB/s。

　　单FBD通道的峰值理论吞吐量则是北向数据连接峰值理论吞吐量与南向数据连接峰值理论吞吐量之和。单FBD通道的峰值理论吞吐量是单DRAM通道的1.5倍。比如，当使用DDR2 533 DRAM时，DDR2 533通道的峰值理论吞吐量为4.267 GB/s，FBD-533通道的峰值理论吞吐量为6.4 GB/s。

　　关键词之四：FBD通道延迟

　　当不使用可变读取延迟（Variable Read Latency）功能的时候，FBD通道中的任何一个FBDIMM的延迟同其它的FBDIMM是相同的。当更多的DIMM被加入到FBD通道时，从每个DIMM中读取数据的延迟会相应的增加。这主要是因为FBD通道是由多个基于点对点内部互联DIMM组成的，内存请求要必须要经过N-1个缓冲才能到达第N个缓冲。所以4 DIMM通道配置的空闲读取延迟要被1 DIMM通道配置的长一些。采用可变读取延迟功能则能够使得靠近Host的DIMM的延迟更短一些。

　　关键词之五：热插拔（Hot-add和Hot-remove）

　　FBDIMM通道本身并不具有监测通道内是否增加了FBDIMM的机制，还是需要依靠系统的内存控制器来对于新添加的FBDIMM进行初始化。然后执行一个热添加复位操作，新的FBDIMM就可以同原来的FBDIMM一起协同工作了。拆卸FBDIMM的之前，也是由Host向最后一个FBDIMM发出一个快速复位操作使其脱离工作状态，然后即可进行拆卸了。需要注意的是，虽然是“热插拔”，但是实际上在安装或者拆卸FBDIMM的瞬间，FBDIMM插槽上的供电是会断掉的，如果实现这样的功能就是系统平台所要考虑的范畴了。

　　FB-DIMM内存外观以及物理规格

图4-1：FB-DIMM外形尺寸		图4-2：DDR2 DIMM外形尺寸

　　我们参考了三星公布的产品规格文档，并且分别将FB-DIMM和Registered DDR2 DIMM的外观尺寸做了对比。Registered DDR2 DIMM外形尺寸为133.35mm x 30mm，而FB-DIMM外形尺寸为133.35mm x 30.35mm。虽然前面我们了解到FB-DIMM实际上有效信号线仅需要69条，但是现在的FB-DIMM依然是240pin。两者内存模组防呆缺口的位置不同，FB-DIMM位于67mm和51mm交界处，而DDR2 DIMM位于63mm和55mm交界处。

　　两者的内存芯片的分布方式也不一样，比如均采用18颗内存芯片的内存模组，Registered DDR2 DIMM一般是正反两面各自有9颗，而FB-DIMM则是在一面为8颗，另外一面10颗，芯片数量较少的一面还要安装AMB芯片。

图4-3：英飞凌FB-DIMM内存

图4-4:三星FB-DIMM内存

　　从前面的介绍来看，AMB芯片是一颗非常繁忙的芯片，整条FB-DIMM模组的所有指令、数据的进出都要经过这颗芯片。对于一个通道内多个DIMM的情况，最靠近内存控制器的DIMM的AMB芯片是最繁忙的。在这种情况下，这颗芯片的发热量不容小觑，因此所有的FB-DIMM内存模组都需要为AMB安装散热片来散热，不同的厂商提供的不同的解决方案，比如英飞凌仅仅为AMB安装了单独的散热片，而三星则采用了全包的散热片。

　　根据Kingston提供的资料显示，FB-DIMM的耗电量比DDR2 Registered DIMM高（约3-5瓦每支），这对于内存而言是个很高的数字。假设在安装了8条FB-DIMM的系统内，所增加的功耗就是24-40瓦！

　　Intel 5000系列内存控制器

　　英特尔发布了三款芯片组用于支持双核Xeon 5000系列处理器，它们是Intel 5000P、Intel 5000V和Intel 5000X，其中的前两者主要定位于服务器应用，而后者是定位于工作站应用。我们将会在本章节主要了解Intel 5000P、Intel 5000V这两款芯片组的内存控制器。

　　Intel 5000P、Intel 5000V这两款芯片组的关系就如同现在的Intel E7520和Intel E7320芯片组的关系，Intel 5000P定位相对较高，Intel 5000V定位略低。Intel 5000P和Intel 5000V芯片组的主要区别在于MCH芯片，它们均可以搭配新的6321ESB芯片或者6700PXH芯片。相对于上一代芯片组E7520/E7320，Intel 5000 MCH芯片在处理器和内存方面做了重大的改进。

Intel 5000P芯片组功能示意图

Intel 5000V芯片组功能示意图

　　Intel 5000系列芯片组通过独立的点对点系统总线支持两个处理器，完全不同于之前的芯片组采用的共享总线的方式，这被英特尔称之为双独立总线（DIB）。每条总线运行频率为266MHz（1066MTS），那么安装了FSB1066处理器的系统的前端总线的总带宽最高可达17GB/s，安装了FSB667处理器的系统的前端总线的总带宽为10.6GB/s。其实从规格表上，我们可以看出Intel 5000芯片组已经为FSB1333做好准备，下一代的Woodcrest核心的处理器可以在现有平台上平滑升级。

　　 Intel 5000系列芯片组放弃了对现有的DDR/DDR2 ECC Register内存的支持，仅仅支持FB-DIMM内存，这对于构建平衡的、性能更强大的Intel新服务器平台而言是必需的。

　　Intel 5000P MCH支持36bit寻址能力，总共可支持64GB物理内存。MCH支持4个FB-DIMM内存通道，每个通道最高支持4个双bank FB-DIMM DDR DIMM。因此在非镜像模式下，MCH最高可支持16 DIMM或者最大64GB物理内存，在镜像模式下最大可以支持32GB物理内存。Intel 5000V MCH则仅支持2个FB-DIMM内存通道，每个通道最高可支持4 DIMMs，总共可支持8 DIMM，那么最高内存容量可达16 GB。目前主流的E7520 MCH最高可支持16GB DDR2内存或者32GB DDR266内存。

　　每个安装了DDR533 FB-DIMM内存的FB-DIMM通道的读取带宽为4.25 GB/s，所以4个通道最高可以提供17GB/s的内存带宽，这正好同FSB1066 DIB总线的带宽相匹配。FB-DIMM采用了非对称设计，其上行信号线为10bit，下行信号线为14bit，此时4通道FB-DIMM可以提供8.5GB/s的写入带宽。在双通道配置的Intel 5000V平台上，这些数字都将减半，读取带宽为8.5GB/s，写入带宽为4.25GB/s。

　　Intel 5000P MCH和Intel 5000V MCH另外一个重要区别是对于PCI-Express总线的支持，5000P MCH支持3个x8 PCI-Express通道，每通道可以进一步配置为2个x4通道，其中1个x8通道（或者配置为2个x4通道）将用于同ESB2通讯。5000V MCH则仅提供1个x8（或者配置为2个x4通道）将用于同ESB2通讯。5000P MCH对于PCI-Express总线的支持同现有的E7520是相似的。

　　测试平台和测试方法

　　今年我们对于IT168网络实验室的服务器测试平台进行了大幅度的升级，为思科Catalyst4500千兆交换机（WS-X4013+ Supervisor Engine II-Plus和WS-X4548-GB-RJ45）增加了一个思科全千兆24口模块WS-X4424-GB-RJ45，可同时连接72个千兆铜缆设备和2个光缆设备。另外，我们还购置了29台Dell PowerEdge SC430塔式服务器和原来的32台主流配置PC一起为服务器测试平台的提供负载。

Catalyst4500千兆交换机

新增的部分Dell PowerEdge SC430服务器

　　我们在上述配置的服务器上分别安装了Microsoft Windows 2003 SP1企业版（简体中文、32bit），正确安装了各个硬件的驱动程序，确保服务器工作在非常好的的状态。

　　我们所使用的评测软件如下：

• SPECCPU2000 v1.2

• ScienceMark v2.0 Membench

• Sisoft Sandra 2005 Pro SR2

　　SEPCCPU2000可以评估服务器系统中处理器的整数性能和浮点性能，我们进行的是SPECint_base2000和SPECfp_base2000两个项目的测试。ScienceMark v2.0一款用于评估处理器科学计算能力的软件，它提供了评估被测系统内存带宽的功能，这款软件可以很好的支持多线程。WebBench在服务器评估中被普遍使用，侧重于服务器CPU子系统的性能评估。另外，我们还利用Sisoft Sandra 2005 Pro这款普通读者都熟悉的软件对于整个系统进行测试。

　　我们分别在两个平台上安装了三星512MB 1Rx8 PC2－4200F内存和英飞凌512MB 1Rx8 PC4200－4200F内存，它们默认的内存时序略有不同，三星为444-11，英飞凌为444-10。

BIOS设置

　　不同内存对处理器性能影响

　　SPEC CPU2000是SPEC组织推出的一套CPU子系统评估软件，它包括CINT2000和CFP2000两个子项目，前者用于测量和对比整数性能，而后者则用于测量和对比浮点性能。计算系统中的处理器、内存和编译器都会影响最终的测试性能，而I/O（磁盘）、网络、操作系统和图形子系统对于SPEC CPU2000的影响非常的小。

　　我们在被测服务器中安装了Intel C++ 8.1 Compiler、Intel Fortran 8.1 Compiler这两款SPEC CPU2000必需的编译器，另外安装了Microsoft Visual Studio 2003.net提供必要的库文件。按照SPEC的要求我们根据自己的情况编辑了新的Config文件，可以满足Base测试。

　　SPECfp测试过程中同时执行多个实例（instance），测量系统执行计算密集型浮点操作的能力，比如CAD/CAM、DCC以及科学计算等方面应用可以参考这个结果。SPECint测试过程中同时执行多个实例（instances），然后测试系统同时执行多个计算密集型整数操作的能力，可以很好的反映诸如数据库服务器、电子邮件服务器和Web服务器等基于整数应用的多处理器系统的性能。其中的“Throughput”测试结果显示了被测平台并行处理多个浮点任务或者整数任务的能力。“Speed”测试中主要反映的是不同的平台处理完毕某个任务的快慢。处理器性能、内存容量、速度对于测试结果都会有较为明显的影响。

　　5000V平台上安装的是Xeon 5050处理器，5000P平台上安装的是Xeon 5080处理器，分别安装两款内存之后对于性能并没有明显的影响。

　　SiSoftware.Sandra.Enterprise.v2007.5.10.98的处理器性能测试部分显示，这两款时序略有不同的内存对于性能几乎没有影响。

　　缓存内存性能测试

　　IT168评测中心观点

　　FB-DIMM是Intel又一次在内存技术方面试图引导行业的尝试，但这次Intel的情况和策略均同几年前推广Rambus时不同。首先，FB-DIMM技术并不涉及内存芯片的标准，更确切的说它是基于现有内存技术基础上的一种新的应用方式，因此并不需要诸如三星、英飞凌等半导体巨头的支持与否；其次，FB-DIMM已经成为了JEDEC标准，并且得到了主要的内存模组厂商的支持；第三点，Intel只是计划在其Xeon平台上使用，并不会涉及到PC、笔记本，因此波及面不会太大，因此推广的目的更容易达到。

　　当然，FB-DIMM内存也存在一定的问题，它需要一颗AMB芯片，根据服务器厂商反映，目前FB-DIMM内存的价格比主流的Registerred ECC DDR2内存高20-30%。另外，AMB芯片会带来3-5W的额外功耗，对于整个系统来说则是20-40W的增长幅度，因此无论是系统供电还是系统散热都是需要更多投入。

　　我们IT168评测中心通过对于一款三星FB-DIMM内存和一款英飞凌FB-DIMM内存分别在Intel 5000P芯片组和Intel 5000V芯片组上的表现进行了考察。在性能上，他们可以提供满足新一代双核Xeon处理器的需求，不过我们的测试结果无法区分4通道和2通道FB-DIMM配置的内存子系统的性能差异。在兼容性上，这两款内存均可以配合不同的芯片组工作，可以很好的支持现有的Windows 2003操作系统、应用软件。