用于高性能计算 SoC 的整体以太网 PHY IP 剖析

Synopsys 产品营销经理 Priyank Shukla

简介

随着系统需求的增加,超大规模数据中心需要适时扩展。对于超大规模数据中心所需的服务器到服务器通信,以太网已成为首选网络协议,因为它允许超大规模企业分解网络交换机并独立安装其软件操作系统。以太网可实现经济高效,密集开放的交换机和网络技术,它通过晶体管扩展来降低每 bit 位的成本/功耗。以太网是一种计算机网络技术,它定义了开放系统互连 (OSI) 模型的物理层和数据链路层。IEEE 802.3 标准以一种结构化方式描述这些功能,强调系统的逻辑划分以及其如何组合在一起。由媒体接入控制 (MAC) 组成的数据链路层可创建以太网数据帧,并使用底层以太网物理层通过介质传输数据帧。

本文描述了高性能计算 (HPC) 片上系统 (SoC) 中使用的以太网 PHY,以及完整的 MAC + PHY IP 如何加速协议遵从和设计收敛。
 

以太网物理层或 PHY

以太网物理层或 PHY,作为一个发送和接收数据的抽象层。PHY以特定的操作调制速度、传输媒介类型和支持的链路长度对发送数据帧进行编码,对接收数据帧进行解码。

Synopsys 文章“了解以太网命名法 – 数据速率、互连介质和物理层”将更详细地描述以太网 PHY 命名法,该命名法基于数据速率、调制和介质类型。特定速度介质无关接口 (MII) 允许使用不同 PHY 设备对不同介质类型进行操作,如双轴铜缆 (BASE-C)、双绞线 (BASE-T)、电背板 (BASE-K) 或光纤电缆 (BASE-L/R)。

例如,大多数个人计算机用户熟悉笔记本电脑/PC 中的“以太网接口”。图 1 显示了描述如何通过以太网电缆将数据传入和传出处理器的简化框图。在这种情况下,以太网数据帧(数据包)由在 CPU 中的以太网 MAC 组装,通过 MII/GMII(由 IEEE802.3 标准定义)穿过母板(印刷电路板)传输,然后到达以太网 PHY,通过 RJ 45 连接器传输通过双绞线电缆的电信号。

在个人计算机用例中,以太网数据包从处理器传输到以太网 PHY 的一个简化示例

图 1:在个人计算机用例中,以太网数据包从处理器传输到以太网 PHY 的一个简化示例

超大规模数据中心的以太网 PHY

图 2 显示了一个数据中心,它是通过光和铜介质连接的计算和存储系统的网络。光纤为单模光纤 (SMF) 的长距离以太网链路提供了一种节能方式,使用单模光纤时可提供最长的覆盖范围。多模光纤 (MMF) 是比 SMF 更具成本效益的替代品,通常适用于 500 米或更短的距离。服务器机架单元到机架顶部 (TOR) 交换机链路通常使用双轴铜缆(通常称为直接连接铜 (DAC) 电缆)实现。

在数据中心的服务器到服务器通信中使用不同类型的光纤

图 2:在数据中心的服务器到服务器通信中使用不同类型的光纤

在服务器群的机架单元中数据包的移动

图 3:在服务器群的机架单元中数据包的移动

图 3 显示了在数据中心中传输的数据包,这些数据包来自服务器群某个机架单元中的处理器。来自处理器的数据通过 PCIe 接口进入网络接口卡 (NIC)。网络接口卡通过实现 MAC 功能创建以太网帧。数据帧通过双轴铜缆 PHY 或 DAC 电缆到达架顶 (ToR) 交换机。根据 DAC 电缆长度和 ToR 机架单元物理位置中的交换芯片,或许需要 retimers 来增强信号质量。这些 retimers 在背板以太网 PHY 背靠背实现,以扩展电气信号的覆盖范围。ToR 交换机对数据帧进行路由,光模块通过实现电气和光学 PHY 功能将媒介从电转换为光。

集成式电气以太网 PHY

IEEE802.3-2018 和以太网技术联盟 (ETC) 分别定义了 400 Gb/s 和 800 Gb/s 的标准。需要注意的是,800 Gb/s 以太网基于 400 Gb/s 以太网访问方法和物理层标准(IEEE 802.3-2018 和 802.3ck)。

400 Gb/s 以太网 PHY 架构

图 4:400 Gb/s 以太网 PHY 架构

图 4 从抽象架构层面说明了 400 Gb/s 以太网 PHY,显示了 800 Gb/s 或 400 Gb/s 电气以太网 PHY 实现:

  • 由 200GMII/400GMII 接口所提供的所有必要服务的物理编码子层 (PCS),如:
    • 直流平衡:PCS 实现 64/66 比特的线编码和加扰操作,以保持传输密度和 DC 平衡
    • 将编码数据传入(传出)物理介质附件 (PMA)
    • 补偿 200GMII/400GMII 和 PMA 之间的任何速率差异:这些差异是由对齐标记插入或删除,或 PCS 通过插入或删除空闲控制字符纠正的任何速率差异引起的
    • 从 66 比特块转码到 257 比特块或从 257 比特块转码到 66 比特块
    • 实现正向纠错 (FEC) 功能:FEC 技术通过解码来校正接收端发生的错误。这些用于改善链路 bit 误码率 (BER)。然而,编解码收益和相关 BER 改进是以增加延迟为代价。考虑到这种权衡,基于链路 BER,可以实施不同的 FEC。通常对于 BER 大于10^-5 且小于 10^- 8 的链路,根据标准使用 Reed Solomon FEC 函数。对于 BER 大于 10^-8 且小于 10^-12 的链路,使用基于 FEC 函数的法尔码。最后,对于 BER 小于 10^-12 的链路,可不使用 FEC 函数
    • 为背板应用设置了基于协议定义的链路训练函数来调整均衡器分路器系数
  • PMA 层将 PCS 格式的信号调整到适当数量的逻辑或物理通道,从接收到的信号中恢复时钟,并为本地环回操作提供各种发送和接收测试模式
  • 物理介质相关 (PMD) 层接口到传输介质,将 PHY 连接到介质,介质可以是许多不同类型的光纤或铜缆
  • 自动协商层使设备能够了解远端设备的功能和状态。IEEE Std 802.3 标准第 73 条定义了新的通用自动协商协议,该协议使用独立于标准速度模式的信号。自动协商允许设备通告和共享信息,包括速度、模式、故障信号和其他控制信息

集成的以太网 PHY IP 包括 PCS、PMA、PMD 和自动协商功能,能够更快地采用最新的 800Gb/s 和 400Gb/s 以太网。图 5 显示了 800G/400G PCS 的示例实现方式。

以太网 PCS 框图

图 5:以太网 PCS 框图

总结

以太网已成为现代 HPC 数据中心服务器间通信的事实标准。以太网数据帧通过各种通道和介质类型在多个服务器单元间传输。以太网系统中完整的 MAC 和 PHY 方案可缩短设计周期时间并提供差异化的性能。Synopsys 提供完整的 200G/400G 和 800G 以太网控制器和 PHY IP 解决方案,包括 PCS、PMD、PMA 和自动协商功能,如图 6 所示。

Synopsys 提供完整的 200G/400G 和 800G 以太网控制器和 PHY IP 解决方案。

图 6:完整的 200G/400G 和 800G 以太网控制器和 PHY IP 解决方案

DesignWare®112G Ethernet PHY IP 提供卓越的信号完整性和抖动性能,超过 IEEE 802.3ck 和 OIF 标准电气规范。高效面积的 PHY 在信道损耗超过 42dB,功率效率小于 5pJ/bit 时显示零误码率。DesignWare 200G/400G 和 800G 以太网 MAC 和 PCS 支持 IEEE 802.3 和联盟规格,包括 Reed Solomon 正向纠错 (FEC) 和低抖动时间戳,以实现最大精度。