摘 要：浸没式液冷散热在高密度发热功率的服务器上得到广泛关注，为了探究液冷环境对服务器PCB信号完整性的影响，对常规风冷到液冷环境变换对PCB信号完整性的影响进行了研究；针对空气介质和冷却液介质因介电常数变化，影响PCB走线信号的传输特性阻抗问题，采用软件SI9000构建了仿真模型，对两种介质下PCB微带线单端信号、差分信号的阻抗进行仿真分析，模拟服务器从空气介质到浸没冷却液介质的PCB信号走线阻抗变化，并对冷却液不同介电常数对阻抗变化进行仿真分析，结果表明，当冷却液介电常数小于2.2时，PCB微带线走线阻抗变化较小，对其信号完整性影响较小，仍满足相关规范的误差要求，对数据中心浸没式液冷行业中冷却液的选择应用提供参考。
关键词：浸没式液冷；信号完整性；冷却液；介电常数
中图分类号：TN911.7；TP391.9 文献标识码：A 文章编号：2096-4706（2024）20-0015-05
Signal Integrity Simulation Analysis of Submerged Liquid Cooling Server PCB
HUANG Ziyang， DANG Guangyue， CHEN Zhilie
（Shenzhen Yiwanke Data Equipment Co.， Ltd.， Shenzhen 518106， China）
Abstract： Immersed liquid cooling heat dissipation has been widely concerned in the server with high density heating power. In order to explore the influence of liquid cooling environment on the server PCB signal integrity， the influence of conventional air cooling to liquid cooling environment transformation on the PCB signal integrity is studied. In view of the problem that the transmission characteristic impedance of PCB routing signal is affected by the change of dielectric constant of air medium and coolant medium， a simulation model is constructed by using software SI9000 to simulate and analyze the impedance of PCB microstrip line single-end signal and differential signal under the two kinds of media. It simulates the PCB signal routing impedance change from air medium to immersed coolant medium of server， and the simulation analysis of the change of impedance with different dielectric constants of coolant is carried out. The results show that when the dielectric constant of the coolant is less than 2.2， the PCB microstrip wire routing impedance changes a little， which has a little impact on the signal integrity， and it still meets the error requirements of relevant specifications， which provides a reference for the selection and application of coolant in the data center submerged liquid cooling industry.
Keywords： submerged liquid cooling; signal integrity; coolant; dielectric constant
0 引 言
随着科学技术的发展，服务器的算力越来越高，单颗CPU的TDP目前已经高达上百瓦，加上高算力GPU的热功率，单机柜功率密度逐年增长，传统的风冷散热逐渐难以满足服务器的正常散热要求，而服务器散热不良，会导致服务器设备温度持续增加，达到临界温度后整机系统会采取强制降低工作频率等措施降低发热量，影响到服务器的计算性能。将服务器浸泡在液冷机柜上，由不导电的冷却液将服务器板卡中芯片产生的热量带走，称为浸没式液冷。浸没式液冷和传统风冷相比有如下优势[1]：
1）更可靠：减少了震动，灰尘等环境因素。
2）密度高：单位体积能实现更大功率计算。
3）噪声低：由于没有了风扇，显著降低噪音。
4）传热快：冷却液具有比空气更高的传热系数。
由于浸没式液冷的多种优势，采用液冷散热将成为未来高功率服务器产品散热的主要方式[2]，这种散热方式将整个服务器完全浸没在冷却液中，目前还没有专门设计于液冷的服务器，各大服务器厂商采用将原设计与风冷的服务器改造为液冷服务器的方式进行液冷散热[3]，而冷却液介电常数大于1，与空气不同，此参数的变化影响到服务器关键部件PCB的走线信号传输，对此参数的选择非常重要，相关研究较少，为了更好地了解浸没式液冷对PCB信号完整性的影响，本文以数据仿真为基础，研究的重点是将原设计与风冷的服务器产品浸没在液冷环境中对服务器内部PCB板表层走线产生的阻抗影响，确定对冷却液介电常数的选择，为实际运用提供理论基础。
1 PCB信号完整性问题分析
信号完整性问题主要包括信号反射、串扰、信号延迟和时序错误。在浸没式液冷系统中，PCB周围环境为冷却液流体介质[4]，流体的介电常数不同于空气，空气的介电常数为1.000 6，接近1，工程师按照这个介电常数进行PCB走线阻抗的控制，进而完成PCB板的设计生产，若将此设计产品放在浸没式液冷介质中散热，由于冷却液的介电常数比空气介电常数要大，这会引起PCB传输线的阻抗变化，电路板的信号从发送端TX经过传输线到达接收端RX，当传输线阻抗发生变化，会引起信号的反射，衰减信号的能量，影响信号到达接收端的质量，进一步影响信号判决，提高误码率，降低板卡的性能。
而在PCB的叠层结构中进行分类，分为微带线和带状线[5]，微带线指的是PCB的顶层和底层的走线，一侧为空气，另一侧为板材介质；带状线指的是PCB内层走线，走线的上下两侧紧邻板材介质，从信号完整性归类，微带线只有一侧参考平面，而带状线有上下两层参考平面。由于微带线只有一侧参考平面，另一侧环境的介电常数对微带传输线的阻抗影响较大，当外侧的介电常数增加，导致其电容率增加，而特征阻抗的值受到该点的电感率和电容率影响，与电感率呈正相关，与电容率呈负相关。因此，有必要对PCB板的表层微带线进行仿真验证。而处于板材内部的带状线，带状传输线上下均有完整的参考平面，PCB周围的冷却液介质距离带状传输线更远，在电磁场理论中，距离远则互相耦合、互相影响就越小，因此，冷却液对板内带状线信号完整性的影响小于对微带线的影响。
PCB的表层微带线叠层设计如图1所示，由涂覆介质、铜走线、基材组成[6]。对于PCB走线来说，走线的宽度W、厚度T1、参考地的宽度G、涂覆介质C、相邻介质的厚度H1、介质的介电常数Er1及接地距离D参数都会影响走线的特性阻抗。
（1）
在传输线当中，依据式（1）的信号反射公式，ZL为后端阻抗，Z0为前端阻抗，ρ为反射系数[7]。如果传输线阻抗均匀，没有变化，即对于整个传输线而言，细分为若干个点，任意点的前端阻抗等于后端阻抗，这一理论在传输线一侧到另一侧端点之间都适用，则ZL = Z0，反射系数ρ等于0，不会发生反射，信号在发送端的波形能完好的传递到接收端，不会发生信号的畸变；如果ZL ≠ Z0，存在信号反射的情况，当传输线某一点的后端阻抗大于前端阻抗，则ρ＞0，信号在该点处发生正反射，原本应该传递到后端的信号能量，一部分反射到发送端，反射的大小跟反射系数相关；当后端阻抗小于前端阻抗，则ρ小于0，信号发生负反射。不论是发生正反射还是负反射，发送端的信号波形没有办法完美的传递到接收端，若前端阻抗和后端阻抗差别越大，则反射系数的绝对值越大[8]，接收端的信号波形和发送端会有更大的区别，对信号的正确传输产生影响，提高通信误码率，降低设备的计算性能。
如图2六层PCB叠层所示，由上至下分别为L1层、L2层、L3层、L4层、L5层和L6层，在PCB设计中，基于空间位置、性能等原因，信号走线会经过不同叠层[9]，这里以传输线经过L1层和L2层为例，如图2中标示其中的L1层、L2层及其之间的圆柱体过孔，过孔起到信号连接作用。若传输线传输常见的DDR5信号，其要求的特征阻抗为40 Ω，原本工程师已按照40 Ω进行了叠层设计，即L1层、L2层的走线特征阻抗都为40 Ω，但如果采用了浸没式液冷，L1层上方由空气环境变为了冷却液环境，会导致L1层走线的相对电容率增加，引起L1层的传输线特征阻抗降低，导致L1和L2的阻抗不连续，突变点发生在L1和L2交界处，即过孔位置，整段传输线产生了信号完整性问题。
对于PCB微带线上的信号，存在单端信号和差分信号两种形态。单端信号，即以一根PCB走线传递数据；而差分信号，常见于USB、PCIe、SATA等高速信号协议，在PCB中采用两根走线为一组的方式传递数据[10]，有必要对这两类信号都进行仿真分析。
2 信号完整性仿真模型建立
在仿真软件中选择如图3所示的模型，不同于图1中的普通叠层结构，此模型增加了一层CS层，定义CS为冷却液部分，覆盖在PCB涂覆介质上方，模拟整个PCB板浸泡在冷却液当中，CSEr即为冷却液的介电常数，改变CSEr，可以模拟不同介电常数的冷却液。具体来说，CS1为在走线外侧模拟的冷却液的厚度，CS2为传输线两侧共面参考地的冷却液厚度，CS3为传输线和共面参考地之间的冷却液厚度，其他部分与常规叠层一致。
3 阻抗仿真分析
针对空气介质和冷却液介质介电常数不一样对PCB信号反射的影响，基于以上仿真模型，仿真分析在两种介质中的PCB表层单端走线阻抗和PCB表层差分走线阻抗变化以及冷却液不同介电常数对阻抗的影响，从而判断冷却液介电常数对PCB表层传输线的影响。
3.1 仿真环境及流程介绍
仿真环境为在Windows 10系统中使用Polar Si9000软件，Polar Si9000是专业计算阻抗的软件，计算精度高，耗时短，有完善的模型，操作简单。本文选择图3模型，输入常规PCB叠层参数，包括基材介质厚度、基材介电常数、走线上线宽、走线下线宽、接地线线距、线路厚度、基材上涂覆、线路上涂覆、线路间涂覆、涂覆介质介电常数、基板上第2层涂覆、线路上第2层涂覆、线路间第2层涂覆和第2层涂覆介质介电常数参数，界面样式选择标准，收敛选择精细，这样得出的数据会更准确。先仿真空气中的阻抗值，再根据对照实验的方法，只改变单一变量的方式，改变外部环境的介电常数CSEr，模拟PCB由空气介质浸没到冷却液场景，其他参数不变，确保数据有效性，得出阻抗值，进行对比分析。
3.2 空气介质阻抗仿真
3.2.1 表层单端走线阻抗仿真
服务器PCB于风冷环境下，空气中的介电常数约为1，对应图4的叠层设计中的第二层涂覆介质CSEr设定为1，其他各项参数按照常规标准的服务器PCB叠层参数进行录入，经过软件运算，得出该参数下的微带线单端走线的阻抗Z0为50 Ω。
3.2.2 表层差分走线阻抗仿真
在如图5所示的表层差分走线叠层设计中，同样设定第2层涂覆介质CSEr为1，即仿真在空气环境中的传输线阻抗，经过仿真得出该差分走线的差动阻抗Zdiff为99.99 ohm。
3.3 冷却液阻抗仿真
3.3.1 表层单端走线阻抗仿真
服务器PCB放置于冷却液环境下，基于目前主流的冷却液介电常数为2左右，如图6这里设定冷却液的介电常数为2，对应图6仿真中的第2层涂覆介质CSEr，其他参数包括基材厚度、基材介质介电常数、线宽、线厚度，基材上涂覆的厚度及其涂覆介质CEr等参数不变的情况下，微带线单端走线的阻抗Zo变为47.73 Ω。
3.3.2 表层差分走线阻抗仿真
当冷却液的介电常数为2，在如图7的叠层设计中第2层涂覆介质CSEr设定为2，其他参数保持不变，仿真得出差分走线的差动阻抗Zdiff为95.16 ohm。
3.4 不同介质阻抗仿真对比分析
如表1所示，表层单端信号走线，如果环境由风冷变为了介电常数为2的冷却液环境，则走线特征阻抗降低了2.27 Ω，偏差比例4.54%。如表1所示，表层差分信号走线，如果环境由风冷变为了介电常数为2的冷却液环境，则走线特征阻抗降低了4.83 Ω，偏差比例4.83%。
原设计于风冷散热的服务器，浸泡在液冷环境中，由于PCB表层外侧的介质发生改变，不论是对表层单端信号阻抗还是表层差分信号阻抗，影响的偏差都在5%以内，汇总数据如表1所示。而服务器PCB的主要信号阻抗要求及其允许的误差范围如表2所示，允许10%甚至15%的误差，说明在冷却液介电常数为2的浸没式散热环境中，对走线的阻抗影响较小，仍然满足设计要求。
3.5 冷却液介电常数对阻抗影响分析
PCB中高速信号主要以差分形式传输，基于PCB对主要高速信号UPI、DDR5、SATA3.0、USB2.0、USB3.0的阻抗误差要求，为了确认冷却液介电常数的变化或不同介电常数的冷却液对阻抗的影响，根据目前市场上主流的冷却液介电常数在1.6到2.6之间，分别仿真了介电常数在此范围内，步进为0.2的介电常数和微带差分线阻抗误差的关系，如表3所示。
如图8所示为表层差分走线阻抗误差随冷却液不同介电常数的影响，可以看出即使冷却液的介电常数达到了2.6，差分阻抗误差仍在10%以内，但由于PCB板材阻抗加工时存在4%～5%误差，即允许的设计阻抗变化在5%～6%，建议选取介电常数小于2.2为优。
4 结 论
PCB传输线阻抗变化是服务器在液冷环境中性能下降的重要因素，为了保证在浸没式液冷环境中的传输性能，有必要在服务器改造阶段将冷却液的介电常数导入信号完整性仿真，确保所选的冷却液满足设计要求。
参考文献：
[1] 钟杨帆，郭锐，张京，等.基于电子氟化液的单相浸没液冷服务器长期可靠性评估 [J].中国电信业，2021（S1）：55-60.
[2] 钟杨帆，刘丹，文芳志，等.数据中心单相浸没液冷规模化应用关键技术研究 [J].信息通信技术与政策，2023，49（5）：65-72.
[3] 柯媛华，成军，杨瑛洁，等.数据中心液冷技术研究 [J].邮电设计技术，2023（12）：35-41.
[4] 曾少鸿，吴伟雄，刘吉臻，等.锂离子电池浸没式冷却技术研究综述 [J].储能科学与技术，2023，12（9）：2888-2903.
[5] 房兰霞.PCB信号完整性设计和测试应用 [J].电子工艺技术，2022，43（6）：349-353.
[6] 代秀云，何洪，白志刚，等.浸没式液冷环境下的高速连接器信号完整性 [J].机电元件，2023，43（5）：33-37.
[7] 王佐，李清春，刘小伟，等.高密度互联PCB制作技术研究 [J].印制电路信息，2024，32（S1）：227-233.
[8] 叶志红，汝梦祖，吴小林，等.PCB上微带线的电磁耦合时域建模分析方法 [J].微波学报，2022，38（4）：7-11+36.
[9] 聂俊英.利用SigXplorer进行高速信号仿真研究 [J].科技与创新，2023（17）：92-94+97.
[10] 房兰霞.PCB信号完整性设计和测试应用 [J].电子工艺技术，2022，43（6）：349-353.
作者简介：黄子洋（1997.08—），男，汉族，广西南宁人，助理工程师，本科，研究方向：硬件设计及信号完整性分析。
