一、推理场景和MoE模型引入网络新诉求

2025岁首，DeepSeek-V3颁布，迅快引发国内表的宽泛关注和部署热潮。作为主题基础设施之一，散布式推理网面对全新的需要。整体来看，推理与训练的流量差距、MoE模型架构的引入以及DeepSeek开源技术规划等多沉成分，影响了网络建设的方向和要求。

传统浓密模型的训练与推理流量中，95%以上为Tensor Parallel（TP）通讯，重要在机内高带宽域通过all-reduce实现，机表低带宽域仅在同号卡间执行低流量的数据并行（DP）和流水线并行（PP）通讯。而DeepSeek选取的MoE（Mixture of Experts）模型架构显著扭转了流量特点。训练和推理阶段均不选取TP通讯，取而代之的是大规模专家并行（EP）通讯，训练阶段EP流量占比超过95%，推理阶段则达到100%。EP通讯逾越多个凹凸带宽域，且选取all-to-all通讯模式，通讯结构复杂且流量巨大，对网络机能提出了更高、更差距化的要求。

DeepSeek模型参数规模达到6710亿，在推理部署中引入了PD分离和大规模EP并行，推动满血版高机能推理走向散布式。相比传统单机推理，散布式推理带来了显著差距，使得推理流量模式与散布式训练更为靠近，但两者在流量特点上依然存在显著区别。

通讯流量可由以下公式估算：（minibatch大幼 × 高低文长度 × 暗藏层维度）× 节点数 × （dispatch_alltoall通讯次数 × FP8字节数 + combine_alltoall通讯次数 × BF16字节数）× GPU掌管的层数。下表统计重要EP流量作为参考。

训练场景流量模式固定且明确，单次迭代总流量高达315GB，单次EP通讯流量约112MB。

推理场景流量受用户输入影响，颠簸较大。Prefill阶段以4K高低文、batch size为4推算流量大幼，单次迭代总流量约57.09GB，单次通讯流量与训练相近
；Decode阶段以128并发推算，单次迭代流量显著降低至约1.2GB，单次通讯流量仅为几MB，Prefill与Decode阶段流量差距显著。

基于以上全新且复杂的网络需要，深刻鉴别和分析DeepSeek推理网络的关键技术，是保险推理高机能、低成本与高靠得住性的关键。下文我们将从低网络时延、高效网络运维和低成本组网角度，发展介绍DeepSeek推理网络关键技术。

二、低时延网络助力推理高吞吐

凭据上述流量分析，Decode阶段的单次通讯流量仅为3.5MB/7MB。结合DeepSeek官方开源通讯库DeepEP的机能，当前场景下Decode阶段的dispatch通讯时长在100us内，combine通讯时长在200us内。Decode阶段的SLO通常要求低于50ms，但EP通讯次数高达116次，每次通讯城市导致时延叠加，因而对网络时延提出了很高的要求。综上，在Decode阶段，很少的单次通讯流量、很短的通讯时长、很高的SLO要求都对网络提出了较低的时延需要。

H800网络时延对Decode吞吐的影响

H20网络时延对Decode吞吐的影响

上图是对4K/1K高低文，1K输出的Decode场景，在H800/H20设备下，以128 batch作为场景，进行的网络时延对Decode吞吐影响仿真。如图所示，当网络侧产生1ms的时延增长时，无论是H800还是H20，在分歧的高低文场景下，吞吐城市产生巨大影响，吞吐降落幅度高达80%左右，险些已经直接导致当前Decode节点不成用。当网络上产生100us的时延时，4K高低文场景下，吞吐降落可能达到20%+。由此可见，Decode节点对网络时延的敏感度很高。在DeepSeek大规模EP并行all-to-all通讯模式下，网络时延的重要影响成分是负载平衡和拥塞节造：

如上图所示，在大规模EP的DeepSeek推理场景，EP域的通讯可能横跨多个Leaf，流量走向Spine，容易产生典型的ECMP哈希不均问题，导致较高动态时延。且DeepSeek的MoE模型推理易产滋事俘间负载不一致和事俘内专家负载不一致问题，在网络上阐发为流量中大幼流混合。该景象更容易加剧ECMP不均导致的动态时延问题，欠安的负载平衡战术，在网络上容易引入100us+甚至更高的动态时延。如上文分析，这样的动态时延水平对吞吐的影响可能达到20%+。在DeepSeek官方场景中，选取IB互换机和CX网卡的Adaptive Routing（AR）技术，有效缓解了ECMP负载不均问题。在RoCE环境下，端网协同的负载平衡规划在如此刻薄的低时延要求下，是至关沉要的。

此表，MoE模型的大规模专家并行通讯性质上是一种all-to-all模式，网络中天然存在incast流量。合理的拥塞节造战术可能预防因流量降快或PFC（Priority Flow Control）触发而带来的高动态时延，保险网络时延的不变性和推理机能。

三、高效端网运维保险高可用推理业务

慢故障、hang异常

链路故障

随着DeepSeek推理引入大规模专家并行（EP），散布式推理集群面对与训练集群类似的故障挑战。凭据Meta公开的钻研数据，以1024卡集群为例，均匀每7.9幼时会产生一次故障。结合故障对推理的影响，可将故障类型综合为三类：

慢节点异常：故障产生后推理工作不中断，但部门节点或阶段机能降落，导致整体推理被拖慢，阐发为慢节点效应。

Hang异常：故障导致推理长功夫卡顿于某一阶段，工作无法持续推动，但整体推理仍未中断。

链路故障：链路中断直接导致整个推理事俘退出。

在慢节点异常和短功夫Hang异常场景下，固然推理工作仍在运行，但推理机能显著受损，TTFT（Time To First Token）和TPOT（Time Per Output Token）指标显著恶化，吞吐量可能降落50%以上。因而，针对慢故障和Hang异常的实时监控、急剧定位与排查，对于保险推理机能拥有沉要价值。

而在长功夫Hang异
；蛄绰饭收系贾峦评硎路苯油顺龅那榭鱿，业务影响更为严沉。对于大规模事俘部署环境，可通过要求急剧切换至其他健全事俘，虽可能就义部门用户履历，但能保险业务陆续性。相较之下，少量事俘部署（如单个Decode事俘）产生故障时，往往直接导致业务中断，严沉影响不变性和用户履历。因而幼规模场景下，故障的定位、逃生和躲避，是保险业务可用性的关键伎俩。

四、高性价比推理组网压榨百万token成本

1.双口网卡双平面组网：

单轨双平面组网

基于上述对网络低时延和高靠得住性的需要，选取如图所示的单轨双平面组网规划，可能最大水平保险机能与靠得住性。相比传统CLOS架构，该规划在性价譬喻面更具优势。具体特点如下：

优势：

网络结构简洁：流量集中于Leaf互换机，降低跨互换机通讯复杂度，显著削减时延。

成本效益高：支持铜缆互联，削减互换机数量，整体网络投入更低。

时延低：数据面链路最长仅为2跳，最大跳数为1跳，确保低时延传输。

流控需要低：无负载平衡问题，流量走单一蹊径，简化流控设计。

易于扩大：新增节点无需增长二层网络，支持集群横向扩大。

Bond适配性强：选取bond双平面组网提升网络靠得住性，且由于无二层组网，bond规划不会带来额表互换机成本。

劣势：

矫捷性受限：Prefill或Decode事俘不成跨Leaf部署，单事俘最大规模受限于256卡。

兼容性不及：组网针对推理流量个性优化，难以兼容训练与推理一体化场景。

KV Cache传输依赖存储网：在选取PD分离部署时，若是存在跨Leaf的PD事俘，则必须建设存储网络以支持KV Cache传输。

2.Shuffle多平面组网：

基于双网口网卡的双平面组网规划，单Pod最大规模受限于256卡，导致矫捷性不及。为突破这一瓶颈，在Server与互换机之间引入Shuffle(光交叉盒)，实现物理层面的分光。依附400Gbps网卡和TH5芯片互换机，组网规划升级为四平面，单Pod最大规模扩大至512卡，满足绝大无数推理部署需要。此规划支持更大规模的EP并行和PD事俘数量增长，且PD事俘无需跨Pod调度，大幅提升Pod内组网矫捷性，显著降低对KV Cache存储网络的依赖。

将来，随着800Gbps网卡和TH6芯片互换机的利用，Shuffle多轨规划可拓展至8轨。在保障单GPU享有800Gbps带宽的前提下，单Pod最大规？衫┐笾1024卡，满足超大规模推理服务需要。该规划在无二层组网架构下，依然提供很高的PD分离部署矫捷性，PD事俘无需跨Pod调度，也无需KV Cache传输专用网络，实现了卓越的性价迸纂机能。

总结

DeepSeek MoE模型的散布式推理部署带来了推理网络架构和机能保险的全新挑战。推理阶段的通讯模式和流量特点与传统训练存在显著差距，尤其是Decode阶段对网络时延敏感，要求网络具备低时延和高吞吐能力。端网协同的负载平衡算法和拥塞节造技术是保险网络机能的关键。与此同时，推理业务高可用性要求美满的故障监控、急剧定位和故障逃生战术。针对这些需要，设计简洁高效且具备高靠得住性的单轨双平面组网规划，可能在保障机能的同时降低成本。将来，随着DeepSeek及类似大规模MoE模型的宽泛部署，推理网络的优化和创新将成为主题竞争力。