NVIDIA Cumulus 二层数据中心架构

第零章 · 从新手到高手的学习路线图

这本手册不是让你一口气读完，而是像打游戏升级一样一层层往上爬。先看清自己在哪一级，再决定先读哪章。下面把整条路径拆成 5 个段位，每一段都标注了"你要能说出/做出来什么"。

第一章 · 数据中心网络基础理论（先搞懂"为什么"）

本章目标：能用一句话解释 Spine-Leaf；能画出拓扑；说清传统三层架构的三大痛点；理解二层/三层、VLAN、Trunk、ECMP、Overlay 这些词。读完你就能和同事"对得上频道"。

1.1 数据中心网络到底在干什么

数据中心（Data Center，简称 DC）简单来说，就是一堆服务器被塞进机房、连成一张网，对外提供网站、App、AI 训练、云存储等服务。你可以把它想象成一栋"服务器公寓"：

• 服务器 = 住户，各自有"门牌号"（IP 地址）和"名字"（主机名）。
• 交换机 = 楼道里的"接线员/电梯系统"，负责把数据从一个服务器送到另一个。
• 网络 = 整栋楼的"交通系统"，决定数据包怎么走最快、不堵车、不迷路。

数据中心网络的核心任务只有四个字：高带宽、低延迟、不丢包、好扩展。随着云计算和虚拟化的普及，服务器之间互相"串门"的流量（专业叫 东西向流量 / East-West Traffic）远远超过访客进出的流量（南北向流量 / North-South Traffic）。这一点，是后面所有架构设计的出发点。

1.2 先认识几个"零件"名词

在画图之前，先把出场角色认全。这些是后面反复出现的词，建议先混个脸熟：

1.3 传统三层架构：核心-汇聚-接入

在 Spine-Leaf 之前，企业网和数据中心普遍用"三层架构"：接入层（Access）→ 汇聚层（Distribution）→ 核心层（Core）。它长得像一棵倒立的树：

它的三个致命问题，正是 Spine-Leaf 要解决的：

1.4 Clos 网络：一个 1953 年的老点子

Spine-Leaf 不是新发明，它来自 1953 年电话工程师 Charles Clos 的"多级交换"论文。核心思想：用很多个小便宜的交换单元，拼成一个"任意两点之间都有多条等长路径"的无阻塞网络，而不是造一个超级大的交换核心。

放到数据中心里：

• 把"核心"拆成多个 Spine（脊），彼此不互连；
• 每个 Leaf（叶） 都-full mesh（全互联）地连到每一个 Spine；
• 于是任意两个 Leaf 下的服务器之间，都有 Leaf→Spine→Leaf 的多条等长路径。

1.5 Spine-Leaf 凭什么"香"

1.6 二层 vs 三层：这本手册到底在讲"哪一层"

这是新手最容易迷糊的地方，必须讲清楚。网络分层的"二层/三层"指的是 OSI 模型的数据链路层（L2）和网络层（L3）：

那么"二层数据中心"是什么意思？有两种常见理解，本手册覆盖两者：

• 狭义（纯二层 Fabric）：Leaf 和 Spine 之间全部跑二层（Trunk 透传 VLAN），整张网是一个大二层域。好处是简单、服务器迁移不限位置；缺点是要靠 VxLAN 才能跨机房扩大，且大二层广播要控制。
• 广义（现代叠加网）：Underlay 用三层 IP 互联（Leaf-Spine 跑 BGP/OSPF 打通底层），Overlay 用 VxLAN+EVPN 在三层之上"叠"出一层大二层。这是当今生产环境的主流，也叫"三层 Underlay + 二层 Overlay"。

1.7 必须掌握的 12 个核心术语（速查）

1.8 小结与自测

第二章 · NVIDIA Cumulus Linux 是什么（先认识你的"武器"）

本章目标：搞懂 Cumulus 不是"一台交换机"而是"跑在白盒交换机上的 Linux 系统"；记住它的几大组件（switchd / FRR / ifupdown2 / NVUE）；会用 nv 和 net 两种配置方式；知道最新版 5.x 的变化与免费策略。

2.1 一句话定义：交换机里的 Linux

NVIDIA Cumulus Linux 是一个完整的网络操作系统（NOS，Network Operating System）。它把标准的 Debian Linux 装进交换机，让你能用管服务器的方式管交换机：apt 装软件、systemctl 管服务、bash 写脚本、python 做自动化。一句话——"把交换机变成一台长了很多网口的服务器"。

2.2 白盒交换机 + NOS：这场变革的本质

传统网络是"软硬一体、厂商锁定"：买思科交换机就只能用它家的 OS 和它家的命令。Cumulus 代表的思路是"解耦（Disaggregation）"：

2.3 Cumulus 的"五脏六腑"：核心组件

理解组件，才能理解排错时该看哪里。Cumulus 5.x 的关键进程：

2.4 两种配置方式：NVUE（新） vs NCLU/文件（传统）

Cumulus 5.x 同时支持两种写法，新手强烈建议学 NVUE，因为它结构清晰、可回滚、能直接出 YAML。但老教程和很多生产脚本仍用传统方式，所以两种都给你。

方式一：NVUE（推荐，nv 命令）

# 配置一个接口为 100G，并打描述
cumulus@leaf01:mgmt:~$ nv set interface swp1 link speed 100g
cumulus@leaf01:mgmt:~$ nv set interface swp1 description "to spine01"
# 查看当前未生效的候选配置
cumulus@leaf01:mgmt:~$ nv config show
# 应用配置（类似 commit）
cumulus@leaf01:mgmt:~$ nv config apply
# 持久化（写盘，重启不丢）
cumulus@leaf01:mgmt:~$ nv config save

方式二：NCLU（net 命令，写 /etc/network/interfaces）

cumulus@leaf01:~$ net add interface swp1
cumulus@leaf01:~$ net add interface swp1 alias "to spine01"
cumulus@leaf01:~$ net commit     # 类似 nv config apply
cumulus@leaf01:~$ net show interface

方式三：直接编辑文件（最底层）

cumulus@leaf01:~$ sudo nano /etc/network/interfaces
auto swp1
iface swp1
    alias to-spine01

cumulus@leaf01:~$ sudo ifup swp1   # 用 ifupdown2 启接口

2.5 最新版 5.x 的关键变化（你导的镜像就是它）

Cumulus Linux 5.x（截至本手册撰写，稳定线为 5.9~5.11 一带，请以 NVIDIA 官网最新为准）相比 4.x 有重大升级：

2.6 许可与获取（免费，但支持另算）

• 软件本身免费：Cumulus Linux / Cumulus VX 可免费下载、用于实验和生产。
• 企业支持订阅：要官方 TAC、长期支持（LTS）、高级功能 SLA，需购买 NVIDIA 企业支持。个人学习不需要。
• 获取渠道：NVIDIA 官网 Cumulus Linux 下载页、EVE-NG 社区镜像仓库、或《网络之路》等镜像站。第 3 章手把手教你导入。

2.7 在 EVE-NG 里它长啥样：Cumulus VX 节点

EVE-NG 把 Cumulus VX 当作一个虚拟机节点来跑（不是真实 ASIC，转发走软件/ virtio）。它和真机的配置命令 100% 一致，只有性能天差地别——但做实验、学命令完全够用。节点启动后有：

小结

第三章 · 搭舞台：EVE-NG 安装与导入最新版 Cumulus

本章目标：装好/用上 EVE-NG；把最新 Cumulus VX 镜像正确导入；创建你的第一个 Lab；添加节点、连线、启动、登进去。做完你就拥有了一个"随时可砸"的练习场。

3.1 EVE-NG 是什么，为什么选它

EVE-NG（Emulated Virtual Environment - Next Generation） 是一个"网络实验大沙盘"：它在一台服务器/电脑的虚拟机（KVM/QEMU）里，同时跑很多网络设备（路由器、交换机、防火墙、甚至 Windows/Linux 主机），让你像搭乐高一样连线、做实验。它支持几乎所有主流厂商镜像。

3.2 部署 EVE-NG（三种姿势）

EVE-NG 本身是一个定制过的 Ubuntu 虚拟机，你把它跑在宿主机里即可。

3.3 首次开机与基础设置

1. 启动 EVE-NG 虚拟机，控制台出现初始化向导：设置 主机名、管理 IP（建议静态）、DNS、密码。
2. 默认 Web 管理地址即管理口 IP。浏览器打开 http://<EVE-IP>/。
3. 默认账号 admin / eve（社区版），首次登录建议改密。
4. 客户端若用本地控制台，安装 TightVNC / RealVNC（HTML5 控制台则可直接用浏览器，更推荐）。

3.4 获取最新版 Cumulus VX 镜像

Cumulus VX 是虚拟机格式（qcow2），文件名通常形如 cumulus-linux-5.x.0-vx-amd64.qcow2。获取渠道：

• 官方：NVIDIA Cumulus Linux 下载页（搜索 "Cumulus VX download"），选 VX / KVM 版本。
• 镜像社区：EVE-NG 官方论坛的镜像索引、或国内《网络之路》等可信镜像站。

3.5 导入镜像到 EVE-NG（核心步骤）

EVE-NG 规定：每种设备的镜像放在 /opt/unetlab/addons/qemu/<模板目录名>/ 下，且文件必须重命名为 virtioa.qcow2。Cumulus 的模板目录名（不同 EVE-NG 版本略有差异）常见为 cumulus-5.x 或 cumulusvx-5.x。

# 1) 用 SFTP 把下载的 qcow2 传到 EVE-NG（以本机为例）
scp cumulus-linux-5.11.0-vx-amd64.qcow2 root@<EVE-IP>:/tmp/

# 2) SSH 登录 EVE-NG，创建该版本的镜像目录（目录名对应节点模板）
mkdir -p /opt/unetlab/addons/qemu/cumulus-5.11

# 3) 重命名为 EVE-NG 要求的名字
mv /tmp/cumulus-linux-5.11.0-vx-amd64.qcow2 \
   /opt/unetlab/addons/qemu/cumulus-5.11/virtioa.qcow2

# 4) 修正权限（EVE-NG 必做，否则节点起不来）
/opt/unetlab/wrappers/unl_wrapper -a fixpermissions

3.6 创建你的第一个 Lab 与拓扑

1. Web 左上角 Add new lab → 填名称（如 L2-Spine-Leaf-Basic）、选图标、点 Save。
2. 进入 Lab，点顶部 Add Node（+ 图标） → 设备类型选 Cumulus（或 Cumulus VX）→ 版本选刚导入的 5.11。
3. 给节点命名（spine01、spine02、leaf01~leaf04）、设 RAM（建议 4096 MB）、CPU（2）、网卡数（按拓扑，每个 Leaf 至少 2 个上联口 + 1 个下联口）。重复添加，凑齐 6 台交换机的拓扑。
4. 用 Add Link（连线） 工具：先点起点设备的端口（如 leaf01 的 swp1），再点终点（spine01 的 swp1），即可连一条线。
5. 全选节点 → Start 启动。等状态变绿，右键节点 Console 即可打开终端。

3.7 怎么"登"进 Cumulus 节点

3.8 本章实验：搭好"基础二层"骨架

我们为后续所有实验定一个统一拓扑：2 个 Spine + 4 个 Leaf 的全互联（full-mesh）结构——每个 Leaf 双上联到两个 Spine，每个 Spine 下联全部 4 个 Leaf。第 4、5 章都基于它扩展。

小结

第四章 · 基础实验：搭出能通的二层 Spine-Leaf

本章目标：在图 3-1 拓扑上，完成系统初始化 → 接口配置 → LACP 捆绑 → VLAN/Trunk → VLAN-aware Bridge → 让主机 A/B/C/D 在同一 VLAN 里二层互通。做完 = LEVEL 3。所有配置给 NVUE 写法，并附传统 ifupdown2 对照。

4.1 实验目标与思路

我们的核心任务是：让连在不同 Leaf 上的四台主机，像在同一台大交换机下一样二层互通。关键靠三点：

• 上联口做 Trunk：Leaf↔Spine 的线要能透传所有业务 VLAN；
• 下联口做 Access：Leaf 接主机的口划入指定 VLAN；
• VLAN-aware Bridge：所有交换口挂到同一个"感知 VLAN 的桥"上，Cumulus 据此做二层转发。

4.2 系统初始化（每台设备都做）

先给每台设备设主机名、管理 IP、时区，避免后面一团乱。下面以 leaf01 为例，其它照改。

# NVUE 方式：设主机名 + 管理口 IP
cumulus@leaf01:mgmt:~$ nv set system hostname leaf01
cumulus@leaf01:mgmt:~$ nv set interface eth0 ip address 10.0.0.21/24
cumulus@leaf01:mgmt:~$ nv set interface eth0 ip gateway 10.0.0.1
cumulus@leaf01:mgmt:~$ nv config apply
cumulus@leaf01:mgmt:~$ nv config save

# 改密（首次登录建议做，VX 默认 cumulus/cumulus）
cumulus@leaf01:mgmt:~$ passwd cumulus

传统写法（编辑文件）：

echo 'leaf01' | sudo tee /etc/hostname
# /etc/network/interfaces 里给 eth0 配地址
auto eth0
iface eth0
    address 10.0.0.21/24
    gateway 10.0.0.1
sudo ifreload -a

4.3 接口配置：把 swp 口"打开"

Cumulus 里物理口叫 swp1、swp2…。默认可能没启用或速度自适应。先确认接口状态、再按需配置。为做二层转发，交换口一般不配 IP（它们是二层口），只加入 bridge 即可。

# 查看所有接口状态
cumulus@leaf01:mgmt:~$ nv show interface
cumulus@leaf01:mgmt:~$ ip link show swp1

# 若需指定速率/双工（可选）
cumulus@leaf01:mgmt:~$ nv set interface swp1 link speed 10g
cumulus@leaf01:mgmt:~$ nv set interface swp1 link auto-negotiate on
cumulus@leaf01:mgmt:~$ nv config apply

4.4 链路聚合 LACP（Bond）：把多根线变成一根

LACP（IEEE 802.3ad） 把多条物理链路绑成一个逻辑口 bond，实现带宽叠加 + 故障冗余：一根断了流量自动走另一根，不丢会话。两种典型用法：

下面演示 leaf01 用 swp10+swp11 绑成 bond1 接主机 A 的双网卡（LACP 模式）：

# NVUE：创建 bond1，成员 swp10、swp11，模式 lacp
cumulus@leaf01:mgmt:~$ nv set interface bond1 bond member swp10
cumulus@leaf01:mgmt:~$ nv set interface bond1 bond member swp11
cumulus@leaf01:mgmt:~$ nv set interface bond1 bond mode lacp
cumulus@leaf01:mgmt:~$ nv config apply
cumulus@leaf01:mgmt:~$ nv show interface bond1

传统 ifupdown2 写法：

auto bond1
iface bond1
    bond-slaves swp10 swp11
    bond-mode 802.3ad
    bond-miimon 100
    bond-lacp-rate 1

4.5 VLAN 与 Trunk：二层转发的"分房"与"公交道"

这是二层最核心的两个概念，必须吃透：

4.6 核心配置：VLAN-aware Bridge（让全网联成二层）

现在把"积木"拼起来：建一个感知 VLAN 的桥，把各 Leaf 的两个上联口（swp1→spine01、swp2→spine02，都做 Trunk）和下联口（swp10→主机，Access）都挂上去。下面以 leaf01 为例，规划（leaf02~04 同理，下联主机 VLAN 可不同）：

# ===== NVUE 配置 leaf01（双上联 2 个 Spine）=====
cumulus@leaf01:mgmt:~$ nv set bridge domain br_default
# 上联口 swp1、swp2 都做 trunk，允许 vlan 10/20
cumulus@leaf01:mgmt:~$ nv set interface swp1 bridge domain br_default
cumulus@leaf01:mgmt:~$ nv set interface swp1 bridge trunk vlans 10,20
cumulus@leaf01:mgmt:~$ nv set interface swp2 bridge domain br_default
cumulus@leaf01:mgmt:~$ nv set interface swp2 bridge trunk vlans 10,20
# 下联口 swp10 作为 access vlan 10
cumulus@leaf01:mgmt:~$ nv set interface swp10 bridge domain br_default
cumulus@leaf01:mgmt:~$ nv set interface swp10 bridge access 10
cumulus@leaf01:mgmt:~$ nv config apply
cumulus@leaf01:mgmt:~$ nv config save

传统 ifupdown2 写法（/etc/network/interfaces）：

auto bridge
iface bridge
    bridge-ports swp1 swp2 swp10
    bridge-vlan-aware yes
    bridge-vids 10 20

auto swp10
iface swp10
    bridge-access 10

# swp1 作为 trunk 默认透传 bridge-vids 里的 vlan

# spine01 / spine02：swp1~swp4 各连一个 Leaf，全部加桥、trunk vlan 10,20
cumulus@spine01:mgmt:~$ nv set bridge domain br_default
cumulus@spine01:mgmt:~$ for p in swp1 swp2 swp3 swp4; do \
  nv set interface $p bridge domain br_default; \
  nv set interface $p bridge trunk vlans 10,20; done
# 2 个 Spine 全互联存在二层环，必须在桥上开生成树防环（详见 4.7）
cumulus@spine01:mgmt:~$ nv set bridge spanning-tree priority 4096   # spine01 设为根桥
cumulus@spine01:mgmt:~$ nv config apply && nv config save

# spine02 同样操作，优先级稍高（8192），不抢根桥即可
cumulus@spine02:mgmt:~$ nv set bridge domain br_default
cumulus@spine02:mgmt:~$ for p in swp1 swp2 swp3 swp4; do \
  nv set interface $p bridge domain br_default; \
  nv set interface $p bridge trunk vlans 10,20; done
cumulus@spine02:mgmt:~$ nv set bridge spanning-tree priority 8192
cumulus@spine02:mgmt:~$ nv config apply && nv config save

对 leaf02 / leaf03 / leaf04 照葫芦画瓢：两个上联口（swp1、swp2）都 trunk vlan 10,20，下联主机口（swp10）access 到对应 VLAN（例如 leaf02 主机在 vlan 20，leaf03/leaf04 主机在 vlan 10，随你定，只要同 VLAN 想互通就放同号）。

4.7 防环：2 个 Spine 全互联天然有环，必须处理

我们的基础拓扑是"4 个 Leaf 各双上联 2 个 Spine（全互联）"，这会形成 Leaf1-Spine1-Leaf2-Spine2-Leaf1 之类的二层环路。如果不加任何防环机制，广播帧会在环里无限打转（广播风暴），MAC 表错乱，网络直接瘫痪。所以本拓扑必须在桥上开启生成树（STP）——这正是 4.6 里两台 Spine 配了 spanning-tree priority 的原因。常见三种解法：

我们在 4.6 已用最简方案（STP）把纯二层跑通了。查看 STP 状态，应看到一条冗余上联被置为 Discarding/Blocking：

# 查看生成树状态（两台的某条上联应处于阻塞态，证明环路被破）
cumulus@spine01:mgmt:~$ nv show bridge spanning-tree
cumulus@leaf01:mgmt:~$ nv show bridge spanning-tree

4.8 验证与排错：怎么证明"通了"

配置完，按下面顺序排查。每一条都是"看一眼就知道哪里错"的利器。

# 示例：在 leaf01 上确认 swp1 是 trunk 且允许 vlan 10/20
cumulus@leaf01:mgmt:~$ bridge vlan show
port       vlan ids
swp1        1 PVID Egress Untagged
           10
           20
swp10       10 PVID Egress Untagged
br_default  1 PVID Egress Untagged
           10
           20

4.9 端到端实验：让四台主机二层互通

1. 给四台主机配同 VLAN（如都 vlan 10）的 IP：主机A 192.168.10.11/24、主机B 192.168.10.12/24、主机C 192.168.10.13/24、主机D 192.168.10.14/24（想验证 VLAN 隔离，可把主机D 放 vlan 20，验证它 ping 不通 vlan 10）。
2. 按 4.6 在 leaf01~04 和 spine01/spine02 配好 bridge + trunk/access，并确认两台 Spine 的生成树已开启（4.7）。
3. 主机A ping 主机B（跨 leaf，经 2 个 Spine）：ping 192.168.10.12。能通 = 二层 Spine-Leaf 大功告成。
4. 在 leaf01 抓包：sudo tcpdump -i swp1 -n icmp，应看到 ICMP 经 trunk 转发；再看 nv show bridge spanning-tree 确认一条冗余上联被阻塞（STP 生效）。
5. （进阶）把主机D 移到 vlan 20，验证它与 vlan 10 的主机二层不通（证明 VLAN 隔离生效），但同 vlan 20 的主机之间仍通。

小结

第五章 · 高级配置：从"能通"到"生产级"

本章目标：学会 MLAG 双活、VxLAN 大二层、BGP EVPN 控制平面、Anycast 网关，理解三层 Underlay 与二层 Overlay 的分层，并了解 QoS 与自动化。读完 = LEVEL 4，具备做 POC 的能力。命令以 NVUE 为主，关键处给传统对照。

5.0 先建立全局视角：三层 Underlay + 二层 Overlay

生产级"二层数据中心"的真相是：底层用三层 IP 互联（无环、靠路由），上层用 VxLAN 叠出大二层（可跨机房、可迁移）。记住这张"分层图"：

下面 5.1~5.5 按"先打底（Underlay）→ 再叠层（VxLAN/EVPN）→ 收口（网关）"的顺序讲。

5.1 MLAG：两台交换机"装成一台"（双活上联）

MLAG（Multi-chassis Link Aggregation） 让两台 Leaf（或两台 Spine）对下联服务器表现为一台逻辑交换机：服务器的两根线分别接两台 Leaf，却绑成一个 bond，两条链路都 active、都转发，任何一台 Leaf 挂了流量不中断。这是消除"接入层单点故障"的标准解法。

拓扑准备

把 leaf01、leaf02 做成 MLAG 对（称作一个 " rack / 双归组"），它们之间用 swp50 直连作 peerlink；服务器双网卡分别接 leaf01 的 swp10 和 leaf02 的 swp10，绑成 bond1（CLAG ID 1）。

NVUE 配置（leaf01 与 leaf02 对称，仅管理/备份 IP 不同）

# —— 在两台 leaf 上都要做 ——
# 1) peerlink：直连口组成 bond（这里用单口 swp50 演示，生产建议双口 bond）
cumulus@leaf01:mgmt:~$ nv set interface swp50
# 2) 配置 MLAG 域
cumulus@leaf01:mgmt:~$ nv set clag peer sys-mac 44:38:39:FF:00:00
cumulus@leaf01:mgmt:~$ nv set clag peer interface swp50
cumulus@leaf01:mgmt:~$ nv set clag backup destination 10.0.0.22   # 对端管理 IP
# 3) 下联服务器的双归口：两台都配相同 clag id=1
cumulus@leaf01:mgmt:~$ nv set interface bond1 bond member swp10
cumulus@leaf01:mgmt:~$ nv set interface bond1 clag id 1
cumulus@leaf01:mgmt:~$ nv config apply && nv config save

# —— leaf02 上对应配置（备份 IP 指向 leaf01）——
cumulus@leaf02:mgmt:~$ nv set clag peer sys-mac 44:38:39:FF:00:00
cumulus@leaf02:mgmt:~$ nv set clag peer interface swp50
cumulus@leaf02:mgmt:~$ nv set clag backup destination 10.0.0.21
cumulus@leaf02:mgmt:~$ nv set interface bond1 bond member swp10
cumulus@leaf02:mgmt:~$ nv set interface bond1 clag id 1
cumulus@leaf02:mgmt:~$ nv config apply && nv config save

# 验证 MLAG 状态（两台都应是 "peer state: ESTABLISHED"）
cumulus@leaf01:mgmt:~$ nv show clag
cumulus@leaf01:mgmt:~$ clagctl status     # 传统查看工具

5.2 VxLAN：把二层"装进"UDP，跨三层搬运

VxLAN（RFC 7348） 解决一个核心难题：二层广播域本来不能跨三层路由，但虚拟机迁移、多租户又需要"大二层"。办法是：把原始二层帧整个封装成一个 UDP 包（目的端口 4789），通过底层 IP 网络送到对端 VTEP，再解封装还原二层帧。于是"二层"被伪装成"三层流量"穿越网络。

NVUE：在 Leaf 上启用 VxLAN 并绑定 VLAN↔VNI

# 设 VTEP 源地址（一般用 loopback，需 Underlay 可达）
cumulus@leaf01:mgmt:~$ nv set nve vxlan source-address 10.0.0.2
# 把本地 VLAN 10 映射到 VNI 10（二层域跨机房靠同一 VNI 打通）
cumulus@leaf01:mgmt:~$ nv set bridge domain 10 vlan 10
cumulus@leaf01:mgmt:~$ nv set bridge domain 10 vni 10
cumulus@leaf01:mgmt:~$ nv config apply

5.3 BGP EVPN：让各 VTEP "互通情报"

光有 VxLAN 还不够：Leaf B 怎么知道"MAC 地址 aa:bb:cc 其实在 Leaf A 后面"？ 传统靠泛洪（浪费带宽）。现代做法是用 BGP EVPN 作为控制平面：每个 VTEP 用 BGP 把"我这儿有哪些 MAC/IP、对应哪个 VNI"作为路由通告出去，其它 VTEP 收下后建好转发表，精准转发、不泛洪。

步骤 A：先搭 Underlay 三层（见 5.5），让各 Leaf loopback 通

步骤 B：在 Leaf 上起 BGP，启用 EVPN 地址族，并绑 VNI

# 以 leaf01（AS 65101）向 spine01（AS 65000）建 BGP，并开 EVPN
cumulus@leaf01:mgmt:~$ nv set router bgp local-as 65101
cumulus@leaf01:mgmt:~$ nv set router bgp neighbor 10.0.0.11 remote-as 65000
cumulus@leaf01:mgmt:~$ nv set router bgp neighbor 10.0.0.11 address-family l2vpn-evpn enable on
# 把 VNI 10 接入 EVPN，设 RD/RT
cumulus@leaf01:mgmt:~$ nv set evpn vni 10 rd 65101:10
cumulus@leaf01:mgmt:~$ nv set evpn vni 10 route-target 65101:10
cumulus@leaf01:mgmt:~$ nv config apply

# Spine 作为 RR（路由反射器）或纯中转，集中各 Leaf 的 EVPN 路由
cumulus@spine01:mgmt:~$ nv set router bgp local-as 65000
cumulus@spine01:mgmt:~$ nv set router bgp neighbor 10.0.0.21 remote-as 65101
cumulus@spine01:mgmt:~$ nv set router bgp neighbor 10.0.0.21 address-family l2vpn-evpn enable on
# 若用 RR：nv set router bgp address-family l2vpn-evpn neighbor ... route-reflector-client on
cumulus@spine01:mgmt:~$ nv config apply

# 验证：看 EVPN 路由、VNI 同步
cumulus@leaf01:mgmt:~$ nv show evpn vni
cumulus@leaf01:mgmt:~$ nv show bgp l2vpn evpn summary
cumulus@leaf01:mgmt:~$ net show bgp l2vpn evpn   # 传统查看

5.4 Anycast 网关：服务器"就近"出网，还能随便迁移

主机要跨网段/出网，得有默认网关。在 VxLAN 环境里，传统"网关在一台设备上"会有单点问题。解法：每个 Leaf 上都配同一个网关 IP + 同一个虚拟 MAC（Anycast）。主机无论挂在哪个 Leaf，默认网关都是"隔壁那个"，ARP 也不会飘；主机迁移到别的 Leaf，网关地址不变，无缝衔接。

# 在每个 Leaf 上建相同的 SVI（vlan 接口）作为 anycast 网关
cumulus@leaf01:mgmt:~$ nv set interface vlan10 ip address-virtual 192.168.10.1/24 mac 44:38:39:BF:00:10
cumulus@leaf02:mgmt:~$ nv set interface vlan10 ip address-virtual 192.168.10.1/24 mac 44:38:39:BF:00:10
cumulus@leaf03:mgmt:~$ nv set interface vlan10 ip address-virtual 192.168.10.1/24 mac 44:38:39:BF:00:10
cumulus@leaf04:mgmt:~$ nv set interface vlan10 ip address-virtual 192.168.10.1/24 mac 44:38:39:BF:00:10
# （四台 Leaf 配置完全一样，这就是 anycast 的精髓）

5.5 三层 Underlay：Leaf-Spine 跑路由打通底层

VxLAN/EVPN 的"地基"是 Underlay：给每个 Leaf-Spine 互联口配 IP，跑一个 IGP（OSPF 或 BGP），让各 Leaf 的 loopback（VTEP 源地址） 全网可达。这是一切的前提。

设计：互联口用 /31（点对点），每台设备一个 loopback

# NVUE：leaf01 侧（双上联 2 个 Spine，各宣告进 OSPF 形成 ECMP）
cumulus@leaf01:mgmt:~$ nv set interface lo ip address 10.0.0.21/32
cumulus@leaf01:mgmt:~$ nv set interface swp1 ip address 10.1.1.0/31
cumulus@leaf01:mgmt:~$ nv set interface swp2 ip address 10.1.1.2/31
# 跑 OSPF 打通 Underlay（两个上联都进 OSPF，自动 ECMP 负载分担）
cumulus@leaf01:mgmt:~$ nv set router ospf router-id 10.0.0.21
cumulus@leaf01:mgmt:~$ nv set interface swp1 router ospf area 0.0.0.0
cumulus@leaf01:mgmt:~$ nv set interface swp2 router ospf area 0.0.0.0
cumulus@leaf01:mgmt:~$ nv config apply
# 验证：loopback 能 ping 通两个 Spine（证明 ECMP 双上联都通）
cumulus@leaf01:mgmt:~$ ping 10.0.0.11
cumulus@leaf01:mgmt:~$ ping 10.0.0.12

5.6 QoS：给重要流量"插队"

数据中心里存储、语音、业务流量混跑，需要 QoS（服务质量） 保证关键流量不被挤掉。Cumulus 基于 Linux tc，按 DSCP（IP 头里的优先级标记） 映射到硬件队列。

# NVUE：信任入口 DSCP，并对某队列限速/设优先级（示例）
cumulus@leaf01:mgmt:~$ nv set qos trust ds
# 为特定 DSCP 设调度（示意：把 EF/46 放进高优先队列）
cumulus@leaf01:mgmt:~$ nv set qos dot1q map 46 traffic-class 7
cumulus@leaf01:mgmt:~$ nv config apply
cumulus@leaf01:mgmt:~$ nv show qos

5.7 自动化：用 Ansible 批量管 Cumulus

Cumulus 是"Linux 交换机"，天生适合自动化。最主流是用 Ansible：写好 Playbook，一条命令把上百台交换机的配置刷好。

# playbook 示例：用 NCLU 模块给一组 leaf 配 VLAN
- hosts: leafs
  become: true
  tasks:
    - name: 创建 vlan 10 并配 access
      nclu:
        commands:
          - add interface swp10 bridge access 10
        commit: true
    - name: 用 NVUE 模块设主机名风格
      nvue:
        commands:
          - set hostname {{ inventory_hostname }}
        apply: true

小结

第六章 · 综合实验：搭一个生产级二层 Fabric 并系统排错

本章目标：把第 4、5 章串起来，在"2 个 Spine + 4 个 Leaf"的基础结构上叠加 MLAG 双活 + VxLAN/EVPN + Anycast 网关，给出完整拓扑与配置清单；然后教你一套"分层排错法"，遇到不通按图索骥。读完 = 可独立完成 POC（LEVEL 4→5 之间）。

6.1 综合拓扑：双活 + 大二层

本综合拓扑沿用第 3、4 章的"2 个 Spine + 4 个 Leaf"结构。区别在于：基础实验里 4 台 Leaf 各自独立双上联；生产级里把 leaf01+leaf02 配成 MLAG 对、leaf03+leaf04 配成另一对，下联服务器双归到这对 Leaf，实现接入层双活、无单点。

6.2 配置清单（按层给关键命令，细节回看前章）

1. Underlay（每台）：loopback + 互联口 /31 + OSPF/BGP，确保各 loopback 互通（5.5）。
2. MLAG（leaf01/02、leaf03/04 各一对）：peerlink + sys-mac + backup IP + 下联 bond 的 clag id（5.1）。
3. VxLAN（每台 leaf）：nv set nve vxlan source-address <loopback>，VLAN↔VNI 映射（5.2）。
4. BGP EVPN（每台）：建邻居到 Spine（RR），开 l2vpn-evpn，绑 VNI 的 RD/RT（5.3）。
5. Anycast 网关（每台 leaf）：相同 SVI IP + 虚拟 MAC（5.4）。
6. VLAN/Access/Trunk（每台 leaf）：下联主机口 access 到 VLAN，上联口 trunk（4.5/4.6）。

# 快速校验清单（在任意 leaf 上）
cumulus@leaf01:~$ nv show clag            # MLAG ESTABLISHED?
cumulus@leaf01:~$ ping 10.0.0.11           # Underlay loopback 通?
cumulus@leaf01:~$ nv show bgp l2vpn evpn summary   # EVPN 邻居 Up?
cumulus@leaf01:~$ nv show evpn vni         # VNI 已同步?
cumulus@leaf01:~$ nv show bridge vlan      # 接口 VLAN 正确?

6.3 端到端验证（主机A ↔ 主机B 跨 Leaf 二层/三层通）

6.4 分层排错法：不通就从上往下查

网络排错最怕"乱戳"。坚持"自底向上、逐层验证"，5 分钟定位 90% 问题。

6.5 监控与可观测性（了解即可）

• sFlow / gNMI：采集流量与遥测，接 Prometheus/Grafana。
• SNMP：传统网管轮询，Cumulus 内置 snmpd。
• NVUE 状态命令：日常排错用 nv show ... 比翻日志快。
• 日志：journalctl -u switchd、journalctl -u frr 看守护进程。

第七章 · 从新手到高手：下一步怎么走

本章目标：给你一张"出师后的地图"——真实设备迁移注意事项、认证与社区、设计权衡、以及该继续学什么。配合第零章的段位表，你已经知道自己在哪、往哪去。

7.1 五段位回顾与对应能力

7.2 从 EVE-NG 到真实白盒：注意事项

7.3 认证、文档与社区

• 官方文档：NVIDIA Cumulus Linux User Guide（最权威，命令以它为据）。
• 认证：NVIDIA 认证体系（含数据中心网络方向），可作为能力背书。
• 社区：EVE-NG 论坛（镜像/排错）、Cumulus GitHub、厂商技术博客、国内网络技术社区。
• 实验室：NVIDIA 提供在线 Cumulus 实验环境（Air 等），无硬件也能练真机命令。

7.4 常见设计权衡（高手思维）

7.5 推荐继续深入的方向

附录 · 速查表、术语与资源

附录 A · 常用命令速查表（NVUE / NCLU / Linux）

附录 B · 术语中英对照表

附录 C · 推荐学习资源

• NVIDIA Cumulus Linux 官方用户指南：命令与特性的权威出处，遇到不确定的参数先查它。
• EVE-NG 官方文档与论坛：镜像导入、节点模板、fixpermissions 等操作细节。
• RFC 7348（VxLAN）、RFC 7432（EVPN）：想深挖协议原理读原文。
• NVIDIA Cumulus 在线实验（Air）：浏览器里直接操作真机级环境，无需本地装。
• FRR 项目文档：BGP/OSPF 路由套件详解。
• 书籍/博客：《计算机网络（谢希仁）》《TCP/IP 详解》、各厂商"数据中心网络设计"白皮书。

附录 D · 版本与镜像说明

• 本手册命令基于 NVIDIA Cumulus Linux 5.x（NVUE 时代）。导入时请在 EVE-NG 选 Cumulus VX 的 5.x qcow2 镜像。
• 不同 5.x 小版本参数名可能微调，配置前用 nv set ... ? 确认，以设备实际为准。
• 软件本身免费；企业技术支持需单独订阅。实验环境建议校验镜像 SHA256。
• 若你的 EVE-NG 节点列表没有 Cumulus 模板，确认社区版是否包含，或按官方说明添加 cumulus.yml 模板。