基于 XDP 的 L4LB 开发笔记

• #240229 Prism: Proxies without the Pain(2021)
  • 概要
  • TCP 连接迁移的整体流程
  • 关键技术和 API
• #240120 使用 lwtunnel bpf 写隧道控制面程序
  • 第一个 lwtunnel bpf 程序
  • bpf_redirect 前需要加上二层头
• #230828 BTF
  • 概述
  • 打印出 map 值的结构（pretty-print）
  • CO-RE(Compile Once, Run Everywhere)
• #221025 直接使用 bpf_map_lookup_elem helper 函数返回的指针指向的数据安全吗？
  • 用户空间的库函数
  • BPF 程序特供版：Helper 函数
  • 问题和结论
  • 如何添加一个新的 BPF Helper 函数
• #220721 探活、TIME_WAIT 以及 SO_LINGER
  • 问题
  • 解决方案
• #220330 问题
  • ixgbe Detected Tx Unit Hang
  • i40e/X722 unable to handle kernel NULL pointer dereference
  • 第二跳直接摘除 VIP + 服务器开启了 ip_forward 造成的包循环
  • IPv4 VIP 访问正常、IPv6 访问异常可能的问题
  • 交换机和服务器上 MTU 不一致导致的 bird ospf 失败
  • tcpdump 能看到 vlan header，但是 xdp 看不到
  • XDP_PASS & sysctl net.ipv4.conf.interface.accept_local
  • clang loop unroll(full) 失败导致的 BPF 加载失败
  • can’t get map by id(2637): Device or resource busy
  • 如何获得一个进程打开的 bpf map fd 对应的 map id
  • BPF_MAP_TYPE_PROG_ARRAY 类型 map 写入成功但是 bpftool dump map 发现没有写入的元素
  • bpf 验证器报 math between pkt pointer and register with unbounded min value is not allowed
  • 转发表分配均匀但是有后端机器的流量很小
  • systemd 使用 root 用户启动服务报 bpf map create failed: permission denied
  • 用户空间 bpf_map_lookup_elem 返回 ENOENT
  • 跨机房调度 ttl 太小导致转发失败
  • virtio-net 驱动加载 xdp driver 模式失败
  • bpf 验证器报 invalid indirect read from stack
• #220321 FB: From XDP to Socket
  • 概述
  • 基于 XDP 实现的 L4 Katran
  • L7 UDP 服务的优雅重启 / 发布
• #220112 UDP
  • Unimog 的 UDP 处理策略
  • 什么是 connected udp sockets
  • 另一种处理策略
• #0607 Serf
  • SWIM 协议概述
  • Serf 和 SWIM 不同的地方
• #0329 Consul
  • 和 etcd 的对比
  • cloudflare 如何部署
  • 安装
  • 基本使用（使用命令行工具描述）
  • 启动开发测试用 agent
  • 开发测试用本地集群
  • 其它常见运维操作
  • 故障处理
  • 修改配置文件中 Gossip 加密的 Key 为什么没生效
  • Raft has a leader but other tracking of the node would indicate that the node is unhealthy or does not exist
  • Go API Examples
• #0305 大包模式（Jumbo Frame）
  • Unimog/GLB 文档中对于大包模式的说明
  • MTU 和 MSS
  • tcpdump 出的包的大小为什么大于 MTU？
  • 利用路由规则分别配置数据中心内外流量的 MTU
  • 东西向 / 南北向流量是什么意思？
  • tcpdump 打印出的几个不同 length 之间的换算
  • 通过 ipset + iptables 修改部分 IP 的 TCP MSS
  • pmtud 不同系统不一样的默认行为
  • mlx5_core MTU(9000) > 3498 is not allowed while XDP enabled
• #0226 性能
  • 如何获取网卡的型号
  • Intel 82599 网卡如何实现 RSS
• #0220 性能
  • NUMA 体系架构
  • 如何接收/发送百万 pps UDP 包
  • 字节 xdp acl 实现方案（用于替代 iptables）
• #0129 性能
  • 测试环境
  • 线上编译？从尝试到放弃
  • bond 网口和 xdp
  • 错配的路由导致入包被丢
  • 使用 wireshark 命令行工具 dump 网络包
  • 影响 xdp 性能的两个点
  • xdp 在内核网络栈中执行的位置
  • 如何修改 xdp 程序的加载模式
  • 如何获取 xdp 程序的加载模式
  • 压测工具
  • 性能指标
• #0122 xdp & go
  • cgo
  • 如何获取 slice 底层数组的地址
  • likeyly/unlikeyly 宏
  • cilium/ebpf map 接口中的 interface{} 参数
  • 使用 go 加载 tc bpf
  • xdpcap 使用方法
  • 内核配置需求
  • bpf verifier 提权漏洞
• #0108 xdp 进阶
  • bpf_tail_call
  • 使用 go ebpf 库
  • Map In Map
• #1230 调试
  • 如何调试问题
  • veth & xdp
  • 可以 ping 通但是 curl 报 No route to host
  • 14 bytes missing!
  • bpf_redirect 到其它网口要修改 dst mac 地址
  • 算 iphdr 的 checksum 时先将 checksum 设置为 0
  • 源/目标 IP 一样导致的包被丢
  • 找出内核在哪丢包的几个方法
  • CentOS 7 安装最新版本的 bpftool
• #1225 基于静态策略的转发表生成和更新方法
• #1222 GLB
  • 转发表生成规则
  • GUE 格式
  • GUE Tunnel 健康检查
  • glb-redirect 配置
  • passing argument 4 of ‘proc_create’ from incompatible pointer type
• #1217 开发
  • 构建本地开发测试用网络
  • RTNETLINK answers: Permission denied
  • IPv6 地址表示法
  • LVS RS 上如何配置 VIP
  • 一个小目标
  • 使用 scapy 构造发送网络包
  • __attribute__((packed))
  • ‘gnu/stubs-32.h’ file not found
• #1209 tc-bpf
  • 第一个 tc-bpf 程序
  • tc 在网络栈中的位置
  • 使用 tc-bpf 来实现带宽控制
• #1207 Maglev
  • 架构
  • 一致性哈希算法
• #1201 xdp
  • 搭建开发环境
  • 第一个 xdp 程序
  • 使用 ip 命令加载 xdp 程序
  • xdp 代码加载模式
  • Map
  • Pinning Map
  • 函数内联、循环展开
  • 网络包解析
  • 修改网络包
  • 使用 bpf_csum_diff 更新 checksum
  • 网络包重定向 Redirect
  • Python BPF 操作库
  • 调试日志
  • 如何解决 BPF Verifier 报错
  • 如何查询某一个 BPF 挂载点支持的 bpf 函数
  • BPF 特性与需要的内核版本
  • 各种版本的内核
  • 其他类型的 BPF 程序及挂载点
• #1125 Stateless Datacenter Load-balancing with Beamer
• #1124 cloudflare 的四层代理转发逻辑
  • 基本的转发逻辑
  • 已建立连接的维护
  • redirector 的实现
  • 整体架构概括
• #1123 cloudflare 的四层代理架构