# 用于 Kubernetes 离线部署的 Air-Gap 基础设施服务 ## 概述在开始集群部署之前，气隙 Kubernetes 部署需要在管理服务器上运行多个基础设施服务。这些服务取代了互联网通常提供的服务：DNS 解析、时间同步、网络路由、包存储库和 Python 包镜像。 **核心原理：** 管理服务器充当中央集线器，向隔离的内部网络提供所有网络服务。集群中的每个节点都依赖于管理服务器来进行名称解析、时间同步、包安装和容器映像拉取。 ## 何时使用 * 设置 DNS 服务器（绑定）用于隔离网络中的名称解析 * 在气隙环境中配置 NTP 时间同步 (chrony) * 创建 NAT 网关以进行受控或临时互联网访问 * 通过reposync构建本地YUM/DNF包镜像 * 为Python包设置PyPI镜像（devpi或pypi-mirror） * 在运行 kubespray-offline 之前准备管理服务器 ## 网络架构互联网 <-> 管理服务器 (192.168.10.10) <-> 内部网络 (192.168.10.0/24) | | DNS、NTP、NAT 网关 k8s-node1 (192.168.10.11) 注册表，Repos k8s-node2 (192.168.10.12) 管理服务器有两个网络接口： * 具有互联网接入功能的面向外部的接口（例如 enp0s8） * 192.168.10.0/24 子网上的面向内部的接口（例如 enp0s9）所有 k8s 节点都驻留在内部网络并通过管理服务器进行路由。 ## NAT 网关设置 NAT 网关允许内部节点通过管理服务器访问互联网。这在初始设置期间非常有用，并且可以稍后禁用以强制执行完全气隙隔离。 ### 在管理服务器上 # 启用IP转发 sysctl -w net.ipv4.ip_forward=1 cat < /etc/sysctl.d/99-ipforward.conf net.ipv4.ip_forward = 1 EOF sysctl--系统 # 在外部接口上配置NAT伪装 iptables -t nat -A POSTROUTING -o enp0s8 -j MASQUERADE # 删除 NAT 并隔离网络（用于测试气隙） iptables -t nat -D POSTROUTING -o enp0s8 -j MASQUERADE ### 在 k8s 节点上 -- 通过 admin 路由 # 禁用节点上的外部接口 nmcli 连接关闭 enp0s8 nmcli 连接修改 enp0s8 连接.autoconnect 否 # 在内部接口上添加通过管理服务器的默认路由 nmcli 连接修改 enp0s9 +ipv4.routes "0.0.0.0/0 192.168.10.10 200" nmcli 连接 enp0s9 验证节点的连接：平-c 2 192.168.10.10 curl -s http://192.168.10.10 > /dev/null && echo "管理员可达" ## DNS 服务器（绑定） ### 在管理服务器上 dnf安装-y绑定bind-utils 使用以下关键设置编辑“/etc/named.conf”：选项{ 监听端口 53 { 任意; }; 允许查询{127.0.0.1; 192.168.10.0/24； }; 允许递归{ 127.0.0.1; 192.168.10.0/24； }; 货运代理{168.126.63.1; 8.8.8.8； }; 递归是； dnssec-自动验证； }; 启动并启用服务： systemctl启用--现在命名 # 将管理服务器本身指向它自己的 DNS echo“名称服务器192.168.10.10”> /etc/resolv.conf ### 在 k8s 节点上禁用 NetworkManager DNS 管理，使其不会覆盖 `/etc/resolv.conf`： cat < /etc/NetworkManager/conf.d/99-dns-none.conf [主要] 域名=无 EOF systemctl 重新启动网络管理器 # 指向管理服务器 DNS echo“名称服务器192.168.10.10”> /etc/resolv.conf ## NTP 服务器（同步）时间同步对于 Kubernetes 证书验证和日志一致性至关重要。 ### 在管理服务器上猫 < /etc/chrony.conf 服务器 pool.ntp.org iburst 服务器 kr.pool.ntp.org iburst 允许192.168.10.0/24 地方阶层10 日志目录 /var/log/chrony EOF systemctl 重新启动 chronyd 验证：慢性来源-v 慢性客户 ### 在 k8s 节点上猫 < /etc/chrony.conf 服务器192.168.10.10 iburst 日志目录 /var/log/chrony EOF systemctl 重新启动 chronyd 时间日期控制状态 ## 本地 YUM/DNF 存储库对于完整镜像，同步存储库需要 12 分钟以上。相应地计划。 ### 在管理服务器上 dnf install -y dnf-plugins-core createrepo nginx mkdir -p /data/repos/rocky/10 # 同步存储库 dnf reposync --repoid=baseos --download-metadata -p /data/repos/rocky/10 # ~6GB, ~3min dnf reposync --repoid=appstream --download-metadata -p /data/repos/rocky/10 # ~14GB，~9 分钟 dnf reposync --repoid=extras --download-metadata -p /data/repos/rocky/10 # ~67MB，快配置 nginx 来为存储库提供服务： cat < /etc/nginx/conf.d/repos.conf 服务器{ 听80； server_name 回购服务器；位置/洛基/10/ { 自动索引开启； autoindex_exact_size 关闭；自动索引_本地时间开启；根/数据/存储库； } } EOF systemctl 启用 --now nginx ### 在 k8s 节点上备份现有的存储库并指向内部镜像： mkdir -p /etc/yum.repos.d/backup mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/backup/ cat < /etc/yum.repos.d/internal-rocky.repo [内部-baseos] name=内部 Rocky 10 BaseOS baseurl=http://192.168.10.10/rocky/10/baseos 启用=1 gpg检查=0 [内部应用程序流] 名称=内部 Rocky 10 AppStream baseurl=http://192.168.10.10/rocky/10/appstream 启用=1 gpg检查=0 [内部附加] 名称=Internal Rocky 10 Extras baseurl=http://192.168.10.10/rocky/10/extras 启用=1 gpg检查=0 EOF dnf 清理所有 && dnf repolist && dnf makecache ## 私有 PyPI 镜像根据要求，可以使用两种方法。 ### 方法A：devpi-server（交互式，支持缓存）最适合您需要缓存代理来托管上传的包的环境。 pip 安装 devpi-服务器 devpi-客户端 devpi-web devpi-init --serverdir /data/devpi_data nohup devpi-server --serverdir /data/devpi_data --host 0.0.0.0 --port 3141 > /var/log/devpi.log 2>&1 & # 上传包 devpi 使用http://ADMIN_IP:3141 devpi 登录 root --密码“” devpi 索引 -c prod 基数=root/pypi devpi 使用 root/prod pip 下载 jmespath netaddr -d /tmp/pypi-packages devpi 上传 /tmp/pypi-packages/* ### 方法 B：pypi-mirror（静态，由 kubespray-offline 使用）最适合 nginx 提供的完全静态镜像。这是 kubespray-offline 项目使用的方法。 pip 安装 python-pypi-mirror pip 下载 -d 输出/pypi/文件 -r 要求.txt pypi-mirror 创建 -d 输出/pypi/文件 -m 输出/pypi # 由 nginx 在端口 80 上提供服务 ### 客户端配置（所有节点）猫 < /etc/pip.conf [全球] 索引 URL = http://ADMIN_IP/pypi 可信主机 = ADMIN_IP 超时= 60 EOF 将“ADMIN_IP”替换为实际的管理服务器 IP（例如 192.168.10.10）。 ## 快速参考表服务 |港口|软件|管理配置|节点配置 ---|---|---|---|--- 域名解析 | 53 | 53绑定| /etc/named.conf | /etc/named.conf | /etc/resolv.conf NTP | 123 | 123时间 | /etc/chrony.conf（服务器）| /etc/chrony.conf（客户端）网络地址转换 | - | iptables |假面舞会规则 |通过管理员默认路由百胜/DNF | 80| nginx + 重新同步 | /etc/nginx/conf.d/ | /etc/nginx/conf.d/ /etc/yum.repos.d/ PyPI | 3141 或 80 | devpi 或 pypi 镜像 | devpi 初始化 | /etc/pip.conf ## 常见错误 * **忘记在绑定设置之前禁用 SELinux。** SELinux 可以阻止绑定侦听端口 53 或读取区域文件。配置 SELinux 策略或在安装过程中将其设置为宽松。 * **不在节点上禁用 NetworkManager DNS 管理。** NetworkManager 将在每个网络事件上覆盖“/etc/resolv.conf”，撤消手动 DNS 配置。 * **在 chrony 配置中缺少 `allow 192.168.10.0/24`。** 如果没有此指令，chrony 将拒绝来自内部网络的 NTP 请求。 * **同步包后不运行`createrepo`。**如果在没有`--download-metadata`的情况下运行reposync，则必须使用`createrepo`手动生成存储库元数据。 * **pypi-mirror 与 devpi：pip 需要 `+simple` 端点。** 使用 devpi 时，索引 URL 必须包含 `/+simple/` 后缀。使用 pypi-mirror 时，请确保目录结构与 pip 期望的相匹配。 ## 验证命令 # DNS -- 通过管理服务器验证名称解析挖掘 +short google.com @192.168.10.10 # NTP -- 检查时间同步状态慢性来源-v 时间日期控制状态 # YUM/DNF 存储库 -- 确认内部存储库处于活动状态 dnf重制版 dnf 制作缓存 # PyPI -- 从内部镜像测试包安装 pip install --dry-run somepackage ## 推荐的设置顺序 1. **NAT网关** \--启用临时互联网访问以下载软件包 2. **DNS Server** \--所有后续服务都受益于名称解析 3. **NTP服务器** \--时间同步是TLS和证书的先决条件 4. **YUM/DNF 存储库** \-- 镜像操作系统包以进行离线节点配置 5. **PyPI Mirror** \--镜像kubespray和工具所需的Python包 6. **禁用 NAT** \--填充所有镜像后，删除 NAT 规则以强制执行气隙

Kubespray 离线基础设施

包含技能