# Kubespray 实验室环境设置 ## 概述该技能涵盖构建本地 6 节点 Vagrant/VirtualBox 实验室来测试 Kubespray HA 部署。该环境包括一个管理/负载均衡器节点、三个带有堆叠 etcd 的控制平面节点以及两个运行 Rocky Linux 10 的工作节点。 **核心原理：** admin-lb 节点充当您的部署工作站、HAProxy 负载均衡器和 NFS 服务器。所有 Kubespray 操作均通过仅主机网络从该节点针对五个 K8s 节点执行。 ## 何时使用 * 建立本地 Vagrant/VirtualBox 实验室用于 Kubespray 测试 * 配置多节点 Rocky Linux 集群 * 使用 HAProxy、NFS 和部署工具配置管理节点 * 使用内核模块和 sysctl 设置准备 K8s 节点 * 使用本地负载均衡器测试 HA 配置 **不适用于：** 运行 Kubespray playbook（使用 kubespray-deployment）、配置 HA 变量（使用 kubespray-ha-configuration）、排除集群问题（使用 kubespray-troubleshooting） ## 架构概述 ┌────────────────────────────────────────────────────────────────┐ │ 主机 (macOS/Linux) │ │ │ │ ┌────────────────────────────────────────────────────────┐ │ │ │ VirtualBox 仅主机网络 192.168.10.0/24 │ │ │ │ │ │ │ │ ┌────────────┐ │ │ │ │ │ 管理-lb │ 192.168.10.10 │ │ │ │ │ HAProxy │ API LB :6443 → CP 节点 │ │ │ │ │ NFS 服务器 │ 统计数据：9000 Prometheus：8405 │ │ │ │ │ Kubespray │ NFS /srv/nfs/share │ │ │ │ └────────────┘ │ │ │ │ │ │ │ │ ┌──────────┐ ┌────────────┐ ┌────────────┐ │ │ │ │ │ k8s-node1 │ │ k8s-node2 │ │ k8s-node3 │ │ │ │ │ │ CP + etcd │ │ CP + etcd │ │ CP + etcd │ │ │ │ │ │ .10.11 │ │ .10.12 │ │ .10.13 │ │ │ │ │ └────────────┘ └────────────┘ └────────────┘ │ │ │ │ │ │ │ │ ┌──────────┐ ┌────────────┐ │ │ │ │ │ k8s-node4 │ │ k8s-node5 │ │ │ │ │ │ 工人 │ │ 工人 │ │ │ │ │ │ .10.14 │ │ .10.15 │ │ │ │ │ └──────────┘ └────────────┘ │ │ │ │ │ │ │ └────────────────────────────────────────────────────────┘ │ │ │ │ 每个虚拟机：enp0s3（NAT、互联网）+ enp0s8/enp0s9（仅主机）│ └────────────────────────────────────────────────────────────────┘ ## 虚拟机规格节点|知识产权|角色 |中央处理器|内存 ---|---|---|---|--- 管理员-lb | 192.168.10.10 | HAProxy、NFS、Kubespray 部署器 | 2 | 1024MB k8s-node1 | 192.168.10.11 |控制平面+etcd | 4 | 2048MB k8s-node2 | 192.168.10.12 |控制平面+etcd | 4 | 2048MB k8s-node3 | 192.168.10.13 |控制平面+etcd | 4 | 2048MB k8s-node4 | 192.168.10.14 |工人| 4 | 2048MB k8s-node5 | 192.168.10.15 |工人| 4 | 2048MB **网络接口：** * `enp0s3` \- 用于互联网访问的 NAT 适配器（VirtualBox 默认） * `enp0s8` / `enp0s9` \- 用于集群通信的仅主机适配器 (192.168.10.0/24) ## 流浪文件 # -*- 模式：红宝石 -*- # vi: 设置 ft=ruby : BOX_IMAGE =“便当/rockylinux-10” 数 = 5 Vagrant.configure("2") 执行 |config| # --- k8s-node1 到 k8s-node5 --- (1..N).每个做 |i| config.vm.define "k8s-node#{i}" do |node| 节点.vm.box = BOX_IMAGE node.vm.hostname = "k8s-node#{i}" node.vm.network“private_network”，ip：“192.168.10.#{10 + i}” node.vm.provider“virtualbox”做 |vb| vb.name = "k8s-node#{i}" vb.内存 = 2048 vb.cpu = 4 vb.linked_clone = true vb.customize [“modifyvm”，：id，“--nicpromisc2”，“允许全部”] 结束 node.vm.provision“shell”，路径：“init_cfg.sh” 结束结束 # --- admin-lb 节点 --- config.vm.define "admin-lb" do |admin| admin.vm.box = BOX_IMAGE admin.vm.主机名 = "admin-lb" admin.vm.network“私有网络”，IP：“192.168.10.10” admin.vm.provider“virtualbox”执行 |vb| vb.name =“admin-lb” vb.内存 = 1024 vb.cpu = 2 vb.linked_clone = true vb.customize [“modifyvm”，：id，“--nicpromisc2”，“允许全部”] 结束 admin.vm.provision“shell”，路径：“admin-lb.sh” 结束结束 **关键设置：** * `linked_clone = true` \- 通过共享基础镜像节省磁盘空间 * `nicpromisc2 allowed-all` \- 在第二个 NIC 上为 CNI 流量启用混杂模式 (Calico/Flannel) * 首先配置 K8s 节点，以便在 admin-lb 运行 SSH 密钥分发时它们已准备就绪 ## Admin-LB 引导脚本 (admin-lb.sh) #!/usr/bin/env bash 设置-euo管道故障回声“==================================” echo“admin-lb引导程序” 回声“==================================” # ---- 时区 ---- timedatectl 设置时区亚洲/首尔 # ---- 禁用防火墙和 SELinux ---- systemctl 停止防火墙 && systemctl 禁用防火墙设定强度 0 sed -i 's/^SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config # ---- SSH 配置 ---- sed -i 's/^#PermitRootLogin.*/PermitRootLogin yes/' /etc/ssh/sshd_config sed -i 's/^PasswordAuthentication no/PasswordAuthentication yes/' /etc/ssh/sshd_config 回声'根：qwe123'|密码 systemctl 重新启动 sshd # ---- 本地 DNS (/etc/hosts) ---- 猫>> /etc/hosts < /etc/haproxy/haproxy.cfg <<'HAPCFG' 全球登录 127.0.0.1 local2 最大康恩4096 守护进程默认值 TCP模式记录全局选项 tcplog 选项不记录空超时连接5s 客户端超时30s 服务器超时30s 前端 k8s-api 绑定*:6443 default_backend k8s-api-backend 后端 k8s-api-后端平衡循环赛选项 TCP 检查服务器 k8s-node1 192.168.10.11:6443 检查下降 3 上升 2 服务器 k8s-node2 192.168.10.12:6443 检查下降 3 上升 2 服务器 k8s-node3 192.168.10.13:6443 检查下降 3 上升 2 前端统计绑定*:9000 模式 http 统计启用统计 uri /stats 统计刷新10秒如果 LOCALHOST 则统计管理员前端普罗米修斯绑定*:8405 模式 http http-request 使用服务 prometheus-exporter if { path /metrics } 没有日志 HAPCFG setebool -P haproxy_connect_any 1 2>/dev/null ||真实 systemctl 启用 --now haproxy # ---- NFS 服务器 ---- dnf 安装 -y nfs-utils mkdir -p /srv/nfs/共享猫>> /etc/exports < /etc/yum.repos.d/kubernetes.repo <<'REPO' [Kubernetes] 名称=Kubernetes baseurl=https://pkgs.k8s.io/core:/stable:/v1.32/rpm/ 启用=1 gpg检查=1 gpgkey=https://pkgs.k8s.io/core:/stable:/v1.32/rpm/repodata/repomd.xml.key 回购协议 dnf安装-y kubectl kubectl 完成 bash > /etc/bash_completion.d/kubectl # ---- k9s ---- 卷曲-Lo /tmp/k9s.rpm https://github.com/derailed/k9s/releases/latest/download/k9s_linux_amd64.rpm rpm -ivh /tmp/k9s.rpm rm -f /tmp/k9s.rpm # ---- 头盔 ---- 卷曲-fsSL https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | \ DESIRED_VERSION=v3.16.2 bash helm 完成 bash > /etc/bash_completion.d/helm # ---- SSH 密钥分发 ---- dnf安装-y sshpass ssh-keygen -t rsa -N "" -f /root/.ssh/id_rsa -q 对于 1 2 3 4 5 中的 i；做 sshpass -p 'qwe123' ssh-copy-id -o StrictHostKeyChecking=no root@192.168.10.1${i} 完成 # ---- Kubespray ---- dnf安装-y git python3-pip git clone -b v2.29.1 https://github.com/kubernetes-sigs/kubespray.git /root/kubespray pip3 install --break-system-packages -r /root/kubespray/requirements.txt 回声“==================================” echo“admin-lb引导程序完成” 回声“==================================” ## 节点初始化脚本(init_cfg.sh) #!/usr/bin/env bash 设置-euo管道故障回声“==================================” echo " K8s 节点初始化: $(主机名)" 回声“==================================” # ---- 时区 ---- timedatectl 设置时区亚洲/首尔 # ---- 禁用交换 ---- 交换-a sed -i '/swap/s/^/#/' /etc/fstab # ---- 禁用防火墙和 SELinux ---- systemctl 停止防火墙 && systemctl 禁用防火墙设定强度 0 sed -i 's/^SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config # ---- Kubernetes 的内核模块 ---- 猫 > /etc/modules-load.d/k8s.conf < /etc/sysctl.d/k8s.conf <> /etc/hosts <`）并重新创建。如果持续存在，请更新 VirtualBox。为仅主机网络配置的 IP 地址不在允许的范围内 **原因：** VirtualBox 6.1.28+ 限制仅限主机的网络范围。 **修复：** 创建或编辑 `/etc/vbox/networks.conf`： * 192.168.10.0/24 等待机器启动时超时 **原因：** 主机资源不足或 VirtualBox 问题。 **修复：**减少虚拟机数量或内存，选中“VBoxManage list runningvms”。 sshpass：ssh-copy-id 失败（退出代码 6） **原因：** 当 admin-lb 设置时，目标节点 SSH 未准备好。 **修复：** 重新运行配置：`vagrant provision admin-lb`。 Vagrantfile 首先定义 K8s 节点以尽量减少这种情况。错误：外部管理环境 **原因：** Rocky Linux 10 上的 Python 3.12 PEP 668。 **修复：** 将 `--break-system-packages` 添加到 pip install。 E：无法连接到 HAProxy 统计套接字 **原因：** HAProxy 未运行或配置错误。 **修复：** 检查 `systemctl status haproxy` 并使用 `haproxy -c -f /etc/haproxy/haproxy.cfg` 验证 `/etc/haproxy/haproxy.cfg` 语法。 mount.nfs：服务器拒绝访问 **原因：** NFS 导出未应用。 **修复：** 运行 `exportfs -arv` 并使用 `showmount -e localhost` 进行验证。 ## 常见错误错误|后果 ---|--- 忘记`--nicpromisc2 allowed-all` |虚拟机之间的 CNI (Calico/Flannel) 流量下降未在 Kubespray 库存中设置 `ip=` Kubespray 检测到 10.0.2.15 (NAT) 而不是 192.168.10.x 在 K8s 节点之前启动 admin-lb |由于节点未准备好，SSH 密钥分发失败缺少 `/etc/vbox/networks.conf` | VirtualBox 拒绝 192.168.10.0/24 仅主机范围跳过 `swapoff -a` | kubelet 拒绝在启用交换的情况下启动不禁用 SELinux |容器运行时和 CNI 操作失败使用“pip install”而不使用“--break-system-packages” | PEP 668 阻止在 Rocky Linux 10 上安装忘记 `linked_clone = true` |每个虚拟机复制完整的基础映像（每个 2-4 GB，而不是约 200 MB） Kubespray 分支与 K8s 版本错误 |版本不匹配导致部署失败

Kubespray 实验室设置

包含技能