# Kubernetes 编排技巧 ## 目录一、简介 2. 核心概念 3. 工作负载 4. 服务和网络 5. 入口控制器 6. 配置管理 7. 储存 8. 命名空间和资源隔离 9. 安全和 RBAC 10.自动缩放 11. 监控和可观察性 12. 日志记录 13. 生产运营 14. 故障排除 ## 简介 Kubernetes 是一个开源容器编排平台，可自动执行容器化应用程序的部署、扩展和管理。它提供了一个强大的框架，用于弹性运行分布式系统、处理应用程序的扩展和故障转移以及提供部署模式。 ### 主要优点 * **服务发现和负载平衡**：容器的自动 DNS 和负载平衡 * **存储编排** ：从本地、云或网络存储挂载存储系统 * **自动部署和回滚**：具有运行状况监控的声明式部署 * **自动装箱**：根据资源需求优化容器放置 * **自我修复** ：自动重启、替换和重新安排失败的容器 * **秘密和配置管理**：安全地存储和管理敏感信息 * **水平缩放** ：自动或手动向上和向下缩放应用程序 * **批量执行**：管理批量和 CI 工作负载 ## 核心概念 ### 集群架构 Kubernetes 集群包括： **控制平面组件：** * **kube-apiserver** ：API 服务器是 Kubernetes 控制平面的前端 * **etcd** ：所有集群数据的一致且高可用的键值存储 * **kube-scheduler** ：监视新创建的 Pod 并将它们分配给节点 * **kube-controller-manager** ：运行控制器进程 * **cloud-controller-manager** ：与云提供商 API 集成 **节点组件：** * **kubelet** ：在每个节点上运行并确保容器正在运行的代理 * **kube-proxy** ：网络代理维护节点上的网络规则 * **容器运行时** ：负责运行容器的软件（containerd、CRI-O） ### 对象和规范 Kubernetes 对象是代表集群状态的持久实体。每个对象包括： * **元数据** ：有关对象的数据（名称、命名空间、标签、注释） * **spec** ：所需的状态 * **status** ：当前状态（由 Kubernetes 管理） ## 工作负载 ### Pod Pod 是 Kubernetes 中最小的可部署单元，代表一个或多个共享存储和网络资源的容器。 **基本 Pod 示例：** api版本：v1 种类: 豆荚元数据：名称：nginx-pod 标签：应用程序：nginx 规格：容器： -名称：nginx 图片：nginx：1.21 端口： - 集装箱端口：80 **多容器 Pod：** api版本：v1 种类: 豆荚元数据：名称：多容器吊舱规格：容器： -名称：nginx 图片：nginx：1.21 端口： - 集装箱端口：80 体积安装： - 名称：共享数据挂载路径：/usr/share/nginx/html - 名称：边车图片：busybox 命令：['sh', '-c', 'while true;执行 echo "$(date)" > /pod-data/index.html;睡30；完成'] 体积安装： - 名称：共享数据挂载路径：/pod-data 卷： - 名称：共享数据空目录：{} **带有初始化容器的 Pod：** api版本：v1 种类: 豆荚元数据：名称：初始化演示规格：初始化容器： - 名称：安装图片：busybox：1.28 命令： -wget -“-O” - “/work-dir/index.html” - http://info.cern.ch 体积安装： - 名称：工作目录挂载路径：“/work-dir” 容器： -名称：nginx 图片：nginx：1.21 端口： - 集装箱端口：80 体积安装： - 名称：工作目录挂载路径：/usr/share/nginx/html 卷： - 名称：工作目录空目录：{} **具有安全上下文的 Pod：** api版本：v1 种类: 豆荚元数据：名称：安全上下文演示规格：安全上下文：以用户身份运行：1000 运行组：3000 fs组：2000 容器： - 名称：sec-ctx-container 图片：busybox 命令：[“sh”、“-c”、“睡眠 1 小时”] 安全上下文：允许权限升级： false 能力：掉落： - NET_RAW - 全部 runAsNonRoot: true seccomp简介：类型：运行时默认 **具有资源限制和请求的 Pod：** api版本：v1 种类: 豆荚元数据：名称：资源演示规格：容器： - 名称：应用程序图片：nginx：1.21 资源：要求：内存：“64Mi” 中央处理器：“250m” 限制：内存：“128Mi” 中央处理器：“500m” **带探头的 Pod：** api版本：v1 种类: 豆荚元数据：名称：探针演示规格：容器： - 名称：应用程序图片：nginx：1.21 端口： - 集装箱端口：80 活性探针： http获取：路径：/healthz 端口：80 初始延迟秒数：3 周期秒：10 超时秒数：1 失败阈值：3 准备情况探针： http获取：路径：/准备好端口：80 初始延迟秒数：5 周期秒：5 成功阈值：1 启动探针： http获取：路径：/启动端口：80 初始延迟秒：0 周期秒：10 失败阈值：30 ### 部署部署为 Pod 和 ReplicaSet 提供声明式更新，从而实现滚动更新和回滚。 **基本部署：** api版本：apps/v1 种类：部署元数据：名称：nginx-部署标签：应用程序：nginx 规格：副本：3 选择器：匹配标签：应用程序：nginx 模板：元数据：标签：应用程序：nginx 规格：容器： -名称：nginx 图片：nginx：1.21 端口： - 集装箱端口：80 **采用滚动更新策略进行部署：** api版本：apps/v1 种类：部署元数据：名称：滚动更新部署规格：副本：5 策略：类型：滚动更新滚动更新：最大浪涌：1 最大不可用：1 选择器：匹配标签：应用程序：我的应用程序模板：元数据：标签：应用程序：我的应用程序规格：容器： - 名称：myapp 图片：myapp：v2 端口： - 集装箱端口：8080 资源：要求：中央处理器：100m 内存：128Mi 限制：中央处理器：500m 内存：512Mi **使用重新创建策略进行部署：** api版本：apps/v1 种类：部署元数据：名称：重新创建部署规格：副本：3 策略：类型：重新创建选择器：匹配标签：应用程序：数据库迁移模板：元数据：标签：应用程序：数据库迁移规格：容器： - 姓名：迁徙者图像：迁移器：v1 **蓝绿部署模式：** # 蓝色部署 api版本：apps/v1 种类：部署元数据：名称：myapp-蓝色规格：副本：3 选择器：匹配标签：应用程序：我的应用程序版本: 蓝色模板：元数据：标签：应用程序：我的应用程序版本: 蓝色规格：容器： - 名称：myapp 图片：myapp：v1.0 端口： - 集装箱端口：8080 --- # 绿色部署 api版本：apps/v1 种类：部署元数据：名称：myapp-绿色规格：副本：3 选择器：匹配标签：应用程序：我的应用程序版本: 绿色模板：元数据：标签：应用程序：我的应用程序版本: 绿色规格：容器： - 名称：myapp 图片：myapp：v2.0 端口： - 集装箱端口：8080 ### 有状态集 StatefulSet 管理需要稳定网络身份和持久存储的有状态应用程序。 **具有 Headless 服务的基本 StatefulSet：** api版本：v1 种类：服务元数据：名称：nginx 标签：应用程序：nginx 规格：端口： - 端口：80 名称：网络集群IP：无选择器：应用程序：nginx --- api版本：apps/v1 种类：StatefulSet 元数据：名称：网络规格：服务名称：“nginx” 副本：3 选择器：匹配标签：应用程序：nginx 模板：元数据：标签：应用程序：nginx 规格：容器： -名称：nginx 图片：registry.k8s.io/nginx-slim:0.21 端口： - 集装箱端口：80 名称：网络体积安装： - 名称：www 挂载路径：/usr/share/nginx/html 体积声明模板： - 元数据：名称：www 规格：访问模式：[“读写一次”] 资源：要求：存储：1Gi **具有并行 Pod 管理的 StatefulSet：** api版本：apps/v1 种类：StatefulSet 元数据：名称：网络并行规格：服务名称：“nginx” pod管理策略：“并行” 副本：5 选择器：匹配标签：应用程序：nginx 模板：元数据：标签：应用程序：nginx 规格：容器： -名称：nginx 图片：registry.k8s.io/nginx-slim:0.24 端口： - 集装箱端口：80 名称：网络体积安装： - 名称：www 挂载路径：/usr/share/nginx/html 体积声明模板： - 元数据：名称：www 规格：访问模式：[“读写一次”] 资源：要求：存储：1Gi **数据库的 StatefulSet (MySQL)：** api版本：v1 种类：服务元数据：名称：mysql-无头规格：端口： - 端口：3306 名称：mysql 集群IP：无选择器：应用程序： mysql --- api版本：apps/v1 种类：StatefulSet 元数据：名称：mysql 规格：服务名称：mysql-headless 副本：3 选择器：匹配标签：应用程序： mysql 模板：元数据：标签：应用程序： mysql 规格：容器： -名称：mysql 图片：mysql:8.0 端口： - 集装箱端口：3306 名称：mysql 环境： - 名称：MYSQL_ROOT_PASSWORD 值来自：秘密密钥参考：名称：mysql-秘密密钥： root 密码体积安装： - 名称：数据挂载路径：/var/lib/mysql 体积声明模板： - 元数据：名称：数据规格：访问模式：[“读写一次”] 资源：要求：存储：10Gi ### 守护进程集 DaemonSets 确保所有或特定节点运行 Pod 的副本，非常适合日志记录、监控和集群存储。 **日志守护进程集：** api版本：apps/v1 种类：DaemonSet 元数据：名称： fluidd-elasticsearch 命名空间：kube-system 标签： k8s-app：流畅的日志记录规格：选择器：匹配标签：名称： fluidd-elasticsearch 模板：元数据：标签：名称： fluidd-elasticsearch 规格：容忍度： - 密钥：node-role.kubernetes.io/master 效果：无时间表容器： - 名称： fluidd-elasticsearch 图片：quay.io/fluenced_elasticsearch/fluidd:v2.5.2 资源：限制：内存：200Mi 要求：中央处理器：100m 内存：200Mi 体积安装： - 名称：varlog 挂载路径：/var/log - 名称：varlibdockercontainers 挂载路径：/var/lib/docker/containers 只读：真终止宽限期秒：30 卷： - 名称：varlog 主机路径：路径：/var/log - 名称：varlibdockercontainers 主机路径：路径：/var/lib/docker/containers **监控DaemonSet（节点导出器）：** api版本：apps/v1 种类：DaemonSet 元数据：名称：节点导出器命名空间：监控规格：选择器：匹配标签：应用程序：节点导出器模板：元数据：标签：应用程序：节点导出器规格：主机网络：true 主机PID：真容器： - 名称：节点导出器图片：舞会/节点导出器：v1.3.1 参数： - --path.procfs=/主机/proc - --path.sysfs=/主机/sys - --path.rootfs=/主机/根 - --collector.filesystem.ignored-mount-points=^/(dev|proc|sys|var/lib/docker/.+)($|/) 端口： - 集装箱端口：9100 主机端口：9100 名称：指标体积安装： - 名称：过程挂载路径：/host/proc 只读：真 - 名称：系统挂载路径：/host/sys 只读：真 - 名称：根挂载路径：/host/root 只读：真卷： - 名称：过程主机路径：路径：/proc - 名称：系统主机路径：路径：/sys - 名称：根主机路径：路径：/ ### 工作作业创建一个或多个 Pod，并确保指定数量的 Pod 成功完成。 **基本工作：** api版本：batch/v1 种类：工作元数据：名称： pi 规格：模板：规格：容器： - 名称： pi 图片：perl：5.34 命令：[“perl”，“-Mbignum = bpi”，“-wle”，“打印bpi（2000）”] 重启策略：从不退避限制：4 **具有固定完成次数的并行作业：** api版本：batch/v1 种类：工作元数据：名称：并行作业规格：完成次数：8 并行度：2 模板：规格：容器： - 姓名：工人图片：busybox 命令：[“sh”，“-c”，“echo 处理项目$ITEM_ID && sleep 5”] 环境： - 名称：ITEM_ID 值：“$(JOB_COMPLETION_INDEX)” 重启策略：从不退避限制：3 **完成后与 TTL 的工作：** api版本：batch/v1 种类：工作元数据：名称： ttl 作业规格：完成后的 ttl 秒数：100 模板：规格：容器： - 姓名：清洁工图片：busybox 命令：[“sh”，“-c”，“echo 清理&&睡眠 10”] 重启策略：从不 ### 定时任务 CronJobs 按重复计划创建作业。 **基本 CronJob：** api版本：batch/v1 种类：CronJob 元数据：姓名：你好规格：时间表：“*/5 * * * *” 工作模板：规格：模板：规格：容器： - 姓名：你好图片：busybox 命令： - /bin/sh - -c - 日期；从 Kubernetes 集群 echo Hello 重启策略：OnFailure **备份CronJob：** api版本：batch/v1 种类：CronJob 元数据：名称：数据库备份规格：时间表：“0 2 * * *” 成功的工作历史限制：3 failedJobsHistoryLimit: 1 并发策略：禁止工作模板：规格：模板：规格：容器： - 名称：备份图片：postgres：14 命令： - /bin/sh - -c - pg_dump -h $DB_HOST -U $DB_USER $DB_NAME | gzip > /backup/db-$(日期 +%Y%m%d-%H%M%S).sql.gz 环境： - 名称：DB_HOST 值：postgres 服务 - 名称：DB_USER 值来自：秘密密钥参考：名称： db-credentials 关键：用户名 - 名称：PG密码值来自：秘密密钥参考：名称： db-credentials 密钥：密码 - 名称：DB_NAME 值：mydb 体积安装： - 名称：备份存储挂载路径：/backup 重启策略：OnFailure 卷： - 名称：备份存储持久卷声明：声明名称：backup-pvc **报告生成 CronJob：** api版本：batch/v1 种类：CronJob 元数据：名称：每日报告规格：时间表：“0 8 ** 1-5” 时区：“America/New_York” 起始截止时间秒：3600 并发策略：替换工作模板：规格：模板：规格：容器： - 名称：报告生成器图片：报告应用程序：v1 命令： - 蟒蛇 - 生成报告.py - --格式=pdf - --email-recipients=team@example.com 重启策略：OnFailure ## 服务和网络 ### ClusterIP服务提供内部集群通信的默认服务类型。 api版本：v1 种类：服务元数据：名称：后端服务规格：类型：集群IP 选择器：应用程序：后端端口： - 协议：TCP 端口：80 目标端口：8080 **具有多个端口的服务：** api版本：v1 种类：服务元数据：名称：多端口服务规格：选择器：应用程序：我的应用程序端口： - 名称：http 协议：TCP 端口：80 目标端口：8080 - 名称：https 协议：TCP 端口：443 目标端口：8443 - 名称：指标协议：TCP 端口：9090 目标端口：9090 **无头服务：** api版本：v1 种类：服务元数据：名称：有状态服务规格：集群IP：无选择器：应用程序：有状态应用程序端口： - 端口：80 目标端口：8080 ### 节点端口服务在静态端口上公开每个节点 IP 上的服务。 api版本：v1 种类：服务元数据：名称：节点端口服务规格：类型：节点端口选择器：应用程序：前端端口： - 协议：TCP 端口：80 目标端口：8080 节点端口：30080 ### 负载均衡器服务在云环境中创建外部负载均衡器。 api版本：v1 种类：服务元数据：名称：负载均衡器服务注释： service.beta.kubernetes.io/aws-load-balancer-type：“nlb” 规格：类型：负载均衡器选择器：应用程序：网络端口： - 协议：TCP 端口：80 目标端口：8080 负载均衡器源范围： - “10.0.0.0/8” - “172.16.0.0/12” ### 外部名称服务将服务映射到外部 DNS 名称。 api版本：v1 种类：服务元数据：名称：外部数据库规格：类型：外部名称外部名称：database.example.com ### 具有会话亲和性的服务 api版本：v1 种类：服务元数据：名称：粘性服务规格：选择器：应用程序：我的应用程序端口： - 协议：TCP 端口：80 目标端口：8080 会话亲和性：客户端IP 会话亲和性配置：客户端IP: 超时秒数：10800 ## 入口控制器 Ingress 管理对服务的外部访问，通常是 HTTP/HTTPS，提供负载平衡、SSL 终止和基于名称的虚拟托管。 ### 基本入口 api版本：networking.k8s.io/v1 种类: 入口元数据：名称：基本入口规格： ingressClassName: nginx 规则： - 主机：myapp.example.com http：路径： - 路径：/ 路径类型：前缀后端：服务：名称：myapp-service 港口：数量：80 ### 使用 TLS 进入 api版本：networking.k8s.io/v1 种类: 入口元数据：名称：tls-ingress 规格： ingressClassName: nginx : - 主持人： - myapp.example.com 秘密名称：myapp-tls-秘密规则： - 主机：myapp.example.com http：路径： - 路径：/ 路径类型：前缀后端：服务：名称：myapp-service 港口：数量：80 ### 基于路径的路由 api版本：networking.k8s.io/v1 种类: 入口元数据：名称：基于路径的入口注释： nginx.ingress.kubernetes.io/rewrite-target：/ 规格： ingressClassName: nginx 规则： - 主机：example.com http：路径： - 路径：/api 路径类型：前缀后端：服务：名称：api服务港口：数量：8080 - 路径：/web 路径类型：前缀后端：服务：名称：网络服务港口：数量：80 - 路径：/admin 路径类型：前缀后端：服务：名称：管理服务港口：数量：3000 ### 多主机入口 api版本：networking.k8s.io/v1 种类: 入口元数据：名称：多主机入口规格： ingressClassName: nginx : - 主持人： - app1.example.com - app2.example.com 秘密名称：多重 TLS 秘密规则： - 主机：app1.example.com http：路径： - 路径：/ 路径类型：前缀后端：服务：名称：app1-服务港口：数量：80 - 主机：app2.example.com http：路径： - 路径：/ 路径类型：前缀后端：服务：名称：app2-服务港口：数量：80 ### 带有身份验证的入口 api版本：networking.k8s.io/v1 种类: 入口元数据：名称：auth-ingress 注释： nginx.ingress.kubernetes.io/auth-type：基本 nginx.ingress.kubernetes.io/auth-secret：基本身份验证 nginx.ingress.kubernetes.io/auth-realm：“需要身份验证” 规格： ingressClassName: nginx 规则： - 主机：secure.example.com http：路径： - 路径：/ 路径类型：前缀后端：服务：名称：安全服务港口：数量：80 ### 具有速率限制的入口 api版本：networking.k8s.io/v1 种类: 入口元数据：名称：速率限制入口注释： nginx.ingress.kubernetes.io/limit-rps：“10” nginx.ingress.kubernetes.io/limit-connections：“5” 规格： ingressClassName: nginx 规则： - 主机：api.example.com http：路径： - 路径：/ 路径类型：前缀后端：服务：名称：api服务港口：数量：8080 ## 配置管理 ### 配置映射 ConfigMap 将非机密数据存储在键值对中。 **文字中的 ConfigMap：** api版本：v1 种类：ConfigMap 元数据：名称：应用程序配置数据：数据库主机：“postgres.default.svc.cluster.local” 数据库端口：“5432” 日志级别：“信息” 功能标志： | 功能1=已启用功能2=禁用功能3=已启用 **ConfigMap 与文件内容：** api版本：v1 种类：ConfigMap 元数据：名称：nginx-config 数据： nginx.conf: | 事件{ 工人连接1024； } http{ 服务器{ 听80；地点/{ 根/usr/share/nginx/html；索引index.html； } } } **使用 ConfigMap 作为环境变量：** api版本：v1 种类: 豆荚元数据：名称：config-env-pod 规格：容器： - 名称：应用程序图片：myapp：v1 环境来自： - 配置映射参考：名称：应用程序配置环境： - 名称：SPECIFIC_CONFIG 值来自：配置映射密钥参考：名称：应用程序配置键：日志级别 **使用 ConfigMap 作为卷：** api版本：v1 种类: 豆荚元数据：名称：配置卷 Pod 规格：容器： -名称：nginx 图片：nginx：1.21 体积安装： - 名称：配置卷挂载路径：/etc/nginx/nginx.conf 子路径：nginx.conf 卷： - 名称：配置卷配置映射：名称：nginx-config ### 秘密机密存储敏感信息，例如密码、令牌和密钥。 **不透明的秘密：** api版本：v1 种类：秘密元数据：名称： db-credentials 类型: 不透明数据：用户名: YWRtaW4= # base64 编码的“admin” 密码: cGFzc3dvcmQxMjM= # base64 编码的“password123” 字符串数据：连接字符串：“postgresql://admin:password123@postgres:5432/mydb” **TLS 秘密：** api版本：v1 种类：秘密元数据：名称：tls-秘密类型：kubernetes.io/tls 数据： tls.crt: LS0tLS1CRUdJTi... # base64 编码的证书 tls.key: LS0tLS1CRUdJTi... # base64 编码的私钥 **Docker 注册表秘密：** api版本：v1 种类：秘密元数据：名称：注册表凭据类型：kubernetes.io/dockerconfigjson 数据： .dockerconfigjson：eyJhdXRocyI6eyJodHRwczovL2luZGV4... **使用 Secrets 作为环境变量：** api版本：v1 种类: 豆荚元数据：名称：secret-env-pod 规格：容器： - 名称：应用程序图片：myapp：v1 环境： - 名称：DB_USERNAME 值来自：秘密密钥参考：名称： db-credentials 关键：用户名 - 名称：DB_PASSWORD 值来自：秘密密钥参考：名称： db-credentials 密钥：密码 **使用 Secrets 作为卷：** api版本：v1 种类: 豆荚元数据：名称：秘密卷荚规格：容器： - 名称：应用程序图片：myapp：v1 体积安装： - 名称：秘密卷挂载路径：/etc/secrets 只读：真卷： - 名称：秘密卷秘密：秘密名称：数据库凭证 **具有服务帐户和机密的 Pod：** api版本：v1 种类: 豆荚元数据：名称：prod-db-client-pod 标签：名称：产品数据库客户端规格：服务帐户：prod-db-client 容器： - 名称：db-客户端-容器图片：postgres：14 环境： - 名称：DATABASE_URL 值来自：秘密密钥参考：名称： db-credentials key: 连接字符串 ## 存储 ### 持久卷 (PV) PersistentVolume 是集群级别的存储资源。 api版本：v1 种类：持久卷元数据：名称：PV-示例规格：容量：存储：10Gi 访问模式： - 读写一次持久卷回收策略：保留存储类别名称：标准主机路径：路径：/mnt/数据 **NFS 持久卷：** api版本：v1 种类：持久卷元数据：名称：nfs-pv 规格：容量：存储：100Gi 访问模式： - 读写很多网络文件系统：服务器：nfs-server.example.com 路径：/导出/数据持久卷回收策略：保留存储类名称：nfs ### 持久卷声明 (PVC) PVC 向 PersistentVolume 请求存储。 api版本：v1 种类：持久卷声明元数据：名称：mysql-pvc 规格：访问模式： - 读写一次资源：要求：存储：20Gi 存储类别名称：标准 **PVC 带选择器：** api版本：v1 种类：持久卷声明元数据：名称：选择性PVC 规格：访问模式： - 读写一次资源：要求：存储：10Gi 存储类别名称：fast-ssd 选择器：匹配标签：环境：生产层：数据库 ### 存储类 StorageClass 定义不同的存储类别。 api版本：storage.k8s.io/v1 种类：存储类元数据：名称：快速SSD 配置者：kubernetes.io/aws-ebs 参数：类型：GP3 IOPS：“3000” 吞吐量：“125” 加密：“真实” VolumeBindingMode：WaitForFirstConsumer 允许卷扩展：true **Azure 存储类别：** api版本：storage.k8s.io/v1 种类：存储类元数据：名称： azure 高级版配置者：kubernetes.io/azure-disk 参数：存储帐户类型：Premium_LRS 种类：托管回收政策：删除允许卷扩展：true **在 Pod 中使用 PVC：** api版本：v1 种类: 豆荚元数据：名称： PVC吊舱规格：容器： - 名称：应用程序图片：nginx：1.21 体积安装： - 名称：数据挂载路径：/usr/share/nginx/html 卷： - 名称：数据持久卷声明：声明名称：mysql-pvc ## 命名空间和资源隔离 ### 创建命名空间 api版本：v1 种类：命名空间元数据：名称：发展标签：环境：开发团队：工程 **带注释的命名空间：** api版本：v1 种类：命名空间元数据：名称：生产标签：环境：产品合规性：需要注释：所有者：“platform-team@example.com” 成本中心：“12345” ### 资源配额 ResourceQuotas 限制命名空间中的资源消耗。 api版本：v1 种类：资源配额元数据：名称：计算配额命名空间：开发规格：硬：请求CPU：“10” 请求内存：20Gi 限制.cpu：“20” 内存限制：40Gi 持久卷声明：“10” 豆荚：“50” **对象计数配额：** api版本：v1 种类：资源配额元数据：名称：对象配额命名空间：开发规格：硬：配置映射：“10” 秘密：“10” 服务：“10” 服务.负载均衡器：“2” 服务.节点端口：“5” ### 限制范围 LimitRanges 设置默认资源限制和请求。 api版本：v1 种类：限制范围元数据：名称：资源限制命名空间：开发规格：限制： - 最大：中央处理器：“2” 内存：4Gi 分钟：中央处理器：100m 内存：128Mi 默认：中央处理器：500m 内存：512Mi 默认请求：中央处理器：200m 内存：256Mi 类型: 集装箱 - 最大：存储：10Gi 分钟：存储：1Gi 类型：持久卷声明 ## 安全和 RBAC ### 服务帐户 api版本：v1 种类：服务帐户元数据：名称：应用程序服务帐户命名空间：默认 **具有图像拉取机密的 ServiceAccount：** api版本：v1 种类：服务帐户元数据：名称：建造机器人命名空间：默认图像拉取秘密： - 名称：注册表凭据 ### 角色和角色绑定 **角色（命名空间范围）：** api版本：rbac.authorization.k8s.io/v1 种类：角色元数据：命名空间：开发名称： pod 阅读器规则： - api 组：[""] 资源：[“豆荚”] 动词：[“获取”、“观察”、“列表”] - api 组：[""] 资源：[“pods/日志”] 动词：[“得到”] **角色绑定：** api版本：rbac.authorization.k8s.io/v1 种类：角色绑定元数据：名称：读荚命名空间：开发科目： - 种类：用户姓名：简 apiGroup：rbac.authorization.k8s.io - 种类：服务帐户名称：应用程序服务帐户命名空间：开发角色参考：种类：角色名称： pod 阅读器 apiGroup：rbac.authorization.k8s.io ### ClusterRole 和 ClusterRoleBinding **集群角色（集群范围）：** api版本：rbac.authorization.k8s.io/v1 种类：集群角色元数据：名称：集群管理员角色规则： - api 组：[""] 资源：[“节点”] 动词：[“获取”、“列表”、“观察”] - apiGroups：[“应用程序”] 资源：[“部署”、“状态集”、“守护进程集”] 动词：[“获取”、“列表”、“监视”、“创建”、“更新”、“修补”、“删除”] - api 组：[""] 资源：[“命名空间”] 动词：[“获取”、“列表”] **集群角色绑定：** api版本：rbac.authorization.k8s.io/v1 种类：ClusterRoleBinding 元数据：名称：集群管理绑定科目： - 种类：用户名称：管理员用户 apiGroup：rbac.authorization.k8s.io - 种类：团体名称：系统：大师 apiGroup：rbac.authorization.k8s.io 角色参考：种类：集群角色名称：集群管理员角色 apiGroup：rbac.authorization.k8s.io **开发人员角色：** api版本：rbac.authorization.k8s.io/v1 种类：角色元数据：命名空间：开发名称：开发商规则： - apiGroups：[“”，“应用程序”，“批处理”] 资源：[“pods”、“部署”、“服务”、“configmaps”、“秘密”、“作业”、“cronjobs”] 动词：[“获取”、“列表”、“监视”、“创建”、“更新”、“修补”、“删除”] - api 组：[""] 资源：[“pods/log”，“pods/exec”] 动词：[“获取”、“创建”] ### 网络策略 **拒绝所有进入：** api版本：networking.k8s.io/v1 种类：网络策略元数据：名称：拒绝所有进入命名空间：生产规格： pod选择器：{} 政策类型： - 入口 **允许特定入口：** api版本：networking.k8s.io/v1 种类：网络策略元数据：名称：允许前端命名空间：生产规格： pod选择器：匹配标签：应用程序：后端政策类型： - 入口入口： - 来自： - pod选择器：匹配标签：应用程序：前端端口： - 协议：TCP 端口：8080 **允许来自特定命名空间：** api版本：networking.k8s.io/v1 种类：网络策略元数据：名称：允许来自命名空间规格： pod选择器：匹配标签：应用程序：我的应用程序政策类型： - 入口入口： - 来自： - 命名空间选择器：匹配标签：环境：生产 pod选择器：匹配标签：角色：客户 **出口网络策略：** api版本：networking.k8s.io/v1 种类：网络策略元数据：名称：允许 dns 出口规格： pod选择器：匹配标签：应用程序：我的应用程序政策类型： - 出口出口： - 至： - 命名空间选择器：匹配标签：名称：kube系统端口： - 协议：UDP 端口：53 - 至： - pod选择器：匹配标签：应用程序：数据库端口： - 协议：TCP 端口：5432 ### PodSecurityPolicy api版本：policy/v1beta1 种类：PodSecurityPolicy 元数据：名称：受限规格：特权：假允许权限升级： false 所需的掉落能力： - 全部卷： - '配置映射' - '空目录' -“预计” -“秘密” - '向下API' - '持久卷声明' 主机网络：假主机IPC：假主机PID：假以用户身份运行：规则：MustRunAsNonRoot seLinux: 规则：RunAsAny fs组：规则：RunAsAny 只读根文件系统： false ## 自动缩放 ### 水平 Pod 自动缩放器 (HPA) HPA 根据观察到的指标自动扩展 Pod 的数量。 **基于CPU的HPA：** api版本：自动缩放/v2 种类：HorizontalPodAutoscaler 元数据：名称： webapp-hpa 规格：缩放目标参考： api版本：apps/v1 种类：部署名称：网络应用程序最少副本数：2 最大副本数：10 指标： - 类型：资源资源：名称：中央处理器目标：类型：利用平均利用率：70 **基于内存的 HPA：** api版本：自动缩放/v2 种类：HorizontalPodAutoscaler 元数据：名称：内存-hpa 规格：缩放目标参考： api版本：apps/v1 种类：部署名称：内存密集型应用程序最少副本数：3 最大副本数：15 指标： - 类型：资源资源：名称：记忆目标：类型：利用平均利用率：80 **多指标 HPA：** api版本：自动缩放/v2 种类：HorizontalPodAutoscaler 元数据：名称：多指标-hpa 规格：缩放目标参考： api版本：apps/v1 种类：部署名称：api服务器最少副本数：2 最大副本数：20 指标： - 类型：资源资源：名称：中央处理器目标：类型：利用平均利用率：60 - 类型：资源资源：名称：记忆目标：类型：利用平均利用率：70 - 类型：豆荚豆荚：指标：名称：http_requests_per_second 目标：类型：平均值平均值：“1000” 行为：缩小：稳定窗口秒：300 政策： - 类型：百分比值：50 周期秒：60 扩大规模：稳定窗口秒：0 政策： - 类型：百分比值：100 周期秒：30 - 类型：豆荚值：4 周期秒：30 选择策略：最大 ### 垂直 Pod 自动缩放器 (VPA) VPA 自动调整 CPU 和内存请求/限制。 api版本：autoscaling.k8s.io/v1 种类：VerticalPodAutoscaler 元数据：名称：app-vpa 规格：目标参考： api版本：apps/v1 种类：部署名称： myapp 更新政策：更新模式：“自动” 资源政策：容器政策： - 容器名称：应用程序允许的最小值：中央处理器：100m 内存：128Mi 允许的最大数量：中央处理器：2 内存：4Gi 受控资源：[“CPU”，“内存”] ### 集群自动缩放器 Cluster Autoscaler 调整集群中的节点数量。 api版本：v1 种类：ConfigMap 元数据：名称：集群自动缩放器优先级扩展器命名空间：kube-system 数据：优先事项： | 10： - .*-现货-.* 50： - .*-按需-.* ## 监控和可观察性 ### 指标服务器 Metrics Server 提供资源使用指标。 api版本：v1 种类：服务帐户元数据：名称：指标服务器命名空间：kube-system --- api版本：apps/v1 种类：部署元数据：名称：指标服务器命名空间：kube-system 规格：选择器：匹配标签： k8s-app：指标服务器模板：元数据：标签： k8s-app：指标服务器规格： serviceAccountName：指标服务器容器： - 名称：指标服务器图片：k8s.gcr.io/metrics-server/metrics-server:v0.6.1 参数： - --cert-dir=/tmp - --安全端口=4443 - --kubelet-preferred-address-types=内部IP、外部IP、主机名 - --kubelet-use-node-status-port 端口： - 名称：https 容器端口：4443 协议：TCP ### 普罗米修斯 **普罗米修斯部署：** api版本：apps/v1 种类：部署元数据：名称：普罗米修斯命名空间：监控规格：副本：1 选择器：匹配标签：应用程序：普罗米修斯模板：元数据：标签：应用程序：普罗米修斯规格：服务帐户名称：prometheus 容器： - 名称：普罗米修斯图片：舞会/普罗米修斯：v2.40.0 参数： - '--config.file=/etc/prometheus/prometheus.yml' - '--storage.tsdb.path=/prometheus' - '--storage.tsdb.retention.time=15d' 端口： - 集装箱端口：9090 体积安装： - 名称：配置卷挂载路径：/etc/prometheus - 名称：存储卷挂载路径：/prometheus 卷： - 名称：配置卷配置映射：名称：普罗米修斯配置 - 名称：存储卷持久卷声明：索赔名称：prometheus-pvc **Prometheus Operator 的 ServiceMonitor：** api版本：monitoring.coreos.com/v1 种类：服务监视器元数据：名称：应用程序指标命名空间：监控规格：选择器：匹配标签：应用程序：我的应用程序端点： - 端口：指标间隔：30秒路径：/指标 ### 格拉法纳 api版本：apps/v1 种类：部署元数据：姓名：格拉法纳命名空间：监控规格：副本：1 选择器：匹配标签：应用程序：格拉法纳模板：元数据：标签：应用程序：格拉法纳规格：容器： - 名称：格拉法纳图片：grafana/grafana:9.3.0 端口： - 集装箱端口：3000 环境： - 名称：GF_SECURITY_ADMIN_PASSWORD 值来自：秘密密钥参考：名称：grafana-凭证密钥：管理员密码体积安装： - 名称：grafana-存储挂载路径：/var/lib/grafana 卷： - 名称：grafana-存储持久卷声明：索赔名称：grafana-pvc ## 日志记录 ### Fluentd DaemonSet api版本：apps/v1 种类：DaemonSet 元数据：姓名：流利的命名空间：kube-system 规格：选择器：匹配标签： k8s-app：流畅的日志记录模板：元数据：标签： k8s-app：流畅的日志记录规格：服务帐户： fluidd 容器： - 名称：流利的图片： flutter/fluidd-kubernetes-daemonset:v1.15-debian-elasticsearch7-1 环境： - 名称：FLUENT_ELASTICSEARCH_HOST 值：“elasticsearch.logging.svc.cluster.local” - 名称：FLUENT_ELASTICSEARCH_PORT 值：“9200” 体积安装： - 名称：varlog 挂载路径：/var/log - 名称：varlibdockercontainers 挂载路径：/var/lib/docker/containers 只读：真 - 名称：配置卷挂载路径：/fluidd/etc 卷： - 名称：varlog 主机路径：路径：/var/log - 名称：varlibdockercontainers 主机路径：路径：/var/lib/docker/containers - 名称：配置卷配置映射：名称： fluidd-config ### 弹性搜索 api版本：apps/v1 种类：StatefulSet 元数据：名称：弹性搜索命名空间：日志记录规格：服务名称：elasticsearch 副本：3 选择器：匹配标签：应用程序：弹性搜索模板：元数据：标签：应用程序：弹性搜索规格：容器： - 名称：弹性搜索图片：docker.elastic.co/elasticsearch/elasticsearch:8.5.0 环境： - 名称：集群名称值：“k8s-logs” - 名称：节点名称值来自：字段参考：字段路径：元数据.名称 - 名称：discovery.seed_hosts 值：“elasticsearch-0.elasticsearch，elasticsearch-1.elasticsearch，elasticsearch-2.elasticsearch” -名称：cluster.initial_master_nodes 值：“elasticsearch-0，elasticsearch-1，elasticsearch-2” - 名称：ES_JAVA_OPTS 值：“-Xms512m -Xmx512m” 端口： - 集装箱端口：9200 名称：休息 - 集装箱端口：9300 名称：节点间体积安装： - 名称：数据挂载路径：/usr/share/elasticsearch/data 体积声明模板： - 元数据：名称：数据规格：访问模式：[“读写一次”] 资源：要求：存储：50Gi ## 生产运营 ### 健康检查和探测 Kubernetes 提供了三种类型的探针： 1. **Liveness Probe** ：确定容器是否正在运行 2. **Readiness Probe**：确定容器是否准备好服务流量 3. **Startup Probe** ：确定应用程序是否已启动 ### 滚动更新 kubectl 设置镜像部署/myapp myapp=myapp:v2 kubectl 部署状态部署/myapp kubectl 推出历史部署/myapp kubectl 部署撤消部署/myapp ### Pod 中断预算 api版本：策略/v1 种类：PodDisruptionBudget 元数据：名称：app-pdb 规格：分钟可用：2 选择器：匹配标签：应用程序：我的应用程序 **最大不可用的 PDB：** api版本：策略/v1 种类：PodDisruptionBudget 元数据：名称：数据库-pdb 规格：最大不可用：1 选择器：匹配标签：应用程序：数据库 ### 污点和容忍 **节点污点：** kubectl 污点节点 node1 key=value:NoSchedule ** Pod 耐受性：** api版本：v1 种类: 豆荚元数据：名称：宽容豆荚规格：容忍度： - 键：“键” 运算符：“等于” 值：“值” 效果：“无时间表” 容器： - 名称：应用程序图片：nginx：1.21 ### 节点亲和力 api版本：v1 种类: 豆荚元数据：名称：亲和力荚规格：亲和力：节点亲和力： requiredDuringSchedulingIgnoredDuringExecution：节点选择器条款： - 匹配表达式： - 键：磁盘类型运算符：In 价值观： - 固态硬盘 PreferredDuringSchedulingIgnoredDuringExecution： - 重量：1 偏好：匹配表达式： - 键：区域运算符：In 价值观： - 美国东部1a 容器： - 名称：应用程序图片：nginx：1.21 ### Pod 反亲和力 api版本：apps/v1 种类：部署元数据：名称：网络服务器规格：副本：3 选择器：匹配标签：应用程序：网络模板：元数据：标签：应用程序：网络规格：亲和力： podAntiAffinity： requiredDuringSchedulingIgnoredDuringExecution： - 标签选择器：匹配表达式： - 键：应用程序运算符：In 价值观： - 网络拓扑键：“kubernetes.io/hostname” 容器： - 名称：网络图片：nginx：1.21 ## 故障排除 ### 常用 kubectl 命令 # 获取资源 kubectl 获取 Pod kubectl 获取部署 kubectl 获取服务 kubectl 获取节点 # 描述资源 kubectl 描述 pod kubectl 描述节点 <节点名称> # 查看日志 kubectl 日志 kubectl logs -c kubectl logs -f # 关注日志 # 在pod中执行命令 kubectl exec -it -- /bin/bash kubectl exec -- ls /app # 端口转发 kubectl 端口转发 pod/ 8080:80 kubectl 端口转发服务/<服务名称> 8080:80 # 资源使用情况 kubectl 顶部节点 kubectl 顶部 Pod # 活动 kubectl 获取事件 --sort-by='.lastTimestamp' kubectl get events --field-selectorvolvedObject.name= # 调试 kubectl 调试节点/<节点名称> -it --image=ubuntu kubectl 运行 debug-pod --rm -i --tty --image=busybox -- /bin/sh ### 常见问题和解决方案 **Pod 卡在待处理状态：** * 检查节点资源：`kubectl描述节点` * 检查PVC绑定：`kubectl描述pvc` * 检查 pod 事件：`kubectl 描述 pod ` **崩溃循环后退：** * 检查日志：`kubectl 日志 --previous` * 检查资源限制 * 验证活性和就绪探针 **图像拉回关闭：** * 验证图片名称和标签 * 检查注册表凭据 * 验证网络连接 **服务无法访问：** * 验证服务选择器与 Pod 标签匹配 * 检查端点：`kubectl get endpoints ` * 测试 DNS：`kubectl run -it --rm debug --image=busybox --restart=Never -- nslookup ` 这份综合指南涵盖了 Kubernetes 编排的基本方面。对于生产部署，请始终遵循安全最佳实践，实施适当的监控和日志记录，并定期更新集群和应用程序。

Kubernetes 编排

包含技能