#kubernetes_hpa 配置 Kubernetes Horizontal Pod Autoscaler (HPA) 的技能，可根据任务队列深度、处理延迟和 GPU 利用率等相关自定义指标自动扩展 KYC 管道推理服务工作线程。自动扩展对于处理身份验证需求峰值至关重要，同时又不会将响应时间降低到 8 秒 SLO 以下。 ## 何时使用当 health_monitor_agent 需要配置或调整 KYC 管道服务的自动缩放时，请使用此技能。当在负载下观察到延迟增加时，当计划进行大规模的入职活动时，或者当需要通过在低需求时段减少副本来优化成本时，这一点尤其重要。 ##说明 1. 为人脸匹配服务配置基本 HPA 的 CPU 和内存指标： api版本：自动缩放/v2 种类：HorizontalPodAutoscaler 元数据：名称：面部匹配-hpa 命名空间：kyc-pipeline 规格：缩放目标参考： api版本：apps/v1 种类：部署名称：人脸比对服务最少副本数：2 最大副本数：10 指标： - 类型：资源资源：名称：中央处理器目标：类型：利用平均利用率：70 - 类型：资源资源：名称：记忆目标：类型：利用平均利用率：80 行为：扩大规模：稳定窗口秒：30 政策： - 类型：豆荚值：2 周期秒：60 缩小：稳定窗口秒：300 政策： - 类型：豆荚值：1 周期秒：120 2. 部署 Prometheus Adapter 以将自定义指标公开给 Kubernetes HPA： # prometheus-adapter-config.yaml api版本：v1 种类：ConfigMap 元数据：名称：普罗米修斯适配器配置命名空间：监控日期：配置.yaml： | 规则： - seriesQuery: 'kyc_verification_queue_depth{namespace="kyc-pipeline"}' 资源：覆盖：命名空间：{资源：“命名空间”} 吊舱：{资源：“吊舱”} 姓名：匹配：“^(.*)$” 如：“kyc_queue_深度” metricsQuery: 'sum(<<.Series>>{<<.LabelMatchers>>}) by (<<.GroupBy>>)' - seriesQuery: 'kyc_processing_latency_seconds{namespace="kyc-pipeline"}' 资源：覆盖：命名空间：{资源：“命名空间”} 吊舱：{资源：“吊舱”} 姓名：匹配：“^(.*)$” 如：“kyc_p99_latency” metricsQuery: 'histogram_quantile(0.99, sum(rate(<<.Series>>{<<.LabelMatchers>>}[2m])) by (le, <<.GroupBy>>))' 3. 使用 OCR 服务的自定义任务队列指标配置 HPA： api版本：自动缩放/v2 种类：HorizontalPodAutoscaler 元数据：名称：OCR-HPA 命名空间：kyc-pipeline 规格：缩放目标参考： api版本：apps/v1 种类：部署名称：ocr服务最少副本数：2 最大副本数：8 指标： - 类型：豆荚豆荚：指标：名称：kyc_queue_depth 目标：类型：平均值 AverageValue: "5" # Escalar cuando hay mas de 5 tareas en cola por pod - 类型：豆荚豆荚：指标：名称：kyc_p99_latency 目标：类型：平均值 AverageValue: "4" # Escalar cuando p99 > 4 segundos 行为：扩大规模：稳定窗口秒：30 政策： - 类型：百分比值：50 周期秒：60 缩小：稳定窗口秒：300 政策： - 类型：豆荚值：1 周期秒：180 4. 配置 HPA 与 GPU 指标的活性检测服务： api版本：自动缩放/v2 种类：HorizontalPodAutoscaler 元数据：名称：活性-hpa 命名空间：kyc-pipeline 规格：缩放目标参考： api版本：apps/v1 种类：部署名称：活跃度服务最少副本数：2 最大副本数：6 指标： - 类型：豆荚豆荚：指标：名称：nvidia_gpu_utilization 目标：类型：平均值平均值：“75” - 类型：资源资源：名称：中央处理器目标：类型：利用平均利用率：65 5. 用于 Prometheus las recolecte 的自定义微服务 FastAPI 的 Exponer 度量：从 prometheus_client 导入仪表、直方图队列深度 = 规格（ “kyc_verification_queue_深度”， “待验证任务的数量”， [“服务”] ）处理延迟=直方图（ “kyc_processing_latency_秒”， “处理验证请求的时间”， [“服务”，“步骤”]，桶=[0.5, 1, 2, 4, 6, 8, 10, 15, 30] ） # 实现 cada 请求异步def process_verification（请求）：队列深度.labels(service="face_match").set(get_queue_size()) 使用processing_latency.labels（service =“face_match”，step =“inference”）。time（）：结果=等待run_inference（请求）队列深度.labels(service="face_match").set(get_queue_size()) 返回结果 6. 配置 KEDA（Kubernetes 事件驱动自动缩放），可以通过 Redis 进行升级： api版本：keda.sh/v1alpha1 种类：缩放对象元数据：名称：面部匹配缩放对象命名空间：kyc-pipeline 规格：缩放目标参考：名称：人脸比对服务最小副本数：2 最大副本数：10 冷却时间：300 触发器： - 类型：redis 元数据：地址：redis.kyc-pipeline.svc:6379 列表名称：kyc：face_match：队列列表长度：“10” 激活列表长度：“3” 7. 实施 health_monitor_agent 的 HPA 监控仪表板： # 验证 HPA 状态的脚本 kubectl 获取 hpa -n kyc-pipeline -o 宽 kubectl 描述 hpa 面部匹配 hpa -n kyc-pipeline # Verificar metricas 自定义 disponibles kubectl get --raw "/apis/custom.metrics.k8s.io/v1beta1" | kubectl get --raw "/apis/custom.metrics.k8s.io/v1beta1" | jq '.resources[].name' ## 注释 * 将scaleDown配置为至少5分钟（300秒）的稳定窗口，以避免快速振荡（摆动），从而导致加载模型需要一分钟以上的ML服务频繁冷启动。 * 关键管道服务（face_match、liveness、ocr）的 minReplicas 永远不应小于 2 以保证可用性；决策引擎可以使用至少 1 个副本，因为它是无状态且轻量级的。 * 使用“kubectl get hpa -n kyc-pipeline”定期监控 HPA 指标，并根据观察到的流量模式调整目标； HPA 持续处于最大副本数表明 maxReplicas 不足。

Kubernetes Hpa

包含技能