@dynamic_batching_triton
配置和优化 NVIDIA Triton 推理服务器本机动态批处理的技能,将面部推理、活跃度和 OCR 请求分组为最佳批次,以最大限度地提高 GPU 吞吐量。与应用程序级别的通用批处理不同,该技能侧重于 Triton 的具体配置及其用于 KYC 验证管道的调度参数。
配置和优化 NVIDIA Triton 推理服务器本机动态批处理的技能,将面部推理、活跃度和 OCR 请求分组为最佳批次,以最大限度地提高 GPU 吞吐量。与应用程序级别的通用批处理不同,该技能侧重于 Triton 的具体配置及其用于 KYC 验证管道的调度参数。