火炬服务

TorchServe 是一个灵活且易于使用的工具，用于为 PyTorch 模型提供服务。它提供了打包模型、根据硬件可用性扩展工作人员以及通过 REST/gRPC API 管理多个模型版本的功能。