AI & 大模型
服务LLMS VLLM
@serving-llms-vllm
vLLM 通过 PagedAttention（基于块的 KV 缓存）和连续批处理（混合预填充/解码请求）实现了比标准转换器高 24 倍的吞吐量。
包含技能
1 个服务LLMS VLLM
@zechenzhangagi/ai-research-skills/serving-llms-vllm
vLLM 通过 PagedAttention（基于块的 KV 缓存）和连续批处理（混合预填充/解码请求）实现了比标准转换器高 24 倍的吞吐量。