@context-compression
当代理会话生成数百万个对话历史记录时,压缩就变得强制执行。最简单的方法是积极压缩以最小化每个请求的令牌。正确的优化目标是每个任务的令牌:完成任务消耗的总令牌,包括压缩丢失关键信息时重新获取的成本。