@context-optimization
上下文优化通过策略性压缩、屏蔽、缓存和分区来扩展有限上下文窗口的有效容量。目标不是神奇地增加上下文窗口,而是更好地利用可用容量。有效的优化可以使有效上下文容量增加一倍或三倍,而不需要更大的模型或更长的上下文。