上下文优化

上下文优化通过策略性压缩、屏蔽、缓存和分区来扩展有限上下文窗口的有效容量。目标不是神奇地增加上下文窗口，而是更好地利用可用容量。有效的优化可以使有效上下文容量增加一倍或三倍，而不需要更大的模型或更长的上下文。