标签：插值

2023-07-0533编辑阅读(224)评论(0)赞(0)

扩展LLMs的上下文窗口 本文介绍了一种称为位置插值（PI）的方法，可以将基于RoPE的预训练LLM的上下文窗口大小扩展到32768个位置，并在各种任务上展示了强大的实证结果。该方法通过线性缩小输入位置索引来实现扩展，同时保持了模型在原始上...