新词站 · XinCi
解释上下文窗口如何限制模型一次能看到的文本量，以及和成本、延迟的关系。
上下文窗口决定模型在一次请求里能同时看到的文本量，包括系统提示、历史对话和当前输入。
窗口越大，长文档与多轮对话越从容，但成本与延迟往往也会上升。