开源项目 Thaw 提出了一种创新的 LLM 推理管理方式——为运行中的大模型提供类似 Git 分支的能力,支持 fork agent 和跳过预填充(prefill)。这为多 Agent 协作和长任务管理提供了更灵活的执行控制,代表了从黑盒调用到精细控制的范式转换。
评论
0