Wayfinder Router 让 LLM 查询路由不再依赖模型判断
Wayfinder Router 是一款开源工具，通过分析提示词的结构特征——长度、标题层级、列表密度和代码块——以及部分用词模式，在微秒级别决定一个 LLM 查询应该由本地小模型处理还是发送到云端大模型。整个过程完全离线运行，无需调用任何模型来做路由决策，意味着零延迟和零额外成本。
与 RouteLLM 等需要训练分类器的方案不同，Wayfinder 的决策是确定性的——相同输入永远产生相同的路由结果。它的设计哲学是：在“决定省钱的步骤”上也调用一个模型，本身就增加了成本和不确定性。Wayfinder 兼容任何 OpenAI 兼容的 API 端点，可作为网关部署在本地和云端模型之间，同时支持从密钥管理服务动态读取凭据。
项目的基准测试透明地展示了其适用边界：对于结构化提示（含代码、列表、数学符号）路由准确，但对于纯语义难度的提示，其表现与随机水平相当。作者明确指出了这一局限，并建议纯语义场景使用传统的分类器方案。对于一个努力控制推理成本的智能体应用团队来说，Wayfinder 提供了一个廉价、可预测的工具——简单任务走本地，复杂任务走付费模型，中间不需要再养一个“路由器模型”。