Laya 用 33 毫秒的开源决策模型,翻出了一年前的论文反驳 Jev
上周 TypeSafe 的 Jev 把模型变成带概率的决策函数,输入定价每百万 token 0.042 美元。现在一个叫 Laya 的开源项目给出了对照物,作者还认为自己才是更早的那个人。
ConvAI Innovations 的 Nandakishor Mukkunnoth 说,他在 2025 年 3 月就发表过非自回归决策模型的论文,权重、数据集和 PyPI 包全都放了,只是当时只在 Reddit 上发过一条帖子。看到前沿实验室把同样的想法当作全新突破来发布,没有论文、没有权重、没有公开数据,他决定重做一版并全部开源。
Laya 建在双向编码器上,放出三个 Apache 2.0 检查点,用选择、打分、布尔判断三种原语在一次前向传播里返回概率分布,单卡 33 毫秒,批量时每题 7.2 毫秒,还自带按 22 种文字系统切换的语种路由。作者给出的对比表里,typed-decisions 上 0.766 对 0.727,AG News 0.950 对 0.910,校准误差 0.081 对 0.246,延迟快约八倍,自托管成本为零。
更值得读的是他主动写下的限制。选项超过 20 个分数就崩,77 类任务上只有 0.425,而 Jev 是 0.870;开箱即用的基座模型接近随机,必须微调;温度还得按域拟合。他还发现英文模型在高棉语上准确率为 0,却给出 95% 的置信度,所以置信度门槛保护不了你,用哪个模型必须在推理之前决定。
Hacker News 上最热的评论点出了真正的分野。技术早就散落在 BERT、GLiNER 这些工作里,Jev 赢在把接口、术语和开发者体验讲清楚,而只在 Reddit 上发论文的人拿不到这份注意力。

