Cactus 的 Needle 3 用一套权重切出 8MB 到 29MB 的端侧模型
Cactus 发布了 Needle 3，一个只做工具调用与结构化抽取的端侧模型，依旧不会聊天。团队的说法是，把通用能力塞进这么小的模型里太难，不如先把边界划清楚。
这次的核心变化叫智能阶梯。同一套权重里，每一层都是一个可以单独部署的子网络，开发者能在 2 到 20 层之间任选深度。训练上，每一步有 80% 概率跑完整模型，20% 概率随机抽一个深度，再用对全模型输出的 KL 自蒸馏把浅层补齐；推理时子网络的 FLOPs、KV cache 和文件体积都随深度等比缩小，CQ2 量化下从 4 层的 8MB 到 20 层的 29MB。官方给出的最有说服力的数字是：4 层子网络在下游任务上微调一个 epoch，即可匹配 DeepSeek V4 Flash。
边界同样清楚。HN 上有开发者拿自己的 Runescape 工具调用测试集做对比，Needle 3 微调后的 W4A8 版本正确工具形状只有 32.2%，而 FunctionGemma 是 90.9%。官方智能家居 demo 的表现也印证了这点：“我有点冷”会把恒温器调低，“我要上厕所”会去开灯。一位评论者的说法很到位——比起再听一次小模型超越大模型的主张，团队更该说清楚它做不到什么。
对做端侧 agent 的团队来说，这类发布的正确读法是先确认自己的任务形状是否落在它的训练分布里，再谈省下的那几十兆体积和每次调用成本。