开源项目 Strata 把 125B 大模型塞进 12GB 消费级显卡
一个名为 Strata 的开源项目，把 1250 亿参数的 Qwen3.8-Flash-Next 塞进了一张 12GB 显存的游戏显卡。它的做法不是继续压缩权重，而是把模型的 24,576 个专家按冷热分层：最常被调用的专家常驻显存，全部专家驻留内存，其余交给 CPU 计算，SSD 只保存一张查找表。这种混合专家卸载的思路，让消费级硬件第一次有机会跑起真正意义上的大模型。
再配合一个小模型先猜、大模型批量校验的投机解码，速度还能提升 1.6 到 1.8 倍。官方给出的实测数字是：RTX 5070（12GB）在 IQ3_S 量化下每秒 53 个 token，换用更激进的 Q2_0 接近 94 个；RX 9070 XT 约 60 个；有用户在自己的 4090 加 128GB 内存上跑到了 124 个。长文本预填充速度则超过每秒 1000 个 token。
Strata 同时兼容 OpenAI 与 Anthropic 两套接口，Claude Code、Codex 这类编程智能体只要改一个环境变量，就能把推理切到本地，数据不出机器。它还自带 MCP 服务器，可以交给其他 AI 工具来安装和启停。
不过 HN 上的讨论提醒人们别急着欢呼。为了塞进 12GB，模型往往要压到 2 到 3 bit，有评测者发现同一套权重在 Strata 上的视觉定位误差明显大于 llama.cpp，也有人认为速度快但质量并未超越现有方案。它真正的意义或许不在于替代云端，而在于把本地智能体推理的成本与隐私边界，拉到一个普通开发者能够接受的区间。