Modal 将推理冷启动时间压缩 40 倍，挑战无服务器 GPU 极限
Modal 发布技术方案，结合云缓冲、自定义文件系统、进程检查点和 CUDA 检查点技术，将 AI 推理服务冷启动从数十分钟降至数十秒。
Topics
AI Infra
追踪支撑智能体时代的算力、芯片、数据中心与开发基础设施。
相关标签
主要来源
Anthropic (1)arXiv (1)avkcode (1)Bloomberg (1)Daring Fireball (1)Google (1)
文章
AI 是基础设施，不是产品
约翰·格鲁伯撰文反驳「苹果需要杀手级 AI 产品」的观点，认为 AI 更像无线网络——是渗透一切的技术基础设施，而非独立的产品品类。
Apple Silicon 本地推理成本高于云端 API 三倍
数据分析显示，在 Apple M5 Max 上运行本地 LLM 推理，每百万 token 成本约为云端推理的 3 倍，速度慢 3-7 倍——对开发者而言，租比买更划算。
美国在AI商业化竞赛中领先，关键在于基础设施与平台生态
一篇深度分析指出，美国在AI领域的领先并不在于论文数量或工程师规模，而是拥有从芯片、数据中心到云平台和开发者生态的全栈整合能力。
Google 发布 Googlebook AI 原生笔记本电脑
Google 正式发布专为 Gemini 智能设计的笔记本电脑系列 Googlebook，配备 AI 指针、AI 控件生成等原生智能功能，将于 2026 年秋季上市。
本地 AI 应当成为常态
开发者过度依赖云端 AI API 正在制造脆弱、侵犯隐私且成本高昂的应用。本地 AI 不仅可行，更是构建可信软件的更优路径。
Anthropic 与 SpaceX 达成计算合作，扩容超 220,000 张 NVIDIA GPU
Anthropic 与 SpaceX 签署协议，获得 Colossus 1 数据中心超过 300 兆瓦的全部算力（逾 22 万张 NVIDIA GPU），同时大幅提升 Claude Code 和 API 调用上限。这是 AI 基础设施军备竞赛中又一关键布局。
计算机视觉操控比结构化 API 贵 45 倍
Reflex 的基准测试显示，基于屏幕截图的任务操控比直接调用 API 贵 45 倍，执行时间长 50 倍且结果不稳定，为智能体架构的经济学选择提供了硬数据。
OpenAI 详解低延迟语音 AI 规模化架构
OpenAI 工程师团队发表深度技术文章，详解如何重构 WebRTC 协议栈，以 Relay + Transceiver 分层架构支撑 9 亿用户的实时语音 AI 交互。
Google 追加押注 Anthropic 抢占模型与算力双重入口
Google 计划向 Anthropic 投资最高 400 亿美元，其中 100 亿美元立即到账，其余部分与业绩里程碑挂钩。真正值得关注的是这笔交易把股权、云分发和 TPU 需求进一步绑定成了一条基础设施价值链。
Google 推出 TorchTPU 让 PyTorch 开发者更顺滑迁移
Google 发布 TorchTPU，把 PyTorch 原生体验、XLA 编译链和 TPU 硬件能力更紧地绑在一起，核心目标是降低 TPU 生态的开发者迁移摩擦。
深度学习正在逼近一套真正的科学理论
一篇新的 arXiv 综述提出，深度学习正在形成一套可检验、可量化、以训练动力学为核心的科学理论框架，作者将其称为 learning mechanics。对 AI 产业来说，这意味着模型开发可能逐步从经验主义转向更强的可预测工程。
Google 发布第八代 TPU 用双芯片架构押注智能体时代
Google 推出 TPU 8t 和 TPU 8i，把训练和推理拆成两条更清晰的路线，这反映出智能体时代的基础设施已经需要更强的分工与系统级优化。
AI 需求推动 RAM 短缺或持续数年
据《日经亚洲》报道，即使供应商增加 DRAM 生产，到 2027 年底制造商预计只能满足 60% 的需求。SK 集团主席甚至表示短缺可能持续到 2030 年。
Mintlify 构建虚拟文件系统 ChromaFs：让 AI Agent 秒开文档会话
将文档助手会话启动时间从 46 秒降至 100 毫秒，边际成本从 $0.0137 降至 $0。基于 just-bash 和 Chroma DB 的虚拟文件系统。
Project NOMAD：免费开源的离线 AI 服务器
免费开源的离线服务器，让任何人在自己电脑上运行完整 AI 系统。适合应急准备、离网生活或技术爱好者自托管。
TinyBox：深度学习超级计算机现已开售
tinygrad 背后的 Tiny Corp 推出 TinyBox 深度学习超级计算机，4x 9070 XT 版本售价 $12,000，现已发货。