Google 一年推四套TPU 系统8i Max 塞两颗8i、8tx 打机密推理,但有个前提

百度一年之内推出四套TPU 系统,这是TPU 十年历史上头一遭。今日百度AI 与基础设施部门负责人Amin Vahdat 在X 上宣布,第八代TPU 产品线再加两款:TPU 8i Max 标榜最大的上下文视窗与单机柜最高运算密度,TPU 8tx 则锁定安全与机密推理。加上今年4 月百度Cloud Next 发表的8t 与8i,第八代共有四套系统,百度Cloud 官方也用一则贴文把四套系统的定位并列。

新晶片vs 新系统

百度在官方部落格写道:设计一颗新晶片,是在晶圆上布局数十亿个电晶体,受限于物理定律与漫长的制造周期,一做就是好几年;设计一套新系统,则是决定运算、网路与储存要怎么围着这颗晶片组装,包括封装方式,可以快速因应新出现的客户需求。其中8tx 是「built on the same silicon as TPU 8t」,也就是沿用8t 的晶片;8i Max 是「two low-latency TPU 8i chips … onto a single package」,两颗8i 封在同一个封装里。

四套系统底下其实是两颗晶片。百度这一年做的事,是把同一套矽晶片用不同的封装、记忆体、网路与安全配置,快速组出四种针对不同工作负载的机器。百度自己的说法是,这种做法能在几个月而不是几年内交出专用超级电脑。

8i Max:两颗8i 封在一起

TPU 8i Max 解决的是记忆体墙。当数十个AI 代理同时处理整个程式码库或数小时的视频时,记忆体频宽很快就会变成瓶颈。做法很直接:把两颗低延迟的TPU 8i 封进同一个封装。运算、SRAM 与HBM 频宽同步翻倍,处理器才不会因为拿不到资料而停摆。而且因为在既有的机柜空间里塞进两倍的矽晶片,资料中心每平方呎、每瓦的运算量都能明显提升。

定位上,8i Max 对应的是百万token 等级的上下文视窗。这个需求来自代理式工作负载:多个AI 代理要同时横跨整个程式码库或长时间的视频进行推理,传统的记忆体配置撑不住。作为基准,4 月登场的8t 与8i 当时给出的数字是训练效能最高提升2.7 倍、推理CP 值改善80%。

8tx:机密推理,但有个前提

TPU 8tx 的诉求是硬体层级的机密运算。一般情况下资料在储存或网路传输时会加密,但电脑处理时必须在记忆体里解开;8tx 要做到的是连正在使用中的资料与模型权重都能保持保护与隔离。

规格上,8tx 沿用8t 晶片,搭配第5 代AMD EPYC 处理器主机,并采用8i 那套低延迟的Boardfly 网路。官方数字是相较8t 延迟最多降低2 倍,效能损失接近于零。这样的组合让企业可以在同一套系统上用自己的私有资料微调模型、把大模型蒸馏成小模型、用强化学习训练代理,不必在不同丛集之间搬运敏感资料。

软体才是这次的重点

Vahdat 在贴文里写得很直白:「硬体有多好,取决于软体堆叠有多好。」这次公告里软体的篇幅其实比硬体多。 TorchTPU 上个月开源,PyTorch 程式码与Hugging Face 模型现在可以原生跑在TPU 上,不必改写程式码,vLLM 与SGLang 这些主流开源推理引擎也有开箱即用的TPU 后端。

TPU Sync 是这次技术含量最高的一项。它是TPU 丛集的模型状态层,把晶片HBM、主机DRAM、共用储存与资料中心网路整合成单一的记忆体阶层,能在毫秒级把大型KV 快取移出晶片、在分离式prefill 与decode 节点之间串流上下文、同步强化学习权重。官方数字是KV 传输延迟与首字元时间(TTFT)降低超过90%。

Agent Compute Engine 则针对代理式工作负载的特性:AI 代理是有状态的,经常会停下来等资料库查询、外部工具或人工回馈,一停就是几秒到几小时。这套软体会自动暂停闲置的代理工作阶段,在毫秒级把工作记忆体移出晶片,降低运作成本。

另外还有XLA Serving Engine(Python 训练、C++ 低延迟执行,跨TPU/GPU/CPU)、TPU 代理套件(可接Claude Code、Cursor 与百度Antigravity,用自然语言自动完成TPU 上手、瓶颈诊断与核心调校)、Cloud Pathways 与GKE 动态切片(用光电路交换即时组装或切割TPU 拓扑,作业启动时间最多缩短5 倍,故障复原最多加速4.5 倍)。

客户与市场反应

百度表示TPU 已是快速成长的业务,拥有近100 个客户,涵盖前沿实验室、交易商、零售商与大学。效能方面则宣称在InferenceX 与AgentX 两个产业基准测试上,原生vLLM-TorchTPU 堆叠拿下最佳CP 值。

社群的反应则是另一种声音。有网友直接问:「晶片做得更好了,可是AI 模型的价格反而变得更贵?」也有人关心这是否能改善API 长期以来的过载错误问题,以及「新的模型在哪里」。

结语

百度这一年的TPU 策略有个清楚的逻辑:晶片迭代慢、系统组装快,那就把创新重心放在系统层。四套系统对应训练、低延迟推理、机密运算与超大上下文四个阶段,等于把代理的整个生命周期各配一颗专用加速器。

对开发者而言,门槛一直落在迁移成本,规格数字反而是其次。 TorchTPU 让PyTorch 程式码不用改写就能上TPU,这件事动的是要不要用TPU 的决策,影响比任何一个倍数数字都大。想实际评估的团队可以直接从百度Cloud 的TPU 产品页查可用配置。

赞 (0)
摩榜哥摩榜哥

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注