本地端AI 神器大PK! M5 Ultra vs DGX Spark x2,结果让人意外


众所皆知M5 Ultra 与DGX Spark 都是当前消费端最多人吹捧的本地端AI 电脑,应该很多人会好奇他们两者在本地端应用方面谁更强?不过M5 Ultra 目前最高等级是256GB RAM(512GB 10月底上市),而DGX Spark 单机仅有128GB RAM,所以直接对比也并不公平。国外支援AI 爱奇艺r Alex Ziskind 近日就把Mac Studio(M5 Ultra、256GB)与双机DGX Spark 集群(各128GB x 2)拉出来对决,结果可能会让你意想不到。

M5 Ultra vs DGX Spark 两种256GB 的长相

两边的帐面记忆体一样大,长相完全不同。 Mac Studio 这台是M5 Ultra 顶配,256GB 统一记忆体、8TB SSD,他手上这台组态要价14,000 美元。

本地端AI 神器大PK! M5 Ultra vs DGX Spark x2,结果让人意外

另一边是两台NVIDIA DGX Spark,每台128GB 加4TB 储存,开卖时每台3,999 美元、现在官方定价涨到4,699 美元,两台加起来约30.5 万元,再加一条不便宜的200Gbps QSFP 线材。

那条线跑的是RoCE(RDMA over Converged Ethernet),让两台机器能直接读写对方的记忆体;模型则靠vLLM 的张量平行(Tensor Parallel)切开,每一层对半分到两台机器上,每生成一个token 都要在线上互传半成品,下一层才能开始(其实苹果也有类似的技术RDMA-over-Thunderbolt,使用TB5 线材)。为什么一定要两台? DeepSeek V4 Flash 量化后约150 到160GB,塞不进单台128GB 的​​Spark;拆成两台后每台占用约111GB,刚好留下运作空间。 Mac 则是整包装进单一记忆体池。他测的模型是DeepSeek V4 Flash 与Qwen 3.8 Flash Next,两边都跑4-bit 量化版本。

生成速度打平,记忆体频宽定胜负

先看「写」,也就是token 生成。 DeepSeek 两边都是每秒约38 个token,平手;Qwen 则是Mac 每秒45 个对Spark 的38 个,Mac 拿下一城。原因指向记忆体频宽:M5 Ultra 官方规格1.2TB/s,每台Spark 只有273GB/s,两台加起来仍不到Mac 的一半,那条标称200Gbps 的线他实测约111Gbps,同步开销再吃掉一些。

软体的影响也很大。同一个DeepSeek 在Mac 上用Llama.cpp 写出每秒约40 个token,换成MLX 直接跳到53 个,只换引擎就快34%;两边都用Llama.cpp 时差距在2% 以内。

读prompt 是Spark 的主场

再看「读」,也就是提示词处理,画面完全倒过来。 2,000 token 时两边都快到没感觉;8,000 token 时DeepSeek 在Spark 约4 秒、Mac 约10 秒;16,000 token 时Mac 的等待翻倍到21 秒。

差距拉开是在真实程式码库测试的TTFT(首Token 吐字时间) :32,000 token、14 个Python 文件丢进去,双Spark 17 秒读完开始吐字,Mac 到50 秒还在读提示词,差距约3 倍。换算成Qwen 的较短提示也是同样比例:Mac 26 秒对Spark 的11.2 秒,2.4 倍。 Spark 一路推到128,000 token 只花72 秒;Mac 在这一关他干脆不测,照32K 的速度推估要等3 分钟以上。 这符合硬体架构的预期:提示词处理吃的是GPU 并行算力,两台Spark 的算力加总胜过单颗M5 Ultra;token 生成吃记忆体频宽,单机统一记忆体的Mac 反而占优。

本地端AI 神器大PK! M5 Ultra vs DGX Spark x2,结果让人意外

快取救了Mac

不过真实世界的对话不是每次都从零开始。伺服器会保留已经读过的内容(前缀快取),16,000 token 的情境下:第一次提问Mac 21 秒、Spark 8.3 秒;追问只要Mac 3 秒、Spark 1.4 秒。那口「读长文」的气每个工作阶段只付一次。程式码工具就是这样运作的:Agent 把程式码库送一次,伺服器留着,后续问题只加上新增的部分。

痛点在于情境一直在变:换repo、丢大文件、对话长过快取上限,就得重读。另一个他观察到的细节是换模型也会整批重算,等于重新付一次学费。 这也解释了圈内对「分离式prefill/decode」的兴趣:让算力大的Spark 专门读提示词、频宽大的Mac 专门生成,各取所长。他说这类专案已经有人在做,但目前还是早期实验。

多人使用才是分水岭

多人同时使用时,两台机器的性格差异拉到最大。 DeepSeek 在Mac 上4 人同时使用时总吞吐量每秒66 个token,8 人掉到46;双Spark 则一路爬到70。给每人8,000 token 的对话历史、8 人同时上线:Mac 总吞吐只剩每秒11 个token、Spark 有25 个;更痛的是等待,Mac 上每个人要等超过一分钟才看到第一个字,之后每秒约5 个token,Spark 大约等24 秒、之后每秒7 个。简单说:Mac 是一到两人的机器,双Spark 适合四人左右的小团队,八个人就是硬撑。

热、电、与麻烦程度

满载时M5 Ultra 吃434 瓦、Spark 集群410 瓦,几乎一样会跳电表;机身表面Mac 最热处49 到50 度、Spark 约48 度,Mac Studio 背后出风口56 度,Spark 机内他量到58 至63 度,两边都吵、都烫。他特别补充,这组满载数字不代表待机状态,闲置时两者功耗差距其实很大(差了11倍)。

设置成本的差距才是日常分野:Mac 几乎零设置,还能兼差剪片跑渲染;Spark 集群要对齐两台的作业系统、核心、驱动程式与固件,再灌vLLM 多节点设置与一堆NCCL、RoCE 环境变数,最后检查RDMA 流量。简单说Mac Studio 除了AI 以外日常所有工作与娱乐都能轻松愉快使用,Spark 则就是专门给AI 使用,LINUX 环境也要你自己去折腾就看你自己的选择。有兴趣的朋友可以看原始视频的介绍,有cc字幕:

结语:256GB 两盒,不等于256GB 一盒

他的答案是:装得下一样的模型,但读得快很多。至于买哪个,先量自己的工作:提示词有多大?答案要写多长?大输入(程式码库、长文件)吃Spark 的读速,长输出与单人重度使用吃Mac 的频宽与省事。别忘了帐单:两台Spark 加线材30 万元有找,他那台8TB 的M5 Ultra 要45.5 万元(其实SSD不要买那么大的话约35万左右,价差主要在比黄金贵的SSD),价差足以买一台高阶笔记本。如果你的工作是一天到晚把整个程式码库丢给模型,Spark 集群的读速会直接改变体验;如果多半是自己跟模型长谈,Mac 的省事安静更实在。

赞 (0)
摩榜哥摩榜哥

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注