登录后可播放音频
一句话概括:视频通过实测 DGX Spark 与 AMD Strix Halo 小主机,说明 Spark 的价值不在单纯的推理速度,而在于 128GB 统一内存、CUDA 生态和 200G 高速互联组合起来的本地 AI 能力;是否值得购买,取决于具体工作负载。
评测对象与定位:UP 主自费约 3.6 万元购入 NVIDIA 原厂 4TB DGX Spark。它体积小、做工和噪音表现不错,但本质上是运行 DGX OS(Ubuntu 定制系统)的微型 AI 服务器,而非普通日用电脑。视频提到,后来价格一度涨到接近 5 万元。
主要硬件规格:Spark 使用 GB10 SoC,包含 10 个 Cortex-X925 大核和 10 个 Cortex-A725 中核;GPU 基于 Blackwell 架构,拥有 6144 个 CUDA 核心,纸面规格约相当于 RTX 5070 档。整机配备 128GB 统一内存、4TB SSD,内存带宽约 273GB/s。接口包括 4 个 USB-C、万兆 RJ45、HDMI,以及两个 200Gbps QSFP56 网口。
CPU、GPU 与关键短板:CPU 单核性能约在 Apple M3 档,多核性能接近桌面 8 至 12 核 x86 处理器;GPU 算力明显强于 Strix Halo,但远不及 RTX 5090。Spark 的核心限制是内存带宽:128GB 容量适合装大模型,却不代表解码一定快。对带宽敏感的稠密模型,生成速度未必比便宜很多的 Strix Halo 快。
普通本地模型表现:测试了 Qwen 3.8 7B 和 Qwen 3.6 35B-A3B 的 4-bit 量化版本。7B 模型解码表现一般,开启 NDP 后仍只有十余 token/s;35B-A3B 是 MoE 模型,每次只激活部分参数,Spark 的解码和长提示词 Prefill 表现则更有优势。Spark 可使用 llama.cpp、SGLang、vLLM 等引擎;Strix Halo 在部分引擎上的架构适配和优化仍不成熟,因此实测也受软件生态影响。
针对大内存设计的模型更能体现 Spark 的价值:Qwen 3.8 FlashNext 总参数量约 180B,其中主模型约 125B,另有约 51B 的大型查找表,模型很吃内存容量,但不需要每生成一个 token 都读取整张表。Spark 与 Strix Halo 单流解码都在约 28–30 token/s,Spark 的短提示词 Prefill 约 900 token/s,约为对照组的 1.5–2 倍。
FlashNext 的不同推理方案取舍明显:
与 Mac Studio 的比较:视频没有实机对测,而是引用公开数据:256GB 内存、80 核 GPU 的 M5 Ultra 跑 FlashNext,单流约 57 token/s;开启投机解码后约 90–100 token/s。Mac 的优势是更大内存并兼顾日常工作,Spark 则以较低入门预算、CUDA 和可折腾的 AI 软件生态见长。不能只用单流解码速度判断整项任务的完成时间。
图像与视频生成:以 ComfyUI 的 MiniMax H3 视频生成为例,视频越长,生成耗时显著增加;两百万像素、10 秒视频会生成 240 帧以上,对 32GB 显存设备压力很大。Spark 借助 128GB 统一内存可以跑这类规格,并可使用社区针对 GB10 优化的工作流降低耗时;在该测试中,Spark 的原始工作流速度不如部分显卡,但调优后体验更实用。与 Strix Halo 相比,同一工作流下 Spark 约快近 3 倍,主要原因是算力差距而非带宽:测试算子中,Intel 8 的矩阵乘法约快 2.3 倍,BF16 约快 2 倍,注意力算子差距更大。若主要需求只是生图或生视频,万元级 32GB 显卡往往更划算。
日常使用与游戏:Strix Halo 使用 Windows,软件兼容性和游戏体验更适合普通用户;Spark 使用 ARM 架构 Linux,需要一定部署基础,部分软件可能不兼容。通过 Steam ARM 版、FEX 指令翻译层、Proton 和 DXVK,Spark 也能运行部分 x86 Windows 游戏。赛博朋克 2077 关闭光追时,2K 高画质平均约 52 帧、1080p 约 57 帧;开启帧生成后分别约 83 帧和 107 帧。主要瓶颈是 CPU 指令翻译,游戏兼容性和手柄支持也有问题。机器满载功耗约 200 多瓦,运行较安静。
200G 网卡是 Spark 的重要差异点:Spark 使用 NVIDIA ConnectX-7 网卡,支持硬件 RDMA,可通过网络直接访问另一台机器内存;实测延迟约 1.47 微秒,接近本地 GPU P2P 的量级。双机可用一根 DAC 铜缆直连,无需交换机,能通过张量并行运行单机装不下的模型。视频引用社区数据:DeepSeek V4 Flash(约 284B)双机推理,关闭投机解码约 30 token/s,开启后常见约 45 token/s,条件合适时可到 78 token/s;4 台机器并发聚合性能约 180 token/s,但需要额外购置约万元级的 200G 交换机。Strix Halo 缺少硬件 RDMA,USB4 软件方案延迟和带宽表现有限,多机张量并行效率较难保证。
购买结论:DGX Spark 适合明确需要本地部署大模型、128GB 大内存、CUDA 生态和高速多机互联的用户,也适合需要在小体积设备上运行大模型服务或高显存 AI 工作流的人。缺点是价格高、带宽有限,并且需要 Linux 与模型部署经验。只想体验本地模型,可考虑门槛和价格更低的 Strix Halo;主要追求模型生成速度或图像、视频生成效率,独显主机通常更划算;还要兼顾日常工作,则可考虑大内存 Mac Studio。