本地运行 AI，指的是把模型文件下载到自己的电脑上，由电脑直接生成回答，而不是把请求发送给云端服务。这样做的主要价值是可以离线使用，输入内容也不必离开本机，同时不需要持续支付云端聊天服务的订阅费。

它的代价是，电脑能运行多大的模型、生成速度有多快，取决于内存、显存、内存带宽以及模型本身。对大多数人来说，16GB 内存已经可以运行一些小型模型；但如果希望获得更接近云端聊天机器人的体验，通常需要 32GB 内存，或者配备 16GB 及以上显存的显卡。

Ollama 和 LM Studio 是两种常见的本地模型运行工具。它们负责下载、加载模型，并提供聊天等使用方式。安装工具后选择模型即可开始运行，但“能下载”不等于“能流畅使用”：模型必须先放进电脑可用的内存或显存中，生成时还会持续占用带宽和处理能力。

先看模型规模，再看内存容量

大语言模型通常用参数量表示规模，单位是 B，代表 billion，也就是十亿。例如，8B 模型大约有 80 亿个参数。参数可以理解为模型在训练过程中形成的大量数值，它们共同决定模型处理和生成内容的能力，但参数量并不是判断运行需求的唯一标准。

本地用户通常不会直接使用完整精度的模型，而是使用经过“量化”的版本。量化会用更少的位数保存参数，从而降低文件大小和运行时内存需求。常见的四位量化版本，大致只需要原始模型四分之一的存储空间，但具体大小仍取决于模型结构、量化方法和运行工具。

以 Ollama 模型库中的示例为参考：

• Llama 3.1 8B 约占 4.9GB；
• 微软 Phi-4 约占 9.1GB；
• Google Gemma 3 27B 约占 17GB；
• Meta Llama 3.3 70B 约占 43GB。

这里的数字主要是模型文件或模型权重的大小，不等于电脑运行时的全部内存占用。操作系统、Ollama 或 LM Studio 本身、对话上下文以及其他正在运行的程序，都需要额外内存。因此，16GB 电脑不能简单地理解为“可以稳定运行任何小于 16GB 的模型”。模型越接近可用内存上限，加载失败、系统变慢或生成速度下降的可能性就越高。

Ollama 提供过一组便于估算的经验值：7B 模型约需要 8GB 内存，13B 模型约需要 16GB，33B 模型约需要 32GB。这些数字应当视为容量参考，而不是保证流畅运行的最低配置。

16GB、32GB 内存分别适合什么模型

一台配备 16GB 内存的日常电脑，通常可以尝试 7B 至 8B 级别的模型，例如 Meta 的 Llama 3.1 8B 或阿里巴巴的 Qwen3 8B。它们适合离线摘要、简单问答、文本改写和轻量级代码辅助，但能力与目前云端服务背后的前沿模型仍有明显差距。

如果电脑有 32GB 内存，就可以为更大的模型和更长的上下文留出空间。原文给出的例子中，Qwen3.5 27B 需要约 17GB 至 20GB 内存，Google Gemma 4 31B 也处于相近的规模范围。这样的模型并不意味着一定能在 32GB 电脑上获得理想速度，但至少比 16GB 设备更有余量。

70B 级别模型则是另一种需求。Llama 3.3 70B 的量化文件约 43GB，仅模型权重就已经超过普通 16GB 电脑的内存容量。要运行这类模型，通常需要更大容量的系统内存、多张显卡，或者能够组合使用 RAM 与显存的硬件配置；即使成功加载，速度也未必适合日常交互。

还要注意“混合专家模型”，简称 MoE。它包含大量参数，但每次处理一个 token 时只激活其中一部分。Token 是模型处理文本的基本单位，不一定等于一个完整的汉字或单词。MoE 可以减少每一步实际计算量，但模型的全部权重仍然需要放进可用内存。

例如，OpenAI 的 gpt-oss-20b 拥有约 210 亿个参数，每个 token 实际只使用其中约 36 亿个参数。不过，它在 Ollama 中仍约占 14GB，几乎会占满一台 16GB 电脑的可用内存。因此，不能只看 MoE 模型“每次激活多少参数”来判断电脑能否加载它。

显存主要影响速度，不能只看显卡型号

显存是显卡自带的高速内存，VRAM 是它的英文缩写。运行模型时，如果模型能够完整放进显存，通常会比部分放在显存、部分放在系统内存中更快。原因在于，模型每生成一个 token，都需要读取大量参数；这一阶段往往更受内存带宽限制，而不是单纯受处理器计算能力限制。

这也是为什么同一个模型在显卡上的表现，可能明显快于只使用 CPU 和系统内存的表现。显卡显存的带宽通常高于普通电脑内存，模型一旦“溢出”到系统内存，数据传输就可能成为瓶颈。

作为体验上的粗略参考，每秒生成 5 至 10 个 token，通常已经能跟上多数人的阅读速度。但不同模型、量化版本、上下文长度、运行工具和硬件之间差异很大，不能仅凭显存容量推算最终速度。

已有测试数据可以说明这种差异：

• LMSYS 测试中，Nvidia RTX 5090 运行 OpenAI gpt-oss-20b 时约为每秒 205 个 token；
• llama.cpp 的基准测试中，基础版 Apple M4 运行 7B 模型约为每秒 24 个 token；
• Ollama 测得 Nvidia DGX Spark 运行 Llama 3.1 8B 约为每秒 38 个 token，但运行 70B 版本时只有约每秒 4.42 个 token。

这些数字来自不同的测试环境和模型组合，不能当作统一条件下的显卡排名。它们能够说明的是：模型规模增大后，速度可能大幅下降；同一台机器也会因为模型不同而出现完全不同的结果。

没有独立显卡也能运行，但体验取决于工具

独立显卡不是运行本地模型的必要条件。没有独立显卡时，小模型仍然可以使用 CPU 和系统内存运行，只是生成速度可能较慢。某些设备还配备了 NPU，即专门用于人工智能计算的处理单元；如果运行工具能够调用它，部分工作就可以从 CPU 转移出去。

一个具体例子是：原文作者在一台配备 32GB 内存和 Intel AI Boost NPU 的 2024 款华硕 Zenbook Duo 上运行 Mistral 7B。通过 Ollama 运行时，CPU 占用约 52%，内存占用约 17GB。单独运行模型尚可接受，但如果同时进行其他高负载任务，电脑可能会变得迟缓。

改用 Intel OpenVINO 工具包后，同一个模型的 NPU 占用约 98%，CPU 占用约 3%。在这次运行中，电脑仍保持响应，并在约 3 分钟内生成了 2,500 个单词的内容。这个结果对应特定的模型、软件工具和硬件，不能直接代表其他笔记本或 NPU 的性能，但它说明运行框架对硬件利用方式有实际影响。

实际选择模型时，按这个顺序判断

1. 先确定用途。如果只是偶尔做摘要、离线问答或轻量代码辅助，7B 至 8B 模型通常已经足够尝试；如果需要更强的推理、写作或编程能力，就要考虑更大的模型，同时接受更高的内存要求和更低的速度。
2. 查看具体模型文件大小。不要只看模型名称中的 7B、27B 或 70B，也要确认下载的是哪一种量化版本。相同参数量的不同量化文件，所需空间可能不同。
3. 对照可用内存，而不是总内存。16GB 电脑需要扣除操作系统、运行工具和其他程序占用的部分。模型文件刚好等于剩余内存时，通常没有足够余量处理上下文和其他任务。
4. 再看显存容量和带宽。如果模型能完整放进显存，通常更有机会获得较快响应；如果只能部分放入显存，就需要考虑系统内存和显卡之间的数据传输。
5. 最后选择运行工具。Ollama 和 LM Studio 都可以作为入门工具，但不同工具对 CPU、GPU、NPU 以及不同模型格式的支持方式可能不同。出现速度差异时，问题不一定只在硬件，也可能与后端和模型格式有关。

运行过程中，模型加载失败通常首先意味着可用内存不足；如果系统开始频繁使用磁盘交换空间，即使模型最终能够启动，交互速度也可能明显下降。此时可以换用更小的模型或更低占用的量化版本，而不是只追求更高的处理器性能。

本地模型距离云端前沿能力还有多远

本地运行的优势并不等于本地模型已经达到云端前沿模型的能力。原文引用 Artificial Analysis 在 2026 年 4 月的排名：Qwen3.5 27B 的 intelligence index 得分为 42，与中等设置下的 OpenAI GPT-5 持平；Google Gemma 4 31B 得分为 39。而当时领先的云端前沿模型约为 57。Qwen3.5 27B 本身还需要约 17GB 至 20GB 内存，已经超出 16GB 电脑的实际余量。

模型规模继续扩大后，个人电脑更难承担。Moonshot 的 Kimi K2.6 是约 1 万亿参数的模型，Unsloth 估算它在四位量化下仍需要约 600GB 的 RAM 与显存总量。其后继模型 Kimi K3 拥有约 2.8 万亿参数，模型权重本身约为 1.4TB；TECHi 估算，这样的规模即使放进一台配备八块 GPU 的数据中心服务器，也只能勉强容纳。

原始来源： https://www.engadget.com/2307701/pc-hardware-needed-run-local-ai-model/