先看硬件：CPU、内存、显卡与显存怎么配

硬件决定了你的模型上限

上一章说过一句话：显存决定模型上限。这句话是选硬件的第一性原理。本地模型推理时，要把整个模型的参数放进内存里运行——有独立显卡时用的是显存(VRAM)，没有独立显卡时用的是系统内存(RAM)。能放得下多大模型，你的硬件就决定了你最多能跑多大的模型。

但选硬件不是「越大越好」这么简单。你还要考虑预算、现有设备利用、以及未来升级空间。这一篇先把四个核心部件讲清楚——CPU、内存、显卡、存储，再给你几套可以直接抄的配置方案，帮你少花冤枉钱。

先看一张硬件与可跑模型的速查表，后面逐项解释。

显卡：最关键的部件

显卡(GPU)是本地 AI 推理的主力。它的核心参数有两个：显存容量和算力。显存决定你能跑多大模型，算力决定跑多快。对新手来说，先看显存，再看算力。

先算显存账。一个 7B 模型用 Q4_K_M 量化后，文件约 4~6 GB;14B 约 8~12 GB;32B 约 20 GB 以上。显存选择原则是：模型文件大小 + 2~3GB 余量(用于上下文)，小于等于你的显存。比如你要跑 7B 量化，8GB 显存刚好够；想舒服地跑 14B，至少要 16GB。

再说品牌和型号。NVIDIA 显卡生态最成熟，主流选择是 RTX 4060 Ti 16GB、RTX 4070 Super 12GB、RTX 3090/4090 24GB 等；AMD 显卡性价比高但兼容性稍逊；苹果 M 系列芯片因为统一内存设计，跑大模型表现很好。如果你没有特殊需求，NVIDIA 是最稳妥的选择。

显存不够时的几种实用方案

很多人会遇到一个尴尬：想跑的模型比显存大，或者预算只够小显存。别急，有几种实用的「曲线救国」方案，按优先级排列。

第一种，选更低的量化。同一个模型，量化级别越低，占用显存越小。8GB 显存跑不动 Q8 的 14B，可以换 Q4_K_M，体积几乎减半，质量损失很小。这是最推荐的方案，零成本、效果尚可。第二种，换更小的模型尺寸。14B 装不下就换 7B,7B 装不下就换 3B，模型越小占用越低。质量会下降，但很多任务小模型也够用。第三种，用 CPU 卸载部分层。Ollama 支持把模型的一部分层放显卡、一部分放内存，显存不够也能跑，只是速度慢。第四种，混合使用。日常用 7B，偶尔要用大模型时，耐心等它跑得慢一点——总比没有强。

这套「先用软件方案榨干现有硬件」的思路，能让你在预算有限时也能跑起来，而且往往比想象中能跑的多。

显卡选购的避坑指南

如果你决定买显卡，这里有几条避坑经验，帮你少走弯路。

第一，显存优先于算力。对本地 AI 来说，显存大小直接决定能跑什么模型，比算力重要得多。同样预算，优先选显存大的。第二，不要只看显存数字。要确认显存类型和带宽，同一代显卡里，大带宽的明显更快。第三，谨慎选「阉割版」。某些型号为了便宜砍了显存位宽，实际性能缩水明显，买前看清楚参数。第四，二手要验卡。二手卡便宜，但要用测试软件验一下显存有没有问题，避免买到维修卡。

显卡是本地 AI 的大头支出，买之前多做功课、多看评测，总比买错后悔强。当然，如果你暂时不打算花钱，先用旧设备跑起来，等需求明确了再买，也完全可行。

笔记本用户怎么看

如果你是笔记本用户，情况略有不同，单独说几点。

笔记本的优势：自带屏幕、键盘、电池，一体便携，很多游戏本还带不错的独显，完全可以跑本地 AI。短板是：散热受限，长时间满载推理会降频变慢；显存和内存通常是焊死的，无法升级；电源适配器功率有限，满负荷时可能供电不足。这些意味着笔记本适合「移动使用」,不适合当「常驻服务」长时间满载跑。

对笔记本用户的建议：确认你的型号有没有独显、显存多大；没有独显的轻薄本，只能 CPU 跑小模型，体验一般；有独显的游戏本，跑 7B~14B 没问题，注意散热；想长时间跑大模型，还是台式机或服务器更合适。笔记本更适合作为「第二终端」——家里服务器跑着模型，笔记本远程访问，两全其美。

纯 CPU 方案：零成本起步

如果你暂时不打算买显卡，纯 CPU 也能跑本地模型，只是速度慢一些。CPU 推理的速度大概是显卡的十分之一到几十分之一，但胜在零成本——用现有电脑就能体验。如果你只是想先试试本地 AI 到底什么样，纯 CPU 是完全可行的入门方案。

CPU 推理吃的是系统内存，所以内存要大。建议至少 16GB，最好 32GB。模型会占用内存的绝大部分，系统还要留一部分运行其他程序，内存太小会直接跑不动。CPU 本身影响不大，多核有优势但不关键，主流的中端 CPU 都能胜任。

这里给一个实用的判断：纯 CPU 适合 7B 量化模型，用来做写作、问答、翻译这类对速度不敏感的任务。如果你需要频繁对话、处理长文档，或者模型要 14B 以上，那还是得上显卡——等待几十秒出结果，体验差距非常明显。

存储与散热：容易被忽视的配套

模型文件不小，存储空间要提前规划。按 6GB 一个 7B 模型、12GB 一个 14B 模型估算，如果你打算装 5 个模型，就需要约 60GB 空间；加上系统和软件，建议至少留出 200GB 给本地 AI 使用。机械硬盘和固态硬盘都能用，但模型加载速度固态明显更快，有条件优先选固态。

散热是另一个被忽视的点。显卡满载推理时发热很大，尤其是长时间跑大模型，机箱散热不好会导致降频、速度变慢甚至死机。如果你用笔记本跑大模型，建议垫高、加强通风；台式机则要保证机箱风道合理。温度对推理稳定性影响很大，不要省这个功夫。

还有一个配套设备：电源。显卡功耗高，整机电源要留足余量。比如 4090 级别显卡，建议 750W 以上电源。这一步容易忽略，但电源不足会导致黑屏重启，排查起来很痛苦，不如一开始就配好。

三种配置方案：按预算直接抄

不想自己算，下面三套方案可以直接照抄，覆盖大多数人的需求。

零成本方案的关键是「先跑起来」:拿现有机子体验两周，确认自己真的常用，再决定升级。性价比方案是目前的主流选择，16GB 显存能流畅跑 14B，覆盖九成场景。进阶方案给的是显存余量和速度，适合跑 32B 模型或对响应速度要求高的人。

先确认你的目标，再买硬件

最后提醒一句：先想清楚要跑什么，再决定买什么。如果你只需要写作、问答、翻译，7B 模型足够，8GB 显存就行；如果你要做代码辅助、知识库，14B 是更好的起点，建议 16GB 显存；只有当你明确要跑 32B 以上大模型时，才需要 24GB 显存的高端卡。

换句话说，硬件配置不是越高越好，而是「够用 + 一点余量」。把钱花在刀刃上，剩下的预算留着，等你用熟了、需求清晰了，再按需升级也不迟。硬件想清楚之后，下一步就是选模型——不同尺寸和量化方式，直接影响体验。我们下一篇接着讲。

常见硬件问题快查

最后给一张硬件常见问题的快查表，遇到可以直接对照，省去排查时间。

硬件问题大多是「资源不足」或「散热/供电」两类，对症处理即可。其中「显存不足」出现频率最高，记住解决思路：模型装不下，就换更小或更低量化的版本，永远有得选。硬件层面的问题想清楚了，接下来就可以安心选模型了。

买硬件前的一个提醒：先试后买

最后给一个最实在的提醒：买硬件之前，先用手头的设备试起来。

很多人一上来就担心「配置不够」,于是直接下单买显卡，结果买回来发现需求没那么高，或者模型选小了，硬件冗余。其实最优路径是反过来的：先用现有电脑(哪怕纯 CPU)跑一个小模型，真实体验两三周，确认「我真的常用、真的需要更快」,再决定升级。这时候你对自己的需求有了切身体感，买的配置会精准得多。

「先试后买」还能帮你验证一件事：你是否真的喜欢用本地 AI。有些人试了两周觉得「还是云端方便」,那就省下了这笔钱，也不算损失。试错的成本远低于买错的成本，这是硬件规划里最划算的一条原则。

延伸阅读

• 硬件定了之后，接着读《模型大小怎么选》确定要跑哪个模型。
• 如果想在已有服务器上跑模型，可以看 1panel-official-apps 了解服务器硬件要求和部署方式。
• 想先体验完整本地 AI 流程，可以看看 cindy-guide 里的安装说明，它对手工硬件要求也不高。