模型大小怎么选：7B、14B、32B 与量化

模型名字里的数字是什么意思

在模型下载页面，你会看到一堆名字，比如 qwen2.5:7b、llama3.1:8b、qwen2.5:14b、qwen2.5:32b。这些名字里的数字代表模型的参数规模——7b 就是 70 亿参数，14b 是 140 亿，32b 是 320 亿。参数越多，模型学到的规律越复杂，通常表现越好，但需要的硬件资源也越大。

选模型本质上是一个权衡：在硬件允许的范围内，找到「质量够用、速度可接受」的平衡点。这篇文章先讲清楚模型大小对体验的影响，再讲量化这个关键概念，最后给出一套可以直接套用的选型方法。

7B 模型：入门够用，但别期待太高

7B 模型是本地部署的入门选择，也是资源要求最低的选项。它适合什么任务？短文本写作、问答、翻译、润色、总结——这些日常任务 7B 模型都能完成，质量对新手来说已经「够用」。如果你只想体验一下本地 AI，或者电脑配置不高，7B 是完全合理的起点。

7B 的局限也很明显。面对复杂推理、长文逻辑连贯性、多步任务时，它的表现会下滑：写长文容易前后矛盾，做复杂代码任务容易出错，理解长上下文能力有限。如果你已经用过云端旗舰模型，再用 7B 会有明显的落差感，这是正常的——它定位就是轻量模型，不是全能选手。

资源需求方面，7B 模型量化后约 4~6GB,8GB 显存或 16GB 以上系统内存都能跑。速度上，主流显卡每秒能生成几十个 token，体验流畅；纯 CPU 则慢一些，但写短文案、简单问答可以接受。

14B 模型：当前的主流甜点

14B 模型是目前本地部署的「甜点区间」,也是性价比最高的选择。它的质量相比 7B 有一个明显跃升：逻辑更连贯、指令理解更准确、长文写作更稳定，在代码、知识库问答这些「需要一点推理」的任务上，14B 的表现已经相当可用。

对绝大多数用户来说，14B 是推荐的起点，而不是 7B。原因很简单：本地部署最大的成本是硬件和时间，既然投入了，不如一步到位选择体验明显更好的配置。14B 量化后约 8~12GB，主流 12~16GB 显存就能流畅运行，硬件门槛并不高。

具体到任务：写作润色、翻译摘要、代码辅助、知识库问答，14B 都能交出不错的结果。它当然还不是云端旗舰的水平，但对「个人日常使用」这个场景，已经足够让你产生「离不开」的感觉。如果你只能选一个模型，选 14B 大概率不会后悔。

32B 及以上：追求质量的进阶选择

当你对模型质量有更高要求，或者硬件比较充裕时，32B 是下一个台阶。32B 模型在复杂推理、长文本生成、专业领域问答上的表现明显优于 14B，更接近云端模型的使用体验。如果你经常处理长文档、写长代码、或者对回答质量敏感，32B 值得考虑。

32B 的资源需求也更高：量化后约 20GB 以上，需要 24GB 显存或大内存 Mac。如果你的显卡只有 8~12GB 显存，想跑 32B 只能靠量化到更低精度，质量会打折扣，或者用「部分加载到内存」的方式，速度会明显变慢。所以 32B 的推荐前提是：显存够大，或者能接受较慢的速度。

再往上还有 70B 级别的大模型，但那个量级已经不是普通家用硬件能舒服跑动的了，通常需要专业显卡或服务器集群。对本书的目标读者——个人用户和家庭服务器——32B 就是实际的天花板，足够覆盖绝大多数需求。

量化：让大模型在更小的显存里跑起来

「量化」是本地 AI 里最值得理解的一个概念，它直接决定了你能在现有硬件上跑什么。简单说，量化就是把模型参数从高精度压缩到低精度：原始模型用高精度存储每个参数，体积大；量化后每个参数用更少的比特表示，体积缩小，内存需求下降，代价是极轻微的质量损失。

最常见的量化级别是 Q4_K_M，意思是把参数压到大约 4 比特。它的好处是：体积缩小到原来的约四分之一，质量损失小到可以忽略。举个例子，一个原始 14B 模型约 30GB，量化成 Q4_K_M 后约 9GB,12GB 显存就能跑——这就是量化的价值。

选择量化的原则：在显存装得下的前提下，优先用更高精度；实在装不下，再降一档。绝大多数人用 Q4_K_M 就对了——它是最常见的默认选择，质量和体积的平衡最好。

一套可复用的选型方法

把上面的知识整理成一套可以直接用的选型流程，四步搞定。

第一步，确认显存。看你的显卡显存，或系统内存大小，这是硬约束。第二步，按显存选尺寸：8GB 显存选 7B,12~16GB 选 14B,24GB 及以上选 32B。第三步，选量化：默认 Q4_K_M，显存富余再往 Q8 走。第四步，选系列：同尺寸下优先社区活跃、更新频繁的模型系列，比如当前主流的 Qwen 系列。

再补充两个实用经验。一是模型可以多装几个：硬盘空间便宜，7B 和 14B 各装一个，轻任务用小的省资源，重任务用大的保质量，按需切换。二是别追求「最大」:模型越大越聪明是相对而言的，在你跑不动或者慢到不想用的情况下，再大的模型也没意义——够用和好用，比最大更重要。

模型选定之后，下一个问题是用什么工具把它跑起来。目前主流的部署工具有好几个，各有优劣，我们下一篇做一次全面的对比，帮你选出最适合自己的那一个。

从参数到体验：模型质量怎么判断

选模型时，除了看参数和显存，更要看「真实体验」。参数是参考，体验是结果，两者要结合判断。

判断模型质量，最直接的方法是实测：拿几个你自己的真实任务去试，对比不同模型的输出。比如同一段润色需求，分别让 7B 和 14B 做，看看差距；同一段代码解释，让通用模型和代码模型各做一次，对比理解深度。实测比任何参数表和评测都真实，因为测的是「你的场景」。

另一个实用技巧是看模型的「更新活跃度」:社区维护活跃的模型，会持续修复问题、适配新工具，长期用更省心。活跃度可以从下载量、更新频率、社区讨论热度看出来。选一个「参数合适+口碑好+活跃度高」的模型，基本不会踩坑。

一个选型清单：照着填就行

把这一章的知识汇总成一张选型清单，你照着填，几分钟就能确定自己的模型方案。

第一步，写需求：主要用本地 AI 做什么？(写作/问答/翻译/代码/知识库)第二步，查硬件：显卡显存多少？内存多少？第三步，定尺寸：按显存对照表，确定 7B/14B/32B。第四步，定量化：默认 Q4_K_M，显存富余升 Q8。第五步，定家族：新手选 Qwen，重推理选 DeepSeek，英文场景考虑 Llama。第六步，验证：拉一个小模型试跑，再决定要不要上大模型。

这张清单的核心是「从需求倒推」:不是先看有什么模型，而是先想清楚要做什么，再倒推出需要的配置。需求清晰了，选型就是顺水推舟。

模型之外：别忽略的配套准备

模型选定后，还有几件「配套准备」容易被忽略，提前做好能省很多事。

第一，磁盘空间。一个大模型动辄几个 GB，多装几个就是几十 GB。建议提前留出至少 100GB 给本地 AI，并养成定期清理的习惯。第二，下载网络。模型从国外源下载可能很慢，提前了解国内镜像或魔搭，能省大量等待时间(下一篇细讲)。第三，备份习惯。重要模型配置、自定义 Modelfile 要备份，重装系统时不至于从头再来。第四，记录习惯。把你选的模型、参数、踩过的坑记下来，以后换设备、排问题都有依据。

配套准备不复杂，但「想到」和「没想到」差别很大。提前把这几件小事安排好，后面的部署会顺畅得多。

量化是什么：用一点质量换体积和速度

选模型时绕不开「量化」这个词，这里把它彻底讲明白。

量化，简单说就是给模型「压缩」:模型参数原本用较高精度存储，量化后改用较低精度，体积变小、推理变快，代价是输出质量略有下降。打个比方：原始模型像高清照片，量化后像压缩过的照片——大多数场景看不出差别，放大细节才略有损失。

量化级别从高到低，常见的有 Q8、Q6、Q5、Q4、Q3 等，数字越小压缩越狠。对多数用户，Q4_K_M 是黄金平衡点：体积只有原始的约四分之一，速度提升明显，质量损失日常几乎感觉不到。显存紧张就往下选(Q3)，显存富余且追求质量就往上选(Q6 或 Q8)。

理解量化的意义：它让你能在「装不下」和「质量差」之间找到折中，是硬件有限时最实用的工具。很多新手纠结「要不要上大模型」,其实先看看有没有更低量化的版本，往往问题就解决了。

延伸阅读

• 工具选择接着读《部署工具选哪个》。
• 想知道服务器上怎么装模型服务，1panel-official-apps 的 Ollama 章节有现成的安装路径。
• 想看看别人怎么用本地模型，cindy-guide 里有完整的本地 AI 智能体使用案例。