先建立整体认识：本地 AI 的完整技术栈

从一次对话的旅程说起

当你向本地模型提出一个问题，从按下回车到收到回答，中间发生了什么？如果你能把这个过程拆开，本地 AI 就不再是神秘的黑盒，而是一台你能理解、能拆装、能排障的机器。这篇文章就用「一次对话的旅程」为主线，带你建立本地 AI 技术栈的整体认识。

一次本地对话大概经历这样几步：你输入文本，前端界面把请求发给后端服务；后端调用模型程序，把文本转成模型能理解的数字序列；模型在显卡或 CPU 上执行推理，逐字生成回答；生成的文本再传回界面显示给你。每一步都有对应的软件组件，它们合在一起，就是本地 AI 的技术栈。

理解这套结构的意义在于：以后遇到任何问题，你都能快速定位是哪个环节出了问题——是界面没起、是模型没加载、还是显存不够。下面我们从下往上，把每一层拆开看。

底层：硬件层

技术栈的最底层是硬件，它是所有能力的物理基础。核心硬件有三样：算力单元、内存、存储。算力单元决定推理速度，主要是显卡(GPU)，没有显卡时 CPU 也能跑但慢很多；内存决定能同时加载多大的模型；存储决定你能装下多少个模型文件。

硬件层有个关键概念叫显存(VRAM)，也就是显卡上的专用内存。模型推理时，模型的权重需要整个放进显存或内存里运行，所以显存大小直接决定了你能跑多大的模型。粗略对应关系是：7B 量化模型需要 4~6 GB 显存，14B 需要 8~12 GB,32B 需要 20 GB 以上。这是选硬件时最核心的参考。

对大多数用户来说，硬件层的结论很简单：显存越大越好，但够用就行。入门可以纯 CPU，体验可以买主流显卡，追求极致再上大显存。第二章会专门讲怎么按预算和需求配硬件，这里先记住「显存决定模型上限」这句话就够了。

第二层：模型层

硬件之上是模型层，也就是那些开源语言模型本身。模型本质是一个巨大的参数文件，里面存储着从海量文本中学到的语言规律。参数数量用「B」表示，代表十亿：7B 模型有 70 亿参数，14B 有 140 亿，数字越大通常越聪明，但需要的资源也越多。

模型还有一个重要的概念叫量化。原始的模型参数用较高精度存储，体积大、要求高；量化通过降低参数精度来压缩体积，换来「在更小的显存上运行」。最常见的 Q4_K_M 量化，能在几乎不损失可用质量的前提下，把模型体积缩小到原来的四分之一左右。你在下载模型时看到的那些带 q4、q8 字样的版本，就是不同量化程度的产物。

模型层还有生态的概念：主流开源模型都有对应的「系列」,每个系列包含 7B、14B、32B 等多个尺寸版本，适合不同硬件。选模型的基本原则是：在硬件允许的范围内，优先选更大的；同一尺寸下，优先选社区评价好、更新活跃的。这些细节第二章会展开，这里先记住「模型大小 + 量化 = 实际资源需求」这个公式。

第三层：服务层

模型之上是服务层，它的作用是把模型包装成一个「随时可调用的服务」。如果没有服务层，你每次想用模型都要手动加载文件、运行程序、处理输入输出，非常麻烦。服务层把这些封装起来，让你像调用一个普通软件一样使用模型。

当前最流行的服务层工具是 Ollama。它负责三件事：一是模型管理，一条命令就能下载、列出、删除模型；二是模型运行，把模型加载进显存并持续提供服务；三是 API 接口，让其他程序可以通过标准 HTTP 接口调用模型。你可以把 Ollama 理解成模型的「运行时」,就像浏览器是网页的运行时一样。

除了 Ollama，还有 LM Studio、llama.cpp 等工具，它们各有侧重：LM Studio 有图形界面，适合不想碰命令行的用户；llama.cpp 是底层库，适合追求性能和定制的高级用户。第三章会以 Ollama 为主线带你上手，同时介绍其他工具的适用场景。

顶层：应用层

技术栈最顶层是应用层，也就是你直接接触到的界面和程序。最常见的是聊天界面：Open WebUI 是最流行的本地聊天前端，提供类似云端助手的网页体验，支持多模型切换、对话历史、文件上传等功能。部署好 Ollama 之后，再接上 Open WebUI，你就有了一个完整的本地 ChatGPT 体验。

应用层还包括各种专用程序：代码助手、翻译工具、知识库系统、自动化脚本。它们通过服务层的 API 接口和模型对话，把模型能力嵌入到具体的工作流里。比如一个会议纪要工具，就是「录音转写 + 调用模型总结 + 生成文档」的组合；一个私有知识库，就是「文档管理 + 检索 + 模型问答」的组合。

应用层的生态非常活跃，而且每天都在增长。你在网上看到的各种「本地 AI 神器」,绝大多数都是应用层的工具——它们本身不包含模型，只是把模型能力包装成了好用的产品形态。理解了这层关系，你以后看任何 AI 工具，都能一眼看出它在技术栈的哪个位置、依赖什么。

层与层之间的协作：一个完整的例子

把四层串起来，看一个完整例子：你想搭建一个「家庭知识库问答」系统。硬件层，你有一台 16GB 显存的显卡；模型层，你选择了 14B 的量化模型；服务层，你用 Ollama 加载并运行这个模型；应用层，你部署了一个带 RAG 功能的知识库系统，把家庭文档切分、索引，问答时先检索再让模型生成。四层各司其职，一个完整系统就搭起来了。

这个例子也说明了本书的推进逻辑：第二章帮你配好硬件、选好模型(前两层)，第三章带你用 Ollama 跑起来、接上界面和 API(后两层)，第四章在这个基础上做知识库、优化、维护。你现在脑子里有了这张「地图」,后面每一章的定位都会非常清晰。

本章小结与下一步

这一章我们建立了本地 AI 的完整认识：为什么需要(数据主权与确定性)、能做什么(六大场景)、要付出什么(三类成本)、边界在哪(数据分级)、以及整体架构(四层技术栈)。从下一章开始，我们正式进入动手环节：选硬件、选模型、装环境。

在动手之前，你可以先做一件事：拿出纸笔，写下你打算用本地 AI 做的三件具体的事，以及你现有的设备配置。带着这两个答案进入第二章，你会发现选型决策变得非常清晰——因为所有选择，都是为了服务你自己的需求。

关键技术名词：一次弄懂

学习本地 AI 的路上，你会反复遇到几个技术名词，这里集中解释一次，后面文章不再赘述。

token 是理解速度与成本的基础：模型按 token 计价(云端)或按 token 计速(本地)，中文通常一个汉字约等于一个或多个 token。上下文决定了你一次能聊多长、能读多长的文档。推理速度是本地体验的核心指标，以每秒生成 token 数衡量。这几个词掌握了，后面所有文章你都能顺畅读懂。

主流模型家族一览

认识技术栈，自然也要认识技术栈里的「主角」——模型。目前开源社区有几个主流模型家族，简单了解一下，选型时心里有底。

Qwen(通义千问)系列：阿里开源，中文能力强，是目前本地部署最热门的选择，覆盖 0.5B 到上百 B 多个尺寸，生态完善。Llama 系列：Meta 开源，开源模型的「鼻祖级」家族，资料多、兼容性好，英文能力强。DeepSeek 系列：深度求索开源，推理能力突出，近年热度很高。此外还有 Mistral、Gemma、Phi 等家族，各有特色，但日常使用，从 Qwen 起步最稳妥。

选型建议：新手从 Qwen 系列入手；需要强推理或英文场景，可以试试 DeepSeek 和 Llama。模型家族会更新迭代，但「选主流、选活跃」的原则长期有效。

一个完整项目的技术栈实例

为了把技术栈讲得更具体，这里还原一个真实的本地 AI 项目，看看各层怎么协作。

假设你要搭一个「家庭知识库助手」:资料包括家电说明书、旅行攻略、家庭食谱。硬件层，一台 16GB 显存的显卡电脑；模型层，跑 Qwen 14B 量化模型，兼顾中文与质量；服务层，用 Ollama 加载模型、提供 API;应用层，用 Open WebUI 管理知识库和对话。四层各就各位后，你问「空气炸锅烤鸡翅多少度」,系统先从知识库检索到相关说明书片段，再让模型生成回答，全程数据不离开这台电脑。

这个例子说明：本地 AI 项目没有想象中复杂，本质就是「硬件承载模型，服务包装模型，应用使用模型」的三层协作。理解了这个结构，你可以自由组合——换更大的模型、换更好的界面、加更多的知识库，都是在各层做替换升级，整体框架不变。

下一步：从认识走向动手

技术栈认识建立起来了，接下来的路径就清晰了：第二章讲硬件怎么配、模型怎么选，对应技术栈的前两层；第三章讲 Ollama、界面、API，对应后两层；第四章讲知识库、优化、运维，是把整套技术栈用到极致。每一章都是对这张「地图」的具体展开。

在进入第二章之前，建议你先做一件事：把「你打算用本地 AI 做的三件事」写下来，并且确认一下你手头设备的基本情况(有没有独立显卡、多大显存、多大内存)。有了这两个答案，第二章的选型对你来说就不是选择题，而是填空题——照着你的需求直接填进去就行。

延伸阅读

• 准备开始选硬件和模型，继续读第二章开篇《先看硬件》。
• 了解应用层的聊天界面，open-webui 详细讲了 Open WebUI 的安装和使用。
• 想在服务器上一键安装模型服务，可以参考 1panel-official-apps 里 Ollama 的安装章节。