十分钟跑起第一个本地模型：安装与运行

从零到对话，只需三步

前面的准备章节讲了很多概念，现在进入真正动手的环节。本文的目标只有一个：让本地模型在你电脑上跑起来，完成一次真实对话。整个过程只需要三步——装 Ollama、拉模型、运行对话。熟练之后全程十分钟，新手第一次也就二三十分钟。

很多人在这一步被劝退，是因为把问题想复杂了。实际上，Ollama 把部署过程压缩到了极致：安装是双击或一条命令，拉模型是一条命令，运行对话还是一条命令。你不需要写配置、不需要调参数、不需要理解底层原理，先跑起来，再慢慢理解。

这篇文章按 Windows 和 Linux 两条线分别写，你照着对应平台的操作走即可。全程不需要代码基础，只要会复制粘贴命令。

第一步：安装 Ollama

Ollama 的安装非常简单。Windows 用户直接到 Ollama 官网下载安装包，双击安装，一路下一步即可，装完后 Ollama 会在后台自动运行；Linux 用户用官方一键安装脚本：

curl -fsSL https://ollama.com/install.sh | sh

脚本会自动检测系统架构、安装依赖、配置服务，几分钟内完成。装完之后，验证一下是否成功：

ollama --version

看到版本号输出就说明安装成功。如果提示命令找不到，Windows 用户需要重新打开终端(让环境变量生效),Linux 用户检查安装日志。

第二步：拉取你的第一个模型

Ollama 装好后，拉取模型只需一条命令。我们以当前最主流的 Qwen 系列为例，先拉一个 7B 模型试手：

ollama pull qwen2.5:7b

命令执行后，你会看到下载进度条。模型文件约 4 到 6GB，下载时间取决于你的网速，几分钟到几十分钟不等。下载完成后，模型就保存在本地了，以后使用无需重新下载。

如果你想先体验更小的模型，也可以拉 qwen2.5:3b(约 2GB);如果硬件配置高，直接拉 qwen2.5:14b(约 9GB)。Ollama 的命令格式是 模型名加冒号加标签，标签代表具体版本，不带标签默认拉最新版。用 ollama list 可以查看本地已有的全部模型。

这里要提醒一点：第一次拉模型时，如果下载很慢，不要着急。可以先看看网络，或者参考第二章说的，改用国内镜像或魔搭源。拉取是支持断点续传的，中断了重新执行即可。

第三步：运行并对话

模型下载完成，运行对话就是一行命令：

ollama run qwen2.5:7b

执行后，终端进入一个交互式对话界面，你可以直接输入问题，模型会逐字生成回答。试试问它用一句话介绍自己，或者让它帮你写一段文案、翻译一句话。按 Ctrl+D 或输入 /bye 退出对话。

对话体验的直观感受：回答质量取决于模型大小，速度取决于你的硬件。如果是纯 CPU 运行，第一次对话加载模型需要几秒到几十秒，之后回答是逐字生成的，速度不快但可用；如果是显卡运行，速度会快很多。先跑通，再谈优化。

运行原理：这十分钟发生了什么

跑通之后，花一分钟理解刚才发生了什么，对后面排错很有帮助。

ollama run 做的事情分三步：加载模型，把模型文件读入显存或内存，这一步要占用几个 GB 资源，所以第一次会等一会儿；初始化对话，准备好上下文窗口，等待你的输入；生成回答，把你的问题转成模型能理解的序列，逐 token 推理，再转回文字输出。

如果你在另一台设备上访问，或者想把模型服务常驻，不进入对话界面、只提供接口，用的是 ollama serve。它启动一个后台服务，监听 11434 端口，等待 API 调用。ollama run 和 ollama serve 的关系是：前者是交互模式，后者是服务模式，底层是同一套引擎。

了解这个原理，你就能理解：为什么模型要占用那么多内存，为什么第一次加载慢，为什么换模型时要等，都是加载这一步的时间。硬件越好，加载越快；显存越大，能同时驻留的模型越多。

图形界面安装的备选：LM Studio 方式

如果你对命令行实在不习惯，或者安装脚本遇到问题，还有一个图形化备选——LM Studio。它是 Windows 和 Mac 上非常流行的本地模型工具，全程鼠标操作：下载安装包、双击安装、打开界面，在「模型」页面搜索并下载模型，然后在「对话」页面选择模型直接聊天。整个过程不需要输入任何命令。

LM Studio 和 Ollama 是同一层级的工具，选哪个取决于习惯：想要命令行、脚本化、服务器部署，选 Ollama;想要图形界面、零命令、快速体验，选 LM Studio。两条路都能跑同一批模型，后续想换也简单——模型文件是通用的。

这篇文章按 Ollama 主线写，是因为它的生态和后续扩展最好；但如果你卡在安装上，先用 LM Studio 跑通体验，再回来用 Ollama，也完全没问题。

安装失败怎么办：三个高频问题的排查

安装是最容易出问题的环节，把三个高频问题提前列出来，遇到直接对症处理。

问题一：命令找不到。原因通常是安装后环境变量未生效，或安装过程被安全软件拦截。处理：关闭终端重新打开，或者重启电脑；仍不行就检查是否被拦截，允许后重装。问题二：安装脚本执行失败。Linux 上常见原因是缺少依赖或网络问题。处理：查看报错信息，按提示安装缺失依赖，重试脚本；网络问题则检查能否访问安装源。问题三：装好但版本很旧。原因可能是源未刷新或装了旧包。处理：确认从官方渠道安装，更新到最新版。

安装问题九成以上是这三类，按表排查基本都能解决。如果确实装不上，换个思路：Windows 直接下载官方安装包，通常最省事。

常见问题与解决

第一次跑通模型，大概率会遇到一两个小问题，下面把最常见的提前列出来，遇到直接对照解决。

其中显存不足是最常见的报错。解决思路就一条：模型装不下，换更小的。7B 装不下换 3B,14B 装不下换 7B。第二章讲过，选模型的第一原则是装得下，装不下的模型再聪明也用不了。

第一个里程碑达成

到这里，你已经完成本地 AI 部署的第一个里程碑：一个真实运行的本地模型，可以随时对话，数据全程不出设备。别小看这一步，这是整套体系的起点，后续的界面、API、知识库，都建立在这个基础之上。

下一步，我们把这个命令行交互升级成更舒服的形态：学几个 Ollama 的常用命令和参数，掌握模型管理的基本功。准备好了就继续往下读。

进阶：同时管理多个模型会话

跑通第一个模型后，你可能会想：能不能同时管理几个模型，或者在不同任务间切换？答案是可以，而且很简单。

Ollama 支持同时运行多个模型，你可以在不同终端窗口里分别运行不同模型，互不干扰；同一个模型也可以开多个会话，各自独立。切换模型就是另起一个 ollama run，系统会自动管理资源——显存不够时，自动卸载不常用的模型。这套机制让「多模型并行」成为可能，也为后面第三章的多模型管理打下了基础。

对新手，现在知道「可以多开」就够了，不必急着同时跑好几个模型——先把一个用熟，再逐步扩展。掌握了单模型的完整流程，多模型只是重复与组合。

一次完整的最小验证流程

跑通模型后，建议做一次完整的最小验证，确认「安装、拉取、对话」整条链路都是好的，后面遇到问题才好定位。这套验证只需三分钟。

第一步，验证安装：执行 ollama --version,能输出版本号说明工具本体没问题。第二步，验证服务：执行 ollama list,能列出模型(哪怕为空)说明服务正常启动。第三步，验证对话：执行 ollama run 你的模型名,发一句「你好，用一句话介绍自己」,能收到回答说明模型加载和推理都正常。三步都通过，你的环境就是完全健康的。

以后如果遇到问题(界面连不上、API 报错)，先跑这三步，就能快速判断问题出在工具层还是模型层，避免瞎折腾。

延伸阅读

• 熟悉常用命令接着读《用好 Ollama》。
• 想在服务器上用面板装模型，1panel-official-apps 里有 Ollama 的一键安装方式。
• 模型跑通后想接图形界面，可以参考 open-webui 的接入方法。