安装 Ollama:Windows、Mac 和 Linux
[TOC] 理论上 Ollama 的安装只需要几分钟,但真正的分水岭不在安装本身,而在装完之后的服务能不能稳定运行。Windows 用户要弄清后台服务的图标在哪里,Mac 用户要了解统一内存的优势,Linux 用户则要和服务管理打交道。这篇按三个平台分别走一遍完整流程,包括安装、验证、把服务暴露给局域网,以及最常见的那几个报错怎么处理。开始之前建议先确认一下硬件门槛,心里有数再动手。
Windows:下载安装包就行
Windows 下最省心的方式是直接下载官方安装程序。下载页面提供了 Windows 版本的安装包,双击运行,一路下一步就安装完成。安装程序会同时做好三件事:把主程序装到系统里,注册一个随开机启动的后台服务,再把命令行工具配置好。
整个过程不需要你做任何参数选择,默认值已经是最优配置。这一点做得好的地方在于,新手绝不会在安装这一步被卡住,背后涉及的服务注册、端口绑定、权限设置全部自动化。 有经验的用户事后可以再通过环境变量微调,属于先跑通再优化的典型设计。
Windows 下的另一个选择是手动用压缩包安装,适合那种没有管理员权限、或者想自定义安装位置的场景。不过对绝大多数人来说没必要,直接用安装包就好,省下的时间拿去体验模型更有价值。
装完之后打开任意终端,注意 Windows 下建议用系统自带的终端或者新版的 Windows Terminal,验证一下安装结果:
ollama --version
能看到版本号就说明一切正常。如果提示找不到命令,多半是环境变量没生效,重启一下终端或者注销重登就行了。
需要特别说明的是,Ollama 在 Windows 上的加速依赖一套叫作 WSL2 的子系统。新版安装程序会自动提示启用,按提示操作即可。大多数现代电脑都支持,开启之后模型推理会明显更快。如果自动启用失败,可以在管理员权限的终端里手动执行:
wsl --install
执行完重启电脑,再启动 Ollama 就行。
关于 WSL2 再多解释两句,因为它经常是 Windows 用户报错的根源。WSL2 本质上是在 Windows 里跑了一个真正的 Linux 内核,Ollama 把推理引擎放在这个 Linux 子系统里运行,从而绕开了 Windows 原生生态的一些限制。这套机制对用户是透明的,平时感觉不到它的存在,只有少数情况下需要你手动介入,比如子系统版本不对、或者虚拟化没开。
一个常见的困惑是显存到底算在哪里。答案是 Windows 上的显卡对 WSL2 是直接可见的,所以模型仍然跑在真实显卡的显存里,性能不会打折。你可以在跑模型的时候打开任务管理器,在 GPU 一栏能看到显存的占用变化,和直接在 Linux 上跑没区别。
还有一点要提醒游戏玩家:跑模型和玩游戏是可以同时进行的,Ollama 默认不会把显存全部占光,会留出余量。但如果你玩的是大型 3A 游戏同时跑大模型,显存可能会不够用导致游戏掉帧或者模型变慢,建议两者错开使用,别难为自己的显卡。
最后给 Windows 笔记本用户一个提示:一定要插电使用。电池模式下系统会限制显卡功耗,跑模型的速度会大幅下降,同时电量肉眼可见地往下掉。养成插电跑模型的习惯,体验会好得多。台式机用户就没这个烦恼了,但要注意别让机箱积灰影响散热,大模型让显卡长时间满载,散热不良会导致降频,体感就是越跑越慢。
关于安装方式的选择,这里给个简单结论:能一键装就一键装,别挑战手动安装;能装系统服务就装系统服务,别图方便用前台进程。本地大模型是要长期使用的工具,前期多花五分钟配好服务化运行,后期省下无数次手动重启的麻烦。
让局域网里的其它机器也能连
默认安装只监听本机回环地址,同一局域网的其它设备是连不上的。想要共享给其它机器,需要修改服务监听地址。Windows 下可以通过系统环境变量设置,新增一个名为 OLLAMA_HOST 的用户环境变量,值写成 0.0.0.0:11434,然后在任务栏里退出 Ollama 的后台服务再重新打开。这时候局域网里的其它电脑就可以通过你的 IP 地址加端口访问了。
关于环境变量的更多用法,比如自定义模型存储位置、调整保留时长,集中在模型管理:删除、复制和环境变量那篇,那里有一张完整的常用环境变量速查表,先记住改监听地址这一条就行,剩下的用到再查。
Mac:brew 或者安装包任选
Mac 的安装有两种方式。一种是从官网下载 Mac 版安装包,像装普通软件一样拖进应用程序目录;另一种是如果你装了 Homebrew,一行命令搞定:
brew install ollama
两种方式装的东西是一样的,区别只是后续更新方式。安装包版有后台常驻的桌面小程序,brew 版需要手动启动服务。启动服务用这条命令:
brew services start ollama
这样开机就会自动运行,不用每次手动敲命令。验证安装和 Windows 一样,ollama --version 看版本号。
Mac 用户的优势在于苹果芯片。M1 之后的所有机型都用统一内存架构,显存不再是独立的一块,而是和系统内存在一起。所以 Mac 上不存在所谓显存不够的问题,只要总内存足够,模型就能跑。一台 16GB 内存的 Mac 可以流畅跑 8B 模型,32GB 内存的 Mac 可以跑 14B 甚至更大的模型。而且 Metal 加速下速度很不错,安静省电,甚至比一些带独立显卡的 Windows 笔记本体验还好。
不过要泼一点冷水:Intel 芯片的老 Mac 就没有这些优势了,只能依赖传统的核显或者独立显卡,体验和 Windows 笔记本类似,甚至更弱。如果你还在用 Intel Mac,不用太纠结,能跑就行,别指望硬件瓶颈靠软件解决。
还有一个 Mac 用户特有的小细节:Ollama 的桌面小程序常驻在菜单栏里,默认开机启动。如果你发现每次开机都自动跑起来有点烦,可以在程序设置里取消开机启动。相反,如果你是把 Mac 当作团队服务器用,就要确保它是开机自启的状态, 否则重启一次服务就没了,同事的请求全部失败。
Mac 下更新 Ollama 也很简单,安装包版直接下新版本覆盖安装,brew 版执行 brew upgrade ollama。更新过程会保留你已经下载的模型,不用担心要重新拉几个GB 的文件。
Linux:一条命令加 systemd
Linux 下官方提供一键安装脚本:
curl -fsSL https://ollama.com/install.sh | sh
脚本会自动识别发行版、安装程序、注册 systemd 服务。大多数情况下这一条命令就全部搞定了。装完之后服务会自动启动,用下面的命令检查状态:
systemctl status ollama
看到绿色的 running 就说明正常运行了。 systemd 管理的服务会开机自启,崩溃会自动重启,非常省心。
| 平台 | 安装方式 | 服务管理 | 推荐人群 |
|---|---|---|---|
| Windows | 官方安装包,一键安装 | 任务栏后台服务 | 普通用户、游戏本 |
| Mac (Intel) | 安装包或 brew | 手动或 brew services | 老款 Mac |
| Mac (Apple 芯片) | 安装包或 brew | 同上,含桌面小程序 | 主流 Mac 用户 |
| Linux 各发行版 | 一键安装脚本 | systemd 托管 | 服务器、开发者 |
Linux 需要注意的小细节有两个。一是如果之前用别的方式装过 Ollama,最好先清理干净再跑脚本,避免两套配置打架。二是服务默认运行在一个叫 ollama 的系统用户下,模型文件存在它的主目录里,路径和 Windows 上不太一样,排错的时候别找错地方。
Linux 用户还经常遇到的是显卡驱动问题。NVIDIA 显卡要正常工作需要装好驱动和配套的运行库,很多人装完 Ollama 发现只用 CPU 跑,一查才发现驱动没装对。可以用下面的命令简单验证显卡是否被识别:
nvidia-smi
能看到显卡信息和显存占用就说明驱动正常。如果报命令不存在或者没有任何输出,先把显卡驱动装好再继续。AMD 显卡的验证稍麻烦一些,需要确认 ROCm 库是否正确安装,具体做法在硬件门槛那篇的 AMD 部分有提到。
同样要让局域网访问
Linux 下的监听地址修改是通过 systemd 的服务配置完成的。先复盖一份配置文件:
systemctl edit ollama
在打开的编辑器里加入环境变量,保存退出后重载配置并重启服务:
systemctl restart ollama
这样改比直接改安装时自带的配置文件更规范,升级的时候也不会被覆盖掉。具体写法可以在环境变量那篇里找到完整示例。
装完之后的第一步
三个平台的操作完全一致。先拉一个模型试试:
ollama run qwen2.5:7b
这行命令会先下载再启动,第一次下载需要几分钟到几十分钟,取决于网速和模型大小。看到 >>> 提示符就可以开始聊天了,输入一个问题按回车,模型就会一个字一个字地把回答蹦出来,第一次玩到本地大模型的人在这里通常会觉得很神奇。退出输入 /bye 或者按 Ctrl 加 D。
如果到这一步一切顺利,恭喜你,本地大模型已经跑起来了。接下来可以系统学习拉取和运行模型:pull、run 和版本标签,把模型管理这套操作摸熟。
在这一步新手最容易犯的一个错误是下错模型。看到模型库里的名字就随手 pull,结果下了个几十GB 的大模型然后发现电脑跑不动,白白占用磁盘还看不到效果。正确的做法是参考硬件门槛:显存决定模型大小里的对照表,选一个自己电脑能跑得动的版本起步,先求跑通再求规模。
另外提醒一下,第一次运行模型时建议不要挂代理工具又开 VPN 之类的,网络链路越简单越容易一次成功。等到把第一个模型跑通了,再慢慢优化网络配置也不迟。第一次成功的体验是极其重要的信心来源, 宁可多花十分钟检查环境,也不要在反复失败里消耗耐心。
安装前的检查清单
为了避免装到一半发现环境不行,安装前建议快速过一遍这张清单。
| 检查项 | Windows | Mac | Linux |
|---|---|---|---|
| 系统版本 | Win10 及以上 | 较新系统版本 | 近年的主流发行版 |
| 虚拟化支持 | 需要开 WSL2 | 不涉及 | 内核版本够新即可 |
| 磁盘空间 | 至少留 20GB | 至少留 20GB | 至少留 20GB |
| 内存 | 16GB 起步,推荐 32GB | 16GB 起步 | 16GB 起步 |
| 显卡 | 可选,有更快 | 核显即可加权加速 | 可选,有更快 |
磁盘空间要特别强调。模型文件动辄几个GB,装好 Ollama 只是开始,后面陆续下载几十上百 GB 的模型是常有的事。第一次安装环境就留足空间,能避免后期麻烦的迁移工作。
常见问题
安装包下载很慢或者打不开怎么办
官网的下载有时候会比较慢,尤其在国内网络环境。可以尝试挂代理、换网络环境、或者晚点再试。另外注意安装包只需要下一次,装好之后的所有操作都是本地的,下载一次模型同样可以反复用,不影响的日常体验。Linux 的安装脚本同理,如果脚本拉取失败,多试几次或者找个能稳定访问的网络再执行。
ollama serve 提示端口被占怎么处理
这个报错说明 11434 端口被别的程序占用了,最常见的原因是之前的 Ollama 服务没退干净,或者其它工具恰好用了这个端口。先找出占用进程:
lsof -i :11434
Windows 下可以用任务管理器查看,或者执行 netstat 找到占用者。确认是残留的 Ollama 进程就直接结束掉;如果是别的程序必须用这个端口,可以通过环境变量 OLLAMA_HOST 换一个端口,比如 11435。
服务起不来或者命令找不到
Windows 上先检查安装时是否以管理员权限运行,再看任务栏里是否有 Ollama 的图标;没有的话从开始菜单手动启动一次。Linux 上用 systemctl status ollama 看具体报错,最常见的是安装脚本没有执行完整,重新跑一遍脚本通常能解决。命令找不到一般是环境变量问题,重启终端或者重新登录当前用户即可。
怎么更新和卸载
Windows 和 Mac 都是下载新版本安装包覆盖安装,原来的模型一个都不会丢,升级是无痛的。Linux 下重新执行一键安装脚本就会自动升级。卸载的话各平台略有差异,Windows 在设置的应用列表里卸载,Mac 安装包版直接删程序,brew 版执行 brew uninstall ollama。卸载不会自动删除已下载的模型文件,如果确定不再使用,需要手动去模型目录把残留清掉腾出空间。这一点在换电脑或者清理磁盘的时候尤其要注意,不然好几个GB 的空间就白白躺在那里。
装在服务器上需要注意什么
前提是服务器有显卡,否则跑起来没有意义。其次建议用 systemd 托管服务,保证开机自启和崩溃自恢复,上面讲过默认就是这样的。再就是配置好监听地址和防火墙,只开放给内网使用,不要暴露到公网,开放给公网意味着任何人都能免费用你的模型,还可能带来安全风险。最后建议配一个监控,定期检查服务状态和磁盘占用,模型文件攒起来很占地方的。
WSL2 启用失败,加速功能用不上
部分老电脑的主板可能默认关闭了虚拟化,进 BIOS 打开虚拟化选项再试。启用 WSL2 之后记得重启电脑,否则子系统不会生效。如果硬件太老确实不支持,Ollama 退化为纯 CPU 推理,能跑只是慢一些。
