安装 Ollama:Windows、Mac 和 Linux

[TOC] 理论上 Ollama 的安装只需要几分钟,但真正的分水岭不在安装本身,而在装完之后的服务能不能稳定运行。Windows 用户要弄清后台服务的图标在哪里,Mac 用户要了解统一内存的优势,Linux 用户则要和服务管理打交道。这篇按三个平台分别走一遍完整流程,包括安装、验证、把服务暴露给局域网,以及最常见的那几个报错怎么处理。开始之前建议先确认一下硬件门槛,心里有数再动手。

Windows:下载安装包就行

Windows 下最省心的方式是直接下载官方安装程序。下载页面提供了 Windows 版本的安装包,双击运行,一路下一步就安装完成。安装程序会同时做好三件事:把主程序装到系统里,注册一个随开机启动的后台服务,再把命令行工具配置好。

整个过程不需要你做任何参数选择,默认值已经是最优配置。这一点做得好的地方在于,新手绝不会在安装这一步被卡住,背后涉及的服务注册、端口绑定、权限设置全部自动化。 有经验的用户事后可以再通过环境变量微调,属于先跑通再优化的典型设计。

Windows 下的另一个选择是手动用压缩包安装,适合那种没有管理员权限、或者想自定义安装位置的场景。不过对绝大多数人来说没必要,直接用安装包就好,省下的时间拿去体验模型更有价值。

装完之后打开任意终端,注意 Windows 下建议用系统自带的终端或者新版的 Windows Terminal,验证一下安装结果:

ollama --version

能看到版本号就说明一切正常。如果提示找不到命令,多半是环境变量没生效,重启一下终端或者注销重登就行了。

需要特别说明的是,Ollama 在 Windows 上的加速依赖一套叫作 WSL2 的子系统。新版安装程序会自动提示启用,按提示操作即可。大多数现代电脑都支持,开启之后模型推理会明显更快。如果自动启用失败,可以在管理员权限的终端里手动执行:

wsl --install

执行完重启电脑,再启动 Ollama 就行。

关于 WSL2 再多解释两句,因为它经常是 Windows 用户报错的根源。WSL2 本质上是在 Windows 里跑了一个真正的 Linux 内核,Ollama 把推理引擎放在这个 Linux 子系统里运行,从而绕开了 Windows 原生生态的一些限制。这套机制对用户是透明的,平时感觉不到它的存在,只有少数情况下需要你手动介入,比如子系统版本不对、或者虚拟化没开。

一个常见的困惑是显存到底算在哪里。答案是 Windows 上的显卡对 WSL2 是直接可见的,所以模型仍然跑在真实显卡的显存里,性能不会打折。你可以在跑模型的时候打开任务管理器,在 GPU 一栏能看到显存的占用变化,和直接在 Linux 上跑没区别。

还有一点要提醒游戏玩家:跑模型和玩游戏是可以同时进行的,Ollama 默认不会把显存全部占光,会留出余量。但如果你玩的是大型 3A 游戏同时跑大模型,显存可能会不够用导致游戏掉帧或者模型变慢,建议两者错开使用,别难为自己的显卡。

最后给 Windows 笔记本用户一个提示:一定要插电使用。电池模式下系统会限制显卡功耗,跑模型的速度会大幅下降,同时电量肉眼可见地往下掉。养成插电跑模型的习惯,体验会好得多。台式机用户就没这个烦恼了,但要注意别让机箱积灰影响散热,大模型让显卡长时间满载,散热不良会导致降频,体感就是越跑越慢。

关于安装方式的选择,这里给个简单结论:能一键装就一键装,别挑战手动安装;能装系统服务就装系统服务,别图方便用前台进程。本地大模型是要长期使用的工具,前期多花五分钟配好服务化运行,后期省下无数次手动重启的麻烦。

让局域网里的其它机器也能连

默认安装只监听本机回环地址,同一局域网的其它设备是连不上的。想要共享给其它机器,需要修改服务监听地址。Windows 下可以通过系统环境变量设置,新增一个名为 OLLAMA_HOST 的用户环境变量,值写成 0.0.0.0:11434,然后在任务栏里退出 Ollama 的后台服务再重新打开。这时候局域网里的其它电脑就可以通过你的 IP 地址加端口访问了。

关于环境变量的更多用法,比如自定义模型存储位置、调整保留时长,集中在模型管理:删除、复制和环境变量那篇,那里有一张完整的常用环境变量速查表,先记住改监听地址这一条就行,剩下的用到再查。

Mac:brew 或者安装包任选

Mac 的安装有两种方式。一种是从官网下载 Mac 版安装包,像装普通软件一样拖进应用程序目录;另一种是如果你装了 Homebrew,一行命令搞定:

brew install ollama

两种方式装的东西是一样的,区别只是后续更新方式。安装包版有后台常驻的桌面小程序,brew 版需要手动启动服务。启动服务用这条命令:

brew services start ollama

这样开机就会自动运行,不用每次手动敲命令。验证安装和 Windows 一样,ollama --version 看版本号。

Mac 用户的优势在于苹果芯片。M1 之后的所有机型都用统一内存架构,显存不再是独立的一块,而是和系统内存在一起。所以 Mac 上不存在所谓显存不够的问题,只要总内存足够,模型就能跑。一台 16GB 内存的 Mac 可以流畅跑 8B 模型,32GB 内存的 Mac 可以跑 14B 甚至更大的模型。而且 Metal 加速下速度很不错,安静省电,甚至比一些带独立显卡的 Windows 笔记本体验还好。

不过要泼一点冷水:Intel 芯片的老 Mac 就没有这些优势了,只能依赖传统的核显或者独立显卡,体验和 Windows 笔记本类似,甚至更弱。如果你还在用 Intel Mac,不用太纠结,能跑就行,别指望硬件瓶颈靠软件解决。

还有一个 Mac 用户特有的小细节:Ollama 的桌面小程序常驻在菜单栏里,默认开机启动。如果你发现每次开机都自动跑起来有点烦,可以在程序设置里取消开机启动。相反,如果你是把 Mac 当作团队服务器用,就要确保它是开机自启的状态, 否则重启一次服务就没了,同事的请求全部失败。

Mac 下更新 Ollama 也很简单,安装包版直接下新版本覆盖安装,brew 版执行 brew upgrade ollama。更新过程会保留你已经下载的模型,不用担心要重新拉几个GB 的文件。

Linux:一条命令加 systemd

Linux 下官方提供一键安装脚本:

curl -fsSL https://ollama.com/install.sh | sh

脚本会自动识别发行版、安装程序、注册 systemd 服务。大多数情况下这一条命令就全部搞定了。装完之后服务会自动启动,用下面的命令检查状态:

systemctl status ollama

看到绿色的 running 就说明正常运行了。 systemd 管理的服务会开机自启,崩溃会自动重启,非常省心。

平台 安装方式 服务管理 推荐人群
Windows 官方安装包,一键安装 任务栏后台服务 普通用户、游戏本
Mac (Intel) 安装包或 brew 手动或 brew services 老款 Mac
Mac (Apple 芯片) 安装包或 brew 同上,含桌面小程序 主流 Mac 用户
Linux 各发行版 一键安装脚本 systemd 托管 服务器、开发者

Linux 需要注意的小细节有两个。一是如果之前用别的方式装过 Ollama,最好先清理干净再跑脚本,避免两套配置打架。二是服务默认运行在一个叫 ollama 的系统用户下,模型文件存在它的主目录里,路径和 Windows 上不太一样,排错的时候别找错地方。

Linux 用户还经常遇到的是显卡驱动问题。NVIDIA 显卡要正常工作需要装好驱动和配套的运行库,很多人装完 Ollama 发现只用 CPU 跑,一查才发现驱动没装对。可以用下面的命令简单验证显卡是否被识别:

nvidia-smi

能看到显卡信息和显存占用就说明驱动正常。如果报命令不存在或者没有任何输出,先把显卡驱动装好再继续。AMD 显卡的验证稍麻烦一些,需要确认 ROCm 库是否正确安装,具体做法在硬件门槛那篇的 AMD 部分有提到。

同样要让局域网访问

Linux 下的监听地址修改是通过 systemd 的服务配置完成的。先复盖一份配置文件:

systemctl edit ollama

在打开的编辑器里加入环境变量,保存退出后重载配置并重启服务:

systemctl restart ollama

这样改比直接改安装时自带的配置文件更规范,升级的时候也不会被覆盖掉。具体写法可以在环境变量那篇里找到完整示例。

装完之后的第一步

三个平台的操作完全一致。先拉一个模型试试:

ollama run qwen2.5:7b

这行命令会先下载再启动,第一次下载需要几分钟到几十分钟,取决于网速和模型大小。看到 >>> 提示符就可以开始聊天了,输入一个问题按回车,模型就会一个字一个字地把回答蹦出来,第一次玩到本地大模型的人在这里通常会觉得很神奇。退出输入 /bye 或者按 Ctrl 加 D。

如果到这一步一切顺利,恭喜你,本地大模型已经跑起来了。接下来可以系统学习拉取和运行模型:pull、run 和版本标签,把模型管理这套操作摸熟。

在这一步新手最容易犯的一个错误是下错模型。看到模型库里的名字就随手 pull,结果下了个几十GB 的大模型然后发现电脑跑不动,白白占用磁盘还看不到效果。正确的做法是参考硬件门槛:显存决定模型大小里的对照表,选一个自己电脑能跑得动的版本起步,先求跑通再求规模。

另外提醒一下,第一次运行模型时建议不要挂代理工具又开 VPN 之类的,网络链路越简单越容易一次成功。等到把第一个模型跑通了,再慢慢优化网络配置也不迟。第一次成功的体验是极其重要的信心来源, 宁可多花十分钟检查环境,也不要在反复失败里消耗耐心。

安装前的检查清单

为了避免装到一半发现环境不行,安装前建议快速过一遍这张清单。

检查项 Windows Mac Linux
系统版本 Win10 及以上 较新系统版本 近年的主流发行版
虚拟化支持 需要开 WSL2 不涉及 内核版本够新即可
磁盘空间 至少留 20GB 至少留 20GB 至少留 20GB
内存 16GB 起步,推荐 32GB 16GB 起步 16GB 起步
显卡 可选,有更快 核显即可加权加速 可选,有更快

磁盘空间要特别强调。模型文件动辄几个GB,装好 Ollama 只是开始,后面陆续下载几十上百 GB 的模型是常有的事。第一次安装环境就留足空间,能避免后期麻烦的迁移工作。

常见问题

安装包下载很慢或者打不开怎么办

官网的下载有时候会比较慢,尤其在国内网络环境。可以尝试挂代理、换网络环境、或者晚点再试。另外注意安装包只需要下一次,装好之后的所有操作都是本地的,下载一次模型同样可以反复用,不影响的日常体验。Linux 的安装脚本同理,如果脚本拉取失败,多试几次或者找个能稳定访问的网络再执行。

ollama serve 提示端口被占怎么处理

这个报错说明 11434 端口被别的程序占用了,最常见的原因是之前的 Ollama 服务没退干净,或者其它工具恰好用了这个端口。先找出占用进程:

lsof -i :11434

Windows 下可以用任务管理器查看,或者执行 netstat 找到占用者。确认是残留的 Ollama 进程就直接结束掉;如果是别的程序必须用这个端口,可以通过环境变量 OLLAMA_HOST 换一个端口,比如 11435。

服务起不来或者命令找不到

Windows 上先检查安装时是否以管理员权限运行,再看任务栏里是否有 Ollama 的图标;没有的话从开始菜单手动启动一次。Linux 上用 systemctl status ollama 看具体报错,最常见的是安装脚本没有执行完整,重新跑一遍脚本通常能解决。命令找不到一般是环境变量问题,重启终端或者重新登录当前用户即可。

怎么更新和卸载

Windows 和 Mac 都是下载新版本安装包覆盖安装,原来的模型一个都不会丢,升级是无痛的。Linux 下重新执行一键安装脚本就会自动升级。卸载的话各平台略有差异,Windows 在设置的应用列表里卸载,Mac 安装包版直接删程序,brew 版执行 brew uninstall ollama。卸载不会自动删除已下载的模型文件,如果确定不再使用,需要手动去模型目录把残留清掉腾出空间。这一点在换电脑或者清理磁盘的时候尤其要注意,不然好几个GB 的空间就白白躺在那里。

装在服务器上需要注意什么

前提是服务器有显卡,否则跑起来没有意义。其次建议用 systemd 托管服务,保证开机自启和崩溃自恢复,上面讲过默认就是这样的。再就是配置好监听地址和防火墙,只开放给内网使用,不要暴露到公网,开放给公网意味着任何人都能免费用你的模型,还可能带来安全风险。最后建议配一个监控,定期检查服务状态和磁盘占用,模型文件攒起来很占地方的。

WSL2 启用失败,加速功能用不上

部分老电脑的主板可能默认关闭了虚拟化,进 BIOS 打开虚拟化选项再试。启用 WSL2 之后记得重启电脑,否则子系统不会生效。如果硬件太老确实不支持,Ollama 退化为纯 CPU 推理,能跑只是慢一些。