系统准备：Windows、Linux 与 Docker 环境

先想清楚：你打算把模型跑在哪里

部署工具选好之后，下一个问题是：模型跑在哪台设备、哪个系统上？这个选择影响后面每一步的操作，值得在动手前想清楚。常见的选项有三个：Windows 桌面电脑、Linux 服务器(或家庭 NAS)、以及用 Docker 容器化运行。三者没有绝对优劣，只有适配不同场景。

先看一个对比表，再逐项展开。

Windows:个人桌面部署的默认选择

如果你的模型跑在个人电脑上，Windows 是最省心的选择。安装驱动、装软件、跑模型，全程图形界面，不需要碰命令行。现代 Windows 对 NVIDIA 显卡支持完善，装上最新驱动即可发挥 GPU 算力；Ollama、LM Studio 都提供 Windows 安装包，下载双击即可。

Windows 部署要注意两件事。一是显卡驱动和 CUDA:Ollama 会自动调用 NVIDIA 显卡加速，前提是显卡驱动是新的，建议装完系统后先更新到最新驱动。二是开机自启：如果想让模型服务开机自动运行(方便随时用)，可以在 Windows 服务或启动项里配置 Ollama 常驻，这一步可选，但对体验有帮助。

Windows 的短板是「桌面不是服务」:系统会休眠、重启、更新，模型服务会中断。如果你只是自己用，随时手动启动问题不大；如果你想做成家庭服务，让手机、其他电脑也能随时访问，Windows 就不太合适了，Linux 服务器才是正解。

Linux:家庭服务器与长期运行的归宿

Linux 是本地 AI 服务的「主场」。绝大多数服务器、NAS、软路由跑的都是 Linux，它们 7×24 小时稳定运行，网络配置灵活，远程管理方便。如果你已经有一台长期在线的 Linux 设备(比如家庭服务器、NAS、小主机)，把模型跑在上面，等于拥有了一个随时可用的家庭 AI 服务。

Linux 部署的入门路径也不难：Ollama 官方提供一键安装脚本，在终端执行官网给出的安装命令，一行搞定；装好后 ollama pull 拉模型，ollama serve 启动服务，和 Windows 上的用法完全一致。需要你额外掌握的是 Linux 基础：SSH 登录、服务管理、防火墙端口，这些在本书第三章会有涉及。

如果你用的是带面板的服务器系统(比如 1Panel)，安装会更省力：面板应用商店里通常直接提供 Ollama 等 AI 应用的一键安装，点几下鼠标就完成，还能顺便管理端口、证书、监控，适合不想手敲命令的用户。

Docker:干净、隔离、易迁移的容器方案

Docker 是第三种选择，它把模型运行环境打包进一个「容器」,和宿主机隔离。好处有三个：环境干净(不影响系统其他部分)、迁移方便(换机器直接带走容器)、部署标准(官方镜像一条命令启动)。如果你已有 Docker 环境，或者在服务器上管理多个服务，容器是首选。

Ollama 官方提供了 Docker 镜像，一条命令就能启动：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

上面这条命令把模型数据存放在 ollama 卷里、映射 11434 端口、后台运行。启动后，再用 docker exec 进容器拉模型，或者在宿主机安装 Ollama 客户端连过去，都可以。Docker 方案特别适合「一台服务器跑多个 AI 服务」的场景，互不干扰。

Docker 的代价是多一层概念要理解：镜像、容器、卷、端口映射。如果你是纯新手，可以先用 Windows 或 Linux 裸装跑通，熟悉之后再迁移到 Docker——反正模型文件可以复制，切换成本不高。

服务器部署：从个人电脑到家庭服务

如果本地 AI 不只是自己用，还想做成「家庭服务」——手机随时访问、家人也能用——那就需要把它从个人电脑挪到服务器或 NAS 上。这一步的收益和成本都很明确。

收益：常驻在线，不用开着电脑；统一管理，模型、界面、数据都在一个地方；多人可用，家人共享；资源专注，不跟日常办公抢电脑。成本：需要一台常开机的设备(服务器或 NAS);需要了解一点 Linux 和服务管理；多一层安全责任(服务暴露就要防护)。对认真使用本地 AI 的人，这笔交换通常很划算。

服务器部署的关键几步：设备上装好 Linux 或 NAS 系统；用面板或命令行装 Ollama 和界面；配置端口和防火墙，默认只对内网开放；数据目录做好备份。完成之后，局域网内任何设备都能访问，配上远程安全通道，出门在外也能用。

如果你手头正好有 NAS 或常开机的旧电脑，「顺手升级成家庭 AI 服务」是性价比极高的路线。

混合部署：组合出最适合你的方案

最后介绍一种进阶思路：混合部署。它把不同设备的长处组合起来，用最少的钱获得最好的整体体验。

一个典型的混合方案：家用 NAS 或旧服务器跑 Ollama 常驻服务，负责重活(14B 大模型)和多人访问；你的笔记本跑一个小模型(7B)，负责离线或移动场景；再通过 Open WebUI 统一入口，局域网内任何设备都能连服务器模型。这样，重活交给算力集中的服务器，轻活用笔记本，两者互补，还都能离线。

混合部署的难点不在技术，而在「规划」:想清楚每台设备适合干什么，再按职责搭。它的上限很高——搭好之后，本地 AI 会真正融入你的数字生活，成为基础设施一样的存在。

网络与端口：让服务可以被访问

无论哪种部署方式，都要处理一个共性问题：模型服务监听在哪个端口，谁可以访问。Ollama 默认监听 11434 端口，Open WebUI 默认 3000 或 8080(取决于启动方式)。本地使用的话，服务只在本机监听即可；如果要从手机或局域网其他设备访问，需要让服务监听局域网 IP，并在防火墙放行对应端口。

这里有一个重要的安全原则：不要直接把 AI 服务暴露到公网。模型服务本身没有完善的鉴权，暴露到公网等于把端口开放给所有人，风险很大。如果需要远程访问，正确做法是走内网穿透加认证，或者用 VPN 连回家里网络，这些属于网络安全的范畴，本书第四章讲安全时还会强调。

对于家用场景，一个实用建议是：先把服务部署在局域网内，手机用局域网 IP 访问；确需外网访问时，再考虑带认证的穿透方案。先跑通，再考虑暴露，这个顺序能避免大部分安全问题。

环境准备的检查清单

动手部署之前，用下面这张清单快速过一遍，确认环境就绪。

清单每一项都有明确的判断标准，没有模糊地带。检查完这一遍，你的环境就绪了，可以开始拉取第一个模型。不过在拉模型之前，还有一个实际问题要解决：模型从哪来、怎么下最快。这是下一篇的内容。

部署方式的常见误区

这一章最后，集中澄清几个部署方式上的常见误区，帮你少走弯路。

第一个误区：「部署方式必须一步到位，选错就重来」。事实是，几种方式(Windows、Linux、Docker、服务器)底层都是同一套 Ollama，随时可以迁移：Windows 上跑通了，换到 Linux 只是重装工具、重拉模型；单机用着顺手，之后搬上服务器也不难。先选最容易的方式跑通，再按需迁移，是更聪明的节奏。

第二个误区：「Docker 一定比直接安装好」。Docker 的优势在隔离和易迁移，但代价是概念多一层、排错绕一步。如果你只是个人电脑自用，直接安装更简单；如果你要做家庭服务、追求干净环境，Docker 或面板方式更合适。选方式要看场景，不是看哪个「高级」。

第三个误区：「服务器部署必须一步到位配好远程访问」。新手上来就折腾公网访问、反向代理，往往卡在最复杂的一环。正确的顺序是：先局域网内跑通，确认服务正常，再逐步加远程访问。安全地暴露服务是第四章的话题，现在先把基础打牢。

想清楚这三点，你就能用最小的复杂度把模型跑起来，而不是把精力耗在「选哪条路」的纠结上。

延伸阅读

• 模型下载接着读《模型从哪来》。
• 在服务器上部署时，面板方式更省力，可参考 1panel-official-apps 的安装章节。
• 部署完成后要接聊天界面，可以看 open-webui 了解前端配置。