3.1 模型管理与本地大模型部署

一句话判断

模型管理是整个 AI 模块的“凭证中心”——智能体、AI 网关、基准测试都从这里取模型。把“接云端 API”和“本地跑模型”两件事放在一个页面里，是 1Panel AI 能力的起点，也是社区版完全免费的部分。

模型管理页面的结构

入口是左侧菜单 AI → 模型，页面有两个标签页：

标签 管什么 谁能用
模型账号 云端模型的连接信息（API Key、Base URL） 全部版本
本地模型 Ollama、vLLM、模型下载器 Ollama 全版本；vLLM 和下载器要专业版/企业版

一个核心认知：模型账号里存的是“怎么连”，不是模型本身。真正推理发生在云端厂商的服务器上，或者在本地容器的显卡上。1Panel 是联系人，不是接线员。

模型账号：六个字段别填错

点击 创建，按页面提示配置：

字段 说明 填错会怎样
名称 在 1Panel 里的显示名 只是显示，随便填
模型提供商 预置厂商，或自定义、Ollama、vLLM 影响 Base URL 的默认值
API Key 模型服务的访问凭证 填错则连接验证失败
Base URL 模型服务的 API 地址 自定义类型必须填对
API 类型 按提供商选择兼容协议 协议不匹配则调用异常
模型池 模型 ID、显示名称、Context Window、Max Tokens、输入类型、推理能力 智能体选模型时从这里选

模型池是进阶用户要认真维护的部分。 它决定了后面创建智能体时能选哪些模型、上下文窗口按多少算。同一个账号下可以维护多个模型 ID——一个 DeepSeek 的 Key 就能把官方的多个模型都纳进来。

创建完成后，列表里可以验证连接、编辑账号、维护模型池、删除账号。验证连接这个动作建议每次改完 Key 都点一下，几秒钟的事，能避免后面智能体报 “401” 时的一通乱查。

官方还有一条提醒：编辑已经被智能体使用的账号时，可以按页面选项同步更新相关智能体配置。 善用这个选项，能少改 N 处配置。

凭证安全：API Key 属于敏感信息，官方明确建议仅向受信任的管理员开放模型账号管理权限。别把面板账号随手给实习生。

Ollama：零成本跑本地模型

Ollama 是目前最简单的本地大模型方案。安装、运行、对话，全程社区版免费。

第一步：从应用商店装 Ollama

使用前提很直白：先从应用商店安装 Ollama。装完后页面会显示应用运行状态，提供启动、停止、重启和连接信息等操作。

第二步：添加模型

点击 添加模型，输入 Ollama 模型库 里的模型名称后确认，1Panel 会创建后台拉取任务。

拉取一个模型的典型过程
  1. 在 ollama.com/search 搜到模型名（如 qwen2.5:7b）
  2. 面板填入模型名，提交
  3. 后台拉取镜像（几个 GB，取决于模型大小，耐心等）
  4. 列表里模型变为可用
  5. 点【运行】打开页面内终端，直接对话

模型名的拼写要对。 拉取失败的第一大原因就是名字打错了或者带上了多余标签。不确定就去模型库页面复制全名。

运行、重建、删除这几个操作的含义：运行是启动一个模型实例；重建是删掉重建；删除是连本地文件一起删。删除前确认这个模型没被智能体引用。

第三步：连接与同步的四个按钮

功能 什么时候用
连接信息 看容器内访问、主机访问、外部访问三种地址——和数据库一样，别背 127.0.0.1
从服务器同步 用别的工具（命令行 ollama pull）加了模型后面板没显示时，用它重新读列表
AI 代理增强 给 Ollama 配反向代理，结合域名、HTTPS 和 IP 白名单
Open WebUI 跳转到已安装的 Web 管理工具

“AI 代理增强”是被低估的一招。 默认的 Ollama 端口直接暴露在公网是非常危险的——等于把一个不要密码的 AI 服务挂到了互联网上。用官方这个反向代理 + IP 白名单包起来，是成本最低的加固方式。

“从服务器同步”和数据库模块是同一个设计哲学：面板状态和实际状态不一致时，主动同步而不是怀疑面板坏了。

模型下载器：专业版的模型管家

模型下载器（专业版/企业版）用于搜索和下载 Hugging Face、ModelScope 或兼容镜像站中的模型，统一管理下载任务和本地模型目录。

配置项 说明
下载目录 模型文件落到服务器的位置（如 /opt/1panel/ai/models）
镜像地址 国内环境一般选 ModelScope 或镜像站，速度快得多
访问令牌 私有或受限模型必须用有权限的令牌

下载任务支持查看进度和错误信息，可以取消或重试。

一条重要提醒：删除本地模型前，应确认该目录未被 vLLM 或其他服务使用。 删掉一个正在被 vLLM 加载的模型目录，推理服务直接崩。这条和数据库那章“删库前核对实例选择器”是同一类习惯。

Ollama 的硬件预算：跑之前先算账

Ollama 跑不动，九成是内存或显存不够。经验值（供参考，以实际模型为准）：

模型规模 大致内存/显存需求 适合的机器
1.5B ~ 3B 2~4G 任何机器都能跑
7B ~ 8B 6~10G 8G 内存服务器勉强，16G 舒服
14B ~ 32B 12~24G+ 得有像样的服务器或显卡
70B 40G+ 专业显卡，普通机器别想

关键认知：模型大小决定下限，并发决定上限。 一个人聊 7B 模型很流畅，十个人同时聊就会排队——Ollama 默认按顺序处理请求。要并发，要么换 vLLM（3.2 节），要么多开几个实例。

一个隐蔽的坑：Ollama 在 CPU 模式下也很吃内存，而且系统内存不足时会触发 OOM——Linux 杀进程可能杀掉 OpenResty 或者你的业务应用，不只是 Ollama 自己。所以在同一台机器上混跑业务和模型时，参考 2.2 节那套“内存预算”的算法，给 Ollama 留出固定份额。

本地模型 vs 云端 API：怎么选

这是这一节最常被问到的问题，给你一个实战视角的对比：

维度 云端 API（模型账号） 本地模型（Ollama）
成本 按 Token 计费 电费 + 硬件，跑起就免费
前置条件 一个 API Key 内存足够（7B 约需 8G+）
隐私 数据发到厂商 数据不出服务器
并发能力 厂商保障 看机器
智商（同参数下） 云端常有增强版 开源原版
维护 厂商运维 自己管模型、管 driver

一个真实的混合用法：日常对话用云端的便宜模型，涉及客户数据的处理本地跑——隐私和成本可以兼得。智能体里的“主模型/备用模型”设计正好用得上：主用云端，切到本地做兜底。

起步建议：三条路线

路线 步骤 花费
最快 创建模型账号接云端 API → 在智能体里用 0
最省 应用商店装 Ollama → 拉一个小模型 → 直接对话 0
最稳 云端账号为主 + Ollama 小模型兜底，都配好再选智能体 0

注意一个细节：Ollama 拉模型之前先看磁盘空间——一个 7B 模型 4~5G，70B 模型几十 G，磁盘满了拉取任务会失败，而且失败信息可能藏在任务日志里。

本节要点

  • 模型账号是凭证中心，智能体和 AI 网关都从这里取模型；
  • 模型池要维护好（模型 ID、上下文窗口、推理能力），它决定智能体可选的模型；
  • 改完 API Key 点一次验证连接，编辑被引用的账号时用页面选项同步更新智能体配置；
  • Ollama 全版本免费，添加模型的名字从模型库复制全名；
  • Ollama 别裸奔在公网，用 AI 代理增强 + 白名单包一层；
  • 删除本地模型前确认没被 vLLM 或其他服务使用。

更完整的字段说明见 《1Panel 官方文档：功能手册》 的“模型管理”一节。

下一节：如果 Ollama 的性能不够，或者你想认真做推理服务——该 vLLM 和 GPU 监控登场了，见 3.2 节。