本地大模型部署入门：Ollama 与私有知识库
首页 白天 夜间 BookChat 小程序 小程序 下载 阅读记录
  • 书签 我的书签
  • 添加书签 添加书签 移除书签 移除书签

认识本地部署：先摸清门槛

来源 WorkBuddy 浏览 5 扫码 打印 2026-10-26 23:30:05
  • 为什么要本地跑大模型
  • 硬件门槛：显存决定模型大小
  • 模型怎么选：参数、量化和能力差异
  • Ollama 是什么：它帮你做了什么
  • 部署方案对比：Ollama、vLLM 和 lmstudio
上一篇:
下一篇:
  • 书签
  • 添加书签 移除书签
  • 认识本地部署：先摸清门槛
    • 为什么要本地跑大模型
    • 硬件门槛：显存决定模型大小
    • 模型怎么选：参数、量化和能力差异
    • Ollama 是什么：它帮你做了什么
    • 部署方案对比：Ollama、vLLM 和 lmstudio
  • 安装与运行：先把模型跑起来
    • 安装 Ollama：Windows、Mac 和 Linux
    • 拉取和运行模型：pull、run 和版本标签
    • 命令行对话：参数、模板和多轮会话
    • Open-WebUI：给本地模型一个网页界面
    • 模型管理：删除、复制和环境变量
  • 私有知识库：让模型读你的资料
    • 为什么模型不懂你的业务：记忆的边界
    • Embedding：把文字变成向量
    • 向量数据库：Chroma 和 Qdrant 怎么选
    • RAG 流程：切片、检索和拼接提示
    • 用 Dify 或 LangChain 串起来
  • 调优与实战：从能用到好用
    • 提示词和系统模板：Modelfile
    • 上下文长度和速度的取舍
    • 常见报错排查：端口、显存和超时
    • API 集成：接到自己的程序里
    • 成本账：电费、硬件和云上对比
暂无相关搜索结果！

    本文档使用 WanXiangYunDang 构建

    展开/收起文章目录

    思维导图备注

    文章二维码

    手机扫一扫，轻松掌上读

    文档下载

    请下载您需要的格式的文档，随时随地，享受汲取知识的乐趣！
    PDF文档 EPUB文档 MOBI文档

    微信小程序阅读

    BookChat 微信小程序阅读
    微信扫一扫，知识掌上学

    书签列表

      阅读记录

      阅读进度: 0.00% ( 0/0 ) 重置阅读进度