成本账：电费、硬件和云上对比

算账要趁早

很多人选本地部署的理由是云 API 太贵，用着用着账单不忍看。这话对一半：本地确实能省调用费，但它不是免费的，只是把成本换成了另一种形态，电费和显卡。买的时候心疼一次，之后每个月的电费是钝刀子割肉，很多人直到月底看电表才开始后悔：怎么这台机器比想象中费电这么多。

成本账还有另一面容易被忽略：你的时间。本地部署的维护精力、排查 ol-0403 里那些报错的时间、升级模型的时间，都是隐性成本。反过来，云 API 的账单也不是纯支出，它买的是开箱即用和不操心。只有两边都量化，才谈得上比较，拍脑袋说哪个划算都是耍流氓。

算账之前先想清楚三个数：每天大概多少次调用、每次大概多长、数据能不能出域。第一个决定流量档位，第二个决定每次的 token 消耗，第三个直接一票否决云方案。很多人拿着模糊感觉做技术选型，上线三个月才发现方向错了，这时候迁移成本比当初的硬件贵得多。下面几节给的公式都很简单，填上你自己的三个数，五分钟就能得到答案。

要是你只想记住一句话，那就是：高频固定流量选本地，低频偶发用云 API，数据敏感的本地起步，预算有限的上云过渡。剩下的细节，我们用三笔账算清楚。

电费：本地推理唯一的使用成本

先算最直观的一笔。假设你的知识库主机整机功耗大约三百瓦，为什么是三百瓦：一张中端消费级显卡满载两百瓦上下，CPU 和主板吃掉六七十瓦，加上风扇和电源转换损耗，三百瓦是个保守又真实的数。这台机器每天开八小时，其他时间待机或关机：

功耗：300 瓦 = 0.3 千瓦
时长：8 小时/天
日电量：0.3 千瓦 × 8 小时 = 2.4 度
电价：0.6 元/度
日费用：2.4 度 × 0.6 元/度 = 1.44 元
月费用：1.44 元 × 30 天 ≈ 43 元
年费用：1.44 元 × 365 天 ≈ 526 元

一年五百块出头的电费，比绝大多数人的任何一项视频会员都便宜。这就是本地模型在固定用电时段的真实成本。但请注意两个变量。第一个是时长：如果这台机器为全公司服务，得常开，二十四小时不断电，日电量变成七点二度，月电费立刻涨到一百三十块左右，一年一千五百多。第二个是功率：双卡主机满载能到六七百瓦，二十四小时常开就是每月三百块上下，两年下来电费够再买一张卡。

不同用电强度下的电费可以对照下表，按 0.6 元一度估算：

电费里有几个省钱的道道。显卡不用时让它降频或休眠，Ollama 默认五分钟没请求就卸载模型，卸载后功耗能从两百多瓦掉到三四十瓦，一夜无人时差别巨大。把推理高峰挪到谷电时段意义不大，因为知识库问答总不能让用户等到半夜，但定时关机在非业务场景很实用。最后别忘了电价本身，居民用电和商业用电差价不小，放在公司机房按商业电价算，每月成本要再上一个台阶。

嫌估算数字不准，可以上实测。一个带功率计量的智能插座几十块钱，跑一天典型流量就能读出真实日均电量，比纸上谈兵靠谱十倍。纯软件的办法也有，nvidia-smi 的功耗查询看显卡瞬时功率，采样几次取平均再乘以时长，虽然漏掉了主机其他部件，但趋势看得一清二楚。实测之后你会对三百瓦这个假设有个心平气和的认识，多数人的机器比想象中省电。

算完了电费你可能会惊讶：原来跑本地模型最贵真不是电。接下来看硬件。

硬件投入：一次性还是分摊

硬件是大头，也是最容易算错的部分，因为它一次性付清，用多久全看你。判断分摊成本的公式很简单：整机价格除以预期服役年数，得出每年的折旧，再和云费用比。一张六千块的显卡用三年，每年两千块，每月一百六。这个数和上面单卡常开的电费加起来，每月不到三百块，这就是一台私有知识库的真实月开销。

给三档典型配置大致估个价，供你建立体感（价格随行情波动，仅作量级参考）：

硬件选择的关键其实不在 CPU 和内存，而在显存，ol-0102 专门讲过显存怎么决定你能跑多大的模型。这里只补一条经济学建议：买显卡宁可显存富余一档。三十二B 模型刚好吃满十二 GB 显存，你买十六 GB 的卡不仅跑得动，还能搭一个有余量的上下文长度，未来模型稍微升级也不至于立刻淘汰。紧巴巴的配置每次升级都是整台机器换血，富余的配置多用两年，年均成本反而更低。

二手市场值得多看两眼。挖矿潮退去后大量二手显卡流入市场，成色不错的价格只有新卡一半，跑推理的负载远比挖矿温和。风险是显存可能有暗病，买回来先用压力测试烤两天，过保就当消耗品。公司采购走不了二手这条路，个人和创业团队完全可以。

最后别忘了给硬件也留维护预算：网卡、电源、风扇都是消耗品，机器多备一根内存、多留一个电源，出故障时不至于干等快递。

还有一类成本没人提醒你：人力。第一次部署大概要花一到两天，之后每月升级模型、排查故障、调提示词，保守估计也要几个小时。按你自己一天的工资折算进去，这笔钱往往比电费高一个量级。个人玩家把它当学习成本可以不计，团队立项时必须算进去，否则本地部署的总账会明显低于真实数字。

另外一个容易被忽略的账是闲置。很多人兴冲冲买了硬件，前两周天天用，之后一个月开不了三次，机器一直在吃灰。真要算本地部署划不划算，先诚实评估自己的使用频率：每天用得上，一个月就能回本；一周用一次，云 API 便宜得多。买硬件之前先拿云 API 跑两周，统计真实调用量，再回头决定要不要自购，这是最稳的流程。真到下单那一步，还有一个排序建议：先保证显存，再考虑算力。推理任务对带宽和显存最敏感，CPU 弱一点只是加载慢，显存不够则是直接跑不起来，钱要花在刀刃上。最后一句总结：本地部署适合高频、隐私敏感、愿意折腾的场景，云 API 适合低频、刚起步、不想维护硬件的场景。两边都对，选错才是唯一的浪费。真拿不准的时候，先用最低成本跑通一遍流程，把真实用量测出来，数字会替你做决定。本书到这里也就讲完了，如果一路读到这里的你已经把模型跑起来、把知识库接上了，那这本书的任务就完成了。往后遇到的问题会越来越具体，而具体的答案往往藏在你自己跑出来的日志里。保持折腾的习惯，比记住任何一条命令都重要。技术在变，价格也在变，今年算不过来的账，明年可能就顺了，所以这笔成本账值得每隔半年重算一次，别用一次算出的结论锁死三年。。

云 API：用多少花多少

云 API 的计费粒度很细，一个请求花几厘钱，看单价便宜到像白送，但积少成多。先把主流模型的公开计费大致水平列出来（按每百万 token 计，价格为量级参考，随时以官网为准）：

拿知识库问答的实际用量算一笔。假设每天一千次问答，每次平均输入一千五百 token（问题加重检索的资料片段）、输出三百 token，一天的调用量是一百五十万输入加三十万输出 token。用平价快模型，输入约一点五元，输出约一点二元，一天两块七，一个月八十块上下。这个数比本地单卡常开的电费还要低。

要是换旗舰模型，一天成本能到三四十块，一个月小一千，用一年够买一台主流配置了。价格越往上，本地的吸引力越大，这也是为什么重度用户最后都走向自建。反过来，低频场景差距更悬殊：一天只有五十次问答的企业，用平价云模型一个月十块钱都不到，给它配一台一万块的机器显然是脑子进水。

云 API 的隐性成本也必须算进去。流量费和缓存折扣各家规则不同，有的输入缓存能便宜一个数量级，有的夜间半价，用熟了能再省三成。初始化接入的工程师时间省不了，但之后维护量确实小。唯一无法量化的是数据安全：你的客户资料、内部文档全部明文发给第三方，对多数行业这是红线性问题，不是钱的问题。

交叉对比：什么场景选什么

三笔账放在一起，决策就清楚了。按月维度统一折算，假设知识库问答每天一千次：

注意本地方案的月成本里没算硬件折旧，因为是一次性付清；硬件折旧加上电费才是全成本，大致每月再加两三百。结论因此很鲜明：高频场景下本地全成本更低且数据可控，低频场景下云 API 几乎是免费午餐。

三类典型场景的建议。第一类是高频内部知识库，几十号人天天用，本地一台主流机加偶尔云上备用，隐私和成本双赢。第二类是创业产品还在验证期，用户量未知，云 API 零启动成本，等每天请求过万再考虑搬家，到那时硬件投入摊到每次调用几乎可以忽略。第三类是明确的隐私行业，没得选，本地起步，必要时走本地推理加本地向量库的纯私有方案，参考 ol-0303 的数据库选型。

还有一条折中路线叫混合架构：普通问题走本地小模型，复杂问题路由到云上旗舰模型。这样做每月成本介于两者之间，隐私敏感的问题留在本地。代价是链路复杂度上升，维护两套调用和两套 ol-0404 里说的封装，工程师值不值这个工时得自己掂量。多数团队我建议先纯本地或纯云，跑顺了再谈混合。

常见问题

显卡放公司机房，电费怎么算个人头上

看公司怎么收。多数公司机房电费统一结算不单独核算，这台机器等于免费用电，成本只剩折旧。但有些公司会按工位电表或项目核算，报销时主动问清楚，免得半年后财务找你补钱。把运行时长和功率写在立项报告里，是既专业又保护自己的做法。

用旧电脑改造跑模型划算吗

很划算，尤其是不追求大模型的话。七B 量化模型只要显存够六 GB，很多老显卡甚至核显都能跑，淘一张二手卡几百块解决全部硬件投入。代价是并发能力几乎为零，回答速度慢，适合个人研究验证想法，不适合当生产服务。拿旧机器练熟了整个流程再决定要不要正式投入，是风险最低的路径。

电费看着便宜，为什么有人说本地部署烧钱

电费确实便宜，烧钱的是硬件迭代和隐性维护。模型一年大一圈，今年能跑的主力模型明年就吃力，显卡两三年换一代很正常。再加上排障和升级花的时间成本，本地部署的总账比电费单厚得多。算账时把三年硬件换代的预期写进去，数字才真实。

云上租 GPU 跑自己的模型，算是第三条路吗

算，而且适合一种特定需求：模型要定制化、数据又不想发给 API 提供商。租一小时云 GPU 价格大约几块到十几块，按需开关比自购灵活。但它不如想象的便宜：大模型加载就要几分钟，频繁开关浪费时间，常开则和自家机器一样烧钱。只推荐冷启动少、批量推理的场景，日常问答还是上面三档更实在。

电价不同对结论影响大吗

影响不算大。居民电价五毛上下到一块多都有，商业电价再贵三成，对单卡机器每月也就是几十块钱的出入，很难逆转结论。真正敏感的是双卡常开的场景，一年电费能差出小一千，值不值得看你怎么分摊。