AI 摘要：这篇文章讨论了本地部署 LLM 的成本、适用场景和部署方式：企业更看重数据安全，个人更适合把固定高频低风险任务交给本地模型后台自动化；部署方式上，个人主机可优先考虑 Ollama 或 LM Studio，算力集群则需要同时考虑硬件、网络和推理框架。

前言：

5 月 26 日，我本地部署的大模型每日使用量首次突破 200 万 Token，部署的模型是 Qwen 3 235B，百万 Token 使用公网模型的成本如下：

可以看到总成本大约就是 5 - 100 元之间每天。

而这个模型部署的成本如下（上下文长度为 64K）：

在 Nvida 环境中
- 8 张 H 100 ( 80 GB 显存)，总价格大约 250 万人民币以上
在国产算力华为昇腾环境中
- 8张 910b( 64GB 显存） 3 台服务器连接为集群（总价格超过在 200 万，并且需要排产）
- 200 Ge 交换机（价格大约在 40万 - 60万左右）
其他成本：比如电力

假设忽略其他因素只计算收益年限的话，大约 15-20 年能够用回本，如果再加上 LLM 的能力、上下文长度、部署运维这些成本的话，本地部署大模型的成本会变得非常的高，效果也不会比公网上的好。

一、用途

所以即便本地部署性价比这么低，为什么还会有个人、企业在本地部署呢?

核心在于 数据安全性 ，其次是 降低固定高频低风险任务的成本。

举例：

某D开头的打车软件拥有国内比较详细的地理信息数据，现在要对某个地区的业务数据进行分析，在安全审计中发现
- 使用了 中转站 的国外模型厂商接口对数据做处理（危险等级 ⭐⭐⭐⭐⭐）
- 直接使用了国外模型厂商接口（危险等级 ⭐⭐⭐⭐）
- 使用国内模型厂商接口（危险等级 ⭐⭐）
- 使用本地部署的 LLM 进行处理（比较安全√）

由于中转站对数据处理的方式是黑盒，通常来说比使用官方 API 更危险。

对于个人来说，数据安全性可能是比较小的问题，而更多的 固定的、高频的、低风险的任务 需要本地化部署。

举例：

某人运营着一个网站，网站部署在 vercel 上面，网站上挂载着 google 广告进行收益，平常每天早上十点他都会上 vercel + google ads console 上看看访问量和收益情况。
- 像这样的情况，实际上完全可以通过一个 30B 大小的本地模型使用 vercel api 和 google ads api（假设有）来驱动完成任务，并且由于完成任务很需要一个固定的主机，所以在主机上既可以部署完成任务的 agent，又可以部署 LLM 服务，一举双得。
- 用户仅需购买一个 mac mini 或者 5070 ti 之上的主机，就能在本地完成这些任务，并且可以不断丰富使用 LLM 的方式，并且随着开源社区更新本地模型。

由于本地部署的模型的性能远远不如公网上的模型，所以除非万不得已，尽可能将 AI 的工作放在后台，并且自动化运行。

二、个人主机部署

对于个人在电脑上部署大模型，比较推荐 ollama，是一个使用命令行进行部署的软件。

下载：

irm https://ollama.com/install.ps1 | iex

使用 Ollama 命令可以一键启动模型并且给 agent 配置接口，手动运行模型也非常简单：

ollama run gemma4

并且 Ollama 最好的一点就是直接提供所有参数大小＋量化版本模型，无论算力多少，都可以找到相应的模型大小进行匹配，Ollama 也支持 Cpu 部署。

Ollama 的一个缺陷是不能部署 Rerank 模型。

LM Studio 是有 UI 界面的本地部署项目，功能上和 Ollama 差不多，就是 LM Studio 可以不用接入到外部工具中就可以执行使用，即插即用；但是有个问题就是 UI 和 Server 不分离，使用上更偏向于本地运行的 ChatGPT 界面：

硬件层次的拓扑图：

算力卡和交换机连接方式：

软件层次的运行示意图：

概念：