0 为啥本地部署？

在本地运行 AI 模型具有以下优势：

• 隐私：你的数据保留在你的机器上 — — 不存在共享敏感信息的风险
• 成本： DeepSeek R1 可免费使用，无需订阅费或使用费
• 控制：无需外部依赖即可进行微调和实验

1 使用Ollama

1.1 下载并运行应用程序

直达官网：

1.2 选择你的平台

MacOS、windows

直接下载，找到对应操作系统的软件到本地：

点击安装即可：

1.3 命令行下载指定模型

如：

ollama pull deepseek-r1:8b

系统会自动下载。 下载速度，看网速，我的网速不好，等了20分钟左右。 完成下载后，模型即可运行。

官网支持的模型：

按LiveCodeBench评分，DeepSeek V3得分42.2，蒸馏模型Qwen 14B得分53.1，具有相当的性能，而且尺寸相对来说属于桌面级能跑，推荐用14B：

1.4 运行

浏览器：

2 可视化软件

如Chatbox/cherry studio等工具，设置简单，内置功能丰富，与本地模型集成，免费畅享各种大模型且注重数据安全。

2.1 下载 Chatbox

官网：

安装完成后，打开左下角设置：

• 将 API 主机设置为：http://127.0.0.1:11434
• 选择 DeepSeek R1 作为活动模型
• 保存

开始激聊：

PC软件连接本地大模型成功，后续即可根据自己需求训练DeepSeek，将DeepSeek训练成自己的私有专家。

2.2 遗留问题

现成 GUI 软件虽好，也不是菩萨，只是给你最基本聊天功能，想使用更高级的多模态功能，依旧需要付费，因此最终大招还是自己开发。

图片识别受限：

联网搜索受限：

3 本地大模型调用

本地部署完了，来看咋调用？

from langchain_community.llms import Ollama

llm = Ollama(model="qwen2:0.5b")
llm.invoke(input="你是谁？")

使用流式

#使用流式
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler

llm = Ollama(
    model="qwen2:0.5b", callback_manager=CallbackManager([StreamingStdOutCallbackHandler()])
)
llm.invoke(input="第一个登上月球的人是谁?")

本文已收录在Github，关注我，紧跟本系列专栏文章，咱们下篇再续！

• 🚀 魔都架构师 | 全网30W+技术追随者
• 🔧 大厂分布式系统/数据中台实战专家
• 🏆 主导交易系统亿级流量调优 & 车联网平台架构
• 🧠 AIGC应用开发先行者 | 区块链落地实践者
• 🌍 以技术驱动创新，我们的征途是改变世界！
• 👉 实战干货：编程严选网